克日，，，，，我院黄铠教授团队在国际电气与电子工程师协会（Institute of Electrical and Electronics Engineers）期刊Transactions on Neural Networks and Learning Systems（TNNLS）揭晓题为“Deep Learning Model Compression with Rank Reduction in Tensor Decomposition”的文章。。。。。该事情由来自优德官网、香港中文大学（深圳）、深圳大数据研究院的四位作者相助完成，，，，，为人工智能模子轻量化安排作出了主要孝顺。。。。。

论文提出了一种新的模子压缩要领。。。。。研究团队提出的基于低秩张量剖析的对偶模子训练要领，，，，，设计了自顺应秩的要领，，，，，使得在不严重损失模子精度的条件下，，，，，极大地提升压缩率和盘算效率。。。。。文中剖析了该要领的收敛性和盘算存储效率。。。。。团队在MNIST、CIFAR-10和ImageNet数据集关于LeNet、VGG、ResNet、EfficientNet和RevCol的实验中压缩率和模子推理速率均凌驾了一样平常的张量剖析要领，，，，，且效果与理论效果相符。。。。。

论文链接:

https://ieeexplore.ieee.org/document/10321737

期刊先容

TNNLS前身是IEEE Transactions on Neural Networks，，，，，由 IEEE于1990年开办，，，，，现在拥有全球150多位编委。。。。。2023年TNNLS最新的影响因子为10.4，，，，，在JCR期刊COMPUTER SCIENCE类中排名为3/54，，，，，现在位列中科院期刊分区一区。。。。。该期刊属人工智能、机械学习、盘算机科学的交织学科领域，，，，，主要刊发神经网络和学习系统相关的最新研究效果，，，，，是IEEE盘算智能学会的旗舰刊物，，，，，神经网络和学习系统方面的国际顶级期刊。。。。。

研究内容

近几年，，，，，深度学习在各个领域取得了重大乐成，，，，，然而训练深度学习模子的开销仍然依赖海量的参数支持，，，，，这为安排深度学习模子到轻量化边沿装备带来难题，，，，，也给联邦学习的带宽需求带来压力。。。。。深度学习模子压缩手艺是解决该问题的潜在要领，，，，，低秩张量剖析是一种有用的要领。。。。。然而，，，，，现有的基于张量剖析的压缩要领有两点缺陷。。。。。1：模子训练没有低秩约束，，，，，这导致低秩张量剖析会使得模子丧失大宗信息；；；；；；；2：秩-准确度难以权衡，，，，，现有要领往往需要预设秩作为超参数，，，，，这往往成为模子压缩的特殊开销。。。。。

为相识决以上问题，，，，，研究团队提出了一种对偶模子训练要领，，，，，对深度模子训练举行低秩约束，，，，，并自顺应地选择张量的秩，，，，，阻止了模子压缩中沉重的超参数搜索。。。。。

研究团队提出的对偶模子训练要领，，，，，通过训练未压缩模子-减秩-训练低秩模子的循环训练要领，，，，，使得深度模子在低秩空间中，，，，，尽可能拥有较低的秩。。。。。

研究团队在MNIST、CIFAR-10和ImageNet数据集上，，，，，使用LeNet、VGG、ResNet、EfficientNet和RevCol网络举行压缩实验。。。。。比照其它基于张量剖析的要领，，，，，该要领有较大提升。。。。。

消蚀实验中，，，，，研究团队发明卷积神经网络的秩，，，，，在收支通道偏向上，，，，，能够快速地降低凌驾一半以上。。。。。这说明晰低秩约束模子训练的有用性。。。。。

研究结论

在本文中，，，，，研究团队提出了一种新颖的对偶练要领来解决低秩深度神经网络压缩中保存的两个挑战。。。。。提出的要领将DNN模子显式约束在低秩空间中，，，，，以通过张量剖析以及迭代和自顺应秩降低实现最小精度下降和高压缩比。。。。。自顺应秩降低显着镌汰了低秩压缩中的超参数搜索。。。。。压缩模子的推理时间和存储本钱要低得多。。。。。关于CIFAR-10数据集上的VGG-16，，，，，文中的压缩模子提高了0.88%的准确度，，，，，存储镌汰10.41倍，，，，，加速6.29倍。。。。。关于ImageNet数据集上的ResNet-50，，，，，优德官网压缩模子使得存储镌汰2.36倍，，，，，加速2.17倍。。。。。研究团队为所提出计划的收敛性提供了理论包管，，，，，并剖析了时间和空间重漂后。。。。。使用文中的要领举行训练时代，，，，，联邦学习系统中的通讯本钱显着降低。。。。。该计划镌汰了13.96倍的通讯开销。。。。。

实验效果批注，，，，，迭代降阶计划在压缩率、模子验证精度和FLOPs下降率方面优于其他张量剖析压缩要领，，，，，并且适用于差别的数据集和网络。。。。。

作者简介

第一作者戴维是香港中文大学（深圳）理工学院博士生，，，，，师从黄铠教授。。。。。他在香港中文大学（深圳）取得学士学位，，，，，在美国明尼苏达大学双城校区取得硕士学位。。。。。他的主要研究偏向为人工智能、深度学习、联邦学习。。。。。博士论文专注于高效深度学习手艺，，，，，包括模子压缩、深度学习加速、数据剪枝与异常检测。。。。。

通讯作者黄铠教授，，，，，伯克利加州大学盘算机科学博士。。。。；；；；；；；祁淌谠诿拦霞哟笥肫斩纱笱谓潭嗄，，，，，2018年加入香港中文大学（深圳）担当校长讲座教授，，，，，兼任优德官网高性能智能盘算中心主任。。。。。他在盘算机结构、并行处置惩罚、云盘算与物联网方面著作等身，，，，，桃李满天下。。。。。被评选入全球2%顶级科学家。。。。。他揭晓了10部专著，，，，，以及300多篇学术论文，，，，，被Google Scholar引用凌驾25000次。。。。。2005年获中国盘算机学会CCF首届外洋优异孝顺奖，，，，，2012年获天下云盘算大会（CloudCom）终身成绩奖。。。。。2019年获全球华人影响力盛典揭晓的开国70年科技立异成绩奖，，，，，2020年团队获得吴文俊人工智能自然科学奖。。。。。

其他作者樊继聪现为香港中文大学（深圳）数据科学学院助理教授。。。。。他于2018年在香港都会大学电子工程系获得博士学位，，，，，并划分于2013年和2010年在北京化工大学获得控制科学与工程硕士学位和自动化学士学位。。。。。在加入香港中文大学（深圳）之前，，，，，他是康奈尔大学的博士后。。。。。他还曾在美国威斯康星大学麦迪逊分校和香港大学担当研究职位。。。。。他的研究偏向是人工智能和机械学习，，，，，他在矩阵/张量要领、聚类算法、异常/离群点/故障检测、深度学习和推荐系统等方面做了大宗研究事情。。。。。他的研究效果曾在多个着名学术期刊与著名国际聚会上揭晓，，，，，如IEEE TSP/TNNLS/TII、KDD、NeurIPS、CVPR、ICLR和AAAI等。。。。。他是IEEE高级会员，，，，，现在担当期刊Neural Processing Letters的副编辑，，，，，主持国家自然科学基金青年项目一项、面上项目一项。。。。。

其他作者缪一铭，，，，，香港中文大学（深圳）数据科学学院研究助理教授，，，，，兼任优德官网高性能智能盘算中心副研究员，，，，，IEEE会员，，，，，深圳市高条理人才。。。。。近五年主要从事数据驱动的通讯、边沿盘算与物联网的研究，，，，，一连认真肩负了多项国家、省部、市厅级科研项目。。。。。在上述研究领域揭晓论文30余篇，，，，，包括8篇IEEE Trans./Journal论文。。。。。2016年获得第七届EAI国际云盘算聚会最佳学生论文奖，，，，，2021年获得MDPI《Big Data and Cognitive Computing》特刊封面论文奖。。。。。现担当《IEEE Transactions on Industrial Informatics》《IEEE Transactions on Intelligent Transportation System》《IEEE Wireless Comm.》《IEEE Network》《IEEE Trans. Big Data》《ACM Computing Surveys》等多个SCI期刊的审稿人，，，，，曾任国际聚会IWCMC 2022 & 2021的钻研会主席，，，，，TRIDENTCOM 2017的网络主席和CloudComp 2016确当田主席。。。。。

* 相关信息由论文作者提供