北京时间2024年5月15日,,,,,,第十四期优德官网-TNSE团结优异讲座系列运动在线上举行。。。。。。此次,,,,,,我们约请多伦多大学的李葆春教授先容联邦学习数据隐私;;;;;;;さ南喙匮芯浚,,,,并分享他在这个领域内的效果与有趣发明。。。。。。
本次讲座由优德官网副院长兼群体智能中心主任、香港中文大学(深圳)协理副校长、校长讲座教授、IEEE TNSE主编黄建伟教授担当执行主席和主持人。。。。。。
联邦学习作为去中心化方法训练共享机械学习模子的适用规范之一,,,,,,在已往五年中因其;;;;;;;な菀私的特征受到了学界的普遍研究。。。。。。然而,,,,,,最近的大宗事情质疑其;;;;;;;な菀私的焦点主张,,,,,,并提出梯度泄露攻击来重修用于训练的原始数据。。。。。。在微调大型语言模子的时代,,,,,,能否;;;;;;;な菀私将至关主要。。。。。;;;;;;;诖耍,,,,李葆春教授及其相助者聚焦于研究要害性问题:联邦学习能否;;;;;;;な菀私????????
李葆春教授及其相助者首先讨论了现有文献中提出的一些不切现实的假设,,,,,,如模子更新共享和梯度共享等价等,,,,,,发明纵然在这些假设下,,,,,,梯度泄露攻击对原始数据的隐私也仅仅组成了有限水平的威胁。。。。。。通过在现实假设下春联邦学习系统中的梯度泄露攻击举行综合评估,,,,,,李葆春教授及其相助者系统地剖析了梯度泄露攻击在种种设置下的有用性,,,,,,并提出使得梯度攻击越发明实的条件条件,,,,,,例如初始模子权重的狭窄漫衍及训练早期的反转。。。。。。进一步地,,,,,,研究提出了一种新的轻量级防御机制Outpost,,,,,,在整个联邦学习历程中针对时间转变的隐私泄露危害级别提供充分且自顺应的;;;;;;;。。。。。。Outpost防御计划凭证Fisher信息矩阵在每次更新迭代时有选择地向梯度添加高斯噪声,,,,,,其中噪声水平由每层权重漫衍量化的隐私泄露危害决议。。。。。。同时,,,,,,为了限制盘算开销和训练性能下降,,,,,,Outpost仅通过基于迭代的衰减来执行扰动。。。。。。试验效果批注,,,,,,在收敛性能、盘算开销和避免梯度泄露攻击方面,,,,,,Outpost可以比最先进的手艺实现更好的权衡。。。。。。最后,,,,,,李葆春教授讨论了在微调大型语言模子方面,,,,,,梯度攻击关于隐私泄露问题的影响。。。。。。
李葆春教授的精彩分享发人深思,,,,,,在加入者与两位教授的起劲讨论中,,,,,,涌现了许多有趣的问题。。。。。。例如,,,,,,数据隐私泄露的界说;;;;;;;梯度泄露攻击的现实性等。。。。。。
*特殊鸣谢李想对本文的孝顺
