摘要
随着人工智能的快速发展与普及，人们在追求高效、准确地完成任务的同时，更加重视个人信息的隐私性与安全性，而依赖于中心共享数据的传统机器学习方法难以满足这一需求。联邦学习成为缓解数据孤岛问题、均衡数据安全与模型效果的可行方案。但是在实际应用场景中，传统的联邦学习很容易受到数据异构性的影响，而且共享的本地模型中也隐含着更多私有特征，不利于隐私保护的实现，这极大地妨碍了其进一步的推广。本文针对联邦学习面临的数据异构性与模型安全性两大挑战进行研究，主要贡献如下： 首先，为了避免过度依赖全局模型并增强联邦过程的智能性，本文设计实现自适应的认知个性化联邦学习机制。通过感知用户之间的内在联系和全局数据的异构程度，自适应地调节自我学习以及同构用户之间协作学习的强度，保证每个用户在整个联邦过程中受益最大化。提出使用搬土距离(EarthMover’sDistance,EMD)根据模型参数的统计分布度量不同用户的相关性，以解决传统距离度量方式因高维空间导致的失效问题。其次，针对本地差分隐私机制因梯度反复裁剪造成的认知偏差，本文根据协作结果为每个用户建立邻接关系，将本地扰动过程分为个性化噪声与协作噪声两部分，借助分布式隐私平均协议保证单个用户的隐私保护需求由所有相邻用户共同满足。为了使计算隐私损失更加紧凑，本文进一步改进R´enyi差分隐私机制。通过在相关用户之间进行成对的局部采样满足每个用户的全局保护需求，降低相关用户之间因随机性造成的干扰，增强其混淆效果。最后，由于EMD计算时间复杂度过高，本文使用Sinkhorn算法进行优化，在不影响感知准确度的同时缩小联邦训练周期，通过将个性化机制与本地差分隐私机制进行融合，进一步探究整体框架在非独立同分布场景下的效果。 实验表明，本文提出的个性化联邦学习架构可以在非独立同分布场景下将本地模型准确率平均提升12.4%，同构和异构用户之间的成员推断风险分别降低9.8%和6.6%以上，在面对中毒攻击和模型逆向攻击时也都有一定的防御效果，能够增强传统联邦学习的可用性和安全性。
NETL