摘要
在当今这个以数据为核心驱动的互联网时代中，数据处理能力变得越来越重要。深度学习和人工智能技术随着商业化逐渐融入人们的生活。在实现深度学习应用的过程中，很大一部分是通过模型即服务的方式提供的。将模型部署到生产环境中后，它们可以实时响应输入，利用之前训练好的参数进行预测，或为用户提供决策支持。与此同时，一些安全隐患也随之暴露出来，用户希望使用模型提供者的服务，但不想泄露自身的信息；模型提供商希望通过服务租赁获得收益，但不想让用户或竞争者获得自己的模型知识。针对这种隐患，一些诸如属性推理攻击、模型记忆提取等恶意手段被开发出来，侵害这个商业领域的各方。本文主要研究模型推理阶段的隐私保护过程，主要研究工作为如下两点： (1)针对现有使用全同态加密对卷积神经网络模型进行推理阶段的隐私保护框架中，在同态卷积层与同态密集层进行变换时，对密文槽的利用不够充分，没有完全开发SIMD技术的效能，以及CKKS同态加密方案天然携带的噪声在推理结束解密后对准确率造成的不良影响两个问题，本文将同态网络层密文维度垂直变换映射到密文槽的水平移动中，结合批处理与并发算法，最大限度地利用了密文槽的空间，同时提出一种新的思路：通过使用对抗性训练的思路将相似尺度的噪声添加到训练集中，增强了模型的鲁棒性，使模型更好地适应同态加密方案的噪声影响。方案平均推理时延已降至27秒，MNIST数据集上的准确率达到99.05%。同时，本文的噪声添加方法能够在不同的训练参数下将解密后的密文预测值与真实值的相似度平均提升20%。 (2)针对现有预训练大语言模型中非线性函数在安全多方计算协议中开销过大甚至无法支持运算，而使用近似函数替代又会导致较大的精度损失这一问题，对现有的近似算法进行改进；通过生成切比雪夫多项式进行动态分段近似替换非线性函数，随后将被替换的模型作为学生模型；对学生模型进行压缩，通过模型宽度提取与软蒸馏的方法反抬模型的准确率，以满足安全多方计算场景下效率与精度两者的更好权衡。方案在8个数据集上的平均得分比同类方案提升了3.2分，与同领域同态加密方案和秘密共享方案相比，推理速度分别提升了391倍和4.2倍。
NETL