摘要
对抗攻击是针对深度学习模型的攻击，通过对样本添加人眼难以察觉的扰动，使得模型预测结果错误。而黑盒对抗攻击能够在对目标模型没有任何了解的情况下实施攻击，严重威胁到了深度学习模型的安全应用。黑盒决策攻击是一种新型的黑盒攻击方法，仅通过和模型进行有限次数的样本预测类别查询，便能对模型进行有效的攻击。而当前的防御方法无法有效地对黑盒决策攻击进行防御，检测对抗样本等传统防御方法的黑盒决策攻击防御能力较低，缺少针对决策攻击关键过程的防御思路，基于随机化的防御方法具有一定的防御效果，但随机化因素会显著降低干净样本识别准确率。因此，黑盒决策攻击的防御是一个急需解决的问题，其研究对促进深度学习模型的安全应用具有重要意义。 针对这些问题，本文提出了一种基于边界混淆的黑盒决策对抗防御方法ONBD(ObfuscationNearBoundaryDefence)。边界混淆的防御思想源自对决策攻击过程的分析与总结，决策攻击两关键步骤的正常运行均依赖于决策边界附近样本信息，因此判断样本是否位于决策边界附近之后，仅对边界附近样本的预测结果做随机混淆，能够有效干扰决策攻击过程。ONBD防御在具体实现时，利用检验预测结果一致性的方法来判别样本是否位于决策边界附近，并进一步考虑模型预测批量样本的实际场景，以当前批次中位于决策边界附近的样本比例作为混淆概率，对决策边界附近样本预测结果进行随机变换。ONBD使得实际场景下进行正常查询时的样本预测结果极少受影响，而决策攻击方查询的边界附近样本预测结果会被混淆，极大地干扰决策攻击过程的正常运行，兼顾了干净样本识别准确率和攻击成功率下降两大关键指标。实验结果表明，在ImageNet和CIFAR-10数据集上，ONBD的干净样本识别准确率以及在三类优化原理的决策攻击下的防御效果均优于此前最优秀的防御方法SND，表明ONBD可以在几乎不损失干净样本识别准确率的条件下对黑盒决策攻击进行有效防御。 在此方法的基础上，本文设计并实现了黑盒决策攻击防御系统。该系统使用Flask框架，主要包括样本输入预处理模块，黑盒决策攻击模块，对抗防御模块，干净样本识别准确率评估模块和模型管理模块。本文对框架构成和各功能模块的流程进行了详细介绍。最后通过对黑盒决策攻击防御系统的测试，验证该系统可以有效防御黑盒决策攻击，证明了系统的可用性和有效性。
NETL