自动化学报2024,Vol.50Issue(1) :103-120.DOI:10.16383/j.aas.c230344

针对身份证文本识别的黑盒攻击算法研究

Research on Black-box Attack Algorithm by Targeting ID Card Text Recognition

徐昌凯 冯卫栋 张淳杰 郑晓龙 张辉 王飞跃
自动化学报2024,Vol.50Issue(1) :103-120.DOI:10.16383/j.aas.c230344

针对身份证文本识别的黑盒攻击算法研究

Research on Black-box Attack Algorithm by Targeting ID Card Text Recognition

徐昌凯 1冯卫栋 1张淳杰 1郑晓龙 2张辉 3王飞跃2
扫码查看

作者信息

  • 1. 北京交通大学计算机与信息技术学院信息科学研究所 北京 100044;现代信息科学与网络技术北京市重点实验室 北京 100044
  • 2. 中国科学院自动化研究所多模态人工智能系统全国重点实验室 北京 100190;中国科学院自动化研究所复杂系统管理与控制国家重点实验室 北京 100190;中国科学院大学人工智能学院 北京 100049
  • 3. 北京航空航天大学交通科学与工程学院 北京 100191
  • 折叠

摘要

身份证认证场景多采用文本识别模型对身份证图片的字段进行提取、识别和身份认证,存在很大的隐私泄露隐患.并且,当前基于文本识别模型的对抗攻击算法大多只考虑简单背景的数据(如印刷体)和白盒条件,很难在物理世界达到理想的攻击效果,不适用于复杂背景、数据及黑盒条件.为缓解上述问题,本文提出针对身份证文本识别模型的黑盒攻击算法,考虑较为复杂的图像背景、更严苛的黑盒条件以及物理世界的攻击效果.本算法在基于迁移的黑盒攻击算法的基础上引入二值化掩码和空间变换,在保证攻击成功率的前提下提升了对抗样本的视觉效果和物理世界中的鲁棒性.通过探索不同范数限制下基于迁移的黑盒攻击算法的性能上限和关键超参数的影响,本算法在百度身份证识别模型上实现了 100%的攻击成功率.身份证数据集后续将开源.

Abstract

Identity card authentication scenarios often use text recognition models to extract,recognize,and au-thenticate ID card images,which poses a significant privacy breach risk.Besides,most of current adversarial attack algorithms for text recognition models only consider simple background data(such as print)and white-box condi-tions,making it difficult to achieve ideal attack effects in the physical world,and is not suitable for complex back-grounds,data,and black-box conditions.In order to alleviate the above problems,this paper proposes a black-box attack algorithm for the ID card text recognition model by taking into account the more complex image back-ground,more stringent black-box conditions and attack effects in the physical world.By using the transfer-based black-box attack algorithm,the proposed algorithm introduces binarization mask and space transformation,which improves the visual effect of adversarial examples and the robustness in the physical world while ensuring the at-tack success rate.By exploring the performance upper limit and the influence of key hyper-parameters of the trans-fer-based black-box attack algorithm under different norm constraints,the proposed algorithm achieves 100%at-tack success rate on the Baidu ID card recognition model.The ID card dataset will be made publicly available in the future.

关键词

对抗样本/黑盒攻击/身份证文本识别/物理世界/二值化掩码

Key words

Adversarial examples/black-box attack/ID card text recognition/physical world/binarization mask

引用本文复制引用

基金项目

科技创新2030——"新一代人工智能"重大项目(2020AAA0108401)

北京市自然科学基金(JQ20022)

国家自然科学基金(62072026)

国家自然科学基金(72225011)

中国人工智能学会——昇腾CANN学术基金()

OpenI启智社区资助()

出版年

2024
自动化学报
中国自动化学会 中国科学院自动化研究所

自动化学报

CSTPCD北大核心
影响因子:1.762
ISSN:0254-4156
参考文献量44
段落导航相关论文