首页期刊导航|中国图象图形学报
期刊信息/Journal information
中国图象图形学报
中国图象图形学报

李小文

月刊

1006-8961

jig@irsa.ac.cn

010-64807995 8261442

100101

北京9718信箱

中国图象图形学报/Journal Journal of Image and GraphicsCSCD北大核心CSTPCD
查看更多>>本刊是集计算机图象图形高科技理论与应用研究成果、成果产品化与商情动态于一体的综合性学术期刊。是核心期刊、权威性杂志。作为中国图象图形学学会的会刊，利用学会在国内外广泛的科技信息渠道、全方位多层面的学科交叉应用，积极向产业界宣传科技成果，热心向科技界推荐最新产品。
正式出版
收录年代

    《中国图象图形学报》可信人工智能专栏简介

    高新波王楠楠徐迈严严...
    1785-1786页
      原文链接:
    • NETL
    • NSTL
    • 万方数据

    针对未知攻击的泛化性对抗防御技术综述

    周大为徐一搏王楠楠刘德成...
    1787-1813页
    查看更多>>摘要：在计算机视觉领域,对抗样本是一种包含攻击者所精心设计的扰动的样本,该样本与其对应的自然样本的差异通常难以被人眼察觉,却极易导致深度学习模型输出错误结果.深度学习模型的这种脆弱性引起了社会各界的广泛关注,与之相对应的对抗防御技术得到了极大发展.然而,随着攻击技术和应用环境的不断发展变化,仅实现针对特定类型的对抗扰动的鲁棒性显然无法进一步满足深度学习模型的性能要求.由此,在尽可能不依赖对抗样本的情况下,通过更高效的训练方式和更少的训练次数,达到一次性防御任意种类的未知攻击的目标,是当下亟待解决的问题.期望所防御的未知攻击要有尽可能强的未知性,要在原理、性能上尽可能彻底地不同于训练阶段引入的攻击.为进一步了解未知攻击的对抗防御技术的发展现状,本文以上述防御目标为核心,对本领域的研究工作进行全面、系统的总结归纳.首先简要介绍了研究背景,对防御研究所面临的困难与挑战进行了简要说明.将未知对抗攻击的防御工作分为面向训练机制的方法和面向模型架构的方法.对于面向训练机制的方法,根据防御模型所涉及的最基本的训练框架,从对抗训练、自然训练以及对比学习3个角度阐述相关工作.对于面向模型架构的方法,根据模型结构的修改方式从目标模型结构优化、输入数据预处理两个角度分析相关研究.最后,分析了现有未知攻击防御机制的研究规律,同时介绍了其他相关的防御研究方向,揭示了未知攻击防御研究的整体发展趋势.不同于一般对抗防御综述,本文注重在未知性极强的攻击上的防御的调研与分析,对防御机制的泛化性、通用性提出了更高的要求,希望能为未来防御机制的研究提供更多有益的思考.

    对抗防御未知对抗攻击对抗训练数据预处理深度学习

      原文链接:
    • NETL
    • NSTL
    • 万方数据

    面向图像识别的公平性研究进展

    王玫邓伟洪苏森
    1814-1833页
    查看更多>>摘要：在过去的几十年里,图像识别技术经历了迅速发展,并深刻地改变着人类社会的进程.发展图像识别技术的目的是通过减少人力劳动和增加便利来造福人类.然而,最近的研究和应用表明,图像识别系统可能会表现出偏见甚至歧视行为,从而对个人和社会产生潜在的负面影响.因此,图像识别的公平性研究受到广泛关注,避免图像识别系统可能给人们带来的偏见与歧视,才能使人完全信任该项技术并与之和谐相处.本文对图像识别的公平性研究进行了全面的梳理回顾.首先,简要介绍了偏见3个方面的来源,即数据不平衡、属性间的虚假关联和群体差异性;其次,对于常用的数据集和评价指标进行汇总;然后,将现有的去偏见算法划分为重加权(重采样)、图像增强、特征增强、特征解耦、度量学习、模型自适应和后处理7类,并分别对各类方法进行介绍,阐述了各方法的优缺点;最后,对该领域的未来研究方向和机遇挑战进行了总结和展望.整体而言,学术界对图像识别公平性的研究已经取得了较大的进展,然而该领域仍处于发展初期,数据集和评价指标仍有待完善,针对未知偏见的公平性算法有待研究,准确率和公平性的权衡困境有待突破,针对细分任务的独特发展趋势开始呈现,视频数据的去偏见算法逐渐受到关注.

    公平性偏见去偏见学习图像识别深度学习

      原文链接:
    • NETL
    • NSTL
    • 万方数据

    面向人脸修复篡改检测的大规模数据集

    李伟黄添强黄丽清郑翱鲲...
    1834-1848页
    查看更多>>摘要：目的 图像合成方法随着计算机视觉的不断发展和深度学习技术的逐渐成熟为人们的生活带来了丰富的体验.然而,用于传播虚假信息的恶意篡改图像可能对社会造成极大危害,使人们对数字内容在图像媒体中的真实性产生怀疑.面部编辑作为一种常用的图像篡改手段,通过修改面部的五官信息来伪造人脸.图像修复技术是面部编辑常用的手段之一,使用其进行面部伪造篡改同样为人们的生活带来了很大干扰.为了对此类篡改检测方法的相关研究提供数据支持,本文制作了面向人脸修复篡改检测的大规模数据集.方法 具体来说,本文选用了不同质量的源数据集(高质量的人脸图像数据集CelebA-HQ及低质量的人脸视频数据集FF++),通过图像分割方法将面部五官区域分割,最后使用两种基于深度网络的修复方法 CTSDG(image inpainting via conditional texture and structure dual generation)和 RFR(recur-rent feature reasoning for image inpainting)以及一种传统修复方法SC(struct completion),生成总数量达到60万幅的大规模修复图像数据集.结果 实验结果表明,由FF++数据集生成的图像在基准检测网络ResNet-50下的检测精度下降了 15％,在Xception-Net网络下检测精度下降了5％.且不同面部部位的检测精度相差较大,其中眼睛部位的检测精度最低,检测精度为0.91.通过泛化性实验表明,同一源数据集生成的数据在不同部位的修复图像间存在一定的泛化性,而不同的源数据制作的数据集间几乎没有泛化性.因此,该数据集也可为修复图像之间的泛化性研究提供研究数据,可以在不同数据集、不同修复方式和不同面部部位生成的图像间进行修复图像的泛化性研究.结论 基于图像修复技术的篡改方式在一定程度上可以骗过篡改检测器,对于此类篡改方式的检测方法研究具有现实意义.提供的大型基于修复技术的人脸篡改数据集为该领域的研究提供了新的数据来源,丰富了数据多样性,为深入研究该类型的人脸篡改和检测方法提供了有力的基准.数据集开源地址https://pan.baidu.com/s/1-9HIBya9X-geNDe5zcJldw?pwd=thli.

    图像篡改深度学习图像修复数据集基准

      原文链接:
    • NETL
    • NSTL
    • 万方数据

    自适应异构联邦学习

    黄文柯叶茫杜博
    1849-1860页
    查看更多>>摘要：目的 模型异构联邦学习由于允许参与者在不损害隐私的情况下独立设计其独特模型而受到越来越多的关注.现有的方法通常依赖于公共共享的相关数据或全局模型进行通信,极大地限制了适用性.且每个参与者的私有数据通常以不同的分布收集,导致数据异构问题.为了同时处理模型异构和数据异构,本文提出了一种新颖的自适应异构联邦学习方法.方法 给定一个随机生成的输入信号(例如,随机噪声),自适应异构联邦学习直接通过对齐输出逻辑层分布来实现异构模型之间的通信,实现协作知识共享.主要优势是在不依赖额外相关数据收集或共享模型设计的情况下解决了模型异构问题.为了进一步解决数据异构问题,本文提出了在模型和样本层面上进行自适应权重更新.因此,自适应异构联邦学习(adaptive heteogeneous federated learning,AHF)允许参与者通过模型输出在无关数据上的差异和强调"有意义"的样本来学习丰富多样的知识.结果 通过在不同的联邦学习任务上使用随机噪声输入进行通信,进行了广泛的实验,显示出比竞争方法更高的域内精确度和更好的跨域泛化性能.结论 本文方法提供了一个简单而有效的基准,为异构联邦学习的未来发展奠定基础.

    联邦学习(FL)模型异构数据异构随机噪声异构联邦学习

      原文链接:
    • NETL
    • NSTL
    • 万方数据

    面向高光谱图像分类网络的对比半监督对抗训练方法

    石程刘莹赵明华苗启广...
    1861-1874页
    查看更多>>摘要：目的 深度神经网络在高光谱图像分类任务中表现出明显的优越性,但是对抗样本的出现使其鲁棒性受到严重威胁,对抗训练方法为深度神经网络提供了一种有效的保护策略,但是在有限标记样本下提高目标网络的鲁棒性和泛化能力仍然需要进一步研究.为此,本文提出了一种面向高光谱图像分类网络的对比半监督对抗训练方法.方法 首先,根据少量标记样本预训练目标模型,并同时利用少量标记样本和大量无标记样本构建训练样本集合;然后,通过最大化训练样本集合中干净样本和对抗样本在目标模型上的特征差异生成高迁移性对抗样本;最后,为了减少对抗训练过程对样本标签的依赖以及提高目标模型对困难对抗样本的学习和泛化能力,充分利用目标模型和预训练模型的输出层及中间层特征,构建对比对抗损失函数对目标模型进行优化,提高目标模型的对抗鲁棒性.对抗样本生成和目标网络优化过程交替进行,并且不需要样本标签的参与.结果 在PaviaU和Indian Pines两组高光谱图像数据集上与主流的5种对抗训练方法进行了比较,本文方法在防御已知攻击和多种未知攻击上均表现出明显的优越性.面对6种未知攻击,相比于监督对抗训练方法AT(adversarial training)和TRADES(trade-off between robustness and accuracy),本文方法分类精度在两个数据集上平均提高了 13.3％和16％,相比于半监督对抗训 练方法 SRT(semi-supervised robust training)、RST(robust self-training)和 MART(misclassification aware adversarial risk training),本文方法分类精度再两个数据集上平均提高了 5.6％和4.4％.实验结果表明了提出模型的有效性.结论 本文方法能够在少量标记样本下提高高光谱图像分类网络的防御性能.

    对抗防御高光谱图像分类半监督学习深度神经网络对抗攻击

      原文链接:
    • NETL
    • NSTL
    • 万方数据

    令牌损失信息的通用文本攻击检测

    陈宇涵杜侠王大寒吴芸...
    1875-1888页
    查看更多>>摘要：目的 文本对抗攻击主要分为实例型攻击和通用非实例型攻击.以通用触发器(universal trigger,UniTrig-ger)为代表的通用非实例型攻击对文本预测任务造成严重影响,该方法通过生成特定攻击序列使得目标模型预测精度降至接近零.为了抵御通用文本触发器攻击的侵扰,本文从图像对抗性样本检测器中得到启发,提出一种基于令牌损失权重信息的对抗性文本检测方法(loss-based detect universal adversarial attack,LBD-UAA),针对UniTrigger攻击进行防御.方法 首先LBD-UAA分割目标样本为独立令牌序列,其次计算每个序列的令牌损失权重度量值(token-loss value,TLV)以此建立全样本序列查询表.最后基于UniTrigger攻击的扰动序列在查询表中影响值较大,将全序列查询表输入设定的差异性检测器中通过阈值阀门进行对抗性文本检测.结果 通过在4个数据集上进行性能检测实验,验证所提出方法的有效性.结果 表明,此方法在对抗性样本识别准确率上高达97.17％,最高对抗样本召回率达到100％.与其他3种检测方法相比,LBD-UAA在真阳率和假阳率的最佳性能达到99.6％和6.8％,均实现大幅度超越.同时,通过设置先验判断将短样本检测的误判率降低约50％.结论 针对UniTrigger为代表的非实例通用式对抗性攻击提出LBD-UAA检测方法,并在多个数据集上取得最优的检测结果,为文本对抗检测提供一种更有效的参考机制.

    文本对抗样本通用触发器文本分类深度学习对抗性检测

      原文链接:
    • NETL
    • NSTL
    • 万方数据

    二维码掩膜下的稀疏对抗补丁攻击

    叶乙轩杜侠陈思朱顺痣...
    1889-1901页
    查看更多>>摘要：目的 传统的基于对抗补丁的对抗攻击方法通常将大量扰动集中于图像的掩膜位置,然而要生成难以察觉的扰动在这类攻击方法中十分困难,并且对抗补丁在人类感知中仅为冗余的密集噪声,这大大降低了其迷惑性.相比之下,二维码在图像领域有着广泛的应用,并且本身能够携带附加信息,因此作为对抗补丁更具有迷惑性.基于这一背景,本文提出了一种基于二维码掩膜的对抗补丁攻击方法.方法 首先获取目标模型对输入图像的预测信息,为提高非目标攻击的效率,设定伪目标标签.通过计算能够远离原标签同时靠近伪目标标签的梯度噪声,制作掩膜将扰动噪声限制在二维码的有色区域.同时,本文利用基于Lp-Box的交替方向乘子法(alternating direction method of multipliers,ADMM)算法优化添加扰动点的稀疏性,在实现高效攻击成功率的条件下保证二维码本身携带的原有信息不被所添加的密集高扰动所破坏,最终训练出不被人类察觉的对抗补丁.结果 使用ImageNet数据集分别在Inception-v3及ResNet-50(residual networks-50)模型上进行对比实验,结果表明,本文方法在非目标攻击场景的攻击成功率要比基于L∞的快速梯度符号法(fast gradient sign method,FGSM)、DeepFool和投影梯度下降(projected gradient descent,PGD)方法分别高出8.6％、14.6％和4.6％.其中,对抗扰动稀疏度L0和扰动噪声值在L2、L1、L∞范数指标上对比目前典型的攻击方法均取得了优异的结果.对于量化对抗样本与原图像的相似性度量,相比FSGM方法,在峰值信噪比(peak signal-to-noise ratio,PSNR)和相对整体维数综合误差(erreur relative globale adimensionnelle de synthèse,ERGAS)指标上,本文方法分别提高4.82 dB和576.3,并在可视化效果上实现真正的噪声隐蔽.同时,面对多种先进防御算法时,本文方法仍能保持100％攻击成功率的高鲁棒性.结论 本文提出的基于二维码掩膜的对抗补丁攻击方法于现实攻击场景中更具合理性,同时采用稀疏性算法保护二维码自身携带信息,从而生成更具迷惑性的对抗样本,为高隐蔽性对抗补丁的研究提供了新思路.

    对抗补丁稀疏噪声图像分类二维码非目标攻击

      原文链接:
    • NETL
    • NSTL
    • 万方数据

    小样本SAR图像分类方法综述

    王梓祺李阳张睿王家宝...
    1902-1920页
    查看更多>>摘要：合成孔径雷达(synthetic aperture radar,SAR)图像分类作为SAR图像应用的重要底层任务受到了广泛关注与研究.SAR图像分类是处理和分析遥感图像的重要手段,在环境监测、目标侦察和地质勘探等任务中发挥着关键作用,但是目前基于深度学习的SAR图像分类任务存在小样本问题.本文针对小样本SAR图像分类方法进行全面的论述和分析.1)介绍了 SAR图像分类任务的重要性和早期的SAR图像分类方法,并阐述了小样本SAR图像分类任务的必要性.2)介绍了小样本SAR图像分类任务的定义、常用的数据集、评价指标和应用.3)整理了各类方法的贡献点和使用的数据集,将已有的小样本SAR图像分类方法分为基于迁移学习的方法、基于元学习的方法、基于度量学习的方法和综合性方法4类.根据分类总结了4类方法存在的缺陷,为后续工作提供了一定的参考.在统一的框架内测试了 16种可见光数据集方法迁移到SAR图像数据集上的分类性能,并从分类精度和运行时间两个方面综合评估了小样本学习模型迁移效果.该项工作利用SAR图像分类通用数据集MSTAR(moving and stationary target acquisition and recognition)完成,极大地补充了小样本SAR图像分类任务的测评基准.4)对小样本SAR图像分类方法的发展趋势进行了展望,提出了未来可能的一些严峻挑战.

    小样本学习SAR图像分类迁移学习元学习度量学习

      原文链接:
    • NETL
    • NSTL
    • 万方数据

    三维步态识别研究进展

    沈澍张文昊丁浩张浩...
    1921-1933页
    查看更多>>摘要：步态识别在身份识别领域具有重要的研究意义.随着技术的发展,步态识别的研究热点正从二维(2D)转向三维(3D).与图像固有的2D信息相比,用视觉技术还原的3D信息能更有效地预测人员的身份.在2D视觉领域中,由于受到物体遮挡、视角变化等因素的影响,传统的步态识别方法在实际应用中难以取得理想的识别性能.基于人体3D重建和人体3D姿态估计等3D人体技术,近年来的研究在3D步态识别领域取得了一系列进展.本文介绍了 3D步态识别方法,探讨了基于3D步态的身份识别领域的研究现状、优势与不足;总结了主要的3D步态数据集;讨论了 3D识别方法与2D识别方法的对比;提出了 3D身份识别领域未来潜在的研究方向,包括3D数据集的采集和整理、2D和3D数据的多模态融合等.

    计算机视觉生物特征识别步态识别三维人体身份识别三维建模

      原文链接:
    • NETL
    • NSTL
    • 万方数据