首页期刊导航|中国图象图形学报
期刊信息/Journal information
中国图象图形学报
中国图象图形学报

李小文

月刊

1006-8961

jig@irsa.ac.cn

010-64807995 8261442

100101

北京9718信箱

中国图象图形学报/Journal Journal of Image and GraphicsCSCD北大核心CSTPCD
查看更多>>本刊是集计算机图象图形高科技理论与应用研究成果、成果产品化与商情动态于一体的综合性学术期刊。是核心期刊、权威性杂志。作为中国图象图形学学会的会刊，利用学会在国内外广泛的科技信息渠道、全方位多层面的学科交叉应用，积极向产业界宣传科技成果，热心向科技界推荐最新产品。
正式出版
收录年代

    真实场景图像去模糊:挑战与展望

    王珮朱宇闫庆森孙瑾秋...
    3501-3528页
    查看更多>>摘要：图像去模糊是计算机视觉的基础任务,对医学影像、监控摄像及卫星图像等领域具有重要意义.对于真实场景去模糊任务,由于场景内可能存在多个目标以及复杂的运动,成像过程容易受到许多外界因素的干扰,例如噪声、光照等,使图像去模糊问题更复杂.早期的研究主要针对仿真降质,但由于仿真模型受到多种假设限制,例如高斯噪声和全局一致运动等,难以在真实场景下展现出良好的复原效果.因此,越来越多的学者着手研究真实场景去模糊问题,以提升去模糊方法在现实生活中的使用价值.当前对真实场景下去模糊问题的综述性研究尚处于空白阶段,为此本文对真实场景去模糊任务进行了系统调研,分析其中存在的挑战,从降质模型的角度出发,由浅入深,由易到难,将真实场景下的去模糊问题拆解开,归纳为单一模糊去除方法、复合模糊去除方法以及真实场景下未知模糊去除方法,全方位描述了当前学术界在该问题上的研究内容和方法,总结和对比了各类方法的优缺点,阐述了阻碍复原性能进一步提升的难点问题,并对常用的一些数据集和评价指标进行了整理总结.最后,对真实场景去模糊任务的未来发展前景和研究热点进行了展望,并给出了可能的解决方法.

    图像去模糊真实场景非均匀模糊复合模糊未知降质表征

      原文链接:
    • NETL
    • NSTL
    • 万方数据

    基于深度学习的遮挡人体姿态估计进展综述

    徐琳皓赵林孙辛欣颜克冬...
    3529-3542页
    查看更多>>摘要：人体姿态估计(human pose estimation,HPE)是计算机视觉中的一项基本任务,旨在从给定的图像中获取人体关节的空间坐标,在动作识别、语义分割、人机交互和人员重新识别等方面得到了广泛应用.随着深度卷积神经网络(deep convolutional neural network,DCNN)的兴起,人体姿态估计取得了显著进展.然而,尽管取得了不错的成果,人体姿态估计仍然是一项具有挑战性的任务,特别是在面对复杂姿态、关键点尺度的变化和遮挡等因素时.为了总结关于遮挡的人体姿态估计技术的发展,本文系统地概述了自2018年以来的代表性方法,根据神经网络包含的训练数据、模型结构以及输出结果,将方法细分为基于数据增广(data augmentation)的预处理、基于特征区分的结构设计和基于人体先验的结果优化3类.基于数据增广方法通过生成遮挡的数据来增加训练样本;基于特征区分的方法通过利用注意力机制等方式来减少干扰特征;基于人体结构先验的方法通过利用人体结构先验来优化遮挡姿态.同时,为了更好地评测遮挡方法的性能,重新标注了 MSCOCO(Microsoft common objects in context)va12017数据集.最后,对各种方法进行了对比和总结,阐明了它们在面对遮挡时性能的优劣.此外,在此基础上总结和讨论了遮挡情况下人体姿态估计困难的原因以及该领域未来的发展趋势.

    人体姿态估计(HPE)遮挡数据增广人体结构先验遮挡标注数据不足

      原文链接:
    • NETL
    • NSTL
    • 万方数据

    深度学习的跨视角地理定位方法综述

    周博文李阳马鑫骥苗壮...
    3543-3563页
    查看更多>>摘要：跨视角地理定位技术是计算机视觉领域中的重要问题之一,因其可在缺乏卫星定位环境中实现实时定位,一直受到图像配准、导航定位和图像检索等诸多领域的关注.传统的跨视角地理定位方法采用手工特征进行特征抽取,导致定位精度受限.随着深度学习技术的发展,深度学习的跨视角地理定位方法成为当前的主流技术.但由于跨视角地理定位任务涉及多个步骤、迁移知识广泛,因此本领域仍缺少相关综述.本文首次从跨视角地理定位任务框架的视角,对当前深度学习的跨视角地理定位方法进行全面综述.在问题概述的基础上,对数据预处理、深度学习网络、特征注意力模块和损失函数等技术的发展进行了归纳总结.通过对近百篇高影响力文献的梳理,本文总结出跨视角地理定位任务的特性和改进思路,有助于启发研究者设计新方法.此外,还在两个具有代表性的数据集上分别测试了 10种不同深度学习的跨视角地理定位方法.从实验精度、模型的参数量和推理速度3个方面综合评估了现有方法的性能.最后,基于对上述跨视角地理定位方法的归纳分析,本文结合实际应用指出该领域存在的一些问题,并对未来发展趋势进行讨论,希望为该领域感兴趣的学者提供参考.

    跨视角地理定位图像检索深度学习注意力无人机

      原文链接:
    • NETL
    • NSTL
    • 万方数据

    面向军用车辆细粒度检测的遥感图像数据集构建与验证

    柏栋于英宋亮程彬彬...
    3564-3577页
    查看更多>>摘要：目的 细粒度军事目标数据集是实现现代战争目标自动分类的重要支撑数据之一.当前缺乏高质量的细粒度军事目标遥感图像数据集,制约了军事目标自动精准检测的研究.为此,本文收集并标注了一个新的军用车辆细粒度检测遥感图像数据集MVRSD(military vehicle remote sensing dataset),并基于此设计了一种基于YOLOv5s(you only look once)的改进模型来提高军用车辆目标检测性能.方法 该数据集来源于谷歌地球数据,收集了亚洲、北美洲和欧洲范围内40多个军事场景下的3 000幅遥感图像,包含多个国家和地区的军用车辆目标.经高质量人工水平边界框标注,最终形成包含5个类别共计32 626个实例的军用车辆细粒度检测遥感图像数据集.针对遥感图像中军用车辆识别难题,本文提出的基准模型考虑了遥感军用车辆目标较小、形状和外观较为模糊以及类间相似性、类内差异性大的特点,设计了基于目标尺寸的跨尺度检测头和上下文聚合模块,提升细粒度军用车辆目标的检测性能.结果 提出的基准模型在军用车辆细粒度检测遥感图像数据集上的实验表明,对比经典的目标检测模型,新基准模型在平均精度均值(mean average precision,mAP)指标上提高了 1.1％.结论 本文构建的军用车辆细粒度检测遥感图像数据集为军事目标自动分类算法的研究提供了参考与支持,有助于更为全面地研究遥感图像中军用车辆目标的特性.数据集及检测基准模型地址为:https://github.com/baidongls/MVRSD.

    目标检测军用车辆数据集高分辨率遥感细粒度深度学习

      原文链接:
    • NETL
    • NSTL
    • 万方数据

    正则化权值自适应的相对全变分图像平滑

    崔鹏梁皓涵王志强刘婷婷...
    3578-3594页
    查看更多>>摘要：目的 针对目前已有的纹理结构滤波方法存在无法有效保证在滤除纹理的同时保持结构稳定的问题,提出一种正则化权值自适应的相对全变分图像平滑算法.方法 首先,提出一种具有纹理抑制和结构保持的多尺度区间圆形梯度算子,其中引入了定向各向异性结构度量框架,提高了纹理—结构间的区分度.随后,利用高斯混合模型和EM(expectation maximization)算法实现纹理层和结构层的分离.最后,根据纹理和结构之间的差异性,对相对全变分模型中的正则化项进行自适应设置,使之可以在纹理区域利用大权重的正则化权值进行纹理抑制;在结构区域利用小权重的正则化权值进行结构保持.结果 在视觉层面上,通过测试油画、十字绣、涂鸦、壁画和自然场景类型图像,并与已有的主流纹理结构滤波方法进行比较,本文算法不仅可以有效地抑制强梯度纹理,还可以保持弱梯度结构边缘的稳定;在定量度量方面,通过JPG格式图像压缩痕迹去除和高斯噪声图像平滑,并与相对全变分、滚动引导图像滤波、双边纹理滤波、尺度感知纹理滤波和L.梯度最小化等方法进行关于峰值信噪比(peak signal-to-noise ratio,PSNR)和结构相似度(structural similarity index,SSIM)指标的比较,本文方法均取得最大值.此外,本文方法将所生成的滤波结果应用于图像风格化、细节增强和超像素分割,效果具有一定改进和提升.结论 相较于已有的纹理结构滤波方法,本文方法在强梯度纹理抑制和精细结构保持方面更具优势,为后续图像处理奠定坚实的基础.

    图像平滑纹理滤波相对全变分多尺度正则项自适应

      原文链接:
    • NETL
    • NSTL
    • 万方数据

    匹配对聚类的图像复制粘贴篡改检测

    蔺聪黄轲温雅敏卢伟...
    3595-3611页
    查看更多>>摘要：目的 图像篡改检测主要分为图像区域复制篡改、图像拼接和对象移除3个方向,其中图像复制粘贴篡改是图像篡改检测的重要研究方向之一.针对目前大多数复制粘贴篡改检测方法难以检测平滑和小的篡改区域,且虚警率较高等问题,提出了一种基于匹配对的密度聚类MP-DBSCAN(matched pairs——density based spatial cluster-ing of applications with noise)和点密度过滤策略的图像复制粘贴篡改检测方法.方法 首先,在图像中提取大量关键点,根据关键点的灰度值分组后进行匹配.其次,提出了一种改进的密度聚类算法MP-DBSCAN,聚类对象为匹配对的一侧,并利用匹配对的另一侧约束聚类过程,即使篡改区域在空间上距离较近,或者篡改区域存在多个的情况,也能把不同的篡改区域较好地区分开来.此外,本文还提出了一种点密度过滤策略,通过删除低密度簇,降低了检测结果的虚警率.最后,通过估计仿射矩阵并使用ZNCC(zero-mean normalized cross-correlation)算法定位篡改区域.结果 消融实验表明了MP-DBSCAN算法和点密度过滤策略的有效性.在FAU、MICC-F600、GRIP和CASIAv2.0这4个数据集上与几个经典的和新颖的检测方法进行了对比实验,本文方法的F1在4个数据集上像素层的实验结果分别是0.914 3、0.890 6、0.939 1和0.856 8.结论 本文提出的MP-DBSCAN聚类算法和点密度过滤策略能有效提高检测算法的性能,即使篡改区域经过旋转、缩放、压缩和添加噪声等处理,本文方法依然能够检测出大部分的篡改区域,性能优于当前的检测算法.

    多媒体取证图像取证图像篡改检测复制粘贴篡改基于密度的带噪声空间聚类(DBSCAN)

      原文链接:
    • NETL
    • NSTL
    • 万方数据

    面向点云几何压缩的隐式编码网络

    陈佳慧方广驰李浩然张晔...
    3612-3627页
    查看更多>>摘要：目的 现有点云几何压缩算法通常将点云转换为八叉树或带潜在特征的稀疏点,从而提高数据结构的存储效率.这些方法将点云量化至三维网格点,导致点云所在表面的精度受限于量化分辨率.针对这一问题,本文将点云转化为连续的隐式表征,提出一种基于隐式表征的点云几何压缩算法框架,以克服量化分辨率对压缩质量的不利影响.方法 该框架由基于符号对数距离场的隐式表征与带乘性分支结构的神经网络组成.具体来说,本文在编码阶段利用神经网络拟合隐式表征,并对该网络进行模型压缩,然后在解码阶段结合改进的Marching Cube(MC)算法重建点云所在表面,采样恢复点云数据.结果 本文在ABC(a big CAD model dataset)、Famous与MPEG PCC(MPEG point cloud compression dataset)数据集上进行了点云表面压缩实验.与基准算法 INR(implicit neural repre-sentations for image compression)相比,本文算法的LI倒角损失平均下降了 12.4％,Normal Consistency与F-score指标平均提升了 1.5％与13.6％,压缩效率随模型参数量增大而提升,平均增幅为12.9％.与几何压缩标准算法G-PCC(geometry-based point cloud compression)相比,本文算法在存储大小为10 KB下依然保持55 dB以上的D1-PSNR重建性能,有效压缩上限高于G-PCC.此外,消融实验分别验证了本文提出的隐式表征和神经网络结构的有效性.结论 实验结果表明,本文提出的点云压缩算法克服了现有算法的分辨率限制,不仅提升了表面重建精度,而且提升了点云表面的压缩效率与有效压缩上限.

    点云几何压缩隐式表征三维重建模型压缩表面提取算法

      原文链接:
    • NETL
    • NSTL
    • 万方数据

    引入余弦空间相关性的两阶段滤波器剪枝

    廖威李光辉代成龙张飞飞...
    3628-3643页
    查看更多>>摘要：目的 深度神经网络在图形图像、计算机视觉等众多应用领域取得了令人瞩目的效果,但是一直以来深度学习网络模型由于其庞大的计算量以及存储资源而无法部署在资源受限的嵌入式设备端.为了解决模型所需的计算资源和嵌入式设备资源受限之间的矛盾,提出了一种引入余弦空间相关的两阶段滤波器剪枝方法,旨在利用滤波器间的空间相关性实现更优的剪枝方式.方法 在预剪枝阶段引入L范数记录下范数值最高的滤波器,本文称为关键滤波器;在剪枝阶段引入余弦距离保留和关键滤波器空间相关性高的滤波器.结果 本文提出的剪枝方法在CIFAR(Canadian Institute for Advanced Research)数据集上取得了优于其他对比方法的效果,在CIFAR10数据集上将VGG(Visual Geometry Group)16的参数量和浮点运算量分别压缩了 72.9％和73.5％,同时模型精度提升了 0.1％.对于高效的残差网络ResNet(residual neural network)56和深度可分离网络MobileNet VI也可以有效地压缩,该方法在CIFAR100数据集上对ResNet56网络在更高的压缩率下实现了更小的精度损失(精度提升0.48％).对于MobileNet V1网络,压缩了46.89％的参数量和46.23％的浮点运算量,而模型精度提升了0.11％.结论 引入余弦空间相关性的两阶段滤波器剪枝策略避免了网络剪枝中"衡量指标小,则衡量对象不重要"和"相似即冗余"两种假设不成立而导致模型陷入次优结果,从滤波器空间的角度挖掘相关性,在保证模型准确率的前提下能够压缩更多的参数量和浮点运算量.

    深度学习神经网络模型压缩余弦距离滤波器剪枝

      原文链接:
    • NETL
    • NSTL
    • 万方数据

    三元组约束的类通用扰动人脸图像去识别方法

    王慧娇熊卓管军霖蔡鼎...
    3644-3656页
    查看更多>>摘要：目的 人脸图像去识别是保护人脸隐私的一种手段,类通用扰动作为人脸图像去识别的一种方法,为每个用户生成专属扰动来抵御深度人脸识别系统的恶意分析行为.针对现有类通用扰动方法存在用户训练数据不足的问题以及进一步提升扰动保护效果的需要,提出基于三元组损失约束的类通用扰动生成方法,同时引入一种基于特征子空间方法扩充训练数据构建三元组所需的负样本.方法 首先将深度神经网络提取的用户人脸图像特征作为正样本,然后对单个用户所有正样本进行仿射组合构建特征子空间,再结合凸优化方法训练样本远离特征子空间,生成负样本扩充训练数据.之后对原始图像叠加随机扰动,提取特征得到待训样本.利用三元组函数约束扰动训练过程,使待训样本远离正样本的同时靠近负样本,并以余弦距离作为指标计算损失值.对训练生成的扰动施加一个缩放变换,得到用户的类通用扰动.结果 针对具有不同损失函数(ArcFace、SFace和CosFace)和网络架构(SENet、MobileNet和IResNet)的6个人脸识别模型在2个数据集上进行实验,与相关的4种方法进行比较均取得了最优效果.在Privacy-Commons和Privacy-Celebrities数据集上,相比已知最优的方法,扰动训练效率平均提升了66.5％,保护成功率平均提升了 5.76％.结论 本文提出的三元组约束扰动生成方法,在兼顾扰动生成效率的同时,既缓解了训练样本不足的问题,又使类通用扰动综合了梯度攻击信息和特征攻击信息,提升了人脸隐私保护效果.

    类通用扰动三元组约束人脸图像去识别数据扩充人脸隐私保护

      原文链接:
    • NETL
    • NSTL
    • 万方数据

    结合双视通路与尺度信息融合的轮廓检测方法

    杜仕荣范影乐蔡哲飞房涛...
    3657-3669页
    查看更多>>摘要：目的 考虑到图像信息在视觉通路中的表征是多尺度的,为了实现自然场景下多对比度分布图像的轮廓检测任务,提出了一种基于双视通路尺度信息融合的轮廓检测新方法.方法 首先构建对亮度信息敏感和对颜色信息敏感的大细胞(M)、小细胞(P)并行通路,构建不同尺度的感受野模拟神经节细胞对刺激的模糊和精细感知,使用亮度对比度和色差信息指导不同尺度感受野响应的自适应融合,使其能够充分提取亮度轮廓和颜色轮廓.其次结合外膝体(lateral geniculate nucleus,LGN)多尺度方向差异编码与多尺度朝向选择性抑制方法,构建显著轮廓提取模型,实现轮廓区域的增强以及背景纹理的抑制.最后将加工后的亮度轮廓和颜色轮廓前馈至初级视皮层(V1)区,构建双通道响应权重调节模型整合M、P通路所得信息,进一步丰富轮廓.结果 本文使用BSDS500(berkeley segmentation data set)图像库和NYUD(New York University-depth)图像库对提出的算法进行验证,其中在BSDS500图像库的最优平均准确率(average precision,AP)指标为 0.74,相对于 SCSI(subfield-based center-surround inhibition)、BAR(bilateral asymmetric receptive)和 SED(surround-modulated edge detection)等基于生物视觉机制的检测方法有4％～13％的提升,所得结果轮廓图也更为连续、准确.结论 本文利用M、P双通路机制以及亮度信息和颜色信息在前端视觉通路中的编码过程实现轮廓信息的加工与提取,可以有效实现自然图像的轮廓检测,尤其是对于图像中的细微轮廓边缘的检测,也为研究更高级皮层中视觉信息机制提供新的思路.

    轮廓检测双视通路多尺度自适应融合方向差异

      原文链接:
    • NETL
    • NSTL
    • 万方数据