首页期刊导航|中国图象图形学报
期刊信息/Journal information
中国图象图形学报
中国图象图形学报

李小文

月刊

1006-8961

jig@irsa.ac.cn

010-64807995 8261442

100101

北京9718信箱

中国图象图形学报/Journal Journal of Image and GraphicsCSCD北大核心CSTPCD
查看更多>>本刊是集计算机图象图形高科技理论与应用研究成果、成果产品化与商情动态于一体的综合性学术期刊。是核心期刊、权威性杂志。作为中国图象图形学学会的会刊，利用学会在国内外广泛的科技信息渠道、全方位多层面的学科交叉应用，积极向产业界宣传科技成果，热心向科技界推荐最新产品。
正式出版
收录年代

    对抗一致性约束的无监督域自适应绝缘子检测

    李梅玉李仕林赵明方正云...
    1148-1160页
    查看更多>>摘要：目的 绝缘子检测是输电线路智能巡维工作的重要组成部分,然而大多数情况仅能获得单一类型的绝缘子样本.将单一类型的绝缘子样本训练得到的模型直接用于其他类型的绝缘子检测,会由于训练数据与目标数据之间存在的域偏移导致其检测性能急剧下降.因此,提高模型的泛化能力以保持良好的检测性能显得尤为必要.为此,提出一种新颖的对抗一致性约束的无监督域自适应绝缘子检测算法.方法 对源域样本与目标域样本分别设计了两个不同的分类器,并将网络的预测结果与对应的绝缘子进行类别约束,使模型能够提取到不同类型绝缘子独有的特征.此外,在对抗学习过程中引入一个额外的分类器用于将源域中绝缘子特征与从目标域中预测到的目标物特征分到同一类别下,从而使模型能提取不同类型绝缘子共有的鲁棒性特征.结果 实验表明本文方法显著提高了模型的跨域检测性能.在glass→composite和composite→glass任务上的平均精度均值(mean average precision,mAP)分别达到55.1％和23.4％,优于主流的无监督域自适应目标检测方法.在公开数据集COCO(com-mon objects in context)上的实验结果也较为优异,平均精度均值(mean average precision,mAP)达到61.5％.消融实验中,在glass→composite和composite→glass任务上,本文方法在基准性能上分别提升了11.5％和6.4％,表明了所提方法的有效性.结论 本文方法减少了不同类型绝缘子间的差异带来的域偏移,提升了模型在跨域绝缘子检测任务中的泛化能力,提高了输电线路巡维工作的绝缘子检测效率.同时,在COCO数据集上的普适性实验表明本文方法同样适用于其他不同类物体的检测并且性能优异.

    无监督域自适应域偏移绝缘子检测对抗一致性鲁棒性特征

      原文链接:
    • NETL
    • NSTL
    • 万方数据
    • 维普

    注意力机制改进轻量SSD模型的海面小目标检测

    贾可心马正华朱蓉李永刚...
    1161-1175页
    查看更多>>摘要：目的 海面目标检测图像中的小目标数量居多,而基于深度学习的目标检测方法通常针对通用目标数据集设计检测模型,对图像中的小目标检测效果并不理想.使用一般目标检测模型检测海面目标图像的特征时,通常会出现小目标漏检情况,而一些特定的小目标检测模型对海面目标的检测效果还有待验证.为此,在标准的SSD(single shot multiBox detector)目标检测模型基础上,结合Xception深度可分卷积,提出一种轻量SSD模型用于海面目标检测.方法 在标准的SSD目标检测模型基础上,使用基于Xception网络的深度可分卷积特征提取网络替换VGG-16(Visual Geometry Group network-16)骨干网络,通过控制变量来对比不同网络的检测效果;在特征提取网络中的exit flow层和Conv1层引入轻量级注意力机制模块来提高检测精度,并与在其他层引入轻量级注意力机制模块的模型进行检测效果对比;使用注意力机制改进的轻量SSD目标检测模型和其他几种模型分别对海面目标检测数据集中的小目标和正常目标进行测试.结果 为证明本文模型的有效性,进行了多组对比实验.实验结果表明,模型轻量化导致特征表达能力降低,从而影响检测精度.相对于标准的SSD目标检测模型,本文模型在参数量降低16.26％、浮点运算量降低15.65％的情况下,浮标的平均检测精度提高了1.1％,漏检率减小了3％,平均精度均值(mean average precision,mAP)提高了0.51％,同时,保证了船的平均检测精度,并保证其漏检率不升高,在对数据集中的小目标进行测试时,本文模型也表现出较好的检测效果.结论 本文提出的海面小目标检测模型,能够在压缩模型的同时,保证模型的检测速度和检测精度,达到网络轻量化的效果,并且降低了小目标的漏检率,可以有效实现对海面小目标的检测.

    深度学习目标检测注意力机制深度可分卷积SSD海面小目标检测

      原文链接:
    • NETL
    • NSTL
    • 万方数据
    • 维普

    注意力引导网络的显著性目标检测

    何伟潘晨
    1176-1190页
    查看更多>>摘要：目的 全卷积模型的显著性目标检测大多通过不同层次特征的聚合实现检测,如何更好地提取和聚合特征是一个研究难点.常用的多层次特征融合策略有加法和级联法,但是这些方法忽略了不同卷积层的感受野大小以及产生的特征图对最后显著图的贡献差异等问题.为此,本文结合通道注意力机制和空间注意力机制有选择地逐步聚合深层和浅层的特征信息,更好地处理不同层次特征的传递和聚合,提出了新的显著性检测模型AGNet(at-tention-guided network),综合利用几种注意力机制对不同特征信息加权解决上述问题.方法 该网络主要由特征提取模块(feature extraction module,FEM)、通道—空间注意力融合模块(channel-spatial attention aggregation module,C-SAAM)和注意力残差细化模块(attention residual refinement module,ARRM)组成,并且通过最小化像素位置感知(pixel position aware,PPA)损失训练网络.其中,C-SAAM旨在有选择地聚合浅层的边缘信息以及深层抽象的语义特征,利用通道注意力和空间注意力避免融合冗余的背景信息对显著性映射造成影响;ARRM进一步细化融合后的输出,并增强下一个阶段的输入.结果 在5个公开数据集上的实验表明,AGNet在多个评价指标上达到最优性能.尤其在DUT-OMRON(Dalian University of Technology-OMRON)数据集上,F-measure指标相比于排名第2的显著性检测模型提高了1.9％,MAE(mean absolute error)指标降低了1.9％.同时,网络具有不错的速度表现,达到实时效果.结论 本文提出的显著性检测模型能够准确地分割出显著目标区域,并提供清晰的局部细节.

    显著性检测深度学习通道注意力空间注意力特征融合卷积神经网络(CNN)

      原文链接:
    • NETL
    • NSTL
    • 万方数据
    • 维普

    结合双模板融合与孪生网络的鲁棒视觉目标跟踪

    陈志良石繁槐
    1191-1203页
    查看更多>>摘要：目的 视觉目标跟踪算法主要包括基于相关滤波和基于孪生网络两大类.前者虽然精度较高但运行速度较慢,无法满足实时要求.后者在速度和精度方面取得了出色的跟踪性能,然而,绝大多数基于孪生网络的目标跟踪算法仍然使用单一固定的模板,导致算法难以有效处理目标遮挡、外观变化和相似干扰物等情形.针对当前孪生网络跟踪算法的不足,提出了一种高效、鲁棒的双模板融合目标跟踪方法(siamese tracker with double template fu-sion,Siam-DTF).方法 使用第1帧的标注框作为初始模板,然后通过外观模板分支借助外观模板搜索模块在跟踪过程中为目标获取合适、高质量的外观模板,最后通过双模板融合模块,进行响应图融合和特征融合.融合模块结合了初始模板和外观模板各自的优点,提升了算法的鲁棒性.结果 实验在3个主流的目标跟踪公开数据集上与最新的9种方法进行比较,在OTB2015(object tracking benchmark 2015)数据集中,本文方法的AUC(area under curve)得分和精准度分别为0.701和0.918,相比于性能第2的SiamRPN++(siamese region proposal network++)算法分别提高了0.6％和1.3％;在VOT2016(visual object tracking 2016)数据集中,本文方法取得了最高的期望平均重叠(expected average overlap,EAO)和最少的失败次数,分别为0.477和0.172,而且EAO得分比基准算法SiamR-PN++提高了1.6％,比性能第2的SiamMask_E算法提高了1.1％;在VOT2018数据集中,本文方法的期望平均重叠和精确度分别为0.403和0.608,在所有算法中分别排在第2位和第1位.本文方法的平均运行速度达到47帧/s,显著超出跟踪问题实时性标准要求.结论 本文提出的双模板融合目标跟踪方法有效克服了当前基于孪生网络的目标跟踪算法的不足,在保证算法速度的同时有效提高了跟踪的精确度和鲁棒性,适用于工程部署与应用.

    视觉目标跟踪(VOT)孪生网络特征融合双模板机制深度学习

      原文链接:
    • NETL
    • NSTL
    • 万方数据
    • 维普

    流形正则化约束的图像语义分割

    肖振久宗佳旭兰海魏宪...
    1204-1215页
    查看更多>>摘要：目的 在基于深度学习的图像语义分割方法中,损失函数通常只考虑单个像素点的预测值与真实值之间的交叉熵并对其进行简单求和,而引入图像像素间的上下文信息能够有效提高图像的语义分割的精度,但目前引入上下文信息的方法如注意力机制、条件随机场等算法需要高昂的计算成本和空间成本,不能广泛使用.针对这一问题,提出一种流形正则化约束的图像语义分割算法.方法 以经过数据集ImageNet预训练的残差网络(resid-ual network,ResNet)为基础,采用DeepLabV3作为骨架网络,通过骨架网络获得预测分割图像.进行子图像块的划分,将原始图像和分割图像分为若干大小相同的图像块.通过原始图像和分割图像的子图像块,计算输入数据与预测结果所处流形曲面上的潜在几何约束关系.利用流形约束的结果优化分割网络中的参数.结果 通过加入流形正则化约束,捕获图像中上下文信息,降低了网络前向计算过程中造成的本征结构的损失,提高了算法精度.为验证所提方法的有效性,实验在Cityscapes和PASCAL VOC 2012(pattern analysis,statistical modeling and computa-tional learning visual object classes)两个数据集上进行.在Cityscapes数据集中,精度值为78.0％,相比原始网络提高了0.5％;在PASCAL VOC 2012数据集中,精度值为69.5％,相比原始网络提高了2.1％.同时,在Cityscapes数据集中进行对比实验,验证了算法的有效性,对比实验结果证明提出的算法改善了语义分割的效果.结论 本文提出的语义分割算法在不提高推理网络计算复杂度的前提下,取得了较好的分割精度,具有极大的实用价值.

    深度学习语义分割残差网络(ResNet)上下文信息捕捉流形正则化

      原文链接:
    • NETL
    • NSTL
    • 万方数据
    • 维普

    空洞可分离卷积和注意力机制的实时语义分割

    王囡侯志强蒲磊马素刚...
    1216-1225页
    查看更多>>摘要：目的 为满足语义分割算法准确度和实时性的要求,提出了一种基于空洞可分离卷积模块和注意力机制的实时语义分割方法.方法 将深度可分离卷积与不同空洞率的空洞卷积相结合,设计了一个空洞可分离卷积模块,在减少模型计算量的同时,能够更高效地提取特征;在网络输出端加入了通道注意力模块和空间注意力模块,增强对特征的通道信息和空间信息的表达并与原始特征融合,以进一步提高特征的表达能力;将融合的特征上采样到原图大小,预测像素类别,实现语义分割.结果 在Cityscapes数据集和CamVid数据集上进行了实验验证,分别取得70.4％和67.8％的分割精度,速度达到71帧/s,而模型参数量仅为0.66 M.在不影响速度的情况下,分割精度比原始方法分别提高了1.2％ 和1.2％,验证了该方法的有效性.同时,与近年来的实时语义分割方法相比也表现出一定优势.结论 本文方法采用空洞可分离卷积模块和注意力模块,在减少模型计算量的同时,能够更高效地提取特征,且在保证实时分割的情况下提升分割精度,在准确度和实时性之间达到了有效的平衡.

    实时语义分割深度可分离卷积空洞卷积通道注意力空间注意力

      原文链接:
    • NETL
    • NSTL
    • 万方数据
    • 维普

    自适应多任务学习的自动艺术分析

    杨冰向学勤孔万增施妍...
    1226-1237页
    查看更多>>摘要：目的 艺术品数字化为从计算机视觉角度对艺术品研究提供了巨大机会.为更好地为数字艺术品博物馆提供艺术作品分类和艺术检索功能,使人们深入理解艺术品内涵,弘扬传统文化,促进文化遗产保护,本文将多任务学习引入自动艺术分析任务,基于贝叶斯理论提出一种原创性的自适应多任务学习方法.方法 基于层次贝叶斯理论利用各任务之间的相关性引入任务簇约束损失函数模型.依据贝叶斯建模方法,通过最大化不确定性的高斯似然构造多任务损失函数,最终构建了一种自适应多任务学习模型.这种自适应多任务学习模型能够很便利地扩展至任意同类学习任务,相比其他最新模型能够更好地提升学习的性能,取得更佳的分析效果.结果 本文方法解决了多任务学习中每个任务损失之间相对权重难以决策这一难题,能够自动决策损失函数的权重.为了评估本文方法的性能,在多模态艺术语义理解SemArt数据库上进行艺术作品分类以及跨模态艺术检索实验.艺术作品分类实验结果表明,本文方法相比于固定权重的多任务学习方法,在"时间范围"属性上提升了4.43％,同时本文方法的效果也优于自动确定损失权重的现有方法.跨模态艺术检索实验结果也表明,与使用"作者"属性的最新的基于知识图谱模型相比较,本文方法的改进幅度为9.91％,性能与分类的结果一致.结论 本文方法可以在多任务学习框架内自适应地学习每个任务的权重,与目前流行的方法相比能显著提高自动艺术分析任务的性能.

    自动艺术分析自适应多任务学习贝叶斯理论艺术分类跨模态艺术检索

      原文链接:
    • NETL
    • NSTL
    • 万方数据
    • 维普

    注意力机制的曲面沉浸式投影系统补偿

    雷清桦杨婷程鹏
    1238-1250页
    查看更多>>摘要：目的 沉浸式投影系统已广泛运用于虚拟现实系统之中,然而沉浸式投影系统中的互反射现象严重影响着虚拟现实系统的落地使用.沉浸式投影系统的互反射是指由于投影机光线和屏幕反射光线相互叠加造成的亮度冗余现象,严重影响了投影系统的成像质量和人眼的视觉感受.为此,本文提出一种新的基于互反射通道(inter-reflection channel,IRC)先验和注意力机制的神经网络.方法 IRC先验基于这样一个事实,即大多数受到互反射影响的投影图像都包含一些亮度较高的区域.高亮度区域往往受互反射影响更为严重,而低亮度区域受互反射影响程度较低.根据这一规律,采用IRC先验作为注意力图的监督样本,获取补偿图像的亮度区域信息.同时,为了对投影图像不同区域按影响程度进行差异化补偿,提出一种新的由两个相同子网络构成的补偿网络结构Pair-Net.结果 实验对比了4种现有方法,Pair-Net在ROI(region of interesting)指标分析上取得了明显优势,在人眼感受上有显著的效果提升.结论 本文提出的基于注意力机制的网络模型能够针对不同区域进行差异化补偿,很大程度上消除了互反射影响,提升了沉浸式投影系统的成像质量.

    沉浸式投影系统互反射补偿深度学习注意力机制虚拟现实

      原文链接:
    • NETL
    • NSTL
    • 万方数据
    • 维普

    遥感影像空间分治快速匹配

    卫春阳乔彦友
    1251-1263页
    查看更多>>摘要：目的 图像匹配是遥感图像镶嵌拼接的重要环节,图像匹配技术通常采用两步法,首先利用高维描述子的最近和次近距离比建立初始匹配,然后通过迭代拟合几何模型消除错误匹配.尽管外点过滤算法大幅提高了时间效率,但其采用传统的两步法,构建初始匹配的方法仍然非常耗时,导致整个遥感图像拼接的速度提升仍然有限.为了提高遥感图像匹配的效率,本文提出了一种基于空间分治思想的快速匹配方法.方法 首先,通过提取图像的大尺度特征生成少量的初始匹配,并基于初始匹配在两幅图像之间构建成对的分治空间中心点;然后,基于范围树搜索分治空间中心点一定范围内的相邻特征点,构造成对分治空间点集;最后,在各个分治空间点集内分别进行遥感图像特征的匹配.结果 通过大量不同图像尺寸和相对旋转的遥感图像的实验表明,与传统的和其他先进方法相比,本文方法在保证较高精度的同时将匹配时间缩短到1/1001/10.结论 利用初始种子匹配构建分治匹配中心以将图像匹配分解在多个子区间进行的方法有助于提高遥感影像匹配的效率,该算法良好的时间性能对实时遥感应用具有实际价值.

    图像匹配遥感影像空间分治区域树空间结构

      原文链接:
    • NETL
    • NSTL
    • 万方数据
    • 维普

    结合门循环单元和生成对抗网络的图像文字去除

    王超群全卫泽侯诗玉张晓鹏...
    1264-1276页
    查看更多>>摘要：目的 图像文本信息在日常生活中无处不在,其在传递信息的同时,也带来了信息泄露问题,而图像文字去除算法很好地解决了这个问题,但存在文字去除不干净以及文字去除后的区域填充结果视觉感受不佳等问题.为此,本文提出了一种基于门循环单元(gate recurrent unit,GRU)的图像文字去除模型,可以高质量和高效地去除图像中的文字.方法 通过由门循环单元组成的笔画级二值掩膜检测模块精确地获得输入图像的笔画级二值掩膜;将得到的笔画级二值掩膜作为辅助信息,输入到基于生成对抗网络的文字去除模块中进行文字的去除和背景颜色的回填,并使用本文提出的文字损失函数和亮度损失函数提升文字去除的效果,以实现对文字高质量去除,同时使用逆残差块代替普通卷积,以实现高效率的文字去除.结果 在1080组通过人工处理得到的真实数据集和使用文字合成方法合成的1000组合成数据集上,与其他3种文字去除方法进行了对比实验,实验结果表明,在峰值信噪比和结构相似性等图像质量指标以及视觉效果上,本文方法均取得了更好的性能.结论 本文提出的基于门循环单元的图像文字去除模型,与对比方法相比,不仅能够有效解决图像文字去除不干净以及文字去除后的区域与背景不一致问题,并能有效地减少模型的参数量和计算量,最终整体计算量降低了72.0％.

    文字去除门循环单元(GRU)生成对抗网络(GAN)逆残差块图像修复

      原文链接:
    • NETL
    • NSTL
    • 万方数据
    • 维普