首页期刊导航|中国图象图形学报
期刊信息/Journal information
中国图象图形学报
中国图象图形学报

李小文

月刊

1006-8961

jig@irsa.ac.cn

010-64807995 8261442

100101

北京9718信箱

中国图象图形学报/Journal Journal of Image and GraphicsCSCD北大核心CSTPCD
查看更多>>本刊是集计算机图象图形高科技理论与应用研究成果、成果产品化与商情动态于一体的综合性学术期刊。是核心期刊、权威性杂志。作为中国图象图形学学会的会刊，利用学会在国内外广泛的科技信息渠道、全方位多层面的学科交叉应用，积极向产业界宣传科技成果，热心向科技界推荐最新产品。
正式出版
收录年代

    面向混沌图像加密系统的密文分析方法

    常晓琦王明合游大涛武相军...
    1934-1947页
    查看更多>>摘要：目的 密文评估方法在衡量和增强混沌图像加密系统的安全性方面发挥着至关重要的作用.现有以密钥空间、密文密钥敏感性、像素个数变化率和统一平均变化强度等为代表的评估方法虽无法保证通过测试的加密系统一定具有非常高的安全性.而以选择明文攻击为代表的分析方法,与前者相比缺乏通用性和一致性,需要针对不同的加密系统设计不同的攻击方案.针对上述问题,本文基于深度学习模型面向混沌图像加密系统提出了一种兼具通用性和有效性的密文评估方法.方法 该方法的核心思路是以降噪自编码器为基础模型,使用编码器分别对图像加密方法中的扩散密文、置乱密文和完整加密密文进行深度表示,然后使用解码器以上述深度表示为输入生成相应的不同明文,最后统计该明文与真实明文间的结构相似度作为度量加密方法抵抗密码学常用攻击手段能力的量化指标.对于一个加密方法来说,不仅其完整加密密文必须完全不可破译,而且其置乱阶段和扩散阶段的密文中也必须有一项是完全不可破译的,否则表明加密方法存在严重的安全缺陷.另外,密文数据集是影响上述方法有效性的关键因素.针对该问题,本文提出了一种相关性密文生成方法,该方法充分利用了明文敏感性密钥的特性,确保了生成的密文和本文评估方法的真实性和有效性.结果 本文以Arnold置乱、2D-SCL(2D chaotic map based on the sine map,the chebyshev map and a linear function)加密和基于二维交叉混沌映射的量子加密为例对提出的密文评估方法进行了 实验验证,实验中用到的数据集分别是 MNIST(modified national institute of standards and technology data-base)和Fashion-MNIST.实验结果显示,本文提出的密文分析模型对上述加密方法及其各个阶段生成的密文图像表现出不同的密文分析能力:对Arnold置乱、2D-SCL扩散和量子bite置乱的密文来说,破译图像与真实图像间结构相似性指数(structural similarity,SS1M)的值均大于0.6;虽然在其他阶段的密文分析方面的效果较低,但也能破译出部分关键明文信息,呈现出较高的结构相似度.结论 本文提出的密文图像分析方法通过客观的评价指标数据,能够有效地评估加密方法的安全性,为提升混沌图像加密方法的安全性提供了直观有效的量化依据,具有较高的指导意义.

    图像安全密文分析混沌图像加密系统明文敏感性深度学习降噪自编码器

      原文链接:
    • NETL
    • NSTL
    • 万方数据

    面向虚拟视点绘制空洞填充的渐进式迭代网络

    刘家希周洋林坤殷海兵...
    1948-1959页
    查看更多>>摘要：目的 基于深度图像的绘制(depth image based rendering,DIBR)是合成虚拟视点图像的关键技术,但在绘制过程中虚拟视图会出现裂纹和空洞问题.针对传统算法导致大面积空洞区域像素混叠和模糊的问题,将深度学习模型应用于虚拟视点绘制空洞填充领域,提出了面向虚拟视点绘制空洞填充的渐进式迭代网络.方法 首先,使用部分卷积对大面积空洞进行渐进修复.然后采用U-Net网络作为主干对空洞区域进行编解码操作,同时嵌入知识一致注意力模块加强网络对有效特征的利用.接着通过加权合并方法来融合每次渐进式迭代生成的特征图,保护早期特征不被破坏.最后结合上下文特征传播损失提高网络匹配过程中的鲁棒性.结果 在微软实验室提供的2个多视点3D(three-dimension)视频序列以及4个3D-HEVC(3D high efficiency video coding)序列上进行定量与定性评估实验,以峰值信噪比(peak signal-to-noise ratio,PSNR)和结构相似性(structural similarity,SSIM)作为指标.实验结果表明,本文算法在主观和客观上均优于已有方法.相比于性能第2的模型,在Ballet、Breakdancers、Lovebird 1和Poznan_Street 数据集上,本文算法的 PSNR 提升了 1.302 dB、1.728 dB、0.068 dB 和 0.766 dB,SSIM 提升了 0.007、0.002、0.002 和 0.033;在 Newspaper 和 Kendo 数据集中,PSNR 提升了 0.418 dB 和 0.793 dB,SSIM 提升了 0.011 和0.007.同时进行消融实验验证了本文方法的有效性.结论 本文提出的渐进式迭代网络模型,解决了虚拟视点绘制空洞填充领域中传统算法过程烦琐和前景纹理渗透严重的问题,取得了极具竞争力的填充结果.

    虚拟视点绘制空洞填充注意力特征提取多视点视频加深度

      原文链接:
    • NETL
    • NSTL
    • 万方数据

    结合注意力机制和编码器—解码器架构的化学结构识别方法

    曾水玲李昭贤张嘉雄丁龙飞...
    1960-1969页
    查看更多>>摘要：目的 化学结构识别是化学和计算机视觉领域的一个重要问题,传统光学化学结构识别技术在复杂化学结构识别任务中易发生信息丢失或误识别的现象,同时又因为化学物质的结构多样性常导致其无法解析,识别效果不佳.而基于深度学习的模型通常具有网络结构复杂度高、上下文信息易丢失和识别率低的问题.为此,提出一种结合注意力机制和编码器—解码器架构的化学结构识别方法.方法 首先,使用改进的ResNet50(residual network)作为特征提取器抓取表征信息;其次,使用BLSTM(bi-directional long-short term memory)作为行编码器为ResNet50提取的表征信息加强空间信息;最后,使用去填充模块和基于覆盖注意力机制的LSTM(long short-term memory)网络作为模型解码器,对化学结构图像进行解码,将编码结果解码为SMILES(simplified molecular input line entry system)序列.结果 在 Indigo、ChemDraw、CLEF(Conference and Labs of the Evaluation Forum)、JPO(Japanese Patent Office)、UOB(University of Birmingham)、USPTO(United States Patent and Trademark Office)、Staker、ACS(American Chemistry Society)、CASIA-CSDB(Institute of Automation of Chinese Academy of Sciences—Chemical Structure Database)和 Mini CASIA-CSDB 数据集上,所提方法识别准确率分别为 71.1％、70.21％、45.8％、30.3％、53.02％、58.21％、43.39％、46.3％、84.42％和85.78％,高于SwimOCSR、Image2Mol和ChemPix模型得分.结论 与其他模型相比,本文方法通过少量训练集能够获得较高的识别准确率.

    化学结构识别编码器—解码器注意力机制残差网络SMILES(simplifiedmolecularinputlineentrysystem)

      原文链接:
    • NETL
    • NSTL
    • 万方数据

    自适应IoU损失和层级关联的多目标跟踪

    郭文刘其贵丁昕苗
    1970-1983页
    查看更多>>摘要：目的 针对模糊行人特征造成身份切换的问题和复杂场景下目标之间遮挡造成跟踪精度降低的问题,提出AIoU-Tracker多目标跟踪算法.方法 首先根据骨干网络检测头设计了一个特殊的AIoU(adaptive intersection over union)回归损失函数,从重叠面积、中心点距离和纵横比3个方面去衡量,缓解了由于模糊行人特征判别性不足造成的身份切换现象;其次提出了一种简单有效的层级(hierarchical)关联策略,在高分检测框和低分检测框分别关联之后,充分利用关联失败检测框周围的嵌入信息再次进行关联,提高了在遮挡条件下多目标跟踪的关联精度.结果 通过一系列的对比实验,提出的AIoU-Tracker跟踪方法相比于FairMOT跟踪方法在MOT16数据集上,HOTA(higher order tracking accuracy)值由 58.3％提高至 59.8％,IDF1(ID F1 score)值由 72.6％提高至 73.1％,MOTA(multi-object tracking accuracy)值由 69.3％提高至 74.4％;在 MOT17 数据集上,HOTA 值由 59.3％提高至 59.9％,IDF1值由72.3％提高至72.9％.结论 本文提出的特征平衡性跟踪方法,使边界框大小特征、热图特征和中心点偏移量特征在训练测试中达到了更好的平衡,使多目标跟踪结果更加准确.

    多目标跟踪(MOT)数据关联回归损失特征平衡性级联匹配方法

      原文链接:
    • NETL
    • NSTL
    • 万方数据

    融合目标相似性和作用力的多目标跟踪

    王凯戴芳郭文艳王军锋...
    1984-1997页
    查看更多>>摘要：目的 多目标跟踪是计算机视觉一个重要的研究方向,为了解决多目标跟踪中错跟和漏跟导致跟踪精度低的问题,提出一种融合目标相似性和作用力的多目标跟踪算法.方法 首先将多目标跟踪问题转化为一个最大后验概率问题,其次将最大后验概率问题映射到网络流中,利用最小代价流寻找最优路径,这样获得的最优路径就是目标轨迹.为了计算网络流中目标节点之间的代价,从以下两方面考虑:1)将目标的外观、运动和位置信息三者结合,计算目标间的相似度;2)考虑目标与目标的相互影响,参考社会力模型中个体之间的吸引力来计算目标节点之间的作用力.结果 在MOT15、MOT16和MOT17共3个公开数据集进行实验评估并与12种方法进行比较,实验结果表明,本文算法在 MOTA(multiple object tracking accuracy)、MT(mostly tracked tracklets)、ML(mostly lost track-lets)、FP(false positives)、FN(false negatives)等指标上明显优于 OACDASM(online association by continuous-discrete appearance similarity measurement)、STURE(spatial-temporal mutual representation learning)、IQHMOT(identity-quantity harmonic multi-object tracking)和 GCNNMatch(graph convolutional neural network match)等典型算法.在MOT 15数据集中选取ETH-Bahnhof、TUD-Stadtmitte与PETS09-S2L1 3个视频序列进行消融实验,验证增加目标作用力之后的数据关联结果,消融实验结果表明,增加目标作用力之后可以改善目标跟踪的精度和其他指标,尤其在遮挡不明显的视频序列中.结论 本文在目标多特征的基础之上增加目标节点间作用力,加强了目标间的数据关联,减少错跟的目标数量,有效地提高了目标跟踪的精度.

    多目标跟踪(MOT)最小代价流目标作用力目标相似性社会力模型

      原文链接:
    • NETL
    • NSTL
    • 万方数据

    长短期时间序列关联的视频异常事件检测

    朱新瑞钱小燕施俞洲陶旭东...
    1998-2010页
    查看更多>>摘要：目的 多示例学习是解决弱监督视频异常事件检测问题的有力工具.异常事件发生往往具有稀疏性、突发性以及局部连续性等特点,然而,目前的多示例学习方法没有充分考虑示例之间的联系,忽略了视频片段之间的时间关联,无法充分分离正常片段和异常片段.针对这一问题,提出了一种长短期时间序列关联的二阶段异常检测网络.方法 第1阶段是长短期时间序列关联的异常检测网络(long-and-short-term correlated mil abnormal detection framework,LSC-transMIL),将Transformer结构应用到多示例学习方法中,添加局部和全局时间注意力机制,在学习不同视频片段间的空间关联语义信息的同时强化连续视频片段的时间序列关联;第2阶段构建了一个基于时空注意力机制的异常检测网络,将第1阶段生成的异常分数作为细粒度伪标签,使用伪标签训练策略训练异常事件检测网络,并微调骨干网络,提高异常事件检测网络的自适应性.结果 实验在两个大型公开数据集上与同类方法比较,两阶段的异常检测模型在UCF-crime、ShanghaiTech数据集上曲线下面积(area under curve,AUC)分别达到82.88％和96.34％,相比同为两阶段的方法分别提高了 1.58％和0.58％.消融实验表明了关注时间序列的Trans-former 模块以及长短期注意力的有效性.结论 本文将Transformer应用于时间序列的多示例学习,并添加长短期注意力,突出局部异常事件和正常事件的区别,有效检测视频中的异常事件.

    异常检测Transformer网络时空注意力多示例学习(MIL)弱监督

      原文链接:
    • NETL
    • NSTL
    • 万方数据

    面向电力设备缺陷检测的多模态层次化分类

    白艳峰王立彪高卫东马应龙...
    2011-2023页
    查看更多>>摘要：目的 电力设备的状态检测和故障维护是保障电力系统正常运行的重要基础.针对目前多数变电站存在电力设备缺陷类型复杂且现有的单分类缺陷检测方法无法满足电力设备的多标签分类缺陷检测需求的问题,提出一种面向电力设备缺陷检测的多模态层次化分类方法.方法 首先采集来自多个变电站的电力设备缺陷图像并进行人工标注、数据增强及归一化等预处理,构建了一个具有层次标签结构的电力设备缺陷图像数据集.然后提出一种基于多模态特征融合的层次化分类模型,采用ResNet50网络对图像进行特征提取,利用区域生成网络对目标进行定位以及前景、背景预测;为避免对区域生成网络生成的位置坐标进行量化时引入误差,进一步采用ROI Align(region of interest align)方法连续操作,生成位置坐标.最后采用层次化分类,将父类别标签嵌入到当前层目标特征表示进行逐层缺陷分类,最后一层得到最终的缺陷检测结果.结果 在电力设备缺陷数据集和基准数据集上,与多标签分类电力设备缺陷检测方法和流行的常用目标检测算法进行对比实验.实验结果表明,模型对绝大部分设备缺陷类别的检测准确率最高,平均检测准确率达到86.4％,相比性能第2的模型,准确率提升了 5.1％,并且在基准数据集上的平均检测准确率也提高了 1.1％～3％.结论 提出的电力设备缺陷检测方法充分利用设备缺陷标签的语义信息、层次结构和设备缺陷数据的图像特征,通过多模态层次化分类模型,能够提升电力设备缺陷检测的准确率.

    缺陷检测图像识别层次化分类多模态特征融合标签嵌入区域特征聚集

      原文链接:
    • NETL
    • NSTL
    • 万方数据

    非规律运动伪迹干扰鲁棒的人脸视频心率检测

    成娟殷辰楚宋仁成付静...
    2024-2034页
    查看更多>>摘要：目的 基于远程光电容积脉搏波描记法(remote photoplethysmograph,rPPG)的非接触人脸视频心率检测广泛应用于移动健康监护领域,由于其携带的生理参数信息幅值微弱,容易受到运动伪迹干扰.据此,提出了一种结合非负矩阵分解(nonnegative matrix factorization,NMF)和独立向量分析(independent vector analysis,IVA)的非规律运动伪迹去除的视频心率检测方法,记为NMF-IVA.方法 首先,将面部感兴趣区域(region ofinterest,RoI)分为多个子区域(sub RoIs,SRoIs),利用平均光照强度、光照强度变化、信噪比这3个指标筛选出3个最优质的SRoIs,并获取每个SRoI的绿色通道时间序列.其次,将3个绿色通道时间序列去趋势、带通滤波后送入NMF-IVA进行盲源分离.然后,对分离后的源信号进行功率谱密度分析,并且将峰值信噪比最高且主频落在心率感兴趣范围内的源信号确定为血容量脉冲(blood volume pulse,BVP)信号.最后,将BVP信号的主频确定为所测量心率的主频,从而计算出心率值.结果 实验在2个公开数据集UBFC-RPPG和UBFC-PHYS,及1个真实场景自采数据集上与最相关的7种典型的rPPG方法进行比较,在UBFC-RPPG数据集上,相比于性能第2的单通道滤波(single channel filtering,SCF)方法,均方根误差提升了 1.39 bpm(beat per minute)、平均绝对误差提升了 1.25 bpm、皮尔逊相关系数提升了 0.02;在UBFC-PHYS数据集上的T2情况下,其性能提升最为显著,相比于性能第2的独立向量分析(1VA)方法,均方根误差提升了 16.42 bpm、平均绝对误差提升了 9.91 bpm、皮尔逊相关系数提升了 0.64;在自采数据集上,除了低于深度学习方法性能之外,所提NMF-IVA方法在传统方法中取得了最好的结果.结论 所提NMF-IVA方法对规律信号提取具有敏感性,即便是在头部存在剧烈非规律运动情况下,相比于传统方法亦能取得最优结果,该结果能够媲美基于深度学习的方法.

    远程光电容积脉搏波描记法(rPPG)非接触式心率检测盲源分离(BSS)非负矩阵分解(NMF)独立向量分析(IVA)

      原文链接:
    • NETL
    • NSTL
    • 万方数据

    带深度信息监督的神经辐射场虚拟视点画面合成

    刘晓楠陈纯毅胡小娟于海洋...
    2035-2045页
    查看更多>>摘要：目的 在神经辐射场虚拟视点画面合成过程中,因视图数量过少或视图颜色不一致产生离群稀疏深度值问题,提出利用深度估计网络的密集深度值监督神经辐射场虚拟视点画面合成的方法来解决此问题.方法 首先输入视图进行运动恢复结构获取稀疏深度值,其次将RGB视图输入New CRFs(neural window fully-connected CRFs for monocular depth estimation)深度估计网络得到预估深度值,计算预估深度值和稀疏深度值之间的标准差.最后,利用预估深度值和计算得到的标准差,对神经辐射场的训练进行监督.结果 实验在NeRF Real数据集上与其他算法进行了实验对比.在少量视图合成实验中,本文方法在图像质量和效果优于仅使用RGB监督的NeRF(neural radiance fields)方法和使用稀疏深度信息监督的方法,峰值信噪比较NeRF方法提高24％,较使用稀疏深度信息监督的方法提高19.8％;结构相似度比NeRF方法提高36％,比使用稀疏深度信息监督的方法提高16.6％.同时为了验证算法的数据效率,进行了相同的迭代次数达到的峰值信噪比的比较,相较于NeRF方法,数据效率也有明显提高.结论 实验结果表明,本文所提出的利用深度估计网络密集深度值监督神经辐射场虚拟视点画面合成的方法,解决了视图数量过少或者视图颜色不一致产生离群稀疏深度值问题.

    视点合成神经辐射场(NeRF)深度监督深度估计体渲染

      原文链接:
    • NETL
    • NSTL
    • 万方数据

    双判别器深度残差GAN高光谱图像融合

    周庆泽郭擎王海荣李安...
    2046-2062页
    查看更多>>摘要：目的 为了解决高空间分辨率多光谱图像与高光谱图像融合时的多波段对多波段问题,以及高空间分辨率多光谱图像波谱范围不能完全涵盖高光谱图像波谱范围而导致的光谱失真问题,本文利用深度学习的数据驱动优势,基于高分5号(GF-5)高光谱数据和Sentinel-2多光谱数据,提出一种基于生成对抗网络(generative adversarial network,GAN)的高光谱图像空谱融合方法——双判别器深度残差GAN网络(two discriminator deep residual GAN,2DDRGAN).方法 考虑待融合图像间的波谱范围关系,采用分组融合策略,利用波段间的相关性,将多对多的融合问题转变为多个一对多的融合问题.使用深度残差模块深度提取图像的光谱和空间特征,用两个判别网络对融合图像的空间和光谱质量分别进行判断,改善生成网络生成的融合图像质量.另外,本文的深度学习网络不需要制作额外的融合结果标签,待融合图像本身就是标签,这大大降低了高光谱融合的工作量,也是目前深度学习遥感图像融合的根本改变.结果 与常用传统空谱融合方法和经典深度学习方法比较的实验结果表明,对于不同地物类型数据,该网络得到的融合结果在提升空间分辨率的同时,有较高的光谱保真度.光谱曲线评价也验证了该网络对于高空间分辨率图像波谱范围以外的高光谱图像波段进行融合时有良好的光谱保真度.结论 本文方法通过深度残差模块提取高光谱图像光谱特征和高空间分辨率图像空间特征,同时引入双判别网络,使得融合结果在保持光谱信息的同时更好地提升空间信息.

    高光谱图像空谱融合高空间分辨率多光谱图像光谱失真融合策略生成对抗网络(GAN)光谱曲线评价

      原文链接:
    • NETL
    • NSTL
    • 万方数据