首页期刊导航|中国图象图形学报
期刊信息/Journal information
中国图象图形学报
中国图象图形学报

李小文

月刊

1006-8961

jig@irsa.ac.cn

010-64807995 8261442

100101

北京9718信箱

中国图象图形学报/Journal Journal of Image and GraphicsCSCD北大核心CSTPCD
查看更多>>本刊是集计算机图象图形高科技理论与应用研究成果、成果产品化与商情动态于一体的综合性学术期刊。是核心期刊、权威性杂志。作为中国图象图形学学会的会刊，利用学会在国内外广泛的科技信息渠道、全方位多层面的学科交叉应用，积极向产业界宣传科技成果，热心向科技界推荐最新产品。
正式出版
收录年代

    时空双仿射微分不变量及骨架动作识别

    李琪墨瀚林赵婧涵郝宏翔...
    2879-2891页
    查看更多>>摘要：目的 人体骨架的动态变化对于动作识别具有重要意义.从关节轨迹的角度出发,部分对动作类别判定具有价值的关节轨迹传达了最重要的信息.在同一动作的每次尝试中,相应关节的轨迹一般具有相似的基本形状,但其具体形式会受到一定的畸变影响.基于对畸变因素的分析,将人体运动中关节轨迹的常见变换建模为时空双仿射变换.方法 首先用一个统一的表达式以内外变换的形式将时空双仿射变换进行描述.基于变换前后轨迹曲线的微分关系推导设计了双仿射微分不变量,用于描述关节轨迹的局部属性.基于微分不变量和关节坐标在数据结构上的同构特点,提出了一种通道增强方法,使用微分不变量将输入数据沿通道维度扩展后,输入神经网络进行训练与评估,用于提高神经网络的泛化能力.结果 实验在两个大型动作识别数据集NTU(Nanyang Tech-nological University)RGB+D(NTU 60)和NTU RGB+D 120(NTU 120)上与若干最新方法及两种基线方法进行比较,在两种实验设置(跨参与者识别与跨视角识别)中均取得了明显的改进结果.相比于使用原始数据的时空图神经卷积网络(spatio-temporal graph convolutional networks,ST-GCN),在NTU 60数据集中,跨参与者与跨视角的识别准确率分别提高了1.9％和3.0％;在NTU 120数据集中,跨参与者与跨环境的识别准确率分别提高了5.6％ 和4.5％.同时对比于数据增强,基于不变特征的通道增强方法在两种实验设置下都能有明显改善,更为有效地提升了网络的泛化能力.结论 本文提出的不变特征与通道增强,直观有效地综合了传统特征和深度学习的优点,有效提高了骨架动作识别的准确性,改善了神经网络的泛化能力.

    运动分析骨架动作识别时空双仿射变换微分不变量通道增强泛化能力

      原文链接:
    • NETL
    • NSTL
    • 万方数据
    • 维普

    多尺度分割先验迭代重加权低秩恢复显著性检测

    张荣国郑维佳赵建胡静...
    2892-2903页
    查看更多>>摘要：目的 现有显著性检测方法大多只关注显著目标的中心信息,使得算法只能得到中心清晰、边缘模糊的显著目标,丢失了一些重要的边界信息,而使用核范数约束进行低秩矩阵恢复,运算过程冗余.为解决以上问题,本文提出一种无监督迭代重加权最小二乘低秩恢复算法,用于图像视觉显著性检测.方法 将图像分为细中粗3种尺度的分割,从细粒度和粗粒度先验的融合中得到分割先验信息;将融合后的分割先验信息通过迭代重加权最小二乘法求解平滑低秩矩阵恢复,生成粗略显著图;使用中粒度分割先验对粗略显著图进行平滑,生成最终的视觉显著图.结果 实验在MSRA10K(Microsoft Research Asia 10K)、SOD(salient object detection dataset)和ECSSD(extended complex scene saliency dataset)数据集上进行测试,并与现有的11种算法进行对比.结果 表明,本文算法可生成边界清晰的显著图.在MSRA10K数据集上,本文算法实现了最高的AUC(area under ROC(receiver operating characteristic)curve)和F-measure值,MAE(mean absolute error)值仅次于SMD(structured matrix decomposition)算法和RBD(robust back ground detection)算法,AUC和F-measure值比次优算法RPCA(robust principal component analy-sis)分别提高了3.9％和12.3％;在SOD数据集上,综合AUC、F-measure和MAE值来看,本文算法优于除SMD算法以外的其他算法,AUC值仅次于SMD算法、SC(smoothness constraint)算法和GBVS(graph-based visual salieney)算法,F-measure值低于最优算法SMD 2.6％;在ECSSD数据集上,本文算法实现了最高的F-measure值75.5％,AUC值略低于最优算法SC 1％,MAE值略低于最优算法HCNs(hierarchical co-salient object detection via color names)2％.结论 实验结果表明,本文算法能从前景复杂或背景复杂的显著图像中更准确地检测出边界清晰的显著目标.

    显著目标检测多尺度分割先验低秩恢复迭代重加权最小二乘法前景复杂背景复杂

      原文链接:
    • NETL
    • NSTL
    • 万方数据
    • 维普

    融合环境特征与改进YOLOv4的安全帽佩戴检测

    葛青青张智杰袁珑李秀梅...
    2904-2917页
    查看更多>>摘要：目的 在施工现场,安全帽是最为常见和实用的个人防护用具,能够有效防止和减轻意外带来的头部伤害.但在施工现场的安全帽佩戴检测任务中,经常出现难以检测到小目标,或因为复杂多变的环境因素导致检测准确率降低等情况.针对这些问题,提出一种融合环境特征与改进YOLOv4(you only look once version 4)的安全帽佩戴检测方法.方法 为补充卷积池化等过程中丢失的特征,在保证YOLOv4得到的3种不同大小的输出特征图与原图经过特征提取得到的特征图感受野一致的情况下,将两者相加,融合高低层特征,捕捉更多细节信息;对融合后的特征图采用3×3卷积操作,以减小特征图融合后的混叠效应,保证特征稳定性;为适应施工现场的各种环境,利用多种数据增强方式进行环境模拟,并采用对抗训练方法增强模型的泛化能力和鲁棒性.结果 提出的改进YOLOv4方法在开源安全帽佩戴检测数据集(safety helmet wearing dataset,SHWD)上进行测试,平均精度均值(mean average precision,mAP)达到91.55％,较当前流行的几种目标检测算法性能有所提升,其中相比于YOLOv4,mAP提高了5.2％.此外,改进YOLOv4方法在融合环境特征进行数据增强后,mAP提高了4.27％,在各种真实环境条件下进行测试时都有较稳定的表现.结论 提出的融合环境特征与改进YOLOv4的安全帽佩戴检测方法,以改进模型和数据增强的方式提升模型准确率、泛化能力和鲁棒性,为安全帽佩戴检测提供了有效保障.

    安全帽佩戴检测特征图融合数据增强对抗样本YOLOv4

      原文链接:
    • NETL
    • NSTL
    • 万方数据
    • 维普

    关节轴角先验对3维人体重建结果的影响

    姚砺张幼安张梦雪万燕...
    2918-2930页
    查看更多>>摘要：目的 3维人体重建的目标在于建立真实可靠的3维人体模型.但目前基于SMPL(skinned multi-person linear model)模型重建3维人体的实验和一些公开数据集中,常常会出现预测的姿势角度值不符合真实人体关节角度规则的现象.针对这一问题,本文提出设置关节旋转角值域,使得重建的结果真实性更强、更符合人体关节机械结构.方法 根据人体关节的联接结构将各个关节的运动进行划分.根据划分结果计算关节运动自由度,并结合实际情况提出基于SMPL模型的关节旋转值域.提出一个简单的重建方法来验证值域分析的正确性.结果 使用3维人体数据集UP-3D进行相关实验,并对比以往直接根据学习结果生成重建模型的数据.在使用轴角作为损失参数的情况下,重建精度提高显著,平均误差降低15.1％.在使用所有损失函数后,平均误差比直接根据预测值生成重建模型的两段式重建方法降低7.0％.重建结果与UP-3D数据集进行真实性对比有显著的关节联动性效果.结论 本文提出的关节旋转角值域设置对基于SMPL模型进行3维人体重建的方法在进行关节点旋转角回归的过程中起到了很大作用,重建的模型也更符合人体关节运动联动性.

    SMPL模型3维人体重建关节角度重建真实性关节运动联动性

      原文链接:
    • NETL
    • NSTL
    • 万方数据
    • 维普

    曼哈顿世界环境下消失点非线性优化估计算法

    韩冰心卢惠民于清华张礼廉...
    2931-2940页
    查看更多>>摘要：目的 符合曼哈顿假设的结构化场景简称曼哈顿世界,具有丰富的场景结构特征.消失点作为直线的潜在观测,是一种全局信息,可以显式地体现载体坐标系与世界坐标系之间的姿态关系.为更加准确地估计消失点,本文针对单目图像,同时考虑实时性和准确性,提出了具有更高精度的基于非线性优化的消失点估计算法.方法 分析目前性能最优的基于随机采样一致性(random sample consistency,RANSAC)的消失点估计方法,通过对直线单参数化、利用正交性约束生成候选假设以及RANSAC过程的重点分析与改进,更加快速准确地得到消失点估计,为后续优化提供初值.利用直线分类时计算的误差度量构建最小二乘优化模型,采用非线性优化方法迭代求解,并采用鲁棒核函数保证迭代的精确性和结果的最优性.结果 通过仿真实验和基于公共数据集的实验对本文提出算法与目前性能最优算法进行比较.仿真实验中,相比于RCM(R3_CM1)及RCMI(R3_CM1_Iter),本文算法结果在轴角形式下的角度偏差减小了24.6％;有先验信息约束时,角度偏差降低一个数量级,仅为0.06°,精度大幅提高.在YUD(York urban city databbase)数据集中,本文算法相较于RCM和RCMI,角度偏差分别减小了27.2％和23.8％,并且80％的消失点估计结果角度偏差小于1.5°,性能明显提升且更具稳定性.此外,本文算法在仿真实验对每一图像帧的平均优化耗时为0.008 s,可保证整体的实时性.结论 本文提出的消失点估计算法,对基于RANSAC的方法进行了改进,在不影响实时性的基础上,估计结果更加准确、鲁棒,并且更具稳定性.

    曼哈顿世界消失点(VP)随机采样一致性(RANSAC)非线性优化误差度量

      原文链接:
    • NETL
    • NSTL
    • 万方数据
    • 维普

    双目机器视觉及RetinaNet模型的路侧行人感知定位

    连丽容罗文婷秦勇李林...
    2941-2952页
    查看更多>>摘要：目的 行人感知是自动驾驶中必不可少的一项内容,是行车安全的保障.传统激光雷达和单目视觉组合的行人感知模式,设备硬件成本高且多源数据匹配易导致误差产生.对此,本文结合双目机器视觉技术与深度学习图像识别技术,实现对公共路权环境下路侧行人的自动感知与精准定位.方法 利用双目道路智能感知系统采集道路前景图像构建4种交通环境下的行人识别模型训练库;采用RetinaNet深度学习模型进行目标行人自动识别;通过半全局块匹配(semi-global block matching,SGBM)算法实现行人道路前景图像对的视差值计算;通过计算得出的视差图分别统计U-V方向的视差值,提出结合行人识别模型和U-V视差的测距算法,实现目标行人的坐标定位.结果 实验统计2.5 km连续测试路段的行人识别结果,对比人工统计结果,本文算法的召回率为96.27％.与YOLOv3(you only look once)和Tiny-YOLOv3方法在4种交通路况下进行比较,平均F值为96.42％,比YOLOv3和Tiny-YOLOv3分别提高0.9％和3.03％;同时,实验利用标定块在室内分别拍摄3 m、4 m和5 m不同距离的20对双目图像,验证测距算法,计算标准偏差皆小于0.01.结论 本文提出的结合RetinaNet目标识别模型与改进U-V视差算法能够实现对道路行人的检测,可以为自动驾驶的安全保障提供技术支持,具有一定的应用价值.

    行人检测深度学习RetinaNet半全局块匹配(SGBM)算法U-V视差算法

      原文链接:
    • NETL
    • NSTL
    • 万方数据
    • 维普

    遥感图像中油罐目标精确定位与参数提取

    江晗张月婷郭嘉逸赵鑫...
    2953-2963页
    查看更多>>摘要：目的 浮动顶油罐是遥感图像中具有圆形特征的典型人造目标,其高精度定位与参数提取问题是一类代表性的应用问题,针对该问题,传统的基于圆形特征的变换域提取方法鲁棒性差,参数选择需要不断手动调整;基于深度学习的方法利用对已有标注图像的训练求解网络参数,提高了自动化程度,但对于圆形目标而言,覆盖圆周需要较大的感受野,这对应较大的网络结构,随之带来细节信息缺失或参数量、运算量增大的问题.本文针对油罐的定位与参数提取问题,将传统特征提取与深度学习结合,提出了一种计算量小、精度高的方法.方法 基于快速径向对称变换(fast radial symmetry transform,FRST)后的变换域数据及原始数据构建了卷积神经网络(convolutional neural networks,CNN),给出了训练过程及参数选择,有效地将圆形特征的先验引入深度学习过程,计算复杂度低,用较少层的网络实现了高精度的定位.结果 基于SkySat数据的实验表明,该方法比单纯基于深度学习的方法在相同网络量级上精度得到了有效提高,预测误差平均降低了17.42％,且随着网络深度的增加,精度仍有明显提高,在较浅层次网络中,预测误差平均降低了19.19％,在较深层次网络中,预测误差平均降低了15.66％.结论 本文针对油罐遥感图像定位与参数提取问题,提出了一种基于变换域特征结合深度学习的方法,有效降低了计算量,提升了精度和稳定性.本文方法适用于油罐等圆形或类圆形目标的精确定位和参数提取.

    遥感图像油罐定位参数提取深度学习快速径向对称变换(FRST)

      原文链接:
    • NETL
    • NSTL
    • 万方数据
    • 维普

    参数合成空间变换网络的遥感图像一致性配准

    陈颖张祺李文举石艳娇...
    2964-2980页
    查看更多>>摘要：目的 遥感图像配准是对多组图像进行匹配和叠加的过程.该技术在地物检测、航空图像分类和卫星图像融合等方面发挥着重要作用,主要有传统方法和基于深度学习的方法.其中,传统遥感图像配准算法在进行配准时会耗费大量人力,并且运行时间过长.而基于深度学习的遥感图像配准算法虽然减少了人工成本,提高了模型自适应学习的能力,但是算法的配准精度和运行时间仍有待提高.针对基于深度学习的配准算法存在的问题,本文提出了参数合成的空间变换网络对遥感图像进行双向一致性配准.方法 通过增加空间变换网络的深度、合成网络内部的参数对空间变换模型进行改进,并将改进后的模型作为特征提取部分的骨干网络,有效地提高网络的鲁棒性.同时,将单向配准方法改为双向配准方法,进行双向的特征匹配和特征回归,保证配准方向的一致性.然后将回归得到的双向参数加权合成,提高模型的可靠性和准确性.结果 将本文实验结果与两种经典的传统方法SIFT(scale-invariant feature transform)、SURF(speeded up robust features)对比,同时与近3年提出的CNNGeo(con-volutional neural network architecture for geometric matching)、CNN-Registration(multi-temporal remote sensing image reg-istration)和RMNet(robust matching network)3种最新的方法对比,配准结果表明本文方法不仅在定性的视觉效果上较为优异,而且在定量的评估指标上也有不错的效果.在Aerial Image Dataset数据集上,本文使用"关键点正确评估比例"与以上5种方法对比,精度分别提高了36.2％、75.9％、53.6％、29.9％ 和1.7％;配准时间分别降低了9.24 s、7.16 s、48.29 s、1.06 s和4.06 s.结论 本文所提出的配准方法适用于时间差异变化(多时相)、视角差异(多视角)与拍摄传感器不同(多模态)的3种类型的遥感图像配准应用.在这3种类型的配准应用下,本文算法具有较高的配准精度和配准效率.

    图像处理遥感图像配准空间变换网络(STN)参数合成双向一致性

      原文链接:
    • NETL
    • NSTL
    • 万方数据
    • 维普

    改进Mask R-CNN模型的海洋锋检测

    徐慧芳黄冬梅贺琪杜艳玲...
    2981-2990页
    查看更多>>摘要：目的 海洋锋的高效检测对海洋生态环境变化、渔业资源评估、渔情预报及台风路径预测等具有重要意义.海洋锋具有边界信息不明显且多变的弱边缘性,传统基于梯度阈值法及边缘检测的海洋锋检测方法,存在阈值选择不固定、判定指标不一致导致检测精度较低的问题.针对上述问题,基于Mask R-CNN(region convolutional neural network)提出一种改进的海洋锋自动检测方法.方法 兼顾考虑海洋锋的小数据量及弱边缘性,首先对数据扩增,并基于不同算法对海表温度(sea surface temperatures,SST)遥感影像进行增强;其次,基于迁移学习的思想采用COCO(common objects in context)数据集对网络模型进行初始化;同时,对Mask R-CNN中残差神经网络(resid-ual neural network,ResNet)和特征金字塔模型(feature pyramid network,FPN)分别进行改进,在充分利用低层特征高分辨率和高层特征的高语义信息的基础上,对多个尺度的融合特征图分别进行目标预测,提升海洋锋的检测精度.结果 为验证本文方法的有效性,从训练数据和实验模型上分别设计多组对比实验.实验结果表明,相比常用的Mask R-CNN和YOLOv3(you only look once)神经网络,本文方法对SST梯度影像数据集上的海洋锋检测效果最好,海洋锋的定位准确率(intersection over union,IoU)及检测平均精度均值(mean average precision,mAP)达0.85以上.此外,通过对比分析实验结果发现,本文方法对强海洋锋的检测效果明显优于弱海洋锋.结论 本文根据专家经验设立合理的海洋锋检测标准,更好地考虑了海洋锋的弱边缘性.通过设计多组对比实验,验证了本文方法对海洋锋的高精度检测效果.

    深度学习MaskR-CNN弱边缘性图像增强海洋锋检测

      原文链接:
    • NETL
    • NSTL
    • 万方数据
    • 维普

    噪声鲁棒的轻量级深度遥感场景图像分类检索

    王亚鹏李阳王家宝赵勋...
    2991-3004页
    查看更多>>摘要：目的 基于深度神经网络的遥感图像处理方法在训练过程中往往需要大量准确标注的数据,一旦标注数据中存在标签噪声,将导致深度神经网络性能显著降低.为了解决噪声造成的性能下降问题,提出了一种噪声鲁棒的轻量级深度遥感场景图像分类检索方法,能够同时完成分类和哈希检索任务,有效提高深度神经网络在有标签噪声遥感数据上的分类和哈希检索性能.方法 选取轻量级神经网络作为骨干网,而后设计能够同时完成分类和哈希检索任务的双分支结构,最后通过设置损失基准的正则化方法,有效减轻模型对噪声的过拟合,得到噪声鲁棒的分类检索模型.结果 本文在两个公开遥感场景数据集上进行分类测试,并与8种方法进行比较.本文方法在AID(aerial image datasets)数据集上,所有噪声比例下的分类精度比次优方法平均高出7.8％,在NWPU-RESISC45(benchmark created by Northwestern Polytechnical University for remote sensing image scene classification cover-ing 45 scene classes)数据集上,分类精度比次优方法平均高出8.1％.在效率方面,本文方法的推理速度比CLEOT(classification loss with entropic optimal transport)方法提升了2.8倍,而计算量和参数量均不超过CLEOT方法的5％.在遥感图像哈希检索任务中,在AID数据集上,本文方法的平均精度均值(mean average precision,mAP)在3种不同哈希比特下比MiLaN(metric-learning based deep hashing network)方法平均提高了5.9％.结论 本文方法可以同时完成遥感图像分类和哈希检索任务,在保持模型轻量高效的情况下,有效提升了深度神经网络在有标签噪声遥感数据上的鲁棒性.

    标签噪声鲁棒学习图像分类图像检索哈希学习轻量级网络

      原文链接:
    • NETL
    • NSTL
    • 万方数据
    • 维普