首页期刊导航|中国图象图形学报
期刊信息/Journal information
中国图象图形学报
中国图象图形学报

李小文

月刊

1006-8961

jig@irsa.ac.cn

010-64807995 8261442

100101

北京9718信箱

中国图象图形学报/Journal Journal of Image and GraphicsCSCD北大核心CSTPCD
查看更多>>本刊是集计算机图象图形高科技理论与应用研究成果、成果产品化与商情动态于一体的综合性学术期刊。是核心期刊、权威性杂志。作为中国图象图形学学会的会刊，利用学会在国内外广泛的科技信息渠道、全方位多层面的学科交叉应用，积极向产业界宣传科技成果，热心向科技界推荐最新产品。
正式出版
收录年代

    单目标跟踪中的视觉智能评估技术综述

    胡世宇赵鑫黄凯奇
    2269-2302页
    查看更多>>摘要：单目标跟踪任务旨在对人类动态视觉系统进行建模,让机器在复杂环境中具备类人的运动目标跟踪能力,并已广泛应用于无人驾驶、视频监控、机器人视觉等领域.研究者从算法设计的角度开展了大量工作,并在代表性数据集中表现出良好性能.然而,在面临如目标形变、快速运动、光照变化等挑战因素时,现有算法的跟踪效果和人类预期相比还存在着较大差距,揭示了当前的评测技术发展仍存在滞后性和局限性.综上,区别于以算法设计为核心的传统综述思路,本文依托单目标跟踪任务、从视觉智能评估技术出发,对评测流程中涉及的各个关键性环节(评测任务、评测环境、待测对象和评估机制)进行系统梳理.首先,对单目标跟踪任务的发展历程和挑战因素进行介绍,并详细对比了评估所需的评测环境(数据集、竞赛等).其次,对单目标跟踪待测对象进行介绍,不仅包含以相关滤波和孪生神经网络为代表的跟踪算法,同时也涉及跨学科领域开展的人类视觉跟踪实验.最后,从"机机对抗"和"人机对抗"两个角度对单目标跟踪评估机制进行回顾,并对当前待测对象的目标跟踪能力进行分析和总结.在此基础上,对单目标跟踪智能评估的发展趋势进行总结和展望,进一步分析未来研究中存在的挑战因素,并探讨了下一步可能的研究方向.

    智能评估技术竞赛和数据集视觉跟踪能力单目标跟踪(SOT)目标跟踪算法

      原文链接:
    • NETL
    • NSTL
    • 万方数据

    三维重建场景的纹理优化算法综述

    于柳吴晓群
    2303-2318页
    查看更多>>摘要：三维重建场景的纹理优化是计算机图形学和计算机视觉等领域的基础任务之一,其目的是优化纹理映射,减小重建几何体和纹理之间的对齐误差,提升重建场景的细节表现.为了对三维重建场景纹理优化算法的现状进行全面研究,本文从传统优化算法和基于深度学习的优化算法两个方面对现有三维重建场景的纹理优化算法进行综述.传统的纹理优化算法一般通过优化相机姿态、校正图像颜色、提高重建几何精度等步骤达到三维场景纹理优化的目的,按照优化方式的不同,主要包括基于图像融合的优化算法、基于图像拼接的优化算法以及纹理与几何联合优化算法,而基于深度学习的优化算法则利用神经网络优化三维场景纹理.同时,本文汇总了常用的三维重建场景纹理优化的数据集与评价指标,并重点讨论了不同数据集和评价指标的特点与用法.此外,本文对现有的各类纹理优化算法进行了定性分析和定量对比,重点阐述了这些算法的原理及优缺点,最后探讨了三维重建场景的纹理优化面临的挑战和发展方向.

    场景重建纹理优化图像融合图像拼接联合优化

      原文链接:
    • NETL
    • NSTL
    • 万方数据

    拟态防御架构设计方法研究进展

    李淇段鹏松曹仰杰张大龙...
    2319-2332页
    查看更多>>摘要：随着互联网技术的普及和发展,用户数据和隐私的保护已经成为一个热门的研究领域.网络空间安全防御从被动防御发展到主动防御,防御性能和成功率获得了显著的提升.然而,传统的被动防御和主动防御本质上都是功能和安全松耦合的外壳式防御,对未知攻击的防御性能较差.网络空间拟态防御(cyberspace mimic defense,CMD)是在传统网络安全防御方式上发展出来的网络内生安全实现形式,核心架构为动态异构冗余架构,架构实现主体主要由异构执行体集合、分发器、拟态变换器和表决器4部分组成,同时以CMD三定理及网络安全不完全交集定理为理论基础.其中,通过异构执行体增加系统的异构性,并由表决算法决定异构执行体中上下线的个体,最终由调度算法完成系统中执行体的上下线过程.本文主要从网络空间安全发展的历史沿革出发,对比传统防御方式与拟态防御的差异,着重介绍拟态架构中异构策略、调度策略以及表决策略的具体实现形式,并罗列在实践过程中融合拟态防御思想的应用实例.拟态防御已经在各个领域有了较为广泛的应用基础,在此基础上的研究可以将现有网络安全体系推进到新的阶段.

    网络安全内生安全拟态防御冗余性动态异构

      原文链接:
    • NETL
    • NSTL
    • 万方数据

    t-SNE最大化的自适应彩色图像灰度化方法

    谢斌徐燕王冠超杨舒敏...
    2333-2349页
    查看更多>>摘要：目的 彩色图像的灰度化是计算机视觉领域的研究热点.针对传统彩色图像灰度化方法得到的灰度图像存在对比度保持不足、细节模糊及层次感欠缺等问题,本文结合t分布随机邻域嵌入(t-distributed stochastic neighbor embedding,t-SNE)提出了一种更加简单、高效的彩色图像灰度化新方法.方法 首先,将t-SNE降维思想引入到彩色图像的灰度化过程中,设计了一种基于t-SNE最大化的彩色图像灰度化新模型,通过最大化能量函数使原始彩色图像中对比度较小的区域在灰度化后其对比度能够适当地变大或保持,让灰度图像更好地保持原始彩色图像的对比度特征和层次感.其次,在新模型中设计了一种自适应的对比度保持策略,根据颜色对比度信息来自适应地调节原始彩色图像不同区域的灰度化力度,更好地保留原始彩色图像的细节和对比度信息.最后,采用了一种高效的离散搜索方法以快速求解所提新模型.结果 基于Cadik、CSDD(complex scene decolorization dataset)和Color250数据集的大量实验结果表明,与传统方法相比,本文方法得到的灰度图像具有更好的表现,在颜色对比度保持率(color contrast preserving ratio,CCPR)指标上,本文方法在上述3个数据集上的平均CCPR值最高,分别为0.874、0.862和0.864.另外,在相同硬件上测试不同灰度化方法的运行效率时,本文方法的运行时间最短.结论 相较于传统灰度化方法,本文方法不仅能够更好地保持原始彩色图像的对比度、细节特征和层次感,而且在主观评价和客观评价方面均有更好的表现.

    彩色图像灰度化t分布随机邻域嵌入(t-SNE)对比度保持离散搜索细节保持

      原文链接:
    • NETL
    • NSTL
    • 万方数据

    红外与可见光图像特征动态选择的目标检测网络

    许可刘心溥汪汉云万建伟...
    2350-2363页
    查看更多>>摘要：目的 基于可见光和红外双模态图像融合的目标检测算法是解决复杂场景下目标检测任务的有效手段.然而现有双光检测算法中的特征融合过程存在两大问题:一是特征融合方式较为简单,逐特征元素相加或者并联操作导致特征融合效果不佳;二是算法结构中仅有特征融合过程,而缺少特征选择过程,导致有用特征无法得到高效利用.为解决上述问题,提出了一种基于动态特征选择的可见光红外图像融合目标检测算法.方法 本文算法包含特征的动态融合层和动态选择层两个创新模块:动态融合层嵌入在骨干网络中,利用Transformer结构,多次对多源的图像特征图进行特征融合,以丰富特征表达;动态选择层嵌入在颈部网络中,利用3种注意力机制对多尺度特征图进行特征增强,以筛选有用特征.结果 本文算法在FLIR、LLVIP(visible-infrared paired dataset for low-light vision)和VEDAI(vehicle detection in aerial imagery)3个公开数据集上开展实验验证,与多种特征融合方式进行平均精度均值(mean average precision,mAP)性能比较,mAP50指标相比于基线模型分别提升了 1.3％、0.6％和3.9％;mAP75指标相比于基线模型分别提升了 4.6％、2.6％和7.5％;mAP指标相比于基线模型分别提升了 3.2％、2.1％和3.1％.同时设计了相关结构的消融实验,验证了所提算法的有效性.结论 提出的基于动态特征选择的可见光红外图像融合目标检测算法,可以有效地融合可见光和红外两种图像模态的特征信息,提升了目标检测的性能.

    红外图像目标检测注意力机制特征融合深度神经网络

      原文链接:
    • NETL
    • NSTL
    • 万方数据

    融合姿态引导和多尺度特征的遮挡行人重识别

    张红颖刘腾飞罗谦张涛...
    2364-2376页
    查看更多>>摘要：目的 在行人重识别任务中,行人外观特征会因为遮挡发生变化,从而降低行人特征的辨别性,仅基于可视部分的传统方法仍会识别错误.针对此问题,提出了一种融合姿态引导和多尺度特征的遮挡行人重识别方法.方法 首先,构建了一种特征修复模块,根据遮挡部位邻近信息恢复特征空间中被遮挡区域的语义信息,实现缺失部位特征的修补.然后,为了从修复的图像中提取有效的姿态信息,设计了一种姿态引导模块,通过姿态估计引导特征提取,实现更加精准的行人匹配.最后,搭建了特征增强模块,并融合显著性区域检测方法增强有效的身体部位特征,同时消除背景信息造成的干扰.结果 在3个公开的数据集上进行了对比实验和消融实验,在Mar-ket1501、DukeMTMC-reID(Duke multi-tracking multi-camera re-identification)和 Occluded-DukeMTMC(occluded Duke multi-tracking multi-camera re-identification)数据集上的平均精度均值(mean average precision,mAP)和首次命中率(rank-1 accuracy,Rank-1)分别为 88.8％和95.5％、79.2％和 89.3％、51.7％和60.3％.对比实验结果表明提出的融合算法提高了行人匹配的准确率,具有较好的竞争优势.结论 本文所提的姿态引导和多尺度融合方法,修复了因遮挡而缺失的部位特征,结合姿态信息融合了不同粒度的图像特征,提高了模型的识别准确率,能有效缓解遮挡导致的误识别现象,验证了方法的有效性.

    行人重识别(ReID)遮挡姿态引导特征融合特征修补

      原文链接:
    • NETL
    • NSTL
    • 万方数据

    注意力引导局部特征联合学习的人脸表情识别

    卢莉丹夏海英谭玉枚宋树祥...
    2377-2387页
    查看更多>>摘要：目的 在复杂的自然场景下,人脸表情识别存在着眼镜、手部动作和发型等局部遮挡的问题,这些遮挡区域会降低模型的情感判别能力.因此,本文提出了一种注意力引导局部特征联合学习的人脸表情识别方法.方法 该方法由全局特征提取模块、全局特征增强模块和局部特征联合学习模块组成.全局特征提取模块用于提取中间层全局特征;全局特征增强模块用于抑制人脸识别预训练模型带来的冗余特征,并增强全局人脸图像中与情感最相关的特征图语义信息;局部特征联合学习模块利用混合注意力机制来学习不同人脸局部区域的细粒度显著特征并使用联合损失进行约束.结果 在2个自然场景数据集RAF-DB(real-world affective faces database)和FER-Plus 上进行了相关实验验证.在 RAF-DB 数据集中,识别准确率为 89.24％,与 M A-Net(global multi-scale and local attention network)相比有0.84％的性能提升;在FERPlus数据集中,识别准确率为90.04％,与FER-VT(FER frame-work with two attention mechanisms)的性能相当.实验结果表明该方法具有良好的鲁棒性.结论 本文方法通过先全局增强后局部细化的学习顺序,有效地减少了局部遮挡问题的干扰.

    人脸表情识别注意力机制局部遮挡局部显著特征联合学习

      原文链接:
    • NETL
    • NSTL
    • 万方数据

    结合双边交叉增强与自注意力补偿的点云语义分割

    朱仲杰张荣白永强王玉儿...
    2388-2398页
    查看更多>>摘要：目的 针对现有点云语义分割方法对几何与语义特征信息利用不充分,导致分割性能不佳,特别是局部细粒度分割精度不足的问题,提出一种结合双边交叉增强与自注意力补偿的充分融合几何与语义上下文信息的点云语义分割新算法以提升分割性能.方法 首先,设计基于双边交叉增强的空间聚合模块,将局部几何与语义上下文信息映射到同一空间进行交叉学习增强后聚合为局部上下文信息.然后,基于自注意力机制提取全局上下文信息与增强后的局部上下文信息进行融合,补偿局部上下文信息的单一性,得到完备特征图.最后,将空间聚合模块各阶段输出的多分辨率特征输入特征融合模块进行多尺度特征融合,得到最终的综合特征图以实现高性能语义分割.结果 实验结果表明,在S3DIS(Stanford 3D indoor spaces dataset)数据集上,本文算法的平均交并比(mean intersec-tion over union,mIoU)、平均类别精度(mean class accuracy,mAcc)和总体精度(overall accuracy,OA)分别为 70.2％、81.7％和88.3％,与现有优秀算法RandLA-Net相比,分别提高2.4％、2.0％和1.0％.同时,对S3DIS数据集Area 5单独测试,本文算法的mIoU为66.2％,较RandLA-Net提高5.0％.结论 空间聚合模块不仅能够充分利用局部几何与语义上下文信息增强局部上下文信息,而且基于自注意力机制融合局部与全局上下文信息,增强了特征的完备性以及局部与全局的关联性,可以有效提升点云局部细粒度的分割精度.在可视化分析中,相较于对比算法,本文算法对点云场景的局部细粒度分割效果明显提升,验证了本文算法的有效性.

    点云语义分割双边交叉增强自注意力机制特征融合

      原文链接:
    • NETL
    • NSTL
    • 万方数据

    融合点云深度信息的3D目标检测与分类

    周昊齐洪钢邓永强李娟娟...
    2399-2412页
    查看更多>>摘要：目的 基于点云的3D目标检测是自动驾驶领域的重要技术之一.由于点云的非结构化特性,通常将点云进行体素化处理,然后基于体素特征完成3D目标检测任务.在基于体素的3D目标检测算法中,对点云进行体素化时会导致部分点云的数据信息和结构信息的损失,降低检测效果.针对该问题,本文提出一种融合点云深度信息的方法,有效提高了 3D目标检测的精度.方法 首先将点云通过球面投影的方法转换为深度图像,然后将深度图像与3D目标检测算法提取的特征图进行融合,从而对损失信息进行补全.由于此时的融合特征以2D伪图像的形式表示,因此使用YOLOv7(you only look once v7)中的主干网络提取融合特征.最后设计回归与分类网络,将提取到的融合特征送入到网络中预测目标的位置、大小以及类别.结果 本文方法在KITTI(Karlsruhe Institute of Technol-ogy and Toyota Technological Institute at Chicago)数据集和 DAIR-V2X 数据集上进行测试.以 AP(average precision)值为评价指标,在KITTI数据集上,改进算法PP-Depth相较于PointPillars在汽车、行人和自行车类别上分别有0.84％、2.3％和1.77％的提升.以自行车简单难度为例,改进算法PP-YOLO-Depth相较于PointPillars、PP-YOLO和PP-Depth分别有5.15％、1.1％和2.75％的提升.在DAIR-V2X数据集上,PP-Depth相较于PointPillars在汽车、行人和自行车类别上分别有17.46％、20.72％和12.7％的提升.以汽车简单难度为例,PP-YOLO-Depth相较于PointPil-lars、PP-YOLO 和PP-Depth分别有13.53％、5.59％和1.08％的提升.结论 本文方法在KITTI数据集和DAIR-V2X数据集上都取得了较好表现,减少了点云在体素化过程中的信息损失并提高了网络对融合特征的提取能力和多尺度目标的检测性能,使目标检测结果更加准确.

    自动驾驶3D点云目标检测深度信息融合点云体素化KITTI数据集

      原文链接:
    • NETL
    • NSTL
    • 万方数据

    面向弱纹理目标立体匹配的Transformer网络

    贾迪蔡鹏吴思王骞...
    2413-2425页
    查看更多>>摘要：目的 近年来,采用神经网络完成立体匹配任务已成为计算机视觉领域的研究热点,目前现有方法存在弱纹理目标缺乏全局表征的问题,为此本文提出一种基于Transformer架构的密集特征提取网络.方法 首先,采用空间池化窗口策略使得Transformer层可以在维持线性计算复杂度的同时,捕获广泛的上下文表示,弥补局部弱纹理导致的特征匮乏问题.其次,通过卷积与转置卷积实现重叠式块嵌入,使得所有特征点都尽可能多地捕捉邻近特征,便于细粒度匹配.再者,通过将跳跃查询策略应用于编码器和解码器间的特征融合部分,以此实现高效信息传递.最后,针对立体像对存在的遮挡情况,对固定区域内的匹配概率进行截断求和,输出更为合理的遮挡置信度.结果 在Scene Flow数据集上进行了消融实验,实验结果表明,本文网络获得了 0.33的绝对像素距离,0.92％的异常像素占比和98％的遮挡预测交并比.为了验证模型在实际路况场景下的有效性,在KITTI-2015数据集上进行了补充对比实验,本文方法获得了 1.78％的平均异常值百分比,上述指标均优于STTR(stereo Transformer)等主流方法.此外,在 KITTI-2015、MPI-Sintel(max planck institute sintel)和 Middlebury-2014 数据集的测试中,本文模型具备较强的泛化性.结论 本文提出了一个纯粹的基于Transformer架构的密集特征提取器,使用空间池化窗口策略减小注意力计算的空间规模,并利用跳跃查询策略对编码器和解码器的特征进行了有效融合,可以较好地提高Trans-former 架构下的特征提取性能.

    立体匹配弱纹理目标Transformer空间池化窗口跳跃查询截断求和SceneFlowKITTI-2015

      原文链接:
    • NETL
    • NSTL
    • 万方数据