首页期刊导航|中国图象图形学报
期刊信息/Journal information
中国图象图形学报
中国图象图形学报

李小文

月刊

1006-8961

jig@irsa.ac.cn

010-64807995 8261442

100101

北京9718信箱

中国图象图形学报/Journal Journal of Image and GraphicsCSCD北大核心CSTPCD
查看更多>>本刊是集计算机图象图形高科技理论与应用研究成果、成果产品化与商情动态于一体的综合性学术期刊。是核心期刊、权威性杂志。作为中国图象图形学学会的会刊，利用学会在国内外广泛的科技信息渠道、全方位多层面的学科交叉应用，积极向产业界宣传科技成果，热心向科技界推荐最新产品。
正式出版
收录年代

    深度对抗视觉生成综述

    谭明奎许守恺张书海陈奇...
    2751-2766页
    查看更多>>摘要：深度视觉生成是计算机视觉领域的热门方向,旨在使计算机能够根据输入数据自动生成预期的视觉内容.深度视觉生成使用人工智能技术赋能相关产业,推动产业自动化、智能化改革与转型.生成对抗网络(genera-tive adversarial networks,GANs)是深度视觉生成的有效工具,近年来受到极大关注,成为快速发展的研究方向.GANs能够接收多种模态的输入数据,包括噪声、图像、文本和视频,以对抗博弈的模式进行图像生成和视频生成,已成功应用于多项视觉生成任务.利用GANs实现真实的、多样化和可控的视觉生成具有重要的研究意义.本文对近年来深度对抗视觉生成的相关工作进行综述.首先介绍深度视觉生成背景及典型生成模型,然后根据深度对抗视觉生成的主流任务概述相关算法,总结深度对抗视觉生成目前面临的痛点问题,在此基础上分析深度对抗视觉生成的未来发展趋势.

    深度学习视觉生成生成对抗网络(GANs)图像生成视频生成3维深度图像生成风格迁移可控生成

      原文链接:
    • NETL
    • NSTL
    • 万方数据
    • 维普

    人机交互中的智能体情感计算研究

    刘婷婷刘箴柴艳杰王瑾...
    2767-2777页
    查看更多>>摘要：机器的情感是通过融入具有情感能力的智能体实现的,虽然目前在人机交互领域已经有大量研究成果,但有关智能体情感计算方面的研究尚处起步阶段,深入开展这项研究对推动人机交互领域的发展具有重要的科学和应用价值.本文通过检索Scopus数据库选择有代表性的文献,重点关注情感在智能体和用户之间的双向流动,分别从智能体对用户的情绪感知和对用户情绪调节的角度开展分析总结.首先梳理了用户情绪的识别方法,即通过用户的表情、语音、姿态、生理信号和文本信息等多通道信息分析用户的情绪状态,归纳了情绪识别中的一些机器学习方法.其次从用户体验角度分析具有情绪表现力的智能体对用户的影响,总结了智能体的情绪生成和表现技术,指出智能体除了通过表情之外,还可以通过注视、姿态、头部运动和手势等非言语动作来表现情绪.并且梳理了典型的智能体情绪架构,举例说明了强化学习在智能体情绪设计中的作用.同时为了验证模型的准确性,比较了已有的情感评估手段和评价指标.最后指出智能体情感计算急需解决的问题.通过对现有研究的总结,智能体情感计算研究是一个很有前景的研究方向,希望本文能够为深入开展相关研究提供借鉴.

    人机交互智能体情感计算情绪感知表现

      原文链接:
    • NETL
    • NSTL
    • 万方数据
    • 维普

    环视鱼眼图像处理深度学习研究进展

    包俊刘宏哲褚文博
    2778-2799页
    查看更多>>摘要：视觉环境感知在自动驾驶汽车发展中起着关键作用,在智能后视镜、倒车雷达、360°全景、行车记录仪、碰撞预警、红绿灯识别、车道偏移、并线辅助和自动泊车等领域也有着广泛运用.传统的环境信息获取方式是窄角针孔摄像头,视野有限有盲区,解决这个问题的方法是环境信息感知使用鱼眼镜头,广角视图能够提供整个180°的半球视图,理论上仅需两个摄像头即可覆盖360°,为视觉感知提供更多信息.处理环视图像目前主要有两种途径:一是对图像先纠正,去失真,缺点是图像去失真会损害图像质量,并导致信息丢失;二是直接对形变的鱼眼图像进行建模,但目前还没有效果比较好的建模方法.此外,环视鱼眼图像数据集的缺乏也是制约相关研究的一大难题.针对上述挑战,本文总结了环视鱼眼图像的相关研究,包括环视鱼眼图像的校正处理、环视鱼眼图像中的目标检测、环视鱼眼图像中的语义分割、伪环视鱼眼图像数据集生成方法和其他鱼眼图像建模方法等,结合自动驾驶汽车的环境感知应用背景,分析了这些模型的效率和这些处理方法的优劣,并对目前公开的环视鱼眼图像通用数据集进行了详细介绍,对环视鱼眼图像中待解决的问题与未来研究方向做出预测和展望.

    自动驾驶环视鱼眼图像图像校正目标检测语义分割鱼眼图像数据集研究综述

      原文链接:
    • NETL
    • NSTL
    • 万方数据
    • 维普

    图像分解与色彩先验下的多曝光图像融合

    李嫄源王琴朱智勤齐观秋...
    2800-2812页
    查看更多>>摘要：目的 多曝光图像融合(multi-exposure fusion,MEF)是利用一组不同曝光度的低动态范围(low dynamic range,LDR)图像进行合成,得到类似高动态范围(high dynamic range,HDR)图像视觉效果图像的过程.传统多曝光图像融合在一定程度上存在图像细节信息受损、边界不清晰以及部分色彩失真等问题.为了充分综合待融合图像的有效信息,提出了一种基于图像分解和色彩先验的双尺度多曝光图像融合方法.方法 使用快速导向滤波进行图像分解,分离出细节层对其进行增强处理,保留更多的细节信息,同时减少融合图像的光晕伪影;根据色彩先验,利用亮度和饱和度之差判断图像曝光程度,并联合亮度与饱和度之差以及图像对比度计算多曝光图像融合权重,同时保障融合图像的亮度和对比度;利用导向滤波对权重图进行优化,抑制噪声,增加像素之间的相关性,提升融合图像的视觉效果.结果 在24组多曝光图像序列上进行实验,从主观评价角度来看,该融合方法能够提升图像整体对比度及色彩饱和度,并兼顾过曝光区域和欠曝光区域的细节提升.从客观评价标准分析,采用两种不同的多曝光图像序列融合结果的质量评估算法,评价结果显示融合性能均有所提高,对应的指标均值分别为0.982和0.970.与其他对比算法的数据结果比较,在两种不同的结构相似性指标上均有所提升,平均提升分别为1.2％和1.1％.结论 通过主观和客观评价,证实了所提方法在图像对比度、色彩饱和度以及细节信息保留的处理效果十分显著,具有良好的融合性能.

    多曝光图像融合(MEF)高动态范围成像导向滤波快速导向滤波色彩先验

      原文链接:
    • NETL
    • NSTL
    • 万方数据
    • 维普

    双尺度分解和显著性分析相结合的红外与可见光图像融合

    霍星邹韵陈影檀结庆...
    2813-2825页
    查看更多>>摘要：目的 针对图像融合中存在的目标信息减弱、背景细节不清晰、边缘模糊和融合效率低等不足,为了充分利用源图像的有用特征,将双尺度分解与基于视觉显著性的融合权重的思想融合在一起,提出了一种基于显著性分析和空间一致性的双尺度图像融合方法.方法 利用均值滤波器对源图像进行双尺度分解,先后得到源图像的基层图像信息和细节层图像信息;对基层图像基于加权平均规则融合,对细节层图像先基于显著性分析得到初始权重图,再利用引导滤波优化得到的最终权重图指导加权;通过双尺度重建得到融合图像.结果 根据传统方法与深度学习的不同特点,在TNO等公开数据集上从主观和客观两方面对所提方法进行评价.从主观分析来看,本文方法可以有效提取和融合源图像中的重要信息,得到融合质量高、视觉效果自然清晰的图像.从客观评价来看,实验验证了本文方法在提升融合效果上的有效性.与各种融合结果进行量化比较,在平均梯度、边缘强度、空间频率、特征互信息和交叉熵上的平均精度均为最优;与深度学习方法相比,熵、平均梯度、边缘强度、空间频率、特征互信息和交叉熵等指标均值分别提升了6.87％、91.28％、91.45％、85.10％、0.18％和45.45％.结论 实验结果表明,所提方法不仅在目标、背景细节和边缘等信息的增强效果显著,而且能快速有效地利用源图像的有用特征.

    红外图像可见光图像显著性分析空间一致性双尺度分解图像融合

      原文链接:
    • NETL
    • NSTL
    • 万方数据
    • 维普

    轻量级注意力特征选择循环网络的超分重建

    徐雯捷宋慧慧袁晓彤刘青山...
    2826-2835页
    查看更多>>摘要：目的 深度卷积网络在图像超分辨率重建领域具有优异性能,越来越多的方法趋向于更深、更宽的网络设计.然而,复杂的网络结构对计算资源的要求也越来越高.随着智能边缘设备(如智能手机)的流行,高效能的超分重建算法有着巨大的实际应用场景.因此,本文提出一种极轻量的高效超分网络,通过循环特征选择单元和参数共享机制,不仅大幅降低了参数量和浮点运算次数(floating point operations,FLOPs),而且具有优异的重建性能.方法 本文网络由浅层特征提取、深层特征提取和上采样重建3部分构成.浅层特征提取模块包含一个卷积层,产生的特征循环经过一个带有高效通道注意力模块的特征选择单元进行非线性映射提取出深层特征.该特征选择单元含有多个卷积层的特征增强模块,通过保留每个卷积层的部分特征并在模块末端融合增强层次信息.通过高效通道注意力模块重新调整各通道的特征.借助循环机制(循环6次)可以有效提升性能且大幅减少参数量.上采样重建通过参数共享的上采样模块同时将浅层与深层特征进放大、融合得到高分辨率图像.结果 与先进的轻量级网络进行对比,本文网络极大减少了参数量和FLOPs,在Set5、Set14、B100、Urban100和Manga109等基准测试数据集上进行定量评估,在图像质量指标峰值信噪比(peak signal to noise ratio,PSNR)和结构相似性(structural similarity,SSIM)上也获得了更好的结果.结论 本文通过循环的特征选择单元有效挖掘出图像的高频信息,并通过参数共享机制极大减少了参数量,实现了轻量的高质量超分重建.

    图像超分辨率轻量网络递归机制参数共享特征增强高效通道注意力

      原文链接:
    • NETL
    • NSTL
    • 万方数据
    • 维普

    区域级通道注意力融合高频损失的图像超分辨率重建

    周波李成华陈伟
    2836-2847页
    查看更多>>摘要：目的 通道注意力机制在图像超分辨率中已经得到了广泛应用,但是当前多数算法只能在通道层面选择感兴趣的特征图而忽略了空间层面的信息,使得特征图中局部空间层面上的信息不能合理利用.针对此问题,提出了区域级通道注意力下的图像超分辨率算法.方法 设计了非局部残差密集网络作为网络的主体结构,包括非局部模块和残差密集注意力模块.非局部模块提取非局部相似信息并传到后续网络中,残差密集注意力模块在残差密集块结构的基础上添加了区域级通道注意力机制,可以给不同空间区域上的通道分配不同的注意力,使空间上的信息也能得到充分利用.同时针对当前普遍使用的L1和L2损失函数容易造成生成结果平滑的问题,提出了高频关注损失,该损失函数提高了图像高频细节位置上损失的权重,从而在后期微调过程中使网络更好地关注到图像的高频细节部分.结果 在4个标准测试集Set5、Set14、BSD100(Berkeley segmentation dataset)和Urban100上进行4倍放大实验,相比较于插值方法和SRCNN(image super-resolution using deep convolutional networks)算法,本文方法的PSNR(peak signal to noise ratio)均值分别提升约3.15 dB和1.58 dB.结论 区域级通道注意力下的图像超分辨率算法通过使用区域级通道注意力机制自适应调整网络对不同空间区域上通道的关注程度,同时结合高频关注损失加强对图像高频细节部分的关注程度,使生成的高分辨率图像具有更好的视觉效果.

    深度学习卷积神经网络(CNN)超分辨率注意力机制非局部神经网络

      原文链接:
    • NETL
    • NSTL
    • 万方数据
    • 维普

    结合空间深度卷积和残差的大尺度点云场景分割

    刘盛黄圣跃程豪豪沈家瑜...
    2848-2859页
    查看更多>>摘要：目的 在点云场景中,语义分割对场景理解来说是至关重要的视觉任务.由于图像是结构化的,而点云是非结构化的,点云上的卷积通常比图像上的卷积更加困难,会消耗更多的计算和内存资源.在这种情况下,大尺度场景的分割往往需要分块进行,导致效率不足并且无法捕捉足够的场景信息.为了解决这个问题,本文设计了一种计算高效且内存高效的网络结构,可以用于端到端的大尺度场景语义分割.方法 结合空间深度卷积和残差结构设计空间深度残差(spatial depthwise residual,SDR)块,其具有高效的计算效率和内存效率,并且可以有效地从点云中学习到几何特征.另外,设计一种扩张特征整合(dilated feature aggregation,DFA)模块,可以有效地增加感受野而仅增加少量的计算量.结合SDR块和DFA模块,本文构建SDRNet(spatial depthwise residual network),这是一种encoder-decoder深度网络结构,可以用于大尺度点云场景语义分割.同时,针对空间卷积核输入数据的分布不利于训练问题,提出层级标准化来减小参数学习的难度.特别地,针对稀疏雷达点云的旋转不变性,提出一种特殊的SDR块,可以消除雷达数据绕Z轴旋转的影响,显著提高网络处理激光雷达点云时的性能.结果 在S3DIS(stan-ford large-scale 3D indoor space)和SemanticKITTI(Karlsruhe Institute of Technology and Toyota Technological Institute)数据集上对提出的方法进行测试,并分析点数与帧率的关系.本文方法在S3DIS数据集上的平均交并比(mean intersection over union,mIoU)为71.7％,在SemanticKITTI上的mIoU在线单次扫描评估中达到59.1％.结论 实验结果表明,本文提出的SDRNet能够直接在大尺度场景下进行语义分割.在S3DIS和SemanticKITTI数据集上的实验结果证明本文方法在精度上有较好表现.通过分析点数量与帧率之间的关系,得到的数据表明本文提出的SDRNet能保持较高精度和较快的推理速率.

    深度学习语义分割标准化点云残差神经网络感受野

      原文链接:
    • NETL
    • NSTL
    • 万方数据
    • 维普

    细粒度图像分类的互补注意力方法

    赵勋王家宝李阳王亚鹏...
    2860-2869页
    查看更多>>摘要：目的 由于分类对象具有细微类间差异和较大类内变化的特点,细粒度分类一直是一个具有挑战性的任务.绝大多数方法利用注意力机制学习目标中显著的局部特征.然而,传统的注意力机制往往只关注了目标最显著的局部特征,同时抑制其他区域的次级显著信息,但是这些抑制的信息中通常也含有目标的有效特征.为了充分提取目标中的有效显著特征,本文提出了一种简单而有效的互补注意力机制.方法 基于SE(squeeze-and-exci-tation)注意力机制,提出了一种新的注意力机制,称为互补注意力机制(complemented SE,CSE).既从原始特征中提取主要的显著局部特征,也从抑制的剩余通道信息中提取次级显著特征,这些特征之间具有互补性,通过融合这些特征可以得到更加高效的特征表示.结果 在CUB-Birds(Caltech-UCSD Birds-200-2011)、Stanford Dogs、Stanford Cars和FGVC-Aircraft(fine-grained visual classification of aircraft)4个细粒度数据集上对所提方法进行验证,以Res-Net50为主干网络,在测试集上的分类精度分别达到了87.9％、89.1％、93.9％和92.4％.实验结果表明,所提方法在CUB-Birds和Stanford Dogs两个数据集上超越了当前表现最好的方法,在Stanford Cars和FGVC-Aircraft数据集的表现也接近当前主流方法.结论 本文方法着重提升注意力机制提取特征的能力,得到高效的目标特征表示,可用于细粒度图像分类和特征提取相关的计算机视觉任务.

    细粒度注意力机制图像分类特征提取特征表示

      原文链接:
    • NETL
    • NSTL
    • 万方数据
    • 维普

    联合分块谱带优选和深度特征的高光谱人脸识别

    谢志华李毅牛杰一
    2870-2878页
    查看更多>>摘要：目的 高光谱人脸数据具有丰富的鉴别信息.最优谱带选择和谱内间特征表示是高光谱人脸识别的关键.基于高光谱波段范围为400～1090 nm和采样间隔为10 nm的高光谱成像人脸数据,本文提出一种分块谱带选择和VGG(Visual Geometry Group)网络的高光谱人脸识别方法.方法 为了优化适合人脸识别的谱带组合,基于人脸关键点,提出分块局部二值模式(local binary pattern,LBP)特征的AdaBoost支持向量机(support vector ma-chine,SVM)谱带选择方法.基于卷积神经网络结构建立一个面向高光谱人脸特点的深度网络(VGG12),提取谱带内特征.融合不同谱带的深度特征,利用三层堆栈自编码器(stack auto-encoder,SAE)抽取谱间特征.对提取的谱间和谱内特征,采用最近邻分类器完成最后的识别.结果 为了验证提出方法的有效性,在公开的高光谱人脸数据集UWA-HSFD(University of Western Australia hyperspectral face database)和PolyU-HSFD(Hong Kong Polytechnic University hyperspectral face database)上进行对比试验.结果 显示,基于分块LBP特征的谱带选择算法优于传统基于整幅图像像素的方法,提出的VGG12网络相比已有深度学习网络,仅保留少量(6～8个)谱带,在两个数据集上都取得了最高的识别率(96.8％和97.2％),表明传统可见光人脸深度网络并不适合高光谱人脸识别.结论 实验结果表明,高光谱数据用于人脸识别中,谱带选择与深度学习结合是有效的,本文方法联合有监督深度网络(VGG12)和无监督学习网络(SAE)挖掘谱内和谱间鉴别特征,在降低深度网络训练复杂度的同时取得了较其他深度网络更好的识别性能.

    高光谱人脸识别局部二值模式(LBP)VGG网络谱带选择AdaBoostSVM

      原文链接:
    • NETL
    • NSTL
    • 万方数据
    • 维普