首页期刊导航|中国图象图形学报
期刊信息/Journal information
中国图象图形学报
中国图象图形学报

李小文

月刊

1006-8961

jig@irsa.ac.cn

010-64807995 8261442

100101

北京9718信箱

中国图象图形学报/Journal Journal of Image and GraphicsCSCD北大核心CSTPCD
查看更多>>本刊是集计算机图象图形高科技理论与应用研究成果、成果产品化与商情动态于一体的综合性学术期刊。是核心期刊、权威性杂志。作为中国图象图形学学会的会刊，利用学会在国内外广泛的科技信息渠道、全方位多层面的学科交叉应用，积极向产业界宣传科技成果，热心向科技界推荐最新产品。
正式出版
收录年代

    《中国图象图形学报》低质图像处理与语义理解专栏简介

    胡清华左旺孟张长青任冬伟...
    839-840页
      原文链接:
    • NETL
    • NSTL
    • 万方数据

    图像去模糊研究综述

    胡张颖周全陈明举崔景程...
    841-861页
    查看更多>>摘要：图像模糊是指在图像捕捉或传输过程中，由于镜头或相机运动、光照条件等因素导致图像失去清晰度和细节，从而影响图像的质量和可用性。为了消除这种影响，图像去模糊技术应运而生。其目的在于通过构建计算机数学模型来衡量图像的模糊信息，从而自动预测去模糊后的清晰图像。图像去模糊算法的研究发展不仅为计算机视觉领域的其他任务提供了便利，同时也为生活领域提供了便捷和保障，如安全监控等。1)回顾了整个图像去模糊领域的发展历程，对盲图像去模糊和非盲图像去模糊中具有影响力的算法进行论述和分析。2)讨论了图像模糊的常见原因以及去模糊图像的质量评价方法。3)全面阐述了传统方法和基于深度学习方法的基本思想，并针对图像非盲去模糊和图像盲去模糊两方面的一些文献进行了综述。其中，基于深度学习的方法包括基于卷积神经网络、基于循环神经网络、基于生成式对抗网络和基于Transformer的方法等。4)简要介绍了图像去模糊领域的常用数据集并比较分析了一些代表性图像去模糊算法的性能。5)探讨了图像去模糊领域所面临的挑战，并对未来的研究方法进行了展望。

    图像去模糊卷积神经网络(CNN)循环神经网络(RNN)生成式对抗网络(GAN)Transformer深度学习

      原文链接:
    • NETL
    • NSTL
    • 万方数据

    基于照度与场景纹理注意力图的低光图像增强

    赵明华汶怡春都双丽胡静...
    862-874页
    查看更多>>摘要：目的 现有的低照度图像增强算法常存在局部区域欠增强、过增强及色彩偏差等情况，且对于极低照度图像增强，伴随着噪声放大及细节信息丢失等问题。对此，提出了一种基于照度与场景纹理注意力图的低光图像增强算法。方法 首先，为了降低色彩偏差对注意力图估计模块的影响，对低光照图像进行了色彩均衡处理;其次，试图利用低照度图像最小通道约束图对正常曝光图像的照度和纹理进行注意力图估计，为后续增强模块提供信息引导;然后，设计全局与局部相结合的增强模块，用获取的照度和场景纹理注意力估计图引导图像亮度提升和噪声抑制，并将得到的全局增强结果划分成图像块进行局部优化，提升增强性能，有效避免了局部欠增强和过增强的问题。结果 将本文算法与2种传统方法和4种深度学习算法比较，主观视觉和客观指标均表明本文增强结果在亮度、对比度以及噪声抑制等方面取得了优异的性能。在VV(Vasileios Vonikakis)数据集上，本文方法的BTMQI(blind tone-mapped quality index)和 NIQMC(no-reference image quality metric for contrast distortion)指标均达到最优值;在178幅普通低照度图像上本文算法的BTMQI和NIQMC均取得次优值，但纹理突出和噪声抑制优势显著。结论 大量定性及定量的实验结果表明，本文方法能有效提升图像亮度和对比度，且在突出暗区纹理时，能有效抑制噪声。本文方法用于极低照度图像时，在色彩还原、细节纹理恢复和噪声抑制方面均具有明显优势。代码已共享在 Github 上:https://github。com/shuanglidu/LLIE_CEIST。git。

    低照度图像增强注意力机制U-Net网络照度估计最小通道约束图

      原文链接:
    • NETL
    • NSTL
    • 万方数据

    轻量级图像超分辨率的蓝图可分离卷积Transformer网络

    毕修平陈实张乐飞
    875-889页
    查看更多>>摘要：目的 图像超分辨率重建的目的是将低分辨率图像复原出具有更丰富细节信息的高分辨率图像。近年来，基于Transformer的深度神经网络在图像超分辨率重建领域取得了令人瞩目的性能，然而，这些网络往往参数量巨大、计算成本较高。针对该问题，设计了一种轻量级图像超分辨率重建网络。方法 提出了一种轻量级图像超分辨率的蓝图可分离卷积Transformer 网络(blueprint separable convolution Transformer network，BSTN)。基于蓝图可分离卷积(blueprint separable convolution，BSConv)设计了蓝图前馈神经网络和蓝图多头自注意力模块。然后设计了移动通道注意力模块(shift channel attention block，SCAB)对通道重点信息进行加强，包括移动卷积、对比度感知通道注意力和蓝图前馈神经网络。最后设计了蓝图多头自注意力模块(blueprint multi-head self-attention block，BMSAB)，通过蓝图多头自注意力与蓝图前馈神经网络以较低的计算量实现了自注意力过程。结果 本文方法在4个数据集上与10种先进的轻量级超分辨率方法进行比较。客观上，本文方法在不同数据集上取得了不同程度的领先，并且参数量和浮点运算量都处于较低水平。当放大倍数分别为2、3和4时，在Set5数据集上相比SOTA(state-of-the-art)方法，峰值信噪比(peak signal to noise ratio，PSNR)分别提升了 0。11 dB、0。16dB 和0。17 dB。主观上，本文方法重建图像清晰，模糊区域小，具有丰富的细节。结论 本文所提出的蓝图可分离卷积Transformer网络BSTN以较少的参数量和浮点运算量达到了先进水平，能获得高质量的超分辨率重建结果。

    图像超分辨率轻量级模型Transformer深度学习注意力机制

      原文链接:
    • NETL
    • NSTL
    • 万方数据

    图像复原中自注意力和卷积的动态关联学习

    江奎贾雪梅黄文心王文兵...
    890-907页
    查看更多>>摘要：目的 卷积神经网络(convolutional neural network，CNN)和自注意力(self-attention，SA)在多媒体应用领域已经取得了巨大的成功。然而，鲜有研究人员能够在图像修复任务中有效地协调这两种架构。针对这两种架构各自的优缺点，提出了一种关联学习的方式以综合利用两种方法的优点并抑制各自的不足，实现高质高效的图像修复。方法 本文结合CNN和SA两种架构的优势，尤其是在特定的局部上下文和全局结构表示中充分利用CNN的局部感知和平移不变性，以及SA的全局聚合能力。此外，图像的降质分布揭示了图像空间中退化的位置和程度。受此启发，本文在背景修复中引入退化先验，并据此提出一种动态关联学习的图像修复方法。核心是一个新的多输入注意力模块，将降质扰动的消除和背景修复关联起来。通过结合深度可分离卷积，利用CNN和SA两种架构的优势实现高效率和高质量图像修复。结果 在Test1200数据集中进行了消融实验以验证算法各个部分的有效性，实验结果证明CNN和SA的融合可以有效提升模型的表达能力;同时，降质扰动的消除和背景修复关联学习可以有效提升整体的修复效果。本文方法在3个图像修复任务的合成和真实数据上与其他10余种方法进行了比较，提出的方法取得了显著的提升。在图像去雨任务上，本文提出的ELF(image deeraining meets association learning and Trans-former)方法在合成数据集 Test1200上，相比于 MPRNet(multi-stage progressive image restoration network)，PSNR(peak signal-to-noise ratio)值提高了 0。9 dB;在水下图像增强任务上，ELF在R90数据集上超过Ucolor方法4。15 dB;在低照度图像增强任务上，相对于 LLFlow(flow-based low-light image enhancement)算法，ELF 获得了 1。09 dB 的提升。结论 本文方法在效果和性能上具有优势，在常见的图像去雨、低照度图像增强和水下图像修复等任务上优于代表性的方法。

    图像修复关联学习自注意力(SA)图像去雨低照度图像增强水下图像修复

      原文链接:
    • NETL
    • NSTL
    • 万方数据

    局部特征增强的转置自注意力图像超分辨率重建

    孙阳丁建伟张琪邓琪瑶...
    908-921页
    查看更多>>摘要：目的 超分辨率(super resolution，SR)重建任务通过划分窗口引入自注意力机制进行特征提取，获得了令人瞩目的成绩。针对划分窗口应用自注意力机制时会限制图像信息聚合范围、制约模型对特征信息进行建模的问题，本文基于转置自注意力机制构建全局和局部信息建模网络捕捉图像像素依赖关系。方法 首先采用轻量的基线模型对特征进行简单关系建模，然后将空间维度上的自注意力机制转换到通道维度，通过计算交叉协方差矩阵构建各像素点之间的长距离依赖关系，接着通过引入通道注意力块补充图像重建所需的局部信息，最后构建双门控机制控制信息在模型中的流动，提高模型对特征的建模能力及其鲁棒性。结果 实验在5个基准数据集Set5、Set14、BSD100、Urban100、Manga109上与主流方法进行了比较，在不同比例因子的SR任务中均获得了最佳或者次佳的结果。与SwinIR(image restoration using swin Transformer)在×2倍SR任务中相比，在以上5个数据集上的峰值信噪比分别提升了 0。03 dB、0。21 dB、0。05 dB、0。29 dB和0。10 dB，结构相似度也获得了极大提升，同时视觉感知优化十分明显。结论 所提出的网络模型能够更充分地对特征信息全局关系进行建模，同时也不会丢失图像特有的局部相关性。重建图像质量明显提高，细节更加丰富，充分说明了本文方法的有效性与先进性。

    图像超分辨率重建自注意力机制深度学习图像复原门控网络

      原文链接:
    • NETL
    • NSTL
    • 万方数据

    结合稀疏先验与多模式分解的低秩张量恢复方法

    杨秀红苟田坤薛怡金海燕...
    922-938页
    查看更多>>摘要：目的 各类终端设备获取的大量数据往往由于信息丢失而导致数据不完整，或经常受到降质问题的困扰。为有效恢复缺损或降质数据，低秩张量补全备受关注。张量分解可有效挖掘张量数据的内在特征，但传统分解方法诱导的张量秩函数无法探索张量不同模式之间的相关性;另外，传统张量补全方法通常将全变分约束施加于整体张量数据，无法充分利用张量低维子空间的平滑先验。为解决以上两个问题，提出了基于稀疏先验与多模式张量分解的低秩张量恢复方法。方法 在张量秩最小化模型基础上，融入多模式张量分解技术以及分解因子局部稀疏性。首先对原始张量施加核范数约束，以此捕获张量的全局低秩性，然后，利用多模式张量分解将整体张量沿着每个模式分解为一组低维张量和一组因子矩阵，以探索不同模式之间的相关性，对因子矩阵施加因子梯度稀疏正则化约束，探索张量子空间的局部稀疏性，进一步提高张量恢复性能。结果 在高光谱图像、多光谱图像、YUV(也称为YCbCr)视频和医学影像数据上，将本文方法与其他8种修复方法在3种丢失率下进行定量及定性比较。在恢复4种类型张量数据方面，本文方法与深度学习GP-WLRR方法(global prior refined weighted low-rank representation)的修复效果基本持平，本文方法的MPSNR(mean peak signal-to-noise ratio)在所有丢失率及张量数据上的总体平均高0。68 dB，MSSIM(mean structural similarity)总体平均高0。01;与其他6种张量建模方法相比，本文方法的MPSNR及MSSIM均取得最优结果。结论 提出的基于稀疏先验与多模式张量分解的低秩张量恢复方法，可同时利用张量的全局低秩性与局部稀疏性，能够对受损的多维视觉数据进行有效修复。

    多模式张量分解稀疏先验因子梯度稀疏性低秩张量恢复

      原文链接:
    • NETL
    • NSTL
    • 万方数据

    视觉显著性驱动的全景渲染图非局部降噪

    韩鲁光陈纯毅申忠业胡小娟...
    939-952页
    查看更多>>摘要：目的 传统降噪方法通常忽视人眼感知因素，对不同区域的图像块都进行同等处理。当使用传统降噪算法对全景画面滤波处理时，全景画面两极区域容易产生模糊问题，尤其是通过视口观察时，该问题更加明显。针对此问题，提出一种视觉显著性驱动的蒙特卡洛渲染生成全景图非局部均值(visual saliency driven non-local means，VSD-NLM)滤波降噪算法。方法 在VSD-NLM算法中首先使用全景图显著区域检测算法获取全景画面的显著区域;然后使用梯度幅值相似性偏差辅助的非局部均值(gradient magnitude similarity deviation assisted non-local means，GMSDA-NLM)滤波算法，降低显著区域的噪声;同时设计并行非局部均值(parallel non-local means，P-NLM)滤波算法，加快降噪处理速度，降低非显著区域噪声;最后利用改进的Canny算法提取梯度特征，同时结合各向异性扩散引导滤波来优化降噪结果。结果 采用结构相似度(structural similarity，SSIM)和FLIP作为评价指标，来对比VSD-NLM算法与非局部均值滤波算法、多特征非局部均值滤波算法以及渐进式去噪算法等其他算法的性能。实验结果表明，VSD-NLM算法的降噪结果在客观评价指标上均优于对比算法，SSIM值比其他算法平均提高14。7％，FLIP值比其他算法平均降低15。2％。在视觉效果方面，VSD-NLM算法能够减轻全景画面模糊，提升视觉感知质量。本文对GMSDA-NLM和P-NLM算法的有效性进行了实验验证，相较于非局部均值滤波算法，GMSDA-NLM算法能够有效去除噪声并保持图像细节的完整性。P-NLM算法在运行速度方面相较对比算法平均提高约6倍，与串行算法生成的图像之间的SSIM值可达到0。996。结论 本文算法能够更好地用于全景图降噪，滤波效果更佳，对全景电影制作应用有重要的理论和实际意义。

    全景图像非局部均值滤波梯度幅值相似性偏差(GMSD)引导滤波图像降噪

      原文链接:
    • NETL
    • NSTL
    • 万方数据

    MSPRL:面向图像逆半色调的多尺度渐进式残差学习网络

    李飞宇杨俊桑高丽
    953-965页
    查看更多>>摘要：目的 图像逆半色调的目的是从二值半色调图像中恢复出连续色调图像。半色调图像丢失了大量原始图像内容信息，因此逆半色调成为一个经典的图像重建病态问题。现有的逆半色调算法重建效果无法满足对图像细节和纹理的需求。此外，已有方法大多忽略了训练策略对模型优化的重要影响，导致模型性能较差。针对上述问题，提出一个逆半色调网络以提高半色调图像重建质量。方法 首先提出一个端到端的多尺度渐进式残差学习网络(multiscale progressivoly residual learning network，MSPRL)以恢复出更高质量的连续色调图像。该网络基于UNet架构并以多尺度图像作为输入;为充分利用不同尺度输入图像的信息，设计一个浅层特征提取模块以捕获多尺度图像的注意力信息;同时探讨不同学习策略对模型训练和性能的影响。结果 实验在7个数据集上与6种方法进行对比。在Place365和Kodak数据集上，相比性能第2的方法，峰值信噪比(peak signal-to-noise ratio，PSNR)分别提高0。12 dB和0。18 dB;在其他5个常用于图像超分辨率的测试数据集Set5、Set14、BSD100(Berkeley segmentation data-set 100)、Urbanl00 和 Mangal09 上，相比性能第 2 的方法，PSNR 值分别提高 0。11 dB、0。25 dB、0。08 dB、0。39 dB 和0。35 dB。基于本文的训练策略，重新训练的渐进式残差学习网络相比未优化训练模型在7个数据集上PSNR平均提高1。44dB。本文方法在图像细节和纹理重建上实现最优效果。实验表明选用合适的学习策略能够优化模型训练，对性能提升具有重要帮助。结论 本文提出的逆半色调模型，综合UNet架构和多尺度图像信息的优点，选用合适的训练策略，使得图像重建的细节与纹理更加清晰，视觉效果更加细致。本文算法代码公布在https://github。com/Feiyuli-cs/MSPRL。

    图像逆半色调误差扩散多尺度渐进式学习深度学习图像恢复

      原文链接:
    • NETL
    • NSTL
    • 万方数据

    语义分割和HSV色彩空间引导的低光照图像增强

    张航颜佳
    966-977页
    查看更多>>摘要：目的 低光照图像增强是图像处理中的基本任务之一。虽然已经提出了各种方法，但它们往往无法在视觉上产生吸引人的结果，这些图像存在细节不清晰、对比度不高和色彩失真等问题，同时也对后续目标检测、语义分割等任务有不利影响。针对上述问题，提出一种语义分割和HSV(hue，saturation and value)色彩空间引导的低光照图像增强方法。方法 首先提出一个迭代图像增强网络，逐步学习低光照图像与增强图像之间像素级的最佳映射，同时为了在增强过程中保留语义信息，引入一个无监督的语义分割网络并计算语义损失，该网络不需要昂贵的分割注释。为了进一步解决色彩失真问题，在训练时利用HSV色彩空间设计HSV损失;为了解决低光照图像增强中出现细节不清晰的问题，设计了空间一致性损失，使增强图像与对应的低光照图像尽可能细节一致。最终，本文的总损失函数由5个损失函数组成。结果 将本文方法与LIME(low-light image enhancement)、RetinexNet(deep retinex decomposition)、EnlightenGAN(deep light enhancement using generative adversarial networks)、Zero-DCE(zero-reference deep curve estimation)和 SGZ(semantic-guided zero-shot learning)5 种方法进行了 比较。在峰值信噪比(peak signal-to-noise ratio，PSNR)上，本文方法平均比 Zero-DCE(zero-reference deep curve estimation)提高了 0。32 dB;在自然图像质量评价(natural image quality evaluation，NIQE)方面，本文方法比EnlightenGAN提高了 6％。从主观上看，本文方法具有更好的视觉效果。结论 本文所提出的低光照图像增强方法能有效解决细节不清晰、色彩失真等问题，具有一定的应用价值。

    图像处理低光照图像增强深度学习语义分割HSV色彩空间

      原文链接:
    • NETL
    • NSTL
    • 万方数据