首页期刊导航|中国图象图形学报
期刊信息/Journal information
中国图象图形学报
中国图象图形学报

李小文

月刊

1006-8961

jig@irsa.ac.cn

010-64807995 8261442

100101

北京9718信箱

中国图象图形学报/Journal Journal of Image and GraphicsCSCD北大核心CSTPCD
查看更多>>本刊是集计算机图象图形高科技理论与应用研究成果、成果产品化与商情动态于一体的综合性学术期刊。是核心期刊、权威性杂志。作为中国图象图形学学会的会刊，利用学会在国内外广泛的科技信息渠道、全方位多层面的学科交叉应用，积极向产业界宣传科技成果，热心向科技界推荐最新产品。
正式出版
收录年代

    联合形态学滤波和卷积稀疏编码的图像去雨

    黄淑英许亚婷杨勇管巨伟...
    1522-1536页
    查看更多>>摘要：目的 图像去雨技术是对雨天拍摄图像中雨纹信息进行检测和去除,恢复目标场景的细节信息,从而获得清晰的无雨图像.针对现有方法对雨纹信息检测不完全、去除不彻底的问题,提出一种联合自适应形态学滤波和多尺度卷积稀疏编码(multi-scale convolution sparse coding,MS-CSC)的单幅图像去雨方法.方法 考虑雨纹信息的形状结构特点,构造一种自适应形态学滤波器来滤除有雨图像中的雨纹信息,获得包含图像自身纹理的低频成分;利用全变分模型正则化方法来增强低频成分的纹理信息,并利用有雨图像减去低频成分获得包含雨纹信息的高频成分;针对高频成分,根据雨纹的方向性提出一种基于方向梯度正则化的MS-CSC方法来重构高频成分,并通过迭代求解获得包含精确雨纹的高频成分,即雨层;利用有雨图像减去雨层得到最终的去雨图像.结果 为验证本文方法的有效性,与一些主流的去雨方法进行实验比较.实验结果表明,本文方法在模拟数据集上的平均峰值信噪比(peak signal-to-noise ratio,PSNR)和平均结构相似度(structural similarity,SSIM)指标分别提高了0.95和0.0052,能得到较好的主观视觉效果和客观评价,特别是在真实数据集上具有明显优势.结论 本文方法可有效去除雨纹,同时可保留更多的原始图像纹理信息,经证明是一种有效的去雨算法.

    图像去雨自适应形态学滤波全变分模型方向梯度正则化多尺度卷积稀疏编码(MS-CSC)

      原文链接:
    • NETL
    • NSTL
    • 万方数据
    • 维普

    多尺度渐进式残差网络的图像去雨

    卢贝盖杉
    1537-1553页
    查看更多>>摘要：目的 现有的去雨方法存在去雨不彻底和去雨后图像结构信息丢失等问题.针对这些问题,提出多尺度渐进式残差网络(multi scale progressive residual network,MSPRNet)的单幅图像去雨方法.方法 提出的多尺度渐进式残差网络通过3个不同感受野的子网络进行逐步去雨.将有雨图像通过具有较大感受野的初步去雨子网络去除图像中的大尺度雨痕.通过残留雨痕去除子网络进一步去除残留的雨痕.将中间去雨结果输入图像恢复子网络,通过这种渐进式网络逐步恢复去雨过程中损失的图像结构信息.为了充分利用残差网络的残差分支上包含的重要信息,提出了一种改进残差网络模块,并在每个子网络中引入注意力机制来指导改进残差网络模块去雨.结果 在5个数据集上与最新的8种方法进行对比实验,相较于其他方法中性能第1的模型,本文算法在5个数据集上分别获得了0.018、0.028、0.012、0.007和0.07的结构相似度(structural similarity,SSIM)增益.同时在Rain100L数据集上进行了消融实验,实验结果表明,每个子网络的缺失都会造成去雨性能的下降,提出的多尺度渐进式网络算法能够有效去除各种雨痕.结论 提出的算法能够获得最高的客观评价指标值和最优的视觉效果.在有效解决雨痕重叠问题的同时能够更好地保持图像的细节信息.

    单幅图像去雨深度学习卷积神经网络(CNN)残差网络注意力机制

      原文链接:
    • NETL
    • NSTL
    • 万方数据
    • 维普

    改进融合策略下透明度引导的逆光图像增强

    赵明华程丹妮都双丽胡静...
    1554-1564页
    查看更多>>摘要：目的 针对传统的逆光图像增强算法存在的曝光正常区域与逆光区域间阈值计算复杂、分割精度不足、过度曝光以及增强不足等问题,提出一种改进融合策略下透明度引导的逆光图像增强算法.方法 对逆光图像在HSV(hue,saturation,value)空间中的亮度分量进行亮度提升和对比度增强,然后通过金字塔融合策略对改进的亮度分量进行分解和重构,恢复逆光区域的细节和颜色信息.此外,利用深度抠图网络计算透明度蒙版,对增强的逆光区域与源图像进行融合处理,维持非逆光区域亮度不变.通过改进融合策略增强的图像在透明度引导下既有效恢复了逆光区域又避免了曝光过度的问题.结果 实验在多幅逆光图像上与直方图均衡算法、MSR(multi-scale Retinex)、Zero-DEC(zero-reference deep curve estimation)、AGLLNet(attention guided low-light image enhancement)和LBR(learning-based restoration)5种方法进行了比较,在信息熵(information entropy,IE)和盲图像质量指标(blind image quality indicators,BIQI)上,比AGLLNet分别提高了1.9％和10.2％;在自然图像质量评价(natural image quality evaluation,NIQE)方面,比Zero-DCE(zero-reference deep curve estimation)提高了3.5％.从主观评估上看,本文算法增强的图像在亮度、对比度、颜色及细节上恢复得更加自然,达到了较好的视觉效果.结论 本文方法通过结合金字塔融合技术与抠图技术,解决了其他方法存在的色彩失真和曝光过度问题,具有更好的增强效果.

    图像处理逆光图像增强深度抠图灰度拉伸金字塔融合

      原文链接:
    • NETL
    • NSTL
    • 万方数据
    • 维普

    融合注意力机制和上下文信息的微光图像增强

    赵兴运孙帮勇
    1565-1576页
    查看更多>>摘要：目的 微光图像存在低对比度、噪声伪影和颜色失真等退化问题,造成图像的视觉感受质量较差,同时也导致后续图像识别、分类和检测等任务的精度降低.针对以上问题,提出一种融合注意力机制和上下文信息的微光图像增强方法.方法 为提高运算精度,以U型结构网络为基础构建了一种端到端的微光图像增强网络框架,主要由注意力机制编/解码模块、跨尺度上下文模块和融合模块等组成.由混合注意力块(包括空间注意力和通道注意力)引导主干网络学习,其空间注意力模块用于计算空间位置的权重以学习不同区域的噪声特征,而通道注意力模块根据不同通道的颜色信息计算通道权重,以提升网络的颜色信息重建能力.此外,跨尺度上下文模块用于聚合各阶段网络中的深层和浅层特征,借助融合机制来提高网络的亮度和颜色增强效果.结果 本文方法与现有主流方法进行定量和定性对比实验,结果显示本文方法显著提升了微光图像亮度,并且较好保持了图像颜色一致性,原微光图像较暗区域的噪点显著去除,重建图像的纹理细节清晰.在峰值信噪比(peak signal-to-noise ratio,PSNR)、结构相似性(structural similarity,SSIM)和图像感知相似度(perceptual image patch similarity,LPIPS)等客观指标上,本文方法较其他方法的最优值分别提高了0.74 dB、0.153和0.172.结论 本文方法能有效解决微光图像存在的曝光不足、噪声干扰和颜色不一致等问题,具有一定应用价值.

    图像处理微光图像增强深度学习注意力机制上下文信息

      原文链接:
    • NETL
    • NSTL
    • 万方数据
    • 维普

    多残差联合学习的水下图像增强

    陈龙丁丹丹
    1577-1588页
    查看更多>>摘要：目的 由于海水中悬浮的颗粒会吸收和散射光,并且不同波长的光在海水中的衰减程度也不同,使得水下机器人拍摄的图像呈现出对比度低、颜色失真等问题.为解决上述问题以呈现出自然清晰的水下图像,本文提出了基于神经网络的多残差联合学习的方法来对水下图像进行增强.方法 该方法包括3个模块:预处理、特征提取和特征融合.首先,采用Sigmoid校正方法对原始图像的对比度进行预处理,增强失真图像的对比度,得到校正后的图像;然后,采用双分支网络对特征进行提取,将原始图像送入分支1——残差通道注意分支网络,将校正后的图像与原始图像级联送入分支2——残差卷积增强分支网络.其中,通道注意分支在残差密集块中嵌入了通道注意力模型,通过对不同通道的特征重新进行加权分配,以加强有用特征;卷积增强分支通过密集级联和残差学习,提取校正图像中边缘等高频信息以保持原始结构与边缘.最后,在特征融合部分,将以上双分支网络的特征级联后,通过残差学习进一步增强;增强后的特征与分支1的输出、分支1与分支2的输出分别经过自适应掩膜进行再次融合.选取通用UIEB(underwater image benchmark dataset)数据集中的800幅水下图像作为训练集进行训练,设计了结合图像内容感知、均方误差、梯度和结构相似性的联合损失函数对网络进行端到端训练.结果 在通用UIEB数据集上选取非训练集中有参考图像的90幅图像与当前10种方法进行测试.结果 显示,本文方法增强后的水下图像的PSNR(peak signal-to-noise ratio)指标平均达到了20.7394 dB,SSIM(structural similarity)为0.8768,UIQM(underwater image quality measure)为3.1833,均高于对比方法.结论 本文方法不仅在客观质量上超越了对比方法,且在主观质量上也显著提高了对比度,能够产生颜色丰富并且清晰度较高的增强图像.尤其是对于深水场景中偏蓝的水下图像,本文方法获得显著的质量提升.

    卷积神经网络(CNN)密集级联网络水下图像增强特征提取通道注意

      原文链接:
    • NETL
    • NSTL
    • 万方数据
    • 维普

    零参考样本下的逆光图像深度学习增强方法

    王知音张二虎石争浩段敬红...
    1589-1603页
    查看更多>>摘要：目的 随着数码设备的普及,拍照成为记录生活的一种主流方式.但是周围环境的不可控因素会导致用户获取到逆光图像.传统的图像增强方法大多是全局增强,通常存在增强过度或增强程度不够的问题.而基于深度学习的图像增强方法大多是针对低照度图像增强任务,此类方法无法同时兼顾逆光图像中欠曝光区域和过曝光区域的增强问题,且在网络训练时需要成对的数据集.方法 提出一个基于注意力机制的逆光图像增强网络ABIEN(attention-based backlight image enhancement network),该网络学习逆光图像与增强图像之间像素级的映射参数,解决无参考图像的问题,同时使用注意力机制使网络关注欠曝光区域和过曝光区域的增强.为了解决无法获取成对图像数据集的问题,所设计的网络学习逆光图像与恢复图像之间的映射参数,并借助该参数进行迭代映射以实现图像增强;为了在增强欠曝光区域的同时还能抑制过曝光区域增强过度的问题,通过引入注意力机制帮助网络关注这两个不同区域的增强过程;为了解决大多数图像恢复中都会出现的光晕、伪影等问题,采用原始分辨率保留策略,在不改变图像大小的情况下将主网络各个深度的特征信息充分利用,以削弱该类问题对增强图像的影响.结果 通过将本文方法与MSRCR(multi-scale retinex with color restoration)、Fusion-based(fusion-based method)、Learnning-based(learning-based restoration)、NPEA(naturalness preserved enhancement algorithm)和ExCNet(exposure correction network)等方法进行对比,本文方法得到的增强图像从主观上看曝光度更好、颜色保留更真实、伪影更少;从客观指标来看,本文方法在LOE(lightness order error)上取得了最好的效果,在VLD(visibility level descriptor)和CDIQA(contrast-distorted image quality assessment)上表现也很好;从处理时间上来看,本文方法的处理时间相对较短,可以满足在现实场景中的实时应用.结论 提出的逆光图像增强方法通过结合注意力机制和原始分辨率保留策略,可以帮助网络学习各个层次的特征信息,充分挖掘图像内容信息,在矫正图像亮度的同时,还能更好地恢复图像细节.

    逆光图像图像增强卷积神经网络(CNN)注意力机制零参考样本

      原文链接:
    • NETL
    • NSTL
    • 万方数据
    • 维普

    跨尺度耦合的连续比例因子图像超分辨率

    吴瀚霖李宛谕张立保
    1604-1615页
    查看更多>>摘要：目的 虽然深度学习技术已大幅提高了图像超分辨率的性能,但是现有方法大多仅考虑了特定的整数比例因子,不能灵活地实现连续比例因子的超分辨率.现有方法通常为每个比例因子训练一次模型,导致耗费很长的训练时间和占用过多的模型存储空间.针对以上问题,本文提出了一种基于跨尺度耦合网络的连续比例因子超分辨率方法.方法 提出一个用于替代传统上采样层的跨尺度耦合上采样模块,用于实现连续比例因子上采样.其次,提出一个跨尺度卷积层,可以在多个尺度上并行提取特征,通过动态地激活和聚合不同尺度的特征来挖掘跨尺度上下文信息,有效提升连续比例因子超分辨率任务的性能.结果 在3个数据集上与最新的超分辨率方法进行比较,在连续比例因子任务中,相比于性能第2的对比算法Meta-SR(meta super-resolution),峰值信噪比提升达0.13 dB,而参数量减少了73％.在整数比例因子任务中,相比于参数量相近的轻量网络SRFBN(super-resolution feedback network),峰值信噪比提升达0.24 dB.同时,提出的算法能够生成视觉效果更加逼真、纹理更加清晰的结果.消融实验证明了所提算法中各个模块的有效性.结论 本文提出的连续比例因子超分辨率模型,仅需要一次训练,就可以在任意比例因子上获得优秀的超分辨率结果.此外,跨尺度耦合上采样模块可以用于替代常用的亚像素层或反卷积层,在实现连续比例因子上采样的同时,保持模型性能.

    深度学习单幅图像超分辨率(SISR)连续比例因子跨尺度耦合跨尺度卷积

      原文链接:
    • NETL
    • NSTL
    • 万方数据
    • 维普

    用于单幅模糊图像超分辨的Transformer融合网络

    刘花成任文琦王蕊操晓春...
    1616-1631页
    查看更多>>摘要：目的 以卷积神经网络为代表的深度学习方法已经在单帧图像超分辨领域取得了丰硕成果,这些方法大多假设低分辨图像不存在模糊效应.然而,由于相机抖动、物体运动等原因,真实场景下的低分辨率图像通常会伴随着模糊现象.因此,为了解决模糊图像的超分辨问题,提出了一种新颖的Transformer融合网络.方法 首先使用去模糊模块和细节纹理特征提取模块分别提取清晰边缘轮廓特征和细节纹理特征.然后,通过多头自注意力机制计算特征图任一局部信息对于全局信息的响应,从而使Transformer融合模块对边缘特征和纹理特征进行全局语义级的特征融合.最后,通过一个高清图像重建模块将融合特征恢复成高分辨率图像.结果 实验在2个公开数据集上与最新的9种方法进行了比较,在GOPRO数据集上进行2倍、4倍、8倍超分辨重建,相比于性能第2的模型GFN(gated fusion network),峰值信噪比(peak signal-to-noive ratio,PSNR)分别提高了0.12 dB、0.18 dB、0.07 dB;在Kohler数据集上进行2倍、4倍、8倍超分辨重建,相比于性能第2的模型GFN,PSNR值分别提高了0.17 dB、0.28 dB、0.16 dB.同时也在GOPRO数据集上进行了对比实验以验证Transformer融合网络的有效性.对比实验结果表明,提出的网络明显提升了对模糊图像超分辨重建的效果.结论 本文所提出的用于模糊图像超分辨的Transformer融合网络,具有优异的长程依赖关系和全局信息捕捉能力,其通过多头自注意力层计算特征图任一局部信息在全局信息上的响应,实现了对去模糊特征和细节纹理特征在全局语义层次的深度融合,从而提升了对模糊图像进行超分辨重建的效果.

    超分辨单帧图像超分辨模糊图像融合网络Transformer

      原文链接:
    • NETL
    • NSTL
    • 万方数据
    • 维普

    全细节增强多曝光图像融合

    陈彬谭新成伍世虔
    1632-1644页
    查看更多>>摘要：目的 曝光融合算法,即将多幅不同曝光时间的图像融合得到一幅曝光度良好的图像,可能在最终的输出图像中引入光晕伪影、边缘模糊和细节丢失等问题.针对曝光融合过程中存在的上述问题,本文从细节增强原理出发提出了一种全细节增强的曝光融合算法.方法 在分析了光晕现象产生原因的基础上,从聚合的新角度对经典引导滤波进行改进,明显改善引导滤波器的保边特性,从而有效去除或减小光晕;用该改进引导滤波器提取不同曝光图像的细节信息,并依据曝光良好度将多幅细节图融合得到拍摄场景的全细节信息;将提取、融合得到的全细节信息整合到由经典曝光融合算法得到的初步融合图像上,最终输出一幅全细节增强后的融合图像.结果 实验选取17组多曝光高质量图像作为输入图像序列,本文算法相较于其他算法得到的融合图像边缘保持较好,融合自然;从客观指标看,本文算法在信息熵、互信息与平均梯度等指标上都较其他融合算法有所提升.以本文17组图像的平均结果来看,本文算法相较于经典的拉普拉斯金字塔融合算法在信息熵上提升了14.13％,在互信息熵上提升了0.03％,在平均梯度上提升了16.45％.结论 提出的全细节增强的曝光融合算法将加权聚合引导滤波用于计算多曝光序列图像的细节信息,并将该细节信息融合到经典曝光融合算法所得到的一幅中间图像之上,从而得到最终的融合图像.本文的处理方法使最终融合图像包含更多细节,降低或避免了光晕及梯度翻转等现象,且最终输出图像的视觉效果更加优秀.

    多曝光图像融合细节提取引导滤波(GIF)加权聚合光晕效应

      原文链接:
    • NETL
    • NSTL
    • 万方数据
    • 维普

    基于卷积自编码生成式对抗网络的高分辨率破损图像修复

    侯向丹刘昊然刘洪普
    1645-1656页
    查看更多>>摘要：目的 破损图像修复是一项具有挑战性的任务,其目的是根据破损图像中已知内容对破损区域进行填充.许多基于深度学习的破损图像修复方法对大面积破损的图像修复效果欠佳,且对高分辨率破损图像修复的研究也较少.对此,本文提出基于卷积自编码生成式对抗网络(convolutional auto-encoder generative adversarial network,CAE-GAN)的修复方法.方法 通过训练生成器学习从高斯噪声到低维特征矩阵的映射关系,再将生成器生成的特征矩阵升维成高分辨率图像,搜索与待修复图像完好部分相似的生成图像,并将对应部分覆盖到破损图像上,实现高分辨率破损图像的修复.结果 通过将学习难度较大的映射关系进行拆分,降低了单个映射关系的学习难度,提升了模型训练效果,在4个数据集上对不同破损程度的512×512×3高分辨率破损图像进行修复,结果表明,本文方法成功预测了大面积缺失区域的信息.与CE(context-encoders)方法相比,本文方法在破损面积大的图像上的修复效果提升显著,峰值信噪比(peak signal to noise ratio,PSNR)和结构相似性(structural similarity,SSIM)值最高分别提升了31.6％ 和18.0％,与DCGAN(deep convolutional generative adversarial network)方法相比,本文方法修复的图像内容符合度更高,破损区域修复结果更加清晰,PSNR和SSIM值最高分别提升了24.4％ 和50.0％.结论 本文方法更适用于大面积破损图像与高分辨率图像的修复工作.

    破损图像修复高分辨率生成式对抗网络(GAN)大面积破损深度学习

      原文链接:
    • NETL
    • NSTL
    • 万方数据
    • 维普