首页|融合3D注意力和Transformer的图像去雨网络

融合3D注意力和Transformer的图像去雨网络

扫码查看
原文链接
  • NETL
  • NSTL
  • 万方数据
  • 维普
目的 因为有雨图像中雨线存在方向、密度和大小等各方面的差异,单幅图像去雨依旧是一个充满挑战的研究问题.现有算法在某些复杂图像上仍存在过度去雨或去雨不足等问题,部分复杂图像的边缘高频信息在去雨过程中被抹除,或图像中残留雨成分.针对上述问题,本文提出三维注意力和Transformer去雨网络(three-dimen-sion attention and Transformer deraining network,TDATDN).方法 将三维注意力机制与残差密集块结构相结合,以解决残差密集块通道高维度特征融合问题;使用Transformer计算特征全局关联性;针对去雨过程中图像高频信息被破坏和结构信息被抹除的问题,将多尺度结构相似性损失与常用图像去雨损失函数结合参与去雨网络训练.结果 本文将提出的TDATDN网络在Rain12000雨线数据集上进行实验.其中,峰值信噪比(peak signal to noise ratio,PSNR)达到33.01 dB,结构相似性(structural similarity,SSIM)达到0.9278.实验结果表明,本文算法对比以往基于深度学习的神经网络去雨算法,显著改善了单幅图像去雨效果.结论 本文提出的TDATDN图像去雨网络结合了3D注意力机制、Transformer和编码器—解码器架构的优点,可较好地完成单幅图像去雨工作.
3 D attention and Transformer based single image deraining network

王美华、柯凡晖、梁云、范衠、廖磊

展开 >

华南农业大学数学与信息学院,广州 510642

汕头大学工学院,汕头 515063

单幅图像去雨 卷积神经网络(CNN) Transformer 3D注意力 U-Net

国家自然科学基金广东省基础与应用基础研究基金广东省基础与应用基础研究基金

619760522019A0505100342019B1515210009

2022

中国图象图形学报
中国科学院遥感应用研究所,中国图象图形学学会 ,北京应用物理与计算数学研究所

中国图象图形学报

CSTPCDCSCD北大核心
影响因子：1.111
ISSN：1006-8961
年,卷(期)：2022.27(5)
  • 1
  • 2