首页|用于单幅模糊图像超分辨的Transformer融合网络

用于单幅模糊图像超分辨的Transformer融合网络

扫码查看
原文链接
  • NETL
  • NSTL
  • 万方数据
  • 维普
目的 以卷积神经网络为代表的深度学习方法已经在单帧图像超分辨领域取得了丰硕成果,这些方法大多假设低分辨图像不存在模糊效应.然而,由于相机抖动、物体运动等原因,真实场景下的低分辨率图像通常会伴随着模糊现象.因此,为了解决模糊图像的超分辨问题,提出了一种新颖的Transformer融合网络.方法 首先使用去模糊模块和细节纹理特征提取模块分别提取清晰边缘轮廓特征和细节纹理特征.然后,通过多头自注意力机制计算特征图任一局部信息对于全局信息的响应,从而使Transformer融合模块对边缘特征和纹理特征进行全局语义级的特征融合.最后,通过一个高清图像重建模块将融合特征恢复成高分辨率图像.结果 实验在2个公开数据集上与最新的9种方法进行了比较,在GOPRO数据集上进行2倍、4倍、8倍超分辨重建,相比于性能第2的模型GFN(gated fusion network),峰值信噪比(peak signal-to-noive ratio,PSNR)分别提高了0.12 dB、0.18 dB、0.07 dB;在Kohler数据集上进行2倍、4倍、8倍超分辨重建,相比于性能第2的模型GFN,PSNR值分别提高了0.17 dB、0.28 dB、0.16 dB.同时也在GOPRO数据集上进行了对比实验以验证Transformer融合网络的有效性.对比实验结果表明,提出的网络明显提升了对模糊图像超分辨重建的效果.结论 本文所提出的用于模糊图像超分辨的Transformer融合网络,具有优异的长程依赖关系和全局信息捕捉能力,其通过多头自注意力层计算特征图任一局部信息在全局信息上的响应,实现了对去模糊特征和细节纹理特征在全局语义层次的深度融合,从而提升了对模糊图像进行超分辨重建的效果.
A super-resolution Transformer fusion network for single blurred image

刘花成、任文琦、王蕊、操晓春

展开 >

中山大学网络空间安全学院,深圳 518107

中国科学技术大学软件学院,苏州 215123

中国科学院信息工程研究所信息安全国家重点实验室,北京 100093

超分辨 单帧图像超分辨 模糊图像 融合网络 Transformer

国家自然科学基金国家自然科学基金

6217625362172409

2022

中国图象图形学报
中国科学院遥感应用研究所,中国图象图形学学会 ,北京应用物理与计算数学研究所

中国图象图形学报

CSTPCDCSCD北大核心
影响因子：1.111
ISSN：1006-8961
年,卷(期)：2022.27(5)
  • 3
  • 1