苏州市职业大学学报2024,Vol.35Issue(2) :55-62.DOI:10.16219/j.cnki.szxbzk.2024.02.010

基于残差Swin Transformer模块的红外与可见光图像融合研究

Research on the Infrared and Visible Image Fusion Based on Residual Swin Transformer Module

王金生 周元元 陈珺
苏州市职业大学学报2024,Vol.35Issue(2) :55-62.DOI:10.16219/j.cnki.szxbzk.2024.02.010

基于残差Swin Transformer模块的红外与可见光图像融合研究

Research on the Infrared and Visible Image Fusion Based on Residual Swin Transformer Module

王金生 1周元元 2陈珺2
扫码查看

作者信息

  • 1. 安徽建筑大学 电子与信息工程学院,安徽 合肥 230601
  • 2. 合肥师范学院 电子信息与电气工程学院,安徽 合肥 230601
  • 折叠

摘要

针对图像特征提取时,由于图像上下文信息以及图像细节丢失,易导致融合图像的纹理不够清晰、结果不够显著的问题;因此,提出了一种基于残差Swin Transformer模块的红外与可见光图像融合模型,即STB-Fusion模型.红外和可见光图像融合不仅能提供可见光图像丰富的纹理细节和结构信息,还能保留突出的红外目标,以更有效地应用在后续任务中.实验结果表明:STB-Fusion模型生成融合后的图像可以更有效地保留可见光图像丰富的纹理细节和红外图像突出的热辐射信息,在主观视觉和客观评价中均取得了很好的效果.

Abstract

Based on residual Swin Transformer module,a fusion model of infrared and visible images,namely STB Fusion model,is proposed to address the issue of unclear texture and less sharp result in fused images due to the loss of image contextual information and details during image feature extraction.The fusion of infrared and visible images can not only provide rich texture details and structural information of visible images,but also retain prominent infrared targets for more effective application in subsequent tasks.The experimental results show that the fused images generated by STB Fusion model can more effectively preserve the rich texture details of visible light images and the prominent thermal radiation information of infrared images,achieving good results in both subjective vision and objective evaluation.

关键词

图像融合/Swin/Transformer/特征融合/红外与可见光图像

Key words

image fusion/Swin Transformer/feature fusion/infrared and visible images

引用本文复制引用

基金项目

安徽省高等学校科研重点项目(2022AH052131)

出版年

2024
苏州市职业大学学报
苏州市职业大学

苏州市职业大学学报

影响因子:0.416
ISSN:1008-5475
参考文献量2
段落导航相关论文