首页|基于卷积与自注意力的红外与可见光图像融合

基于卷积与自注意力的红外与可见光图像融合

扫码查看
由于卷积运算过于关注图像的局部特征,在对源图像进行融合时容易造成融合图像的全局语义信息丢失.为了解决该问题,提出一种基于卷积与自注意力的红外与可见光图像融合模型.该模型在使用卷积模块提取图像局部特征的同时,还使用自注意力来提取图像全局特征.此外,由于简单运算无法满足不同层次特征的融合,提出使用嵌入式块残差融合模块来实现多层次特征融合.实验结果表明,相比无监督深度融合算法,所提的方法在主观评价与6项客观指标上的结果具有一定优势.其中,互信息、标准差和视觉保真度分别提升了61.33%、9.96%和 19.46%.
Infrared and visible light image fusion based on convolution and self attention
As convolution operation pays too much attention to local features of an image,which easily cause the loss of the global semantic information of the fused image when fusing source images.To solve this problem,an infrared and visible light image fusion model based on convolution and self attention is proposed in this paper.In the proposed model,convolution module is adopted to extract local features of image,and self attention is adopted to extract global features.In addition,since the simple operation cannot handle the fusion of features at different levels,the embedded block residual fusion module is proposed to realize the multi-layer feature fusion.Experimental results demonstrate that the proposed method has superiority over the unsupervised deep fusion algorithms in both subjective evaluation and six objective metrics,among which the mutual information,standard deviation,and visual fidelity are improved by 61.33%,9.96%,and 19.46%,respectively.

image fusionglobal featuresself attentionauto-encoderdeep learning

陈晓萱、徐书文、胡绍海、马晓乐

展开 >

北京交通大学计算机与信息技术学院,北京 100044

中国电子科技集团公司电视电声研究所,北京 100015

图像融合 全局特征 自注意力机制 自编码器 深度学习

国家自然科学基金国家自然科学基金

6217203062202036

2024

系统工程与电子技术
中国航天科工防御技术研究院 中国宇航学会 中国系统工程学会

系统工程与电子技术

CSTPCD北大核心
影响因子:0.847
ISSN:1001-506X
年,卷(期):2024.46(8)