摘要
为突破传统融合规则带来的性能瓶颈,提出一个基于特征空间多类别对抗机制的红外与可见光图像融合网络. 相较于现存方法,其融合规则更合理且性能更好. 首先,训练一个引入注意力机制的自编码器网络实现特征提取和图像重建. 然后,采用生成式对抗网络(generative adversarial network, GAN)在训练好的编码器提取的特征空间上进行融合规则的学习. 具体来说,设计一个特征融合网络作为生成器融合从源图像中提取的特征,然后将一个多分类器作为鉴别器. 这种多分类对抗学习可使得融合特征同时逼近红外和可见光2种模态的概率分布,从而保留源图像中最显著的特征. 最后,使用训练好的译码器从特征融合网络输出的融合特征重建出融合图像. 实验结果表明:与最新的所有主流红外与可见光图像融合方法包括GTF, MDLatLRR, DenseFuse, FusionGAN, U2Fusion相比,所提方法主观效果更好,客观指标最优个数为U2Fusion的2倍,融合速度是其他方法的5倍以上.
NETL
NSTL
维普
万方数据