摘要
红外与可见光图像融合旨在将红外光图像中的显著性信息与可见光图像中丰富的纹理细节信息整合至一幅图像，得到的融合图像能够克服单一传感器的成像缺陷，便于后续检测、追踪以及分割等视觉任务的开展。近年来，基于深度学习的融合技术得到了广泛的研究与发展。然而，现有的图像融合仍存在以下问题，导致其不能在现实场景中推广应用。其一，现有的融合方法均要求输入的源图像是经过空间配准的，但现实中采集到的红外与可见光图像通常是不对齐的，直接融合会导致严重的伪影现象。传统方法要对这些图像进行融合必须先对源图像进行配准。由于同一场景的多模态图像信息具有较大的差异，这给图像的精确配准带来了极大挑战，限制了后续图像融合技术的应用。其二，尽管层数越多的网络具有更好的拟合能力，然而，随着网络深度的增加，来自源图像中特征信息的丢失也随之加剧，从而导致融合图像严重降质退化。本文针对上述两个问题展开研究，并取得了以下研究成果： (1)针对待融合源图像空间不对齐的问题，本文将显式的配准操作转化为特征的空间对齐机制，提出了一种基于特征动态对齐与自适应特征精细的红外与可见光免配准融合算法。技术上，本文在特征提取过程中设计多模态图像特征交叉调制机制。该机制通过挖掘输入图像之间的潜在关系来产生调制参数，实现未配准特征的仿射变换。同时，本文设计了特征动态提取模块，通过感知二者的空间偏移来产生位移卷积核，对红外光图像特征进行空间搬移，以此实现红外光图像特征与可见光图像特征在空间位置上的对齐和融合。为进一步抑制特征错位对融合结果的影响，设计了一种特征精炼策略，通过融合特征与源图像特征的局部相似性度量来重建融合特征，并以此凸显有用信息的作用，同时抑制由特征错位引入的扰动信息，降低伪影产生的风险。偏移数据集上的大量实验结果表明，该方法不仅可以在不引入配准环节的情况下实现对未配准图像的直接融合，还获得了良好的融合性能表现。这为打破配准对融合技术的限制提供了一种可行的思想，有助于吸引更多的研究者关注这一难题。 (2)针对网络深层次特征中细节信息丢失的问题，本文提出了一种基于特征信息增强的红外与可见光图像融合方法。该方法通过基于先验信息的特征调制增强与全局-局部注意力模块实现特征信息的自适应增强，以恢复特征中丢失的信息。特征调制增强模块利用源图像间丰富的先验信息对融合特征进行双边调制变换，以增强融合特征中的纹理细节与显著性信息。全局-局部注意力模块分别建立特征在全局和局部范围内的依赖关系，增强融合特征的全局特性和局部特性。此外，提出了一种注意力门限融合模块，以更加灵活的方式实现特征的自适应融合。将所提算法与多种融合算法进行对比，实验结果表明，所提出的方法在主观评价指标和客观评价指标上都取得了较为优异的结果。
NETL