摘要
多聚焦图像融合是当前图像融合领域研究的热点问题，它能够克服成像设备的景深限制，将多个聚焦在不同区域的图像融合成一张完全清晰的全聚焦图像，有效提高原始图像信息的利用率。多聚焦图像融合是一个涉及到多个学科知识的课题，该技术已被广泛运用到医学、军事、公共安全等领域。 根据对图像处理的方式不同，可将图像融合分为三个层次：像素级、特征级和决策级。与后两种层次的图像融合方法相比，像素级图像融合方法能够有效减少信息的损失，更多地保留待融合图像中的信息。然而，大部分基于像素级的融合方法需要经验依赖的特征提取方法来计算聚焦度，即像素点的活跃度，因此本文提出了基于深度学习的融合方法来自动提取特征。对于像素级图像融合方法，如何更加准确地检测出聚焦区域并且获得更丰富的边缘信息也是这类方法的关键所在。 本文旨在提高待融合图像聚焦识别的能力，较好地提取图像清晰部分以及边缘细节，并针对深度学习在多聚焦图像融合算法中存在的问题进行研究，提出了相应的改进算法。论文的主要创新性工作如下， 1.针对基于卷积神经网络(Convolutional Neural Network, CNN)的多聚焦图像融合方法需要大量的数据进行训练，提出一种基于无监督深度特征的图像融合模型。首先，源图像经过VGG16预训练模型得到不同层的特征；然后将得到的特征图计算其通道方向的L1-norm来估计像素点的活跃度系数，并采用取最大原则来得到初始聚焦图。接着，采用多层融合策略按一定的权重融合初始聚焦图得到最终的融合决策图。最后，通过融合决策图对原始图像进行融合得到融合图像。实验结果表明，提出的方法相比于其他经典的融合方法能更好地保留初始图像的信息。此外，在客观评价指标下可以获得比主流图像融合算法更好的性能。 2.目前，大多传统的图像融合算法需要手工设计特征，且需要大量的经验。针对这种情况，本文提出了一种基于多层次卷积神经网络(Multi-level Feature Convolutional Neural Network, MLFCNN)的图像融合算法。在MLFCNN模型中，提出了一个多层次特征整合模块，该模块将浅层学到的特征传递到深层来保证信息的传递。在每个前面层和后面层之间的通路，都添加了一个1×1的卷积模块来减少冗余。在所提出的方法中，源图像首先被输入到预训练的MLFCNN模型中来获得初始聚焦映射图。然后，对初始聚焦映射进行形态学开闭合运算和高斯模糊来获得最终的决策映射图。最后，根据决策图将待融合图像进行加权得到最终的融合图像。实验结果表明，提出的融合算法在主观和客观评价下均获得比现有融合算法更好的性能。
NETL