摘要
近年来，随着医疗科技水平不断提高，医学影像技术发展取得了巨大突破，并在临床医学工作中发挥着极其重要的作用。然而，由于成像原理不同，不同成像设备生成图像中所包含的内容也各异。医生要想全面获取病灶信息，就需要大量阅读各种模态的医学图像。庞大的工作量对于医生的脑力和体力来说都是严峻挑战，误漏诊有时不可避免。基于此现状，多模态医学图像融合技术应运而生。 医学图像融合技术能够基于多幅图像的时空相关性及信息互补性，提取各模态医学图像特有显著特征，并将这些特征融合到一幅图像中。该技术的应用可以大大减少医生的阅片数量，有效提高疾病诊断及治疗效率。同时，随着深度学习的快速发展，该领域的研究也取得了突破性进展。然而，在面对纹理细节较多或者特征分布不均匀的图像时，多数融合方法依旧无法将不同模态的特征进行充分且均衡地融合，通常表现为融合图像的纹理特征缺失，以及融合图像只重点表现部分模态特征。针对上述问题，本文重点就纹理细节特征的保留以及不同模态特征的均衡融合进行研究。本文的主要工作如下： 第一，多模态医学图像融合是一类无监督任务，缺乏ground-truth作为融合结果的参照，进而无法对融合过程进行有效约束。目前多数方法主要利用人工先验来设计融合约束，容易导致融合过程无法充分提取并保留来自源图像的复杂特征。针对该问题，提出了一种基于双鉴别器的多模态医学图像融合网络，尝试通过双对抗来约束融合过程以改善融合效果。该网络包含一个改进的U-Net生成器模块和两个对称的鉴别器模块。生成器负责将不同模态源图像的特征进行提取与融合。鉴别器的目的是尽量将融合图像与源图像区分开来。生成器与鉴别器通过相互对抗进行训练学习，以此来估测样本特征的潜在分布规律并提高融合图像的视觉表现。在三个多模态医学图像数据集上的评估结果均表明，使用该方法产生的融合图像在视觉效果及特征保留均衡程度上得到明显改善。 第二，现有的配准多模态医学图像数据集样本数量普遍较少。当网络结构过于复杂或者网络参数过多时，小样本数据集不足以训练出具有强大特征表示及特征提取能力的模型。而简单网络又无法准确捕捉样本特征的分布规律。鉴于此，提出了将预训练特征提取模型集成到对称双对抗约束的多模态医学图像融合网络中。该网络由一个预训练好的特征提取模块、一个特征融合模块和两个对称鉴别器组成。网络的训练过程与上述方法相同，不同之处是该网络所融合的特征是通过预训练模型获取的，另外在训练过程中还需对特征提取模块的参数进行微调，使其与下游任务更加匹配。在上述三个数据集上的实验结果表明，加入预训练特征提取模型后，融合图像的纹理等细节特征更加清晰，视觉效果有了进一步改善。 第三，由于上述对抗训练过程具有一定的复杂性和不稳定性，提出了一种基于多尺度特征的卷积注意力融合方法，旨在利用深度神经网络提取源图像的多尺度特征并对其进行融合。该网络包含高/低频特征提取模块、同尺度特征融合模块，以及融合结果重构模块。其中，高频特征的提取由预训练好的卷积神经网络（ConvolutionalNeuralNetworks,CNN）模型实现，低频特征的提取通过多次下采样实现；同尺度特征融合模块由前馈卷积神经网络注意模块（ConvolutionalBlockAttentionModule,CBAM）构成，尝试分别通过计算网络层的通道注意力和空间注意力来学习并强化显著特征。实验结果表明，分别对源图像的多尺度特征进行融合，能够有效保留图像边缘及纹理特征。
NETL