摘要
如今，乳腺癌在女性群体中的发病率正在迅速上升，已成为严峻的公共健康问题。世界卫生组织国际癌症研究机构在2020年发布了最新全球癌症数据，乳腺癌取代肺癌,成为全球第一大癌，发病率居于首位，致死率在第五位。但90％以上的早期乳腺癌患者可以被治愈，中晚期乳腺癌患者的治愈率会大大下降。因此，早发现和早诊断对乳腺癌的治疗起着重要作用。临床上，医学影像是乳腺癌早期检测的重要辅助手段。由于磁共振成像技术(MagneticResonanceImaging,MRI)有更高的空间和时间分辨率，没有辐射损伤，并且能够探索更细微的病变区域，因此被广泛应用于乳腺癌的诊断。随着医学图像采集系统的发展，单模态图像的单一的局限性尤为突出，而多模态图像的各个模态之间可以进行信息的互补，打破了单模态固有的局限性，因此多模态图像融合技术得到了快速地发展。MRI包括弥散加权成像技术(Diffusion-weightedImaging,DWI)和表观弥散系数(ApparentDispersionCoefficient,ADC)等扫描序列，且DWI和ADC之间存在相关性和互补性信息。因此，本文提出了一系列基于DWI和ADC的多模态融合方法对乳腺肿瘤进行分类，主要贡献如下: (1)提出了一种基于多模态相关性注意力网络的乳腺肿瘤分类方法。针对现有的多模态融合方法未能充分利用多模态的相关性信息的问题，本文提出了一种基于一致性正则化项的注意力网络，构建了多模态相关性注意力模块，来探索两种模态之间的相关性信息，让网络更多地关注相关性高的区域;使用分类一致性模块来最小化DWI和ADC模态之间的标签差异，确保同一患者不同模态分类结果的一致性，从而提高单模态图像的识别能力，提高多模态乳腺肿瘤分类的准确率。实验结果表明，基于多模态相关性注意力的方法优于其他多模态融合方法，受试者工作特征曲线下面积、准确性、特异性和灵敏度分别为85.1％、86.7％、83.3％和88.9％。 (2)提出了一种基于模态间三重交互网络的乳腺肿瘤分类方法。针对现有的多模态融合忽视了模态间的交互作用，未能充分利用多模态信息，导致单模态特征区分性不强的问题，本文构建了一种模态间三重交互机制，提出了相关性交互模块，通道交互模块和判别性交互模块。相关性交互模块利用临床DWI和ADC模态之间的相关性先验知识，并使用注意力机制来增强单模态信息表示。通道交互模块在通道维度使用密集连接，融合两种模态信息，增强模态之间的交互作用。判别性交互模块使用注意力机制获得更具鉴别能力的单模态特征，有效引导网络将重点放在对分类任务更关键的区域。通过模态间三重交互机制，来增强单模态特征表示能力，提高多模态乳腺肿瘤分类系统的性能。实验结果表明，模态间的交互作用有利于提高多模态分类任务的准确性。本文进行了广泛的消融实验，证明了每个模块的优势。受试者工作特征曲线下面积、准确性、特异性和灵敏度分别为87.0％、87.0％、88.0％和86.0％。 (3)提出了一种基于模态间和模态内交互网络的乳腺肿瘤分类方法。针对现有的多模态融合方法只考虑了模态内或模态间的一次交互，无法挖掘出足够的区分信息的问题，提出了一种结合模态间交互和模态内交互的方法用于乳腺肿瘤的分类。引入模态间三重交互机制，包括模态间相关性交互、通道交互和多层次注意力融合交互，以充分利用多模态的相关性信息，互补性信息和鉴别性信息。引入模态内交互机制，使用新的双并行注意力模块进一步提高了单模态特征的鉴别能力。结合模态内和模态间的多重交互，充分融合多模态信息，提升了多模态乳腺肿瘤分类的性能。实验结果表明，基于模态间和模态内交互网络的乳腺肿瘤的分类方法优于其他多模态融合方法，并进行了广泛的消融实验证明了每个交互模块的有效性。受试者工作特征曲线下面积、准确性、特异性和灵敏度分别为90.5％、89.0％、85.6％和92.4％。
NETL