摘要
磁共振成像(MagneticResonanceImaging,MRI)技术为无创性地观察人体内部结构和功能提供了一种强大的工具。多参数磁共振成像(Multi-parametricMRI,mpMRI)通过结合不同的成像序列和参数，提供了对组织更全面的评估。这种综合性的成像方法使医生能够在更细微的层面上理解疾病的性质和发展阶段，从而在诊断和治疗规划中做出更为合理的决策。 基于深度学习的mpMRI图像分析方法在改善医疗诊断和治疗实践方面已经展现出显著的潜力。然而，该领域仍面临一些挑战:第一，在mpMRI图像分类任务中，mpMRI图像包含多个图像序列，这些序列包含的信息既有所差异又相辅相成。如何实现mpMRI图像序列的优化融合以实现更好预测性能依旧是一个难题。第二，医学领域中高质量标注数据的缺乏限制了全监督深度模型的精度和泛化性。第三，在mpMRI图像分割任务中，成像模态的缺失会显著影响分割模型的性能，降低其在实际临床环境中的应用价值。本文在回顾和总结前人工作的基础上，针对以上问题提出新的算法，以此提高mpMRI图像分类与分割方法的精度。本文的主要工作如下: 第一，提出了基于三维多视角融合的mpMRI图像分类方法。在mpMRI图像分类任务中，现有的深度学习方法未能充分利用mpMRI不同序列所蕴含的丰富信息，常用的早期或晚期融合策略限制了网络在特征提取方面的能力，进而影响了诊断的准确性。针对该问题，本研究提出了新型的多视角多参数融合网络MVMP,以实现准确的直肠癌术前T分期预测。MVMP模型结合了mpMRI数据的特性与放射科医生的阅片经验，通过对mpMRI序列水平位、矢状位和冠状位三个不同方向感兴趣区域的特征提取与融合，高效整合了不同扫描方向和不同序列的图像信息。为了增强模型的学习能力，网络中每个独立分支和融合分支均引入了注意力模块。MVMP模型在包含756例直肠癌患者的多中心mpMRI数据集上进行了性能评估。试验结果表明，在直肠癌T分期预测任务中，该模型在内部测试集和外部测试集的预测性能均优于人工阅片结果以及传统早期和晚期融合模型。 第二，提出了基于解剖先验引导的mpMRI图像分类自监督方法。现有基于深度学习的mpMRI图像分类方法大多依赖全监督学习方式，需要大规模带有分类标签的MRI数据参加模型训练。然而，由于大规模有标签样本集构建难度较大且数量有限，导致现有模型的泛化性和精确度受到了极大的限制。针对该问题，本研究提出了一种基于解剖先验引导的mpMRI图像分类自监督方法RTT-Net。RTT-Net由解剖先验引导的掩码自编码预训练模型APG-MAE和直肠癌T分期预测模型RT-FT组成。在预训练阶段，APG-MAE模型通过掩码图像重建任务来对图像编码器进行预训练。在掩码过程中采用肿瘤区域的解剖先验知识进行引导，使得编码器更有针对性地提取图像内在特征。随后将预训练得到的编码器参数迁移到下游任务，以此优化RT-FT模型参数的初始设定。同样，RTT-Net在包含756例直肠癌患者的多中心mpMRI数据集上进行了性能评估。试验结果表明，RTT-Net在内部测试集和多中心外部测试集上的预测性能均优于对比方法，仅使用80％的标注数据，即可达到与全监督方法相当的性能表现。 第三，提出了基于混合专家编码器和语义引导解码器的缺失模态下mpMRI图像分割方法。在mpMRI图像分割任务中，模型往往需要完整的多模态序列才能实现准确分割。然而，在临床实践中，模态缺失的情况时有发生，导致模型的分割性能显著降低。针对该问题，本研究提出了一个基于混合专家编码器和语义引导解码器的缺失模态脑肿瘤分割网络MESG-Net,缓解了模态缺失情况下的脑肿瘤分割性能下降的问题。MESG-Net中，混合专家编码器中四个模态专家致力于模态特定的特征学习，语义信息引导的解码器旨在对肿瘤的不同子区域进行差异化的关注和分析。MESG-Net在BraTS2018的脑肿瘤分割数据集上进行了性能评估。试验结果表明，即使在部分模态图像缺失的情况下，该模型依然能够准确地分割出脑肿瘤的各个子区域，在几乎所有缺失模态的情况组合中，该模型的性能均优于当前最先进的方法。
NETL