摘要
癌症是全球范围内的一个重大健康挑战，对个人健康和社会经济都造成了巨大的负担。精准预测癌症预后有助于指导治疗并改善患者生活质量。随着现代医疗的发展，医学领域积累了大量的多模态数据，不同模态的数据可以从不同角度补充病人信息。因此，越来越多的研究利用多模态融合方法为癌症患者提供精准的生存预测。然而，在癌症生存预测任务中，多模态融合方法还存在两个挑战:一是如何有效融合多模态数据的异构信息以提高预测性能;二是现实场景中数据存在模态缺失的情况，如何解决数据完整性差的问题。针对上述问题，本文结合了知识图谱等方法，构建了用于癌症生存预测的多模态融合框架。 (1)针对有效融合多模态数据的异构信息以提高预测性能的挑战，本文提出了一个基于注意力机制和对比学习的多模态乳腺癌生存预测框架GateACon_stacked MLP。该框架首先利用融合门控注意力机制的卷积神经网络GateACNN对不同模态数据进行单模态特征提取，其次对得到的特征向量进行两两跨模态对比学习，以挖掘不同模态之间的潜在关联和信息交互。然后，采用基于堆叠机制的融合策略进行特征融合，最后将融合后的特征输入到多层感知机模型中进行生存预测。本文将提出的GateACon_stacked MLP与基线方法进行了性能对比，实验结果表明本研究提出的方法达到了最优的性能。系列消融实验、对比实验和基于不同数据集的相关实验结果表明了本研究利用多模态数据进行癌症生存预测的有效性。 (2)针对现实场景中数据模态缺失的问题，本文提出了一个基于多模态医学知识图谱的脑癌生存预测框架3MKGBraSurv。首先，该框架构造了一个基于第三方知识库融合的多模态医学知识图谱。其次，利用该图谱对缺失的模态数据进行补全，以提高数据的完整性和可用性。最后，补全后的数据被用于脑癌的生存预测。本文将提出的3MKGBraSurv与基线方法进行了性能对比，实验结果表明本研究提出的方法达到了最优的性能。系列消融实验和对比实验表明了本研究不仅能够提高数据的完整性和可用性，还能够使预测结果更具可解释性。
NETL