摘要
面向胸部X射线影像与诊断报告的跨模态检索是指给定胸部X射线影像（或者诊断报告）样本作为查询，返回与之语义相关的诊断报告（或者胸部X射线影像）样本结果，这是计算机辅助医疗的一个重要思路，对于减轻影像科医生工作负担，提高诊断效率具有重要意义，现阶段主要存在以下问题：（1）涉及医疗领域专业知识且模态内样本高度相似，模态细粒度表征学习难；（2）不同模态的样本之间差异显著，跨模态对齐和匹配困难。本文从样本语义类别信息和专业领域知识出发，针对以上问题，提出了两种胸部X射线影像和诊断报告的跨模态检索方法，并通过实验验证了有效性。本文的主要贡献如下： （1）提出了基于矩阵分解的语义约束胸部X射线影像和诊断报告跨模态检索方法。针对已有的矩阵分解哈希算法仅使用单类标签作为监督信息生成语义相似性矩阵，忽略了多标签样本对之间包含语义相似性这一问题，提出了基于矩阵分解的语义约束胸部X射线影像和诊断报告跨模态检索方法。具体地，首先分别为不同模态的样本学习特定的语义表示；然后根据多标签信息构造多标签语义相似度矩阵表达模态间语义相关性；最后利用语义表征学习哈希码及哈希函数。本文进行了实验验证，结果显示在MIMIC-CXR数据集上，mAP指标比SCMFH等方法提高了2.0%和3.2%。 （2）提出了基于图卷积神经网络与注意力机制的胸部X射线影像和诊断报告跨模态检索方法。针对如何获取X射线影像和诊断报告数据集细粒度表征，以及如何实现精准的跨模态对齐，提出了基于图卷积神经网络和注意力机制的胸部X射线影像和诊断报告跨模态检索方法。具体来说，将X射线影像平均分为若干子块，利用卷积神经网络提取局部特征和全局特征；使用预训练模型BERT提取诊断报告的实体特征和全文特征；然后，利用图卷积神经网络对文本的局部特征进行推理，从而捕获实体之间关系表征；最后，构造模态间和模态内注意力模块并应用两种模态局部特征和全局特征的融合，提高跨模态对齐精度。在数据集MIMIC-CXR上两个检索任务X2R和R2X的实验结果表明，该方法平均性能分别比方法BFAN提高了3.0%和5.0%。
NETL