摘要
计算机断层扫描（CT）和核磁共振成像（MRI）为医生提供了心脏解剖结构和病变区域清晰轮廓的多种模态图像，是诊断和治疗心脏疾病最重要的检查方式。目前临床上心脏疾病通过医生人工阅片进行影像组学诊断，该方法耗时耗力且容易受医生诊断水平等主观因素的影响，因此无法保证疾病诊断的准确率。用深度学习方法和数字图像处理技术，从心脏CT和MRI等多种模态图像中自动准确分割出解剖结构和病理区域，并在分割结果基础上量化分析心脏功能指标，对帮助医生快速准确诊断和治疗心脏疾病具有重要意义。由于心脏图像存在解剖结构对比度低、亮度和纹理不均匀、病理区域结构复杂、在心脏收缩舒张的周期中结构形状和外观变化巨大等问题，因此难以充分提取和融合多种模态的信息实现心脏解剖结构和病理区域的稳定分割以及功能指标的精确量化。 本文以CT和MRI等多种模态图像为研究对象，分别对单一模态图像（MRI）心脏结构（左心室、左心室心肌和右心室）分割、跨模态图像（CT和MRI）心脏结构分割、多模态图像（T2-MRI、LGE-MRI和bSSFP-MRI）心脏病理区域（梗塞区和水肿区）分割和MRI图像心脏左心室功能指标（心室面积、心肌面积、心室直径和心肌壁厚）量化分析展开深入研究。主要研究内容和创新成果如下: 1.针对普通UNet结构模型在通道和空间信息之间缺乏语义关联，且分割在收缩与舒张周期中形状变化较大的心室稳定性差的问题，提出一种多尺度特征注意力UNet分割模型。通过采用注意力机制来聚合不同尺度特征并提取代表性特征，在解码器模块中采用了级联和并行扩展卷积、跳跃连接来增强感知多尺度通道和空间信息的能力。使用结合了 Dice和交叉熵损失函数的深度监督训练方法，以减少过拟合并确保更好的预测结果。在三个公开数据集上的实验结果表明该模型能够准确分割出心脏的左心室、左心室心肌、右心室等解剖结构，且模型具有较好的泛化性与稳定性。 2.针对分割模型在心脏图像模态迁移时出现性能下降且无法精确分割目标区域的问题，提出一种深度一致性学习的无监督域自适应模型，通过采用输入空间一致性学习和输出空间一致性学习实现无监督域自适应。该模型包括一个域迁移路径和一个跨模态分割路径，在域迁移路径中，引入了一个对称的对齐生成器模块提取跨模态图像特征和心脏解剖结构信息;在跨模态分割路径中，利用熵图最小化、输出概率图最小化和分割预测结果最小化来对齐输出空间特征和进行目标分割。模型采用全监督学习来提取源域模态特征，采用无监督深度一致性学习来提取目标域模态特征，最终实现跨模态图像心脏结构分割。模型在公开数据集上进行CT到MRI、MRI到CT和bSSFP到LGE等模态迁移学习测试，准确地分割出左心室、左心室心肌、右心室、升主动脉、左心房等解剖结构，表明了该模型的有效性。 3.针对难以有效融合T2、LGE和bSSFP等多模态MRI图像对位置随机和形状不规则的心脏心肌梗塞区和水肿区等病理区域进行精确分割的问题，提出一种基于三重注意力机制的多模态融合模型，以学习不同模态之间的关联关系，有效提取形状信息，实现较精确的病理分割。首先，通过三个独立模态编码器分别提取各模态的独立特征;通过融合编码器提取多模态关联特征。其次，通过通道注意力模块将独立编码器和融合编码器下采样每个阶段的特征融合;通过空间和通道注意力模块在解码器上采样每个阶段提取目标结构位置关联特征。然后，使用形状注意力来提取病理区域形状信息。最后，引入目标上下文表示模块和深度监督机制进行边界预测，提高训练效率。实验结果表明了三重注意力机制的多模态融合模型能够有效地融合多模态信息且能够准确地分割出目标区域。 4.针对在心脏收缩和舒张的周期中出现心室面积、心肌面积、心室直径和心肌壁厚等功能指标难以准确量化问题，提出了一种基于三维Transformer和时空卷积的联合任务模型，对心脏进行结构分割与指标量化分析。该模型包含分割路径和回归路径，分割路径利用三维Transformer模块分割出解剖结构的轮廓;回归路径首先将上述分割结果和原始图像拼接，然后利用时空卷积充分学习时空特征信息来重建特征图，最后通过全连接层回归估计最终所需的量化指标结果。在公开数据集上的对比实验结果表明联合任务模型的指标量化结果较其他经典模型有显著提升，且模型同时输出了有利于后期分析的可视化分割结果。
NETL