摘要
在多器官分割任务中，不同的组织和器官之间的形态、分布差异都比较大，边界也往往难以区分；同时多器官分割要求模型在训练过程中进行多个类别的学习，因此需要大量的数据进行训练，但在体素水平进行3D医学图像的标注需要大量的时间与精力，很少有公开的腹部多器官全标注数据集。相比于以往的单病灶分割，多器官分割是更具有挑战性、但也更有应用价值的任务。因此，本文研究基于混合CNN-Transformer的多器官医学图像分割方法，主要为了解决目前深度学习方法在多器官分割任务中对不同器官的边界划分不完整、小尺寸器官分割精度低等问题。具体研究内容主要包括： (1) 传统卷积网络感受野受限，无法有效捕捉到图像特征的长距离依赖关系，从而影响到分割精度，Transformer可以很好地克服这个问题。为了综合利用卷积和Transformer的优势，本文提出了一种基于局部感知的混合U型神经网络的多器官分割算法(Lightweight Local Perception Transformer U-shaped Network, LLP-TUNet)。该网络通过将 CNN 与 Transformer 混合以综合利用卷积和Transformer 的优势，网络中编解码器的卷积模块主要用于提取低级别细节，而Transformer编码器中连续的轻量级局部感知Transformer模块则专注于学习长距离依赖，并在跳跃连接中引入双重注意力机制。通过轻量级多头自注意力和局部感知单元的优化，能够降低Transformer模块的训练成本，更好地适应局部语义；双重注意力跳跃连接也有效地弥补了语义鸿沟。实验表明，LLP-TUNet在多器官分割数据集上的表现优于现有的分割方法，并对不同的数据集有良好的泛化性。 (2) 在多器官医学图像分割任务中，器官和组织的边界往往模糊不清，难以准确分割；同时，不同尺寸的器官之间的分割性能会相互影响，较小尺寸器官的分割结果通常较差。为了解决这两个问题，本文在现有工作的基础上提出了基于边界增强引导与多尺度特征聚合的混合 CNN-Transformer 网络EEMHNet(Edge-enhanced guidance and multi-scale feature aggregation basd hybrid CNN-Transformer network, EEMHNet)。首先，引入Sobel算子设计了双分流的边界辅助分割模块，将边缘检测作为网络的子任务，利用边缘信息来辅助目标边界的分割；其次，设计多尺度特征聚合模块，来增强对于不同尺度语义知识的学习。实验结果表明，EEMHNet 在两个多器官分割数据集上都能起到积极的作用，以较高准确率分割小目标与器官边界。与现有模型相比， EEMHNet可以达到具有竞争力的效果。
NETL