摘要
基于深度学习技术的医学影像分割往往需要大量的精准分割标注以指导全监督模型的特征学习。然而，医学影像高质量分割标注具有专业性强和临床获取难度大的特点；从而极大制约了智能医学影像分割系统的临床落地进程。为缓解这一问题，近年来自监督学习技术被越来越多地运用于智能医学影像分割任务中，它通过使用大量无标注数据进行自监督预训练，然后使用少量分割标注对模型进行微调，来有效降低模型对精准分割标注数据的需求量，以实现有限标注数量下的高精度分割。 然而，现有基于自监督学习的分割方法仍存在以下三个问题：（1）域偏移问题：即预训练网络的输入分布与微调网络的输入分布之间存在差异，导致在预训练模型中学习到的一般性特征可能不适用于分割网络，从而提高了微调网络的特征学习难度，降低了微调后的模型分割性能。（2）无法利用多模态信息问题：多模态医学影像中往往包含丰富的、有利于分割模型特征学习的互补性特征，但当前大多数相关工作仅基于单模态数据，无法有效利用临床产生的大量多模态医学影像来提升模型的特征学习能力。（3）多模态信息学习不充分问题：现有为数不多的多模态自监督学习方法，虽然能通过数据混淆或多模态语义对齐等任务来学习多模态特征，但其多模态学习任务过于简单，无法使模型充分学习多模态数据中丰富的特征信息。 针对以上问题，本文提出了一种基于多模态对比域共享的新型自监督学习多模态医学影像分割算法（Multi-ConDoS）。该算法通过使用多模态对比学习技术和新型域共享层模块来对多模态数据进行有效的自监督预训练，从而实现少量标注数据条件下的高精度医学影像分割。本文的主要研究内容和创新点如下：（1）针对域偏移问题，Multi-ConDoS创新性地将基于CycleGAN的循环学习策略和基于Pix2Pix的像素级跨域转换损失相融合，以解决多模态自监督预训练中跨域转换任务的域偏移问题。（2）为有效利用多模态信息，Multi-ConDoS还通过对比学习技术来挖掘多模态数据之间的相关性，使模型能更好地利用多模态数据的丰富信息，从而提高模型的分割性能和泛化能力。（3）针对多模态信息学习不充分问题，本文在Multi-ConDoS中引入新型域共享层模块，以加强模型对多模态影像的域共享信息的学习，使模型不仅能学习到不同模态之间的差异化特征信息也能够更好地学习不同模态之间的相似特征信息，实现更加全面和充分的多模态特征学习。 本文在Hecktor和BraTS2018两个公开的常用多模态医学影像分割基准数据集上开展了大量实验，实验结果表明：（1）Multi-ConDoS比当前最先进的自监督和半监督方法具有更优异的医学影像分割性能；（2）上述三个改进都是有效且必要的。
NETL