摘要
医学图像本身含有丰富的解剖结构和相关的病理信息。对医学图像进行分析，在疾病的诊治方面具有重要的意义。传统的医学图像分析方法需要依赖人工设计有效的特征进行训练，而深度学习模型能够自动学习最优的特征，显著优于传统的学习方法。然而，由于深度学习模型的训练需要大量人为标记的样本，在很多实际应用中受限。为此，本文围绕基于深度迁移学习的多模态医学图像分析开展研究，以前列腺图像分割为例，设计了三种新的算法，运用当前模态的少量标记甚至无标记进行前列腺图像分割。主要研究工作如下： 1.提出一种基于多模态U-net的CT图像前列腺分割算法。本算法针对多模态医学图像分割任务，充分运用MR模态对CT模态的互补作用，设计一种新的多模态U形网络分割模型MM-unet和多模态损失函数MM-Loss。首先使用深度迁移学习去训练MRI与CT图像的初始分割模型，再联合训练基于MRI与CT图像的MM-unet，最后将其用于CT图像的前列腺分割。 2.提出一种基于类分布对齐的跨模态对抗域适应算法。本算法针对无监督域适应分类任务，采用CycleGAN网络作为基本框架进行源模态与目标模态间的图像迁移。通过设计判别结构保留损失、条件对抗损失和分类一致性损失函数来实现两个模态图像的类分布对齐，从而实现源模态到目标模态的模型迁移。 3.提出一种基于上下文特征对齐的跨模态域适应图像分割算法。本算法针对无监督域适应分割任务，设计了一种新的特征学习与迁移模型，首先构建特征学习网络去提取源模态和目标模态图像的上下文特征并进行对齐，再构建两个模态共享的图像分割网络进行分割预测，对目标模态分割预测进行熵最小化约束，使其产生置信度高的结果。最后，对两个模态分割预测结果进行对齐，从而进一步对齐这两个模态的特征分布与分割模型，以实现目标模态图像的分割。
NETL