摘要
医学图像分割是医学领域中非常基础且重要的任务，有助于辅助诊断和临床研究。随着深度学习的蓬勃发展，卷积神经网络（ConvolutionalNeuralNetwork，CNN）方法在生物医学图像分割领域表现十分优异。但是深度学习在处理医学图像任务时主要存在两方面问题：1）医学图像数据处理困难，医学图像的模态多样化，经常存在伪影、噪声等，且不同于自然图像，医学图像获取困难，导致数据量较小。2）卷积神经网络的深度越深，往往获得的模型性能越好，但是深度太深容易导致过拟合，而且计算量和存储量大。这些问题增加了基于深度学习处理医学图像问题的难度。 为了克服上述问题，研究人员提出了能够直接处理三维医学数据的3D卷积神经网络，网络的输入和输出都是三维数据。而模型压缩、迁移学习等方法解决了神经网络模型庞大的问题。其中，作为模型压缩方法的知识蒸馏得到了研究人员的关注，已成功应用于目标检测、图像分类等任务。深度学习中的知识蒸馏方法通常使用两个不同的网络结构分别作为教师网络和学生网络，教师网络选择较为复杂的网络，学生网络选择轻量级网络，学生网络利用知识蒸馏损失逼近教师网络，把教师网络的知识传递到学生网络。 本文提出了一种基于知识蒸馏分割3D医学图像的方法，联合使用两种知识蒸馏的方式来提高学生网络的分割性能。首先，本文使用一个3D卷积神经网络及其轻量形式的网络分别作为教师网络和学生网络，直接处理三维医学数据。常规蒸馏算法中在分割损失的基础之上，同时引入了两种蒸馏损失来实现端到端的学生网络模型的训练，它们分别是预测标签蒸馏损失和3D结构化蒸馏损失。预测标签损失监督学生网络从教师网络输出的分割图中显式地学习预测能力。同时根据核磁共振图像具有序列性的特点，采用基于3D结构化的蒸馏方式，将教师网络中隐含的知识传递给了学生网络。再对训练出来的学生网络进行自蒸馏，研究不同的蒸馏损失方式，进一步提升学生网络的性能。最后，将本文提出的方法在数据集HVSMR2016上进行了多个消融实验，经验证在以Dice系数为主的评价指标上比原学生网络有一定的提高，同时与其他的蒸馏方式相比表现不错。
NETL