摘要
舌诊是中医诊断中极其重要的一部分，人体的健康状况能够通过舌诊进行初步的判定，传统舌诊主要通过医师肉眼观察舌象，存在对医生的主观依赖性较强的缺点，所以进行舌诊的现代化研究是舌诊的必然发展趋势。本文将舌体分割与深度学习技术相结合，实现舌体自动分割，构建基于特征交叉的多任务学习网络，并应用在舌象分类过程中。 主要研究内容如下： (1)对于目前缺乏已标注舌象标签的开源数据集的问题，构建一批高质量的舌象数据集共1257张，分别手动对舌象数据集进行分割、分类数据集构建，每张舌象数据同时具有舌色和苔色标签。 (2)对于传统的舌体分割方法分割效果不好、分割速度缓慢的问题，使用Mask-RCNN算法实现舌体精准分割，并与传统方法进行对比，结果说明本文方法的分割效果好于常用传统舌体分割方法。 (3)舌象分类当前多使用单任务分类或多标签分类，忽略了不同任务之间的关系，本文将多任务学习引入到舌象分类中，能够同时进行舌色和苔色的分类任务，在不同分类任务间使用L2正则化进行模型参数约束，构建基于软共享机制的多任务学习网络模型。 (4)目前常用多任务方法通常只考虑特征之间的关系或者模型参数之间的关系，对于此问题，本文在软共享多任务学习的基础上，提出基于特征融合及特征交叉的多任务舌象分类网络，提高模型的特征提取能力，参考十字绣网络的思想构建特征交叉单元，用于选取不同任务间最优的共享特征。结果表明该多任务网络能够利用各个任务之间的联系，在分类任务上表现较为均衡，对苔色分类任务的分类精度有较大提升。其中舌色分类准确率为92.22%，苔色分类准确率为88.89%。 (5)智能舌诊系统设计，以python为基础语言，基于Qt Designer开发界面构建舌诊系统。能够逐步展示图像选取、舌体分割、区域裁剪、苔质分区以及舌象分类、结果展示。 本文所提出的舌诊处理方法能够实现舌体分割、舌象分类和系统诊断，获得了较好的实验效果，对舌诊的现代化研究具有一定参考价值。
NETL