首页|改进知识蒸馏Transformer的新冠肺炎医学影像分类

改进知识蒸馏Transformer的新冠肺炎医学影像分类

扫码查看
原文链接
  • NETL
  • NSTL
  • 万方数据
针对在筛查新型冠状病毒感染肺炎患者时核酸检测假阴性率较高的问题，提出了一种DRPL-ViT 计算机辅助诊断网络。在Vision Transformer的基础上首先引入知识蒸馏机制，使Transformer结构在小数据集上训练取得更好的拟合效果;然后，在patches的位置信息编码上，通过更适合视觉任务的相对位置编码方式，使tokens之间的依赖关系能够被更好地捕捉;为了关注到更多的局部特征，在Transformer Encoder模块中引入了传统的卷积模块提取局部特征。实验在四分类测试集上平均分类准确率达到92。11％，对新冠肺炎分类准确率达到97。85％。实验结果表明，所提出的网络对新冠肺炎及其他肺部病变分类准确率较高，有一定的临床应用价值。
Improved knowledge distillation transformer for medical imaging classification of new coronary pneumonia
To address the problem of high false negative rate of RT-PCR in screening patients with COVID-19,this paper proposes a DRPL-ViT computer-aided diagnostic network.The knowledge distillation mechanism is first introduced on the basis of Vision Transformer,which enables the Transformer structure to be trained on small data sets to achieve better fitting re-sults.Then,the dependencies between tokens can be better captured by encoding the position information of patches in a relative position encoding way that is more suitable for vision tasks.In order to focus on more local features,a traditional convolution module is introduced in the Transformer Encoder module to extract local features.The experiments achieved an average classification accura-cy of 92.11％on the four classification test sets and 97.85％for COVID-19.The experimental results indicate that the proposed network has a high accuracy in classifying neo-coronary pneumonia and other lung lesions,and has some clinical application value.

medical image classificationVision Transformer architecturedeep learningcomputed radiographyCOVID-19

白浩田、谷宇、杨立东、张宝华、李建军、吕晓琪、唐思源、张祥松、贾成一、贺群

展开 >

内蒙古科技大学信息工程学院,内蒙古自治区模式识别与智能图像处理重点实验室,内蒙古包头 014010,China

内蒙古工业大学信息工程学院,呼和浩特 010051,China

内蒙古科技大学包头医学院,计算机科学与技术学院,内蒙古包头 014010,China

京东方科技集团股份有限公司,北京 100176,China

中国二冶集团有限公司,内蒙古包头 014010,China

展开 >

医学图像分类 Vision Transformer架构 深度学习 计算机X线摄影 新冠肺炎

国家自然科学基金国家自然科学基金国家自然科学基金国家自然科学基金国家自然科学基金中央引导地方科技发展资金项目内蒙古自治区高等学校青年科技英才支持项目内蒙古自治区高等学校青年科技英才支持项目内蒙古科技大学基本科研业务费专项资金内蒙古科技大学基本科研业务费专项资金内蒙古自治区自然科学基金内蒙古自治区自然科学基金内蒙古自治区自然科学基金内蒙古自治区自然科学基金内蒙古自治区自然科学基金内蒙古自治区科技计划项目内蒙古自治区科技计划项目内蒙古自治区科技计划项目内蒙古自治区卫生健康科技计划项目草原英才"智能交通大数据分析与应用创新人才"创新人才团队内蒙古自治区高等学校科学研究项目教育部"春晖计划"合作科研项目

62001255619620466216104062066036618412042021ZY0004NJYT23057NJYT220740420192019MS060032022MS060172020MS060092020MS060012015MS06042020GG03152021GG00822021GG0023202201395NJZY145教外司留[2019]1383号

2024

10.14016/j.cnki.jgzz.2024.2.152

激光杂志
重庆市光学机械研究所

激光杂志

CSTPCD北大核心
影响因子：0.74
ISSN：0253-2743
年,卷(期)：2024.45(2)
  • 21