首页|融合多头注意力机制的新冠肺炎联合诊断与分割

融合多头注意力机制的新冠肺炎联合诊断与分割

扫码查看
原文链接
  • NETL
  • NSTL
  • 万方数据
  • 维普
目的 新冠肺炎疫情席卷全球,为快速诊断肺炎患者,确认患者肺部感染区域,大量检测网络相继提出,但现有网络大多只能处理一种任务,即诊断或分割.本文提出了一种融合多头注意力机制的联合诊断与分割网络,能同时完成X线胸片的肺炎诊断分类和新冠感染区分割.方法 整个网络由3部分组成,双路嵌入层通过两种不同的图像嵌入方式分别提取X线胸片的浅层直观特征和深层抽象特征;Transformer模块综合考虑提取到的浅层直观与深层抽象特征;分割解码器扩大特征图以输出分割区域.为响应联合训练,本文使用了一种混合损失函数以动态平衡分类与分割的训练.分类损失定义为分类对比损失与交叉熵损失的和;分割损失是二分类的交叉熵损失.结果 基于6个公开数据集的合并数据实验结果表明,所提网络取得了95.37％ 的精度、96.28％ 的召回率、95.95％的F1指标和93.88％的kappa系数,诊断分类性能超过了主流的ResNet50、VGG16(Visual Geometry Group)和Inception_v3等网络;在新冠病灶分割表现上,相比流行的U-Net及其改进网络,取得最高的精度(95.96％),优异的敏感度(78.89％)、最好的Dice系数(76.68％)和AUC(area under ROC curve)指标(98.55％);效率上,每0.56 s可输出一次诊断分割结果.结论 联合网络模型使用Transformer架构,通过自注意力机制关注全局特征,通过交叉注意力综合考虑深层抽象特征与浅层高级特征,具有优异的分类与分割性能.
A MHA-based integrated diagnosis and segmentation method for COVID-19 pandemic

李金星、孙俊、李超、Bilal Ahmad

展开 >

江南大学,无锡 214122

新冠肺炎(COVID-19) 自动诊断 肺部区域分割 多头注意力机制 混合损失

国家自然科学基金国家自然科学基金国家自然科学基金

616731946167226361672265

2022

中国图象图形学报
中国科学院遥感应用研究所,中国图象图形学学会 ,北京应用物理与计算数学研究所

中国图象图形学报

CSTPCDCSCD北大核心
影响因子：1.111
ISSN：1006-8961
年,卷(期)：2022.27(12)
  • 4
  • 2