首页|融合通道层注意力机制的多支路卷积网络抑郁症识别

融合通道层注意力机制的多支路卷积网络抑郁症识别

扫码查看
原文链接
  • NETL
  • NSTL
  • 万方数据
  • 维普
目的 抑郁症是一种常见的情感性精神障碍,会带来诸多情绪和身体问题.在实践中,临床医生主要通过面对面访谈并结合自身经验评估抑郁症的严重程度.这种诊断方式具有较强的主观性,整个过程比较耗时,且易造成误诊、漏诊.为了客观便捷地评估抑郁症的严重程度,本文围绕面部图像研究深度特征提取及其在抑郁症自动识别中的应用,基于人脸图像的全局和局部特征,构建一种融合通道层注意力机制的多支路卷积网络模型,进行抑郁症严重程度的自动识别.方法 首先从原始视频提取图像,使用多任务级联卷积神经网络检测人脸关键点.在对齐后分别裁剪出整幅人脸图像和眼睛、嘴部区域图像,然后将它们分别送入与通道层注意力机制结合的深度卷积神经网络以提取全局特征和局部特征.在训练时,将训练图像进行标准化预处理,并通过翻转、裁剪等操作增强数据.在特征融合层将3个支路网络提取的特征拼接在一起,最后输出抑郁症严重程度的分值.结果 在AVEC2013(The Continuous Audio/Visual Emotion and Depression Recognition Challenge)抑郁症数据库上平均绝对误差为6.74、均方根误差为8.70,相较于Baseline分别降低4.14和4.91;在AVEC2014抑郁症数据库上平均绝对误差和均方根误差分别为6.56和8.56,相较于Baseline分别降低2.30和2.30.同时,相较于其他抑郁症识别方法,本文方法取得了最低的平均绝对误差和均方根误差.结论 本文方法能够以端到端的形式实现抑郁症的自动识别,将特征提取和抑郁症严重程度识别在统一框架下进行和调优,学习到的多种视觉特征更加具有鉴别性,实验结果表明了该算法的有效性和可行性.
Channel-wise attention mechanism-relevant multi-branches convolutional network-based depressive disorder recognition

孙浩浩、邵珠宏、尚媛园、孙晓妮、胡强、孔佑勇

展开 >

首都师范大学信息工程学院,北京 100048

上海交通大学医学院附属精神卫生中心,上海 200030

上海交通大学生物医学工程学院,上海 200240

东南大学计算机科学与工程学院,南京 210096

展开 >

抑郁症识别 通道层注意力机制 深度卷积神经网络 特征融合 空间权重

61876112616013112016000020124G088BE2019748

2022

中国图象图形学报
中国科学院遥感应用研究所,中国图象图形学学会 ,北京应用物理与计算数学研究所

中国图象图形学报

CSTPCDCSCD北大核心
影响因子：1.111
ISSN：1006-8961
年,卷(期)：2022.27(11)
  • 1