首页|基于视觉传感器采集光流特征的精神疾病识别方法

基于视觉传感器采集光流特征的精神疾病识别方法

扫码查看
目前,精神疾病的筛查主要依靠临床医生的访谈和问卷进行评估,具有高成本、主观性等问题.提出了一种基于视觉传感器采集光流特征的精神疾病识别方法,可以实时监测和预警,以较低的成本和非侵入性的方式来进行精神疾病的辅助筛查.该算法通过视觉传感器全面采集患者的面部数据来提取光流特征,并输入TSMOSNet进行训练.TSMOSNet以TSM为基础网络进行改进,替换普通卷积为光流提取头,针对视觉传感器采集而来的光流特征图进行密集采样,并添加了时序注意力模块、DML蒸馏和VideoMix数据增强等方法,增强了视觉特征,以提高精神疾病识别的准确率.实验结果表明,在H7-BDSN数据集上相比于其他方法,本研究提出的识别算法在精神疾病的筛查任务中取得了最好的效果,准确率为85%,F1分值为0.84.
Identification of Mental Illness Using Optical Flow Features Captured by Visual Sensors
A method for identifying mental illness using optical flow features captured by visual sensors is proposed.The proposed method offers real-time monitoring and aids in mental illness screening at a lower cost and non-invasively.Optical flow features are extracted from facial data captured by the visual sensor and used for training TSMOSNet,which is improved by replacing normal convolution with an opti-cal flow extraction head,densely sampling optical flow feature maps,and adding temporal attention,DML distillation,and VideoMix data enhancement to improve visual features for greater accuracy.Experimental results on the H7-BDSN dataset demonstrate an accuracy of 85%and an F1 score of 0.84,which outperforms other methods.

vision sensorsmental illness identificationoptical flow featuresdeep learning

陈锐霆、徐瑞吉、应灵康、金润辉、毛科技、赵永标

展开 >

浙江工业大学计算机科学与技术学院,浙江杭州 310014

杭州惠嘉信息科技有限公司,浙江杭州 311121

浙江工业大学之江学院,浙江绍兴 312030

视觉传感器 精神疾病识别 光流特征 深度学习

浙江省基础公益研究计划项目浙江省基础公益研究计划项目国家自然科学基金项目

LGG22F020014LGF21F02001562072410

2024

传感技术学报
东南大学 中国微米纳米技术学会

传感技术学报

CSTPCD北大核心
影响因子:1.276
ISSN:1004-1699
年,卷(期):2024.37(1)
  • 24