传感技术学报2024,Vol.37Issue(1) :163-170.DOI:10.3969/j.issn.1004-1699.2024.01.023

基于视觉传感器采集光流特征的精神疾病识别方法

Identification of Mental Illness Using Optical Flow Features Captured by Visual Sensors

陈锐霆 徐瑞吉 应灵康 金润辉 毛科技 赵永标
传感技术学报2024,Vol.37Issue(1) :163-170.DOI:10.3969/j.issn.1004-1699.2024.01.023

基于视觉传感器采集光流特征的精神疾病识别方法

Identification of Mental Illness Using Optical Flow Features Captured by Visual Sensors

陈锐霆 1徐瑞吉 2应灵康 2金润辉 2毛科技 2赵永标3
扫码查看

作者信息

  • 1. 浙江工业大学计算机科学与技术学院,浙江杭州 310014;杭州惠嘉信息科技有限公司,浙江杭州 311121
  • 2. 浙江工业大学计算机科学与技术学院,浙江杭州 310014
  • 3. 浙江工业大学之江学院,浙江绍兴 312030
  • 折叠

摘要

目前,精神疾病的筛查主要依靠临床医生的访谈和问卷进行评估,具有高成本、主观性等问题.提出了一种基于视觉传感器采集光流特征的精神疾病识别方法,可以实时监测和预警,以较低的成本和非侵入性的方式来进行精神疾病的辅助筛查.该算法通过视觉传感器全面采集患者的面部数据来提取光流特征,并输入TSMOSNet进行训练.TSMOSNet以TSM为基础网络进行改进,替换普通卷积为光流提取头,针对视觉传感器采集而来的光流特征图进行密集采样,并添加了时序注意力模块、DML蒸馏和VideoMix数据增强等方法,增强了视觉特征,以提高精神疾病识别的准确率.实验结果表明,在H7-BDSN数据集上相比于其他方法,本研究提出的识别算法在精神疾病的筛查任务中取得了最好的效果,准确率为85%,F1分值为0.84.

Abstract

A method for identifying mental illness using optical flow features captured by visual sensors is proposed.The proposed method offers real-time monitoring and aids in mental illness screening at a lower cost and non-invasively.Optical flow features are extracted from facial data captured by the visual sensor and used for training TSMOSNet,which is improved by replacing normal convolution with an opti-cal flow extraction head,densely sampling optical flow feature maps,and adding temporal attention,DML distillation,and VideoMix data enhancement to improve visual features for greater accuracy.Experimental results on the H7-BDSN dataset demonstrate an accuracy of 85%and an F1 score of 0.84,which outperforms other methods.

关键词

视觉传感器/精神疾病识别/光流特征/深度学习

Key words

vision sensors/mental illness identification/optical flow features/deep learning

引用本文复制引用

基金项目

浙江省基础公益研究计划项目(LGG22F020014)

浙江省基础公益研究计划项目(LGF21F020015)

国家自然科学基金项目(62072410)

出版年

2024
传感技术学报
东南大学 中国微米纳米技术学会

传感技术学报

CSTPCDCSCD北大核心
影响因子:1.276
ISSN:1004-1699
参考文献量24
段落导航相关论文