首页|基于自注意力机制的学生专注度识别方法及系统实现

基于自注意力机制的学生专注度识别方法及系统实现

章文松

基于自注意力机制的学生专注度识别方法及系统实现

章文松1
扫码查看

作者信息

  • 1. 华中师范大学
  • 折叠

摘要

随着教育改革的不断推进,教学评价改革也受到了越来越多的关注。传统的教学评价往往以教学成果作为主要的评判依据。然而对于教学评价而言,教学过程评价应当与教学成果评价同等重要。学生在课堂中的专注度可视为是注意力集中程度、学习参与状况等的综合体现。因此学生课堂的专注度可为教学过程评价提供数据支撑,对教学评价改革具有十分重要的意义。 现有的学生专注度识别法可分为手动识别和自动识别。手动识别耗时费力,且结果的有效性受许多不可控因素影响。在自动识别法中,基于视频的识别法相较于基于日志或传感器方法具有适用范围广、学生学习过程不被影响等优点。因此本文采用基于视频的识别方式。然而现有的基于视频的识别模型存在模型参数多、长距离特征捕获能力差、无法并行计算、运行效率低等问题,并且多数模型没有同时采用局部和整体的特征。针对数据而言,学生专注度识别领域相关的数据集比较缺乏,数据集中包含的数据量较少。并且在教室场景中,容易出现学生被遮挡的问题。最后关于学生专注度识别系统的研究较少,且系统往往仅针对一名学生进行识别,并没有针对教室场景的整体的解决方案。 为了应对以上的问题,本研究主要完成了以下工作: (1)设计了一套数据增强的方法,通过模拟目标被遮挡的情景丰富数据集的分布,并且在抽帧时增加随机性,使每次视频抽帧结果不完全相同,从而增大数据量。设计了一种特征提取模型,修改了ResNet中的bottleneck,使其具备多尺度特征提取能力。修改了原始的自注意力机制模块,在位置编码中增加了时间维度信息。 (2)融合了上述的数据增强模块、特征提取模型以及自注意力机制模块,提出了一种学生专注度识别模型。使模型具备了并行计算能力,克服了长距离特征间的依赖问题,使识别结果中包含了多尺度信息。模型在DAiSEE数据集上达到了60.03%分类准确率,高于benchmark,与主流识别模型效果相当。 (3)整合了目标检测、人脸识别、专注度识别等算法,设计并开发了一套学生课堂专注度识别系统。该系统可对教室中所有人员的专注度状态进行实时监测,并提供简要的数据统计。其功能和性能均通过测试,实现了设计目标。

关键词

专注度识别/自注意力机制/卷积神经网络/多尺度特征

引用本文复制引用

授予学位

硕士

学科专业

计算机科学与技术

导师

张浩

学位年度

2022

学位授予单位

华中师范大学

语种

中文

中图分类号

TP
段落导航相关论文