摘要
以人工智能为代表的新一代信息技术与教育的融合，正在重新定义教育，也正在改变着人们对教育的理解和期望。利用人工智能技术更好地赋能教育，探索人工智能技术在教育中的应用情境、方法和模式，是未来教育研究的一个重要方向。当前的教学环境已经不再局限于学校的课堂教学，在线学习已经成为教育生态的重要组成部分。构建智能化在线学习系统既是未来的发展趋势，也是完善在线学习环境的必然要求。目前，在线学习环境中普遍存在学习者的情绪难以感知，学习者动态的学习状态信息难以获取等问题。研究在线学习过程中学习情绪识别及其在学习状态监测中的应用，对于获取学习者动态的反馈信息，以及实施过程性学习评价和优化教学等都具有重要作用。 情绪体验和面部表情具有天然的一致性，外显的面部表情也是反映内隐的情绪体验的窗口。论文聚焦在线学习环境下基于面部表情的学习情绪识别，通过面部表情特征提取方法的创新，提升面部表情识别的准确率。提出了基于双模态空时域特征自动学习的面部表情识别方法，并通过微表情识别实验验证了提出方法的有效性。在此基础上，将提出的方法应用于学习情绪面部表情的识别，开展了综合性实验。论文同时关注学习情绪识别在学习者学习状态监测中的应用，探究一种融合学习情绪识别、视觉注意力检测和认知疲劳检测的结果，监测在线学习过程中学习者学习状态的方法。论文的主要贡献包括: (1) 本文设计了创设情境诱发学习情绪的实验方案，模拟真实的在线学习情境，结合实验任务和实验材料的精心设计，成功诱发了目标学习情绪，并创建了学习情绪面部表情库。在学习情绪诱发实验中，只控制实验任务的类型和难度，不对其它任何因素进行控制，保障了实验过程中学习情绪的诱因与真实的在线学习情境中学习情绪的诱因相一致。 (2) 本文将目标检测领域中的Faster R-CNN引入到人脸检测任务中，构建了基于Faster R-CNN框架的深度神经网络，训练了人脸检测的网络模型，测试实验结果显示取得了较好的人脸检测效果。同时，提出了基于级联深度卷积神经网络的人脸特征点定位方法，先对头部倾斜进行纠正，然后采用分治和由粗到精的方式定位人脸特征点，测试实验结果显示取得了较好的定位效果。 (3) 本文提出了基于双模态空时域特征自动学习的面部表情识别方法，实现面部表情空时域几何特征和空时域外观特征两种模态特征的自动提取和分类。提出方法在微表情识别测试实验中的结果显示较大幅度地提升了微表情识别的准确率。提出了基于迁移学习的学习情绪面部表情识别模型训练方法，提升了模型训练过程中收敛速度和效果。学习情绪面部表情识别的测试实验结果显示取得了较好的分类识别效果。 (4) 本文设计了一种低侵入性、低成本的在线学习状态监测方案，并将提出的学习情绪识别方法应用于在线学习状态监测。同时，提出了基于头部姿态估计的视觉注意力检测方法和基于PERCLOS(Percentage of Eyelid Closure Over the Pupil Over Time)的认知疲劳检测方法，依据学习情绪识别、视觉注意力检测和认知疲劳检测的结果，判定学习者的在线学习状态。通过实验，验证了设计的在线学习状态监测方案的可行性。
NETL