摘要
让计算机精确地了解人的情感状态是实现人机交互的前提。生理信号是人体器官相互作用产生的生物电信号，能够自发地反映出人类内心的真实情感。在不同环境下提升生理信号的情感识别性能是许多科研人员一直追求的目标，根据个体、激励素材和应用场景的不同，多模态生理信号样本的分布差异性会严重影响到生理情感识别的效果以及模型的泛化能力。鉴于此，本文在不同实施性能的验证方案下分别基于传统生理信号识别方法和神经网络框架对情感分类任务进行研究，旨在改善生理信号情感识别系统的性能，并在多人或复杂环境中提升系统的稳定性和普适性。 1）针对传统生理情感识别方法中特征选择和模型识别任务相互孤立的问题，基于极端梯度提升（ExtremeGradientBoosting，XGBoost）原理提出了一种融合多指标特征选择算法XGB-FMIFS。该算法分别从节点分裂次数、增益和覆盖样例数的角度出发，综合地对weight、gain和cover三个指标所涉及的重要特征范围进行考虑，并根据准确率评价标准以迭代的方式获取最佳的特征子集，在一定程度上避免了单指标特征范围选取的片面性，减小了特征子集陷入局部最优的可能性。为了使特征子集具备较强的区分能力，引入了线性核的主成分分析进行特征处理。实验结果表明，相对于传统或单指标下的特征选择方法，XGB-FMIFS算法能够在等分频段融合标准（EqualBandFusionStandard，EBFS）下结合线性核的主成分分析获得较好的识别性能改进。 2）针对不同个体间情感素材体验程度存在差异性问题，基于情感趋近回避趋势效应及大脑功能的非对称性，从时间窗口角度出发，引入了非对称指数（Asymmetryindex，AsI）的计算，并结合两组脑电通道信号（Fp1,Fp2,Fz和AF3,AF4,Fz）对生理样本窗口信息所携带的情感程度进行度量，筛选出情感程度较强的窗口样本。为了解决AsI筛选后窗口样本间的时序关联性差且样本较少带来的训练不足等问题，基于储备池的时序处理优势，对所有样本进行内塑性学习，从而在储备池中得到样本的稳定特征结点，最后借鉴XGB-FMIFS算法思想并加以改进，获得储备池中的有效特征结点子集用于情感识别。实验结果表明，该方法能在所有被试参与（SubjectAllParticipation，SAP）和留一人验证（LeaveOneSubjectOut，LOSO）的实施方案中实现了生理识别性能的提升，并且筛选的窗口多数分布于整个样本时间段的中间位置，这对今后的研究具有一定的指导意义。 3）针对领域间生理样本分布差异较大导致情感识别效果不佳的问题，提出了一种特征空间和样例协同迁移优化的生理情感识别方法。首先为了进一步丰富特征信息，通过频段交叉操作提取相位排序转移熵，然后使用迁移自适应提升TrAdaBoost算法获取和适配正则化主成分分析ARPCA学习模型一致的目标域标签，通过迭代更新对特征空间嵌入表征进行修正，从而在通道、频段和窗口间实现特征适配和样例权重学习的有效互补，最后将该方法嵌入到XGB-FMIFS的算法框架中获取领域间的最佳生理特征子集。实验结果表明，在留多人验证（LeaveMultipleSubjectsOut，LMSO）和跨数据库间验证（Crossdatabaseverification，CDV）的实施方案中验证了所提算法的性能和可行性，同时在复杂环境下也有利于提升情感识别接口的稳定性。 4）为了进一步提升域间生理情感识别的性能和改善模型学习的自适应能力，提出了一种连续标签融合的半监督生成对抗框架算法。首先将样本按照时序的先后在储备池中进行非线性映射，并设计了样本时序封装方法把映射后的样本封装成具有回声状态特性的单位样本，然后设计离散标签连续化方法获得更加真实的连续标签信息，并和源域的编码特征通过哈达玛积融合得到特征和标签的联合信息表征，同时使用生成器产生编码特征样本对目标域样本的学习进行增强。经过不断地对抗学习，在领域间实现了联合分布匹配和更新，最终在编码器中获得具有类别区分度的特征不变空间。实验结果表明，该方法能够在域间样本分布差别较大的情况下改善分类识别的性能，同时在一定程度上实现了模型的自适应学习，进一步提升了系统的泛化能力。
NETL