摘要
人类的情感是十分丰富的，利用文本数据进行情感分析的研究已经无法满足智能化时代情感分析的需求了，需要引入更多的模态来补充情感信息。因此多模态的情感分析中对每种模态的情感信息的获取成为了一个重要研究。同时，多模态的引入会导致情感分析的效率和资源消耗得到增加，故对情感分析的耗时和内存占用量进行优化也是一个重要的研究方向。 本文针对情感分析的效率优化以及多模态情感分析不同模态的信息完整获取展开研究，主要研究工作如下： （1）对于文本情感分析的效率优化，提出一种面向混合情感分类的新型情感词典EmoDic的构建方法。通过对词的频率和该词在不同的情感标签样本个数进行统计，计算出每个词的情感权重，将不同的情感下的所有词的情感权重分类构成了情感词典EmoDic。该词典建立的情感向量既可以用于情感分类，也可以用于作为深度学习所需要的特征表达。通过对比实验表明该词典构建的情感向量在不降低情感分类效果的前提下能够有效地优化文本情感分类的速度以及内存消耗。 （2）对于多模态情感分析获取每个模态的情感信息难以及难以去除冗余信息的问题，引入注意力机制和辅助函数，构建基于多模态注意力融合辅助函数的情感分析模型AtM-DNN。该模型对三种模态进行单独的特征化后，利用注意力机制对每种模态的特征信息进行加权达到去除冗余信息的目的，并将每种模态的损失函数以一定权重加入到总损失函数中作为辅助函数来保证不同的模态对总情感分类的影响得到制衡。通过消融实验验证了模型中注意力机制和辅助函数的效果。 （3）基于上述提出的算法，构建一个情感分析平台系统，以为不同的智能化产品提供情感分析功能。该系统将EmoDic和AtM-DNN作为核心算法，提供单一和批量文本混合情感分类和多模态情感分类功能，同时用户可以根据对情感分类的准确度和时间的要求来选择相应的模型。所有的情感分类功能最终都会将情感分类的结果可视化。
NETL