摘要
随着信息技术的高速发展，互联网上产生的文本数量剧增，文本的分类任务也变得越来越复杂。多标签文本分类作为自然语言处理领域经典并且十分重要的问题，在信息检索、情感分析、对话系统等领域都有着非常广泛的应用。将多标签文本分类问题看作序列生成问题这一思路的提出，极大地推动了多标签分类的研究进程，但其中存在文本特征提取不足、标签与标签之间的关联性挖掘不足及“误差传递”等问题。因此，本文对Seq2Seq模型的改进展开研究，使其在提高信息检索、情感分析的准确率和效率等方面具有更大的实际应用价值和社会效益，主要研究内容包括： 一、针对多标签文本分类任务中传统的词向量无法处理一词多义，以及单通道神经网络模型无法提取全面的语义特征等问题，本文构建了联合模型以提高多标签文本分类性能。首先使用BERT模型把输入的文本序列转换为具有上下文感知的动态词向量，然后将其分别输入多卷积核DPCNN模型和BiLSTM-TextCNN模型所构成的双通道中，充分提取文本序列的时序信息、全局交互信息及局部邻域信息，最后通过基于注意力机制的特征融合策略将不同层级的文本特征融合，从而获得更全面、更准确的文本语义表示。 二、针对传统的Seq2Seq模型存在语义信息提取不足、文本和标签之间的关联性挖掘不足以及“误差传递”等问题，本文提出了基于混合注意力机制的Seq2Seq模型。该模型中编码器模块使用联合模型获取更丰富的语义特征，并通过多头注意力机制充分挖掘文本序列的不同部分与标签之间的关联性，然后生成最终的上下文语义向量。解码器部分引入基于标签的注意力机制，有效缓解了“误差传递”现象，并通过MogrifierLSTM模型顺序地生成最终的标签序列，在充分学习标签之间的关联性的基础上，提高了模型的分类性能。
NETL