摘要
自然语言处理技术诞生于上世纪50年代，随着时间的推移，先后经历了基于规则的方法、基于统计的方法以及近十五年来基于机器学习和深度学习方法的迭代更新，几年前伴随着BERT的呱呱坠地又掀起了一轮新的研究热潮。文本分类是自然语言处理中的一项重要任务，它的核心是从文本中抽取出能够体现文本特点的关键特征,寻找特征到类别之间的映射。近年来，另一种基于图结构数据的文本建模思想不断的发展壮大。与BERT不同，图神经网络是一种基于图的深度学习网络，可以通过邻域节点之间的消息聚合捕获图中的依赖关系，弥补了传统深度学习网络无法处理图结构数据的问题，也被越来越多应用于文本分类任务中。 目前关于图网络的文本分类方法仍然存在许多问题，基于全局图的图卷积神经网络方法无法引入文本中蕴含的时间序列信息，基于子图的图神经网络方法无法为同一个词在不同句子中赋予不同的表示。此外，虽然Bertology家族在大部分情况下都能取得较为不错的成绩，但是在对文本图结构信息捕获上仍有不足。这些问题很大程度的影响了文本分类的效果。针对以上问题，本文拟展开如下研究： 1）针对基于全局图的图卷积神经网络方法无法引入时间序列信息的问题，本文提出了基于BiLSTM-GCN的文本分类模型，该模型首先使用双向的LSTM网络获取到蕴含时间序列信息的词表示和文本表示，然后通过词与词的共现关系与词与文档的TF-IDF值来构建全局文本图，最后通过两层的图卷积神经网络，实现了对文本的分类。在多个文本分类测试数据集上，BiLSTM-GCN模型相比基线模型有显著提升，准确率上提升了0.56%，F1值上提升了1.13%。同时，本文对比了不同模型的参数量，并讨论了词向量维度，是否使用词干算法等对模型的分类效果的影响。 2）针对基于子图的图神经网络方法中同一个词在不同句子无法获取不同的表示，以及邻域节点信息聚合方式单一的问题，本文提出了基于图神经网络和微调BERT的文本分类模型，首先，通过微调BERT获取到文本的向量表示，然后在原有的图神经网络基础上，本文提出了基于词权重池化的消息传播方法，并将文本的向量表示融入到图神经网络中，最终实现文本分类。多个测试数据集上的实验结果表明，我们的模型能学习到更丰富的文本特征，相比于基线模型，准确率提升了1.98%，F1值提升了2.93%。此外，本文通过实验讨论了不同维度的词向量，不同窗口等对模型分类性能的影响。
NETL