摘要
随着我国经济与信息科技的飞速发展，互联网上的藏文数据越来越多。这些数据中蕴含着极多的信息，有效地管理和利用这些信息，具有很强的现实意义。本文通过对注意力机制的深入研究，建立了基于GRU、Bi-GRU、AttentionBi-GRU、HAN的藏文文本分类模型，并在HAN模型的基础上进行改进，提出了基于层次自注意力机制的藏文文本分类模型HSAN，更进一步地提升了藏文文本分类的效果。 首先，本文深入分析了GRU、Bi-GRU、AttentionBi-GRU、HAN这四个基于RNN的文本分类模型，针对RNN的梯度消失、训练效率低等问题，在HAN模型的基础上，结合自注意力机制，提出了基于层次自注意力机制的藏文文本分类模型HSAN。并在这些模型上完成了两种实验。实验一是在藏文文本分类数据集上进行模型实验，比较了五种文本分类模型的性能，实验二比较了序列信息对HAN与HSAN模型的影响。 在藏文文本分类数据集上，GRU、Bi-GRU、AttentionBi-GRU、HAN模型在测试集上分别取得了82.11%，85.35%，86.64%，88.07%的分类正确率。证明了注意力机制的加入能够提升基于GRU的藏文文本分类的性能。而HSAN模型89.68%的分类正确率超过了HAN模型，取得了最好的效果。证明了自注意力机制的特征抽取能力要优于双向GRU和普通注意力机制。在序列信息实验中，证明了序列信息对HAN，HSAN模型具有重要作用，并且在去掉序列信息后，自注意力机制相比于基于RNN的网络结构更为稳定。
NETL