预训练语言模型具有强大的特征表达能力但无法直接应用于长文本.为此,提出分层特征提取方法.在B E RT允许的最大序列长度范围内按句子的自然边界分割文本,应用自注意力机制获得首块和尾块的增强特征,再利用PCA算法进行压缩获取主要特征成分.在THUCNews和Sogou数据集上进行5折交叉验证,分类准确率和加权F1-score的均值分别达到95.29％、95.28％和89.68％、89.69％.该方法能够提取与主题最相关的特征,提高长文本分类效果,PCA压缩特征向量能够降低分类模型的复杂度,提高时间效率.
Research on long text classification based on the combination of BERT feature representation and attention mechanism
NETL
NSTL
万方数据
维普
