基于改进Transformer的长文本候选段落抽取
Long Text Candidate Paragraph Extraction Based on Improved Transformer
任伟建 1徐明明 2康朝海 1霍凤财 1任璐 3张永丰4
作者信息
- 1. 东北石油大学电气信息工程学院 大庆 163318;黑龙江省网络化与智能控制重点实验室 大庆 163318
- 2. 东北石油大学电气信息工程学院 大庆 163318
- 3. 海洋石油工程股份有限公司 天津 300450
- 4. 大庆油田有限责任公司第二采油厂规划设计研究所 大庆 163318
- 折叠
摘要
为了提高抽取式机器阅读理解性能,在数据预处理部分,搭建长文本候选段落抽取模型提高候选答案质量.在模型词嵌入方面,将N元组笔画信息特征添加位置信息,消除cw2vec词向量模型在学习汉语笔画结构时存在的歧义问题;在模型深度特征提取方面,通过稀疏Transformer中的自注意力机制矩阵,解决矩阵计算复杂度高和特征提取时间过长的问题.在DuReader数据集上的实验表明,搭建的段落抽取模型平均准确率和平均排序倒数指数分别达到0.664 2和0.669 4.
Abstract
In order to improve the performance of extracted machine reading comprehension,a long text candidate paragraph extraction model is built in the data preprocessing part to improve the quality of candidate answers.In the aspect of model word em-bedding,the N-tuple stroke information feature is added with position information to eliminate the ambiguity of cw2vec word vector model in learning Chinese stroke structure.In terms of model depth feature extraction,the self-Attention mechanism matrix in sparse Transformer is used to solve the problems of high computational complexity and long feature extraction time.Experiments on the DuReader data set show that the average accuracy and average ranking reciprocal index of the constructed paragraph extraction model reach 0.664 2 and 0.669 4 respectively.
关键词
候选段落抽取/位置信息/Transformer/自注意力机制/稀疏矩阵Key words
candidate paragraph extraction/location information/Transformer/self-Attention/sparse matrix引用本文复制引用
基金项目
国家自然科学基金项目(61933007)
国家自然科学基金项目(61873058)
出版年
2024
国家科技期刊平台
NSTL
万方数据