首页|片段抽取型机器阅读理解算法研究

片段抽取型机器阅读理解算法研究

扫码查看
原文链接
  • 国家科技期刊平台
  • NETL
  • NSTL
  • 万方数据
  • 维普
针对现有的机器阅读理解模型主要使用循环模型处理文本序列信息,这容易导致训练和预测速度慢且模型预测准确性不高等问题,提出了一种片段抽取型机器阅读理解算法QA-Reader.该算法利用大型预训练语言模型RoBERTa-www-ext获取问题和上下文的词嵌入表示;使用深度可分离卷积和多头自注意力机制进行编码;计算上下文和问题的双向注意力及上下文的自注意力,以融合上下文和问题之间的关联信息,拼接得到最终的语义表征;经过模型编码器预测得到答案,模型针对不可回答的问题计算了其不可回答的概率.在中文片段抽取型机器阅读理解数据集上进行了实验,结果表明QA-Reader模型与基线模型相比,其性能方面EM和F1值分别提高了3.821％、2.740％,训练速度提高了0.089％.
Research on span-extraction algorithm for machine reading comprehension

叶俊民、赵晓丽、杜翔、姚贤坦

展开 >

华中师范大学计算机学院,武汉430000

机器阅读理解 片段抽取型机器阅读理解 RoBERTa-www-ext 卷积神经网络 注意力机制

国家社会科学基金后期资助项目

20FTQB020

2021

10.19734/j.issn.1001-3695.2021.04.0106

计算机应用研究
四川省电子计算机应用研究中心

计算机应用研究

CSTPCDCSCD北大核心
影响因子：0.93
ISSN：1001-3695
年,卷(期)：2021.38(11)
  • 1
  • 1