中文信息学报2024,Vol.38Issue(8) :128-139,157.

基于多尺度卷积的阅读理解候选句抽取

Evidence Sentence Extraction for Reading Comprehension Based on Multi-scale Convolution

李沫谦 杨陟卓 李茹 王笑月 吉宇
中文信息学报2024,Vol.38Issue(8) :128-139,157.

基于多尺度卷积的阅读理解候选句抽取

Evidence Sentence Extraction for Reading Comprehension Based on Multi-scale Convolution

李沫谦 1杨陟卓 2李茹 2王笑月 1吉宇1
扫码查看

作者信息

  • 1. 山西大学计算机与信息技术学院,山西太原 030006
  • 2. 山西大学计算机与信息技术学院,山西太原 030006;山西大学计算智能与中文信息处理教育部重点实验室,山西太原 030006
  • 折叠

摘要

机器阅读理解作为检验机器是否具有理解人类自然语言能力的重要任务之一,受到了越来越广泛的关注.该文针对选择型阅读理解任务中特征提取不全面和交互不充分的问题,提出一种基于多尺度卷积的候选句抽取模型.首先,使用预训练模型编码句子语义信息,并利用多种特征辅助编码提升模型性能.其次,为了充分利用文本信息,采用多尺度卷积捕捉不同尺度的文本特征.再次,使用Focal Loss解决阅读理解中正负样本不均衡的问题,最后,选取top-20作为候选句.该文的方法在两个阅读理解选择题数据集上进行测试,实验结果表明,多尺度卷积模型效果优于基线模型,F1 值较最优基线模型结果分别提升3.66%和4.82%,验证了方法的有效性.

Abstract

Machine reading comprehension is a popular task to test whether a machine can understand natural lan-guage.Aiming at the choice reading comprehension items,we propose a multi-scale convolution based evidence sen-tence extraction model to extract more comprehensive features.Firstly,we utilize the pre-trained model to encode the semantic information for sentences,and use various features to assist the encoding to improve the performance of the model.Then,the multi-scale convolution is adopted to capture the text features at different scales,with the focal loss to alleviated the unbalanced sample issue.Finally,top-20 sentences are selected as the evidence sentences.Experimented on two datasets of reading comprehension,the proposed method improves the F1 values by 3.66%and 4.82%,respectively,compared with the optimal baseline models.

关键词

机器阅读理解/候选句抽取/多尺度卷积

Key words

machine reading comprehension/evidence sentence extraction/multi-scale convolution

引用本文复制引用

基金项目

国家重点研发基金(2018YFB1005103)

山西省基础研究计划面上项目(20210302123469)

国家自然科学基金(61936012)

出版年

2024
中文信息学报
中国中文信息学会,中国科学院软件研究所

中文信息学报

CSTPCDCHSSCD北大核心
影响因子:0.8
ISSN:1003-0077
段落导航相关论文