基于多任务联合学习的多片段机器阅读理解方法研究
Multi-span Machine Reading Comprehension Based on Multi-task Joint Learning
张虎 1范越 1李茹2
作者信息
- 1. 山西大学计算机与信息技术学院,山西太原 030006
- 2. 山西大学计算机与信息技术学院,山西太原 030006;山西大学计算智能与中文信息处理教育部重点实验室,山西太原 030006
- 折叠
摘要
片段抽取式阅读理解是机器阅读理解任务中的一项重要研究内容,现有的相关研究主要关注单片段抽取,然而,实际应用中很多阅读理解问题的答案由文本的多处不连续片段组成,这使得多片段抽取式阅读理解研究受到越来越多的关注.已有的多片段抽取式阅读理解研究大都采用序列标注的方法,该方法不能有效识别多片段问题类型,常常对不同类型的问题给出多个答案片段.为此,该文提出一种结合动态预测片段数量和序列标注的多任务联合学习方法.其中,动态预测片段数量能较为准确地识别出多片段问题类型;序列标注能够实现多个答案片段的有效定位.同时,为了进一步增强现有模型的泛化能力,该文在模型训练中构造了对抗训练和两阶段训练方式.在2021中国法律智能技术评测(Challenge of AI in Law 2021,CAIL2021)数据集和QUOREF数据集上的实验结果表明,该文提出的方法相比基线模型取得了更好的效果.
Abstract
Span extraction reading comprehension is an important task in machine reading comprehension.In practical applications,many of the answers to reading comprehension problems are composed of multiple discontinu-ous spans of text.In contrast to existing sequence tagging method,we propose a multi-task joint learning method combining dynamic span number prediction and sequence labeling.Dynamically predicting the number of spans can capture the type of multi-span question,and the sequence tagging can effectively locate multiple answer spans.At the same time,we construct an adversarial training and two-stage training approach,which can further enhance the generalization ability of the model.Experimental results on the Challenge of AI in Law 2021 (CAIL2021 ) and QUOREF datasets show that our method achieves better results than the baseline models.
关键词
机器阅读理解/多片段抽取/自然语言理解/多任务联合学习Key words
machine reading comprehension/multi-span extraction/natural language understanding/multi-task joint learning引用本文复制引用
出版年
2024
NETL
NSTL
万方数据