摘要
机器阅读理解（Machine Reading Comprehension，MRC）是自然语言处理（Natural Language Processing，NLP）中的一项关键任务，其要求机器理解文本并准确回答问题。机器阅读理解任务被广泛应用于信息检索、问答系统等领域。如何让机器从文本中捕捉更多的语义信息，对于机器更加准确地理解文本并更好地回答问题至关重要。 目前预训练语言模型（Pretrained language models，PLMs）在建模长距离依赖关系和全局信息方面表现出色，但其对文本语义的局部信息提取方面仍有待提高。同时，有研究者认为预训练模型在实体名称的表面形式推理方面表现出优异的性能，但其无法捕获丰富的知识事实。为此，部分研究者通过简单的三元组引入外部知识以提升模型的理解能力，但这种方式仍存在语义贫乏、适应性较差等问题。因此，针对上述问题，本文提出了一种新的微神经网络结构，能够更好地捕获文本序列中的局部特征。结合预训练模型深层的全局语义特征，进而增强模型最终的语义表示，提高模型对上下文的理解能力和对答案位置的抽取准确性。同时，为效仿人类利用背景知识进行高效问答的同时弥补实体三元组存在的劣势，考虑引入句子级实体知识，帮助机器更好地理解文本并给出更准确的答案。本文的主要研究内容如下： （1）针对预训练模型在局部特征提取方面存在不足，本文提出了混合式特征融合的抽取式阅读理解方法。通过卷积操作与多层感知器（Multilayer Perceptron，MLP）构建微神经网络（Micro Neural Network，MNN），其中每个 MLP 卷积层包含一维卷积操作、全连接层和非线性激活函数，使得模型能够学习到文本序列中更高级的局部语义特征，并融合预训练模型提取的全局语义特征，以获得更全面的特征表示。同时使用全局平均池化（Global Average Pooling，GAP）替代传统的全连接层将语言表征直接映射为答案起始位置的置信分数。实验结果表明，本文方法（MNN and GAP，MG）相比其他方法表现更加出色，能够有效提升多种BERT模型在该任务上的性能。 （2）针对现有阅读理解方法在引入外部知识方面存在不足，本文提出了知识增强语言表征的抽取式阅读理解方法（A Network Model for Knowledge Enhanced Language Representation，KE-NET）。其首先从知识库（Knowledge Base，KB）中选择句子级实体知识，然后将其与中文预训练语言模型输出的上下文表示融合，从而利用这些知识增强模型的语言表征。该方法将结合预训练语言模型和KB的优势以更好地实现抽取式阅读理解。为了验证该方法的有效性，在CMRC2018和DRCD等数据集上进行实验，结果表明，KE-NET表现出优异的性能。
NETL