摘要
基于机器学习的智能模型在出行、消费、医疗等领域已经有了广泛的应用，对人们的生活、学习以及工作都产生了深远影响，这都得益于人工智能的三大支柱算法、算力、数据的飞速发展。当人类思考问题时，会结合问题相关的空间关系、因果关系、科学事实和社会习俗常识等背景知识来分析问题，这类知识对人类来说微不足道，但是目前的人工智能模型仍然无法获取，近年来大量的研究开始尝试向智能模型中融入常识知识，常识推理问答成为了人工智能领域中新兴的研究方向，相比于传统的问答方法，常识推理问答不提供背景知识，面临着证据不足、语义复杂、知识推理等难题。为了解决常识推理问答任务中的挑战和难题，本论文的主要研究工作如下： （1）提出了一种扩充背景知识证据的常识推理问答方法。通过对常识问答数据集CommonsenseQA以及现有知识库的常识相关性分析，提出了一种在知识图谱ConceptNet中基于关系的知识三元组选择算法，结合网络爬虫爬取的维基词典解释信息来共同构建高质量背景知识，利用预训练模型ALBERT来提取复杂的文本语义特征，最后使用了一种基于Attention权重和的向量推理方法，对完整的常识推理问答系统进行建模，并通过对比实验验证了模型的常识推理能力。 （2）提出了一种两阶段微调预训练模型的关系抽取方法。为了进一步改善词典知识，将对文本知识的降噪提纯规约为关系抽取任务，首先设计了关系相似性实验一阶段微调让ALBERT学习到关系类型与其文本结构之间的隐藏关系，然后再利用带关系类型标签的数据集来二阶段微调ALBERT以完成关系抽取任务，最后通过消融实验验证了关系相似性实验以及预训练模型能够有效完成关系抽取任务。 （3）提出了一种基于关系抽取模型的知识路径挖掘方法。为了能够充分挖掘出词典中丰富的常识性知识来建立问题与选项之间的联系，本文探索了关系抽取模型迁移到CommonsenseQA数据集以及维基词典中的应用方法，为常识推理模型提供更加精确知识的同时让背景知识更加丰富，最后设计对比实验验证了路径挖掘能够有效提升问答模型的常识推理能力。
NETL