首页|基于深度学习的事件抽取方法研究

基于深度学习的事件抽取方法研究

吴家帆

基于深度学习的事件抽取方法研究

吴家帆1
扫码查看

作者信息

  • 1. 中国科学院大学
  • 折叠

摘要

互联网上存在海量非结构化文本数据,如何快速地从这些数据中挖掘出用户所关注的信息,已成为如今生产生活中的刚需。事件抽取是信息抽取领域的重要组成部分,旨在从非结构化文本中抽取出用户感兴趣的事件信息并以结构化的形式呈现出来。近年来,事件抽取领域取得了令人瞩目的研究进展,基于深度学习的方法在其中占据主导位置并取得一系列成果。然而,目前大多数基于深度学习的事件抽取方法在真实场景中都面临着两个问题:(1)缺乏建模事件元素之间内在依存关系:现有事件抽取方法对待不同事件要素的预测是相互独立的,这忽略了事件内部各个元素之间的关系和影响;(2)缺乏应对少样本/零样本事件抽取问题的能力:现有事件抽取方法只能在数据资源比较丰富的情况下才能达到较好的水平,面对数据匮乏的场景,抽取效果则大打折扣。这些问题给事件抽取方法的实际应用造成了较大阻碍。 针对事件抽取方法在真实场景中存在的问题,本文分别从知识增强和迁移学习两个角度展开研究,主要工作内容和创新点如下: 针对缺乏建模事件元素之间内在依存关系的问题,本文构建了一种基于语义关系增强的事件抽取方法。对于事件检测任务,本文搭建了一种聚合多态句法关系表示的图注意力网络模型,能够更好地将候选事件触发词与文本中其他实体词之间的语义关系信息融入编码过程,从而提升事件类型判别性能。对于事件论元角色分类任务,本文将每一种论元角色的本体概念设定成一个可学习的特征向量表示,使用注意力机制将本体概念表示与候选实体词向量表示聚合,得到面向论元角色分类的高质量特征表示,从而提升事件论元角色分类性能。 针对少样本/零样本事件抽取问题,本文提出了一种基于迁移学习的事件抽取方法,将事件抽取任务重构为机器阅读理解的片段抽取任务。首先,根据待抽取的事件要素构建相应的查询问句,接着,抽取模型在问句的引导下从事件句文本中检索出相关答案;最后,汇总所有可能的答案作为事件要素的抽取结果。这种建模方法可以在构建的查询问句中融入与待抽取事件相关的先验知识,起到在抽取过程中对模型提示和纠正的作用,增强了模型应对少样本/零样本事件抽取的能力。此外,该方法为事件句中每一个词片段构建一个多元分类器来分别判断当前词片段是否为一个起/止位置,采用答案跨度矩阵解码和多标签解码两种方案动态地对预测出所有答案进行筛选,既解决了标签重叠问题,也消除了过滤多实体时存在的泛化性缺陷问题。实验结果表明,较以往的事件抽取方法,该建模方法具有显著的性能提升,同时可以很好地应用到少样本甚至零样本场景。

关键词

事件抽取/知识增强/迁移学习/语义关系

引用本文复制引用

授予学位

硕士

学科专业

电子与通信工程

导师

陶建华;张大伟

学位年度

2022

学位授予单位

中国科学院大学

语种

中文

中图分类号

TP
段落导航相关论文