基于链接感知和累积分布函数深度点过程的事件预测研究

扫码查看

原文链接

NETL

中文摘要：现实世界中存在的大量事件序列数据具有重要的研究价值，可以从中发现事件之间的关系，对未来事件进行预测，应用场景包括医疗记录预测、地震记录预测、社交网络变化趋势预测、推荐系统等等。事件序列数据由多个事件序列组成，一个事件序列记录了依次发生的事件，每一个事件由事件类型和发生时间构成。本文首先对一种特殊的事件序列数据——时序图进行探索，然后对一般性的事件序列数据展开研究。时序图由节点随着时间而进行的交互链接组成，每一条链接是一个三元组，即源节点、目标节点和发生时间。时序图是一种特殊的事件序列数据，可以将源节点和目标节点整体视作一种事件类型。在时序图上，链接预测是一项常见的事件预测任务，即给定历史链接，预测某个链接是否会建立。一种等价描述是给定查询链接和其之前的历史链接，预测查询链接是否为真。以往的模型通常聚焦于学习查询链接中两个节点的表示，它们是非（查询）链接感知的，即没有利用查询链接的信息，这导致学习表示的过程中容易编码与链接预测无关的噪音信息，对链接预测不利。另外，大多已有的时序图模型还面临着采样方法不够灵活、无法同时学习不同粒度的模式和对链接预测的结果缺乏可解释性等问题。对于一般的事件序列数据，时序点过程是一种常用的数学工具，目标在于根据历史事件得到下一个事件的分布，包括事件类型分布和事件时间分布，利用该分布，我们可以对下一个事件的类型和发生时间进行预测。传统点过程在建模时往往对下一事件分布的参数形式做很强的假设，缺乏灵活性。随着深度学习的兴起，深度点过程成为了研究热点，它的优势在于无需任何先验知识，可以自动地从大量事件序列数据中学习潜在的规律。深度点过程的建模思路通常为:使用历史信息提取网络从历史事件序列中提取信息，这些信息通过一个事件分布网络构建下一个事件的分布。提取历史信息的过程非常重要，通常使用的循环神经网络仅体现了历史事件的类型信息，而未建模事件类型的重要性，无法有针对性地根据重要性提取历史信息。事件时间分布可以由强度函数、累积风险函数、概率密度函数、累积分布函数或者生存函数来刻画，强度函数由于定义简单且函数值仅需满足为正数的条件而被现有模型广泛采用，然而，它通常很难在具备足够表达能力的同时可以解析计算似然度，这导致在使用最大化似然度方法进行训练时需要计算复杂的积分，效率低下。针对以上问题，本文针对时序图和一般的事件序列数据分别提出了基于链接感知的事件预测模型和基于累积分布函数深度点过程的事件预测模型。具体地，本文的工作主要包括以下两个方面: (1)提出了一种基于链接感知的事件预测模型，利用查询链接的信息，其可以直接注意到有用的历史链接，忽略与事件预测无关的噪音信息。在该模型中，我们提出了一种新的采样方法——参数化采样，可以根据亲密度来采样预测所需的历史链接;我们提出了两种注意力机制——直推式注意力和归纳式注意力，用于捕捉不同粒度的模式;我们借助于计算机视觉中的可解释性技术——类激活热力图，对事件预测的结果进行解释。在多个公开的时序图数据集上进行事件预测实验，结果表明所提出的模型优于基准模型，AUC指标绝对提升最高达4.3％。 (2)提出了一种基于累积分布函数深度点过程的事件预测模型，在可以解析计算似然度的同时具有较强的表达能力。在该模型中，我们提出了一种基于注意力的循环神经网络，在提取历史事件信息的同时对历史事件的重要性进行建模;我们提出了一种基于累积分布函数的事件分布网络，将多个带有不同参数的增函数进行相加后映射来模拟真实的累积分布函数。在多个广泛使用的时序点过程数据集上测试模型的拟合能力、事件类型预测能力和事件时间预测能力，结果表明所提出的模型优于基准模型，事件时间预测的平均绝对误差相对提升最高达7.1％。本文研究基于事件序列数据的事件预测，分别提出了一种基于链接感知的事件预测模型和一种基于累积分布函数深度点过程的事件预测模型，事件预测实验表明了我们方法的有效性。进一步的研究包括将深度点过程与时序图方法进行融合，应用于时序图事件预测中;将本文所提出的事件预测方法进行扩展，对未来一段时间内所有可能发生的事件进行预测。

作者：

刘冰清

展开 >

关键词：

事件序列数据累积分布函数深度点过程链接感知注意力机制

授予学位：

硕士

学科专业：

计算机软件与理论

导师：

张松懋

学位年度：

2023

学位授予单位：

中国科学院大学

语种：

中文

中图分类号：