首页|基于对比学习的自监督图表示学习方法研究

基于对比学习的自监督图表示学习方法研究

王泽明

基于对比学习的自监督图表示学习方法研究

王泽明1
扫码查看

作者信息

  • 1. 中国科学院大学
  • 折叠

摘要

图表示学习借助传统方法或图神经网络,提取图数据的特征表示,将其应用到各种图预测任务中。然而,对于特定的任务和数据集,高质量的标注数据难以获得。图自监督学习作为一种新兴的学习范式,利用辅助任务从大规模的无标注数据中挖掘判别性信息,从而训练模型并学习对下游任务有价值的表示。图对比学习作为一种自监督图表示学习方法,核心思想是使同一样本的不同视角下的表示互相接近,不同样本的表示互相远离,并通过最小化对比损失更新模型的参数。图对比学习近年来逐渐成为了图表示学习领域的研究热点之一,并在多个下游任务中达到了媲美有监督学习方法的效果。 但是,图对比学习在应用中也存在一些问题。首先,图对比学习模型在预训练和微调阶段的性能缺乏关联,因此在预训练阶段学习到的表示的质量难以保证。其次,传统的图对比学习存在局部判别信息偏好,缺乏对全局判别信息的学习,在训练过程中也存在假负样本的问题。围绕上述问题,本论文研究了基于对比学习的自监督图表示学习方法。主要研究内容如下: 1.针对图对比学习模型在预训练和微调阶段的性能缺乏关联的问题,提出了一种基于自适应图增强的图对比学习方法。该方法采用了平均图混淆度评价指标,用于在预训练阶段预测下游任务性能,提升图对比学习的泛化性。同时,该方法还引入了自适应图增强算法,对不同的图数据集生成自适应的图增强策略。图分类和节点分类实验验证了方法的有效性,相关性实验证实了平均图混淆度和下游任务性能存在显著的关联。 2.针对传统图对比学习存在的局部判别信息偏好和假负样本问题,提出了一种基于超图增强的鲁棒图对比学习方法。该方法向图对比学习中加入超图增强视角,从而更有效地从节点和对应的边上捕捉全局信息。同时,引入了鲁棒图对比学习范式,将节点的邻域节点纳入对比损失的计算,有效解决了假负样本问题带来的影响。节点分类实验展现了方法的优越性,消融实验验证了方法中各模块的有效性。

关键词

自监督图表示学习/图对比学习/自适应图增强/鲁棒图对比学习

引用本文复制引用

授予学位

硕士

学科专业

软件工程

导师

郑昌文

学位年度

2023

学位授予单位

中国科学院大学

语种

中文

中图分类号

TP
段落导航相关论文