摘要
图表示学习是高效分析处理图数据的基础，旨在将每个节点映射到一个低维、稠密的向量中，节点在图中的关系通过向量之间的关系反映出来，从而实现很多有意义的机器学习任务，如节点分类、链接预测以及社区发现等。近年来，图表示学习发展迅速，其方法大体可以分为基于矩阵分解、基于随机游走以及基于深度学习等。其中，基于卷积神经网络的方法在图表示学习领域发挥着越来越重要的作用。然而，在大多数现有的图卷积神经网络中，每一层卷积只考虑节点的一阶邻居节点，但堆叠过多卷积层又会导致节点的向量表示趋同。同时随着当前图数据规模越来越庞大，对中心节点的所有邻居节点进行聚合可能出现“邻居爆炸”现象，计算代价过高。 为了有效利用高阶邻居节点并为节点动态地分配权重，本文提出了一种自注意力机制下的图表示学习方法。在进行图表示学习的过程中，为了利用高阶邻居节点的信息，提出了一种基于节点相似度的有偏随机游走采样算法，通过计算节点初始特征间的Jaccard相似度，节点根据这一特征自动地选择游走偏向，从而获得与中心节点更相关的邻域信息。同时，考虑到单次游走所带来的随机性引入一种游走策略，即通过固定次数的有偏随机游走，将路径中出现频率最高的Top-k个节点作为中心节点的邻居节点执行后续操作。考虑到邻居节点对中心节点向量表示的影响程度并不相同，提出了多尺度邻域自注意力机制，通过在不同尺度的子图上利用自注意力机制分别学习中心节点的向量表示，并采用自适应的特征融合策略学习两个向量的权重来控制一阶邻域和其他阶邻域向量表示所占的比重，对一阶邻域和其他阶邻域的重要性进行区分，从而获得更加准确的向量表示。 本文在Cora，CiteSeer和PubMed三个经典引文数据集上进行了参数敏感性实验、节点分类实验以及消融实验并对结果进行分析，实验结果表明本文所提出的方法优于所对比的方法。
NETL