本发明涉及图池化,具体而言,尤其涉及一种基于图剩余注意与聚合网络的图池化方法。
背景技术:
1、在图分类任务中,希望根据图结构预测图整体的类别标签。然而,图的结构是无序的,大小和节点类型都可能不同。传统的机器学习算法无法直接处理这样的结构数据。图神经网络通过在图结构上传播信息,学习图的表示,从而能够处理这种结构信息。
2、在现有技术中,主要涉及图神经网络中的图注意力网络和图池化方法。图注意力机制通过自注意力机制在图中的节点对之间计算注意力权重。通过这种机制,gat能够自动捕捉重要节点及其关系。在特征聚合阶段,图神经网络利用计算得到的注意力系数对邻居节点的特征进行加权求和。在图池化方法中,采用top-k pooling选择图中的k个最重要的节点进行保留。重要性通常根据某种评分函数计算,比如节点特征的投影分数。计算每个节点的得分。按得分排序并选择得分最高的k个节点。并且将sagpool引入自注意力机制,根据节点与其邻居节点的相关性进行节点选择。它也是根据节点得分排序并保留得分最高的k个节点。
3、然而,在传统的图池化方法中,如top-k池化或是简单的全局平均池化,往往只依赖于局部或全局的节点信息以实现维度缩减。这种方法可能会导致重要的结构信息和节点特征在池化过程中丢失,尤其是在图较大或结构较复杂时。这种信息的损失可能会对后续的图分析任务,如图分类、图回归等,带来负面影响。在图注意力机制中,现有的图注意力模型(如gat)虽然在模型中引入了注意力机制以更好地捕捉节点间的依赖关系,但这些模型通常没有有效融合来自不同层的信息。在深层图网络中,这可能导致网络顶层缺乏对输入层信息的直接观察,进而影响模型对图数据的全局理解能力。在集成全局和局部信息上,现有技术往往关注于局部邻域信息的处理,或是过分强调全局信息的重要性,而没有实现两者的有效结合。这限制了图表征的丰富性,因为理想的图表征应同时包含局部结构细节和全局结构概览。
4、有鉴于此,本发明提供一种基于图剩余注意与聚合网络的图池化方法,提出一种结合图注意力机制与残差连接的方法,以改善信息融合问题,同时通过高效的池化策略优化计算并处理扩展性问题。
技术实现思路
1、根据上述提出的不足,而提供一种基于图剩余注意与聚合网络的图池化方法。本发明主要利用图卷积层根据第一归一化邻接矩阵、节点的归一化矩阵和可训练参数矩阵进行特征变换,得到节点特征矩阵;聚合层根据节点特征矩阵和第二归一化邻接矩阵进行迭代,得到节点特征信息;池化层对所有节点特征信息分别计算重要性得分,并将重要性得分按照由高到低的顺序排列,选取前k个重要性得分对应的节点形成节点矩阵;池化层对第二归一化邻接矩阵进行特征提取,得到新的邻接矩阵;池化层根据节点矩阵和新的邻接矩阵构建图结构,实现多层次的特征提取和动态池化。
2、本发明采用的技术手段如下:
3、一方面,本发明提供了一种基于图剩余注意与聚合网络的图池化方法,包括:
4、根据输入图计算第一归一化邻接矩阵和所有节点的对称归一化矩阵;
5、搭建图规模缩减模型;
6、将所述第一归一化邻接矩阵和所有所述节点的归一化矩阵输入所述图规模缩减模型,得到图结构,包括:
7、所述图规模缩减模型的图卷积层根据所述第一归一化邻接矩阵、所述节点的归一化矩阵和可训练参数矩阵进行特征变换,得到节点特征矩阵;
8、所述图规模缩减模型的聚合层根据所述节点特征矩阵和第二归一化邻接矩阵进行迭代,得到节点特征信息;
9、所述图规模缩减模型的池化层对所有所述节点特征信息分别计算重要性得分,并将所述重要性得分按照由高到低的顺序排列,选取前k个所述重要性得分对应的所述节点形成节点矩阵;所述池化层对所述第二归一化邻接矩阵进行特征提取,得到新的邻接矩阵;所述池化层根据所述节点矩阵和所述新的邻接矩阵构建所述图结构。
10、优选地,所述将所述第一归一化邻接矩阵和所有所述节点的归一化矩阵输入所述图规模缩减模型,得到图结构,还包括:
11、所述图卷积层根据所述节点特征矩阵、权重矩阵、所述第二归一化邻接矩阵和非线性激活函数得到新的节点特征矩阵;
12、所述图规模缩减模型的剩余注意力层根据所述新的节点特征矩阵确定所述聚合层的迭代权重梯度。
13、优选地,所述图卷积层根据所述节点特征矩阵、权重矩阵、所述第二归一化邻接矩阵和非线性激活函数得到新的节点特征矩阵,包括:
14、所述图卷积层将所述节点特征矩阵与所述权重矩阵相乘,得到新的特征矩阵,将所述新的特征矩阵与所述第二归一化邻接矩阵相乘,得到卷积后的节点特征矩阵,对所述卷积后的节点特征矩阵应用所述非线性激活函数得到新的节点特征矩阵。
15、优选地,所述图规模缩减模型的剩余注意力层根据所述新的节点特征矩阵确定所述聚合层的迭代权重梯度,包括:
16、所述剩余注意力层根据所述输入图,确定相邻所述节点,计算相邻所述节点的点积注意力分数和加性注意力分数,将相邻所述节点的点积注意力分数和加性注意力分数合并后进行归一化处理,根据处理结果为每个所述节点赋予注意力权重,所有所述节点的注意力权重之和为1;
17、所述聚合层计算第i个节点的节点特征信息时,所述剩余注意力层将所述第i个节点的注意力权重与其邻居节点的新的节点特征矩阵进行加权求和,得到注意力加权后的特征,采用残差连接所述第i个节点的对称归一化矩阵和所述第i个节点的注意力加权后的特征得到权重梯度。
18、优选地,所述计算相邻所述节点的点积注意力分数,按照以下方式计算:
19、eij=(hiw)·(hjw)t
20、其中,eij为所述第i个节点和第j个节点的点积注意力分数,w为线性变换权重矩阵,hi为所述第i个节点的新的节点特征矩阵,hj为所述第j个节点的新的节点特征矩阵。
21、优选地,所述计算相邻所述节点的加性注意力分数,按照以下方式计算:
22、eij′=atleakyrelu(w′[hi|hj])
23、其中,eij′为所述第i个节点和第j个节点的加性注意力分数,a为第一学习参数向量,w′为第二学习参数向量,|为特征的拼接操作,hi为所述第i个节点的新的节点特征矩阵,hj为所述第j个节点的新的节点特征矩阵。
24、优选地,所述根据处理结果为每个所述节点赋予注意力权重,按照以下方式计算:
25、
26、其中,α为注意力权重,eij为所述第i个节点和第j个节点的点积注意力分数,eik为所述第i个节点和第k个节点的点积注意力分数,n(i)为所述第i个节点的邻居节点集合。
27、优选地,所述剩余注意力层将所述第i个节点的注意力权重与其邻居节点的新的节点特征矩阵进行加权求和,得到注意力加权后的特征,按照以下方式计算:
28、
29、其中,hi′为所述第i个节点的注意力加权后的特征,hj为所述第j个节点的新的节点特征矩阵,αij为所述第i个节点的注意力权重。
30、优选地,所述图规模缩减模型的聚合层根据所述节点特征矩阵和第二归一化邻接矩阵进行迭代,得到节点特征信息,包括:
31、在第一层迭代时,所述聚合层的第一层图卷积对所述节点特征矩阵应用第一层迭代的权重进行特征变换后得到第一次变换后的特征,将所述第一次变换后的特征与所述第二归一化邻接矩阵相乘后应用激活函数,得到第一节点特征;
32、在第n层迭代时,n为整数且n≥2,所述聚合层的第n层图卷积对第n-1层迭代得到的第n-1节点特征应用第n层迭代的权重进行特征变换后得到第n次变换后的特征,将所述第n次变换后的特征与所述第二归一化邻接矩阵相乘后应用所述激活函数,得到第n节点特征;
33、当所述第n层迭代完成时到达迭代停止条件,输出所述第n节点特征作为所述节点特征信息。
34、较现有技术相比,本发明具有以下优点:
35、1、本发明提供的一种基于图剩余注意与聚合网络的图池化方法,通过在图卷积层后引入残差注意机制,通过注意力机制动态调整节点特征的聚合权重,并通过残差连接保留原始特征,然后采用多层图卷积进行特征聚合,通过层级递进的方式提取更高层次的节点特征。
36、2、本发明提供的一种基于图剩余注意与聚合网络的图池化方法,通过线性层计算节点的重要性分数,并选择前k个重要节点进行池化,将图卷积、残差注意、多层聚合和动态池化有效结合,形成一个统一的模型框架,通过多层次的特征提取和动态池化,在节点分类和图嵌入任务上表现优异,准确性和稳定性显著提升。
37、3、本发明提供的一种基于图剩余注意与聚合网络的图池化方法,本发明提供的图规模缩减模型具备较强的通用性和扩展性,适用于多种图数据和人物场景。
1.一种基于图剩余注意与聚合网络的图池化方法,其特征在于,包括:
2.根据权利要求1所述的一种基于图剩余注意与聚合网络的图池化方法,其特征在于,所述将所述第一归一化邻接矩阵和所有所述节点的归一化矩阵输入所述图规模缩减模型,得到图结构,还包括:
3.根据权利要求2所述的一种基于图剩余注意与聚合网络的图池化方法,其特征在于,所述图卷积层根据所述节点特征矩阵、权重矩阵、所述第二归一化邻接矩阵和非线性激活函数得到新的节点特征矩阵,包括:
4.根据权利要求2所述的一种基于图剩余注意与聚合网络的图池化方法,其特征在于,所述图规模缩减模型的剩余注意力层根据所述新的节点特征矩阵确定所述聚合层的迭代权重梯度,包括:
5.根据权利要求4所述的一种基于图剩余注意与聚合网络的图池化方法,其特征在于,所述计算相邻所述节点的点积注意力分数,按照以下方式计算:
6.根据权利要求4所述的一种基于图剩余注意与聚合网络的图池化方法,其特征在于,所述计算相邻所述节点的加性注意力分数,按照以下方式计算:
7.根据权利要求4所述的一种基于图剩余注意与聚合网络的图池化方法,其特征在于,所述根据处理结果为每个所述节点赋予注意力权重,按照以下方式计算:
8.根据权利要求4所述的一种基于图剩余注意与聚合网络的图池化方法,其特征在于,所述剩余注意力层将所述第i个节点的注意力权重与其邻居节点的新的节点特征矩阵进行加权求和,得到注意力加权后的特征,按照以下方式计算:
9.根据权利要求1或2所述的一种基于图剩余注意与聚合网络的图池化方法,其特征在于,所述图规模缩减模型的聚合层根据所述节点特征矩阵和第二归一化邻接矩阵进行迭代,得到节点特征信息,包括:
