一种基于参数扩展的知识反馈型动态图学习优化方法

摘要: 本发明属于动态图学习领域,具体涉及一种基于参数扩展的知识反馈型动态图学习优化方法。背景技术:1、动态图学习(dynamicgraphlearning,简称dgl...
一种基于参数扩展的知识反馈型动态图学习优化方法

本发明属于动态图学习领域,具体涉及一种基于参数扩展的知识反馈型动态图学习优化方法。

背景技术:

1、动态图学习(dynamic graph learning,简称dgl)作为图表征学习的重要分支,旨在对带有随时间演变的拓扑结构和节点属性的图数据进行建模与分析。由于传统静态图学习方法难以适配动态场景,近年来研究者们已逐步将研究焦点转向能够处理时间动态特性的dgl方法。

2、dgl方法主要分为连续时间动态图(continuous-time dynamic graph,简称ctdg)学习方法与离散时间动态图(discrete-time dynamic graph,简称dtdg)学习方法两大类。其中,ctdg学习方法将动态图建模为随时间连续演化的过程,通过微分方程或时间点过程捕捉节点与边界的实时变化。这类方法的优势在于能够刻画精细粒度的动态行为,适用于高频交互场景。然而,这种方法计算复杂度高、对噪声敏感,难以处理大规模稀疏图。与之相对,dtdg学习方法将动态图离散化为时间快照序列,使其具备计算效率高、易扩展至大规模稀疏图的特点。但dtdg学习方法的局限性在于其依赖快照去划分时间粒度,可能会导致短期动态信息的丢失。

3、现有的dgl方法通常采用参数容量固定的模型对动态图的时间演化过程进行统一表征。然而,受限于固定的参数容量,新图知识的融入会覆盖历史图知识进而引发知识挤压问题。知识挤压本质上是dgl中灾难性遗忘的一种表现形式。具体地说,由于模型参数容量的固定性,新图与历史图知识在有限参数空间内产生冲突。同时动态图中的各类事件,如节点添加、删除具有极强的时间因果关联性。尽管通过直接冻结原有参数、扩展新参数的策略可解决知识挤压问题,但该策略忽略了这些事件间的时间逻辑关系,使得模型无法捕捉时间因果关联。

4、此外,现有的dgl方法主要聚焦于正向知识注入,即借助历史图知识提升模型在新图上的性能。但此类方法忽视了反向知识反馈的潜力。反向知识反馈是指利用新图的知识对历史图进行强化。如果忽视,将会导致知识流动呈现单向性,进而可能造成新模型在历史图上的性能下降。与持续学习的目标不同,持续学习旨在避免灾难性遗忘(即确保新模型不会丢失已学习的历史图知识,从而维持其在历史图上的性能),而反向知识反馈不仅要求新模型保留已获取的图知识,更强调借助新学习的图知识,提升其在历史图上的性能。

技术实现思路

1、本发明的目的在于提供一种基于参数扩展的知识反馈型动态图学习优化方法,不仅能通过图感知的参数扩展策略解决知识挤压问题,还明确地建模快照之间的时间因果关联,从而提高动态节点表示的准确性。

2、为实现上述目的,本发明所采取的技术方案为:

3、一种基于参数扩展的知识反馈型动态图学习优化方法,包括:

4、获取离散时间动态图样本,将离散时间动态图样本中的每一快照划分为静态子图和动态子图;

5、冻结图神经网络当前参数,并初始化图神经网络新的参数;

6、利用冻结的当前参数编码静态子图,利用新的参数编码动态子图,并根据编码表示计算参数扩展损失;

7、根据相邻快照构建因果标签,并根据目标节点的编码表示与邻居节点的编码表示计算因果得分矩阵,衡量因果标签与因果得分矩阵之间的偏差得到因果损失;

8、构建元学习优化目标,得到元损失,根据元学习优化目标计算新快照梯度和元梯度,并组合新快照梯度和元梯度更新图神经网络中编码动态子图的参数;

9、根据参数扩展损失、因果损失和元损失,利用优化器再次对编码动态子图的参数进行更新,得到图神经网络更新后的参数;

10、利用训练后的图神经网络编码待处理离散时间动态图,预测输出未来时刻的快照。

11、以下还提供了若干可选方式,但并不作为对上述总体方案的额外限定,仅仅是进一步的增补或优选,在没有技术或逻辑矛盾的前提下,各可选方式可单独针对上述总体方案进行组合,还可以是多个可选方式之间进行组合。

12、作为优选,针对当前时刻的快照,将当前时刻的快照中与上一时刻的快照相比未发生变化的部分划分为静态子图,将从上一时刻的快照演化到当前时刻的快照过程中衍生出的部分划分为动态子图。

13、作为优选,所述初始化图神经网络新的参数,包括:

14、将时刻静态子图的参数扩展为,其中表示时刻的正向知识注入的参数,表示时刻动态子图的参数,图神经网络训练过程中,参数冻结,即不参与更新,仅用于正向传播过程中的损失计算。

15、作为优选,所述参数扩展损失,计算如下:

16、

17、式中,为参数扩展损失,表示当前时刻,表示时刻索引,表示用时刻冻结的静态参数对时刻的动态子图做前向编码计算,表示交叉熵损失函数,表示用时刻新增的动态参数对时刻的动态子图做前向编码计算,表示用时刻新增的动态参数对时刻的快照做前向编码计算,表示用时刻的正向知识注入的参数对时刻静态子图做前向编码计算,表示用时刻的正向知识注入的参数对时刻动态子图做前向编码计算。

18、作为优选,所述根据相邻快照构建因果标签,包括:

19、在时刻,对于快照中的任意节点,取节点在时刻的邻居集为;

20、取时刻的邻接矩阵与时刻的邻接矩阵的差值作为时刻的边变化矩阵,取时刻的属性矩阵与时刻的属性矩阵的差值作为时刻的属性变化矩阵;

21、若边变化矩阵中节点与邻居节点之间的连接状态变化不为0,或者属性变化矩阵中邻居节点的属性变化不为零向量,则将时刻的邻居节点对时刻的节点的因果标签置为1;否则置为0,得到时刻的每个节点的因果标签向量,快照中所有节点的因果标签向量堆叠为时刻的因果标签矩阵,为节点的个数。

22、作为优选,所述因果损失,计算如下:

23、

24、式中,为因果损失,为节点的个数,表示因果标签矩阵中时刻的邻居节点对时刻的节点的因果标签,表示目标节点的邻居节点在时刻的因果得分,为sigmoid函数,表示节点在时刻的编码表示,表示节点在时刻的编码表示,表示矩阵转置操作。

25、作为优选,所述构建元学习优化目标,得到元损失,包括:

26、构建元学习优化目标如下:

27、

28、式中,表示时刻的图神经网络参数,表示用哑变量对时刻静态子图做前向编码计算,表示用哑变量对时刻的动态子图做前向编码计算,表示元损失权重,表示元损失,且元损失表示如下:

29、

30、式中,表示当前时刻,表示采用哑变量的图神经网络在原有时刻的快照上计算的损失值,表示采用历史时刻的参数的图神经网络在原有时刻的快照上计算的损失值,表示历史时刻快照的参数。

31、作为优选,所述根据元学习优化目标计算新快照梯度和元梯度,并组合新快照梯度和元梯度更新图神经网络中编码动态子图的参数,包括:

32、初始化哑变量为时刻的正向知识注入的参数;

33、根据元学习优化目标中的部分计算新快照梯度,根据元学习优化目标中的部分计算元梯度;

34、将新快照梯度与元梯度之和作为总梯度;

35、取参数与倍的总梯度之差,作为图神经网络更新后的时刻快照的参数,为反向知识反馈的学习率。

36、针对现有技术存在的问题,本发明提供一种基于参数扩展的知识反馈型动态图学习优化方法(dynamic graph learning method with backward knowledge feedback viaparameter expansion,简称dbkf-pe),构建了双向知识循环结构。首先为解决知识挤压问题,提出一种新的图感知参数扩展策略,即通过正向知识注入,构建一组全新参数以学习新图知识。同时冻结历史图对应的参数确保历史图知识不被覆盖。在此基础上,为了克服直接参数扩展无法捕捉时间因果关联的局限,构建了因果辅助任务,要求模型在学习新图知识的同时,兼顾新图与前一时刻图之间的因果关联。随后,基于正向知识注入过程中生成的参数,提出一种新型反向知识反馈机制(backward knowledge feedback mechanism,简称bkfm)。该机制通过评估新旧参数在历史图上的性能差异来构建元学习优化目标,并通过计算元梯度确定新参数的优化方向,将dgl转化为元学习优化目标,以提升新模型在历史图上的性能。