基于元图可扩展表示的动态异构网络节点分类方法与流程

1.本发明属于人工智能技术领域，尤其涉及基于元图可扩展表示的动态异构网络节点分类方法。


背景技术：

2.内容表示是信息检索中的一项基本任务。表示学习的目的是在低维空间中捕获信息对象的特征。大多数关于异构信息网络(hin)表示学习的研究都集中在静态异构信息网络上。然而，实际上，网络是动态的并且会不断变化。异构信息网络(hin)是一种不断演进的网络，具有多种类型的节点和边。实际上，大多数网络都是动态异构信息网络，例如社交网络和书目网络。因此，与静态网络相比，动态异构信息网络是一种更具表现力的工具，可以对信息丰富的问题进行建模。
3.为了能够在机器学习环境下处理网络，网络表示学习(也称为网络嵌入学习)已被广泛研究，其目的是将网络嵌入到低维空间中。大多数研究集中在静态信息网络上。经典网络嵌入模型利用随机游走来探索静态同构网络。为了表示静态异构网络，提出了许多基于元路径的模型，使用不同的机制来建模异构信息网络节点之间的关系。与静态网络嵌入不同，动态异构信息网络的技术需要是增量式和可扩展的，以便能够有效地处理网络演进。这使得大多数现有的静态嵌入模型需要逐步处理整个网络，不合适且效率低下。


技术实现要素：

4.有鉴于此，本发明提出了一种新的可扩展表示学习模型m-dhin，以探索动态异构信息网络的演进。本发明将动态异构信息网络视为一系列具有不同时间戳的快照。本发明首先使用静态嵌入方法在第一个时间戳学习动态异构信息网络的初始嵌入。本发明通过元图描述初始异构信息网络的特征，与传统的面向路径的静态模型相比，元图保留了更多的结构和语义信息。本发明还采用了一种复数的嵌入方案来更好地区分对称和非对称元图。与在每个时间戳处理整个网络的传统模型不同，本发明构建了一个所谓的变化数据集，该数据集仅包含涉及三元闭包或开放过程的节点，以及新添加或删除的节点。然后，本发明利用上述基于元图的机制在变化数据集上进行训练。由于这种设置，m-dhin可扩展到大型动态异构信息网络，因为它只需要对整个异构信息网络建模一次，而随着时间的推移，只需要处理变化的部分。现有的动态嵌入模型只能表达现有的快照，无法预测未来的网络结构。为了让m-dhin 具备这种能力，本发明引入了一个基于长短期记忆网络的深度自动编码器模型，该模型通过长短期记忆网络编码器处理图的演进并输出预测图。最后，本发明在真实数据集上评估了所提出的模型m-dhin，并证明了它显著且始终优于最先进的模型。
5.本发明提出了一种新的动态异构信息网络嵌入模型，名为m-dhin，它提供了一种可扩展的方法来通过元图捕获动态异构信息网络的特征。本发明首先在第一个时间戳学习整个异构信息网络的初始嵌入。传统的网络嵌入方法采用随机游走或元路径，不足以完整地描述节点的邻域结构。因此，本发明提出了元图来捕获hin的结构信息。元图是中间有边
类型的节点类型的子图，它捕获了两种节点类型的连接子图，因此完全保留了节点的邻域结构；图1中给出了一些简单示例。在训练模型时，本发明观察到元图的结构可以是对称的，也可以是不对称的，分别如图1(a)和1(b)所示。为了更好地表示异构信息网络节点，本发明结合了一个复数的面向空间的嵌入方案来处理节点之间的对称和非对称关系。在复空间中，节点的嵌入向量的分量是复数，也就是说，本发明将节点的向量分成实部和虚部。
6.具体的，本发明公开的基于元图可扩展表示的动态异构网络节点分类方法，包括以下步骤：
7.步骤1，获得科学合作的动态异构信息网络数据，包括网络节点和网络边数据；
8.步骤2，引入复数空间中的嵌入机制来表示在时间戳1的给定动态异构信息网络；
9.步骤3，采用三元元图动态嵌入机制来学习从时间戳2到时间戳t的动态异构信息网络；
10.步骤4，利用基于长短期记忆网络的深度自动编码器处理时间戳1到时间戳t的异构信息网络，分析计算后执行时间戳t 1的图预测；
11.步骤5，利用1到t 1的图数据，对网络中的节点进行分类，获得分类结果。
12.进一步的，步骤2中所述的嵌入机制通过基于元图的复数空间嵌入方案来表示网络，对于时间戳1的初始异构信息网络，g1＝(v1,e1)，为表示节点和元图之间的关系，引入了异构信息网络三元组的概念，所述的异构信息网络三元组表示为(u,s,v)，其中u是元图中生成的第一个节点，v是最后一个节点，s是连接u和v的元图，和分别是u、v和s的表示向量，而d是表示向量的维度，一个异构信息网络三元组是否成立的概率表示为：
13.p(s|u,v)＝σ(x
uv
)，
14.其中，为得分矩阵，σ为激活函数；对于异构信息网络三元组(u,s,v)，其复数空间嵌入表示为u＝re(u) iim(u)、v＝re(v) iim(v)和s＝re(s) iim(s)，其中和分别表示向量的实虚部分；
15.引入hadamard函数来捕获u、v和s在复空间中的关系，表示为：
[0016][0017]
其中，是v的复共轭形式，
⊙
是元素对应乘积；
[0018]
所述的得分矩阵中的一个元素最终为：
[0019][0020]
相应的得分函数被定义为：
[0021][0022]
其中，《.》表示标准元素对应多线性点乘积。
[0023]
进一步的，步骤3中所述的三元元图动态嵌入机制中三元组是包含三个节点的集，如果每个节点彼此相连，则称为闭包三元组，如果这三个节点之间只有两条边，则称为开放
三元组；为了获得从时间戳1到t的动态异构信息网络嵌入，首先使用负样本策略以形成训练数据集，在正三元组(u,s,v)节点u 和v通过元图s连接，在负三元组(u’,s’,v’)节点u’和v’通过元图s’连接；对于每个异构信息网络正三元组(u,s,v)，生成异构信息网络负三元组，方式为将u 和v随机替换为其他节点，同时限制它们与被替换节点的类型相同，滤除了取样后仍为正的已替代异构信息网络三元组；开放三元组结构演进为三元闭包过程和闭包三元组演进为开放三元组结构是动态异构信息网络演进的基本变化，将正负演进的三元组作为训练集，并采用步骤2中的复数空间嵌入机制训练，得到时间戳1到t的动态异构信息网络的表示学习。
[0024]
进一步的，动态异构信息网络有四种变化：
[0025]
(1)已添加的边形成三元闭包过程：确定所有拥有三个节点向量的元图从中间只有两条边变为互相连接的圆圈，这些元图将包含在时间戳t的变化训练数据集中，针对有三个节点v1、v2和v3的元图s，用(v1,v2)表示v1和v2之间的边，然后，在三元闭包过程后获得的被定义为：
[0026][0027][0028]
(2)已删除的边导致三元开放过程：收集所有的元图，这些元图拥有由圆圈演进为有两条边的路径的三元组；在时间戳t的这些节点将包含在在三元开放过程之后被定义为
[0029][0030][0031][0032]
(3)一个已添加节点：鉴于元图中一个表示为v1的现有节点和一个新添加的节点v2，则将扩展为
[0033][0034]
(4)一个已删除节点：鉴于元图中表示为v1和v2的现有节点，假设v2被删除，则将成为
[0035][0036]
进一步的，基于原始元图构建变化集，即当训练变化集时，变更过程结束后，会在原始元图上对节点进行训练；获得后，仅训练集，利用基于复数机制的元图来获取变化节点的嵌入，而非重新训练整个网络。
[0037]
进一步的，步骤4中，深度自动编码器模型由编码器和解码器部分组成，为构建编码器的输入，对于一个节点，将其元图作为相邻节点，以形成其邻接矩阵a，然后，对于元图
中的任何u和v节点对，编码器输入由u和v的时序邻接向量组成，分别表示为和au是两个部分的组合，一个部分是一行邻接矩阵a，表示与u邻接的节点，通过一个完全连接的层进一步映射至d维向量，另一个部分是节点u的动态节点嵌入；然后，编码器对输入内容进行处理，以获得低维表示yu和yv；编码器旨在通过时间戳t的嵌入预测邻域和深度自动编码器预测的邻接向量表示为和
[0038]
进一步的，对于节点u及其邻域其中d是嵌入维度，t是总时间步，第一层的隐藏表示为
[0039][0040]
其中是自动编码器第1层的参数矩阵，d(1)是第1层的表示维度，为编码器第1层的偏差，f表示s型激活函数；
[0041]
编码器的k层输出计算如下：
[0042][0043]
为了完全捕获有关元图过去演进的信息，进一步在编码器的输出上应用长短期记忆网络层，对于第一个长短期记忆网络层，隐藏状态表示计算为：
[0044][0045][0046][0047][0048][0049][0050]
其中为激活输入门的值，为激活遗忘门的值，为新预估的候选状态，为长短期记忆网络的单元状态，为激活输出门的值，δ表示激活函数，为参数矩阵，表示偏差，d
(k 1)
表示k 1层的表示维度；
[0051]
长短期记忆网络有l层，最终长短期记忆网络的输出可以表示为
[0052][0053]
[0054]
其中
[0055]
训练目标是最小化以下损失函数：
[0056][0057]
利用t时刻的嵌入来惩罚t 1时刻不正确的邻域重构，因此，基于长短期记忆网络的深度自动编码器模型能够预测未来时间戳的节点嵌入；f(.)表示在时间戳t 1生成预测邻域所采用的函数，使用上述自动编码器框架作为 f(.)，为超参数矩阵，用于平衡惩罚观察邻域的权重，
⊙
表示按元素乘积。
[0058]
进一步的，将梯度应用于所述目标函数上的解码器权重，如下所示：
[0059][0060]
其中w
*(k l)
为自动编码器第k l层的参数矩阵；在计算导数后，再应用了sgd算法和adam来训练模型。
[0061]
进一步的，所述网络节点包括作者节点、文献节点、出版平台节点和主题节点，所述网络边数据为所述网络节点之间的关联关系。
[0062]
本发明的有益效果如下：
[0063]
基于元图的机制在变化数据集上进行训练，由于这种设置，本发明可扩展到大型动态异构信息网络，因为它只需要对整个异构信息网络建模一次，而随着时间的推移，只需要处理变化的部分；
[0064]
与现有的动态嵌入模型只能表达现有的快照相比，本发明可以预测未来的网络结构；
[0065]
在真实数据集上评估了本发明，证明了本发明显著且优于最先进的模型。
附图说明
[0066]
图1为元图示例图；
[0067]
图2为社交网络的动态hin模型示例图；
[0068]
图3为本发明的m-dhin模型框架图；
[0069]
图4为变化集的形成过程示意图；
[0070]
图5为本发明的基于lstm的深度自动编码器。
具体实施方式
[0071]
下面结合附图对本发明作进一步的说明，但不以任何方式对本发明加以限制，基于本发明教导所作的任何变换或替换，均属于本发明的保护范围。
[0072]
下面，本发明将介绍动态异构信息网络和元图的符号和定义。接着，本发明将提出异构信息网络的动态网络表示学习问题。表1列出了使用的主要术语和符号。
[0073]
表1.术语和符号
[0074][0075]
动态异构信息网络：设g＝(v,e,t)是一个有向图，其中v表示节点集，e表示节点之间的边集。每个节点和边都与一个类型映射函数相关联，分别为和tv和te表示节点和边类型的集合。异构信息网络 (hin)是|tv|＞1或|te|＞1的网络，否则为同构网络。此外，动态异构信息网络是一系列网络快照，表示为{g1,...,g
time
}。对于连续两个时间戳t和t 1，需要满足以下条件：|v
t 1
|≠|v
t
|或|e
t 1
|≠|e
t
|，其中|v
t
|和|e
t
|分别表示时间戳t处的节点数和边数。本发明假设在整个网络演进过程中tv和te保持不变。图2展示了一个动态hin的示例。
[0076]
元图是兼容节点类型和边类型的子图，表示为s＝(t
vs
,t
es
)，其中t
vs
和 t
es
分别表示元图中节点类型和边类型的集合。
[0077]
如图1所示，元图可以分为对称和非对称两种；本发明将在提出的模型中处理这两种情况。
[0078]
问题(动态异构信息网络表示学习)。给定一系列动态网络{g1,...,g
time
}，动态hin表示学习是学习节点的动态低维向量，d为节点表示的维度。特别之处在于，本发明提出的方法还获得元图的表示。这些表示能够捕获动态网络中不断演进的结构属性。
[0079]
在本部分，本发明提出了一种模型m-dhin。图3给出了m-dhin概览。m-dhin模型首先引入一种复数的嵌入机制来表示一个在初始时间戳的给定动态异构信息网络。然后本发明采用一种三元元图动态嵌入机制来学习从时间步骤2到时间戳t的动态异构信息网络。最后，本发明提出了一种基于长短期记忆网络的深度自动编码器来执行时间戳t 1的图预测。
[0080]
传统的异构信息网络表示学习方法(如deepwalk、node2vec和 metapath2vec)需要在每个时间戳处理完整的异构信息网络，以动态生成最新的节点向量，这样耗时且低效，且不能扩展到大型动态异构信息网络。为解决此问题，本发明提出了一个名为m-dhin的新模型，它能够捕捉动态网络的主要变化。m-dhin的初始步骤类似于静态异构信息网络嵌入方法，它通过基于元图的复数嵌入方案来表示整个网络(在第一个时间戳)。鉴于时间戳 1的初始异构信息网络，g1＝(v1,e1)，为表示节点和元图之间的关系，本发明引入了异构信息网络三元组的概念。异构信息网络三元组表示为(u,s,v)，其中u 是元图中生成的第一个节点，v是最后一个节点，s是连接它们的元图。和分别是u、v和s的表示向量，而d是表示向量的维度。
[0081]
一个异构信息网络三元组是否成立的概率表示为
[0082]
p(s|u,v)＝σ(x
uv
)
ꢀꢀꢀꢀꢀ
(1)
[0083]
其中，为得分矩阵、n为训练节点数，σ为激活函数，本发明选择sigmoid函数。
[0084]
注意，元图可能是对称的，也可能是非对称的，也就是说，如果元图是对称的，第一个节点和最后一个节点互换不会改变原始元图的语义，如图1(a) 所示。相应地，头节点和尾节点互换将改变非对称元图的语义，如图1(b)所示。
[0085]
为解决此问题，本发明采用了复数知识嵌入的方案，以适应网络嵌入的任务。对于异构信息网络三元组(u,s,v)，其复数嵌入表示为u＝re(u) iim(u)、 v＝re(v) iim(v)和s＝re(s) iim(s)，其中和分别表示向量的实虚部分。本发明引入hadamard函数来捕获u、v和s在复空间中的关系，表示为：
[0086][0087]
其中，是v的复共轭形式，
⊙
是元素对应乘积。但是，公式1中的 sigmoid函数无法应用于复空间，因此，本发明只保留目标函数的实部，实部仍然能够很好地处理对称和非对称结构，之后本发明将详细说明原因。因此，得分矩阵中的一个元素最终为
[0088][0089]
既然本发明已获得得分矩阵，则相应的得分函数被定义为
[0090][0091]
其中《.》是标准元素对应多线性点乘积。例如《a,b,c》＝∑
kakbkck
，其中a、b、c是向量，k代表其维度。
[0092]
公式4能够处理非对称元图，这要归功于其中一个嵌入的复共轭。此外，如果s为纯虚数，即其实部为零，得分函数反对称，如果是实数，则函数对称。共同创作是一种对称关系。引用是反对称关系：(通常情况下)论文a仅可引用论文b但b不得引用a，换句话说，b被a引用。通过分离元图嵌入s的虚部和实部，本发明将元图矩阵xs分解为反对称矩阵与对称矩阵的总和。由此可以看到，元图嵌入自然地充当每个潜在维度的权重，即im(s)在《u,v》的反对称虚部上， re(s)在《u,v》的对称实部上。本发明得出这表明im(《u,v》)是反对称的，而re(《u,v》)是对称的。因此，上述机制使本发明能够准确有效地表示节点对之间的对称和非对称(包括反对称)元图。
[0093]
在此初始步骤中，本发明使用现有的最先进方法grami来查找数据库中频繁出现且满足给定频率阈值的所有子图。然后本发明采用这些挖掘出来的子图来组成元图。
[0094]
算法一总结了初始复数嵌入算法。
[0095][0096]
在处理整个异构信息网络以获得初始嵌入后，本发明利用三元节点块进一步捕获动态异构信息网络的结构性演进。三元组是包含三个节点的集。如果每个节点彼此相连，则称为闭包三元组；如果这三个节点之间只有两条边，则称为开放三元组。如前所述，开放三元组结构演进为闭包结构(即三元闭包过程)是动态异构信息网络演进的基本变化。因此在此步骤中，本发明相应地构建变化的训练数据集，以包含经历了三元闭包的节点。同时，本发明不能忽视动态异构信息网络中确实存在三元开放过程，即三元组中的两个节点可能会随着时间的推移失去联系。总体而言，本发明确定四种描述动态异构信息网络变化的常见场景：
[0097]
(1)已添加的边形成三元闭包过程。如图4(a)所示，本发明确定所有拥有三个节点向量的元图从中间只有两条边变为互相连接的圆圈。这些元图将包含在时间戳t的变化训练数据集中，名为针对元图s(有三个节点 v1、v2和v3)，本发明用(v1,v2)表示v1和v2之间的边。然后，(在三元闭包过程后获得)被定义为：
[0098][0099][0100]
(2)已删除的边导致三元开放过程。如图4(b)所示，本发明收集所有的元图，这些元图拥有由圆圈演进为有两条边的路径的三元组；在时间戳t的这些节点将包含在与三元闭包过程类似，在三元开放过程之后被定义为
[0101][0102]
(3)一个已添加节点。如图4(c)所示，鉴于元图中一个表示为v1的现有节点和一个新添加的节点v2，则将扩展为
[0103][0104]
(4)一个已删除节点。如图4(d)所示，鉴于元图中表示为v1和v2的现有节点，假设v2被删除，则将成为
[0105][0106]
在形成变化集时，change2vec与本发明模型的主要区别在于，它们只收集已变化的节点，然后形成变化集中的元路径，这可能会与原始网络失去联系，且可能会遗漏很多元路径。例如，新增的两个节点可以通过原始网络的元路径连接，但在变化集中没有连接。但是在本发明的模型中，本发明基于原始元图构建变化集，也就是说，当训练变化集时，变更过程结束后，会在原始元图上对节点进行训练。通过此操作，本发明的模型更适合训练元路径和元图。此外，此操作确保模型学习嵌入不是为了因为它仍然与原始网络连接。注意，一个节点可能涉及多个场景，一个节点仅可包含在中一次。这是为了避免重复计算节点的嵌入。节点包含进来后，将根据其所属元图对其进行计算，元图的变化过程可描述节点所经历的所有可能的场景。
[0107]
获得后，本发明仅训练集，利用基于复数机制的元图来获取变化节点的嵌入，而非重新训练整个网络。具体而言，节点嵌入y
t
演进为y
t 1
，位于时间戳t 1，方式为移除已删除节点表示添加新添加节点的嵌入并替换三元闭包或开放过程中的变化节点表示
[0108]
现在介绍一下训练目标。为了获得从时间戳1到t的动态异构信息网络嵌入，并观察图的变化，本发明首先使用负样本策略以形成训练数据集。首先，在正三元组(u,s,v)节点u和v通过元图s连接，在负三元组(u’,s’,v’) 节点u’和v’通过元图s’连接。对于每个正异构信息网络三元组(u,s,v)，本发明生成负异构信息网络三元组，方式为将u和v随机替换为其他节点，同时限制它们与被替换节点的类型相同。本发明还滤除了取样后仍为正的已替代异构信息网络三元组。注意，s的候选数量比u或v小得多，因此已采样的负数据仅通过替换u和v生成。
[0109]
采样后，本发明拥有的训练数据形式为(u,s,v,h
uv
)，其中h
uv
∈{1,0}是表示hin三元组是否为正的二元值。对于训练实例(u,s,v,h
uv
)，如果h
uv
＝ 1，则目标函数o
(u,s,v)
旨在使p(s|u,v)最大化；否则p(s|u,v)应被最小化。因此，有目标函数如下：
[0110][0111]
为简化本发明的计算，本发明对log o
(u,s,v)
的定义如下
[0112]
logo
(u,s,v)
＝h
uv logp(s|u,v) (1-h
uv
)log[1-p(s|u,v)]，
ꢀꢀ
(10)
[0113]
其中p(s|u,v)被定义为
[0114]
p(s|u,v)＝sigmoid(fs(u,v))。
ꢀꢀꢀ
(11)
[0115]
具体而言，本发明的目标是使目标函数log o
(u,s,v)
最大化。如果三元组(u, s,v)存在，h
uv
＝1，则目标函数将为
[0116]
log o
(u,s,v)
＝log p(s|u,v)。
ꢀꢀꢀ
(12)
[0117]
最大化目标函数将使概率p(s|u,v)最大化。反过来，本发明能够获得u、 v和s的嵌入，这将使(u,s,v)成立的概率最大化。同样，对于三元组(u,s, v)不完全与h
uv
＝0共存的负样本，目标函数将为
[0118]
log o
(u,s,v)
＝log[1-p(s|u,v)]。
ꢀꢀꢀ
(13)
[0119]
最大化目标函数将使概率p(s|u,v)最小化；相应地，本发明将获得u、 v和s的嵌入，这将使(u,s,v)成立的概率最小化。
[0120]
本发明使用随机梯度下降(sgd)算法，通过适应性动差估计(adam)来最大化上述目标函数。具体而言，针对每个训练条目(u,s,v,h
uv
)，它会后退以调整嵌入u、v和s，依据为logo
(u,s,v)
的梯度，分别由u、v和s区别开来。
[0121][0122][0123][0124]
算法二总结了动态嵌入算法
[0125][0126]
在完成上述两个步骤后，本发明的模型能够在每个时间戳生成异构信息网络表示，但是，它不能预测动态异构信息网络中的未来结构。换句话说，它只能根据观察到的网络演进来生成节点嵌入，而不能描述未来可能发生但看不到的变化。为解决此问题，本发明提出了一个基于长短期记忆网络的深度自动编码器模型，该模型可以利用之前的顺序结构
性演进来生成未来的异构信息网络表示。图5说明了此基于长短期记忆网络的深度自动编码器。
[0127]
注意，在预测未来网络时，本发明只训练变化元图而不是每一个元图。如上所述，每个节点会包含在一个原始元图一次，这样也可以节省训练时间。对于包含的每个变化元图，本发明用自动编码器对其进行训练。相应地，变化集中的每个节点只计算一次，无论它是否常用。换句话说，本发明平等地对待变化集中的每个节点。想要预测节点的未来状态，就要了解节点的动态过程而非常用性，这点更为重要。因此，在获得给定节点的动态过程后，本发明能够预测其未来状态，无论其是否常用。
[0128]
本发明的深度自动编码器模型由编码器和解码器部分组成。为构建编码器的输入，对于一个节点，本发明将其元图作为相邻节点，以形成其邻接矩阵a。然后，对于元图s中的任何u和v节点对，编码器输入由u和v的时序邻接向量组成，分别表示为和具体而言， au是两个组成部分的组合。一个是一行邻接矩阵a，表示与u邻接的节点，它通过一个完全连接的层进一步映射至d维向量。另一个是在算法一和算法二中学习到的节点u的动态节点嵌入。然后，编码器对输入内容进行处理，以获得低维表示yu和yv。编码器旨在通过时间戳t的嵌入预测邻域a
ut 1
和 a
vt 1
，且深度自动编码器预测的邻接向量表示为和
[0129]
具体而言，对于节点u及其邻域其中d是嵌入维度且t是总时间步，第一层的隐藏表示为
[0130][0131]
其中是自动编码器第一层的参数矩阵，d
(1)
是第一层的表示维度。为编码器第一层的偏差，f为s型的激活函数。然后编码器的输出(k层)计算如下：
[0132][0133]
为了完全捕获有关元图过去演进的信息，本发明进一步在编码器的输出上应用长短期记忆网络层。对于第一个长短期记忆网络层，其隐藏状态表示计算为
[0134][0135][0136][0137][0138]
[0139][0140]
其中为激活输入门的值，为激活遗忘门的值，为新预估的候选状态，为长短期记忆网络的单元状态，为激活输出门的值，δ表示激活函数，在这里使用s型函数，为参数矩阵，表示偏差。d
(k 1)
表示k 1层的表示维度。
[0141]
假设长短期记忆网络有l层，最终长短期记忆网络的输出可以表示为
[0142][0143][0144]
其中
[0145]
最后，本发明的目标是最小化以下损失函数：
[0146][0147]
本发明利用t时刻的嵌入来惩罚t 1时刻不正确的邻域重构。因此，本发明基于长短期记忆网络的深度自动编码器模型能够预测未来时间戳的节点嵌入。为了简化本发明的符号，f(.)表示本发明在时间戳t 1生成预测邻域所采用的函数，本发明使用上述自动编码器框架作为f(.)。为超参数矩阵，用于平衡惩罚观察邻域的权重，
⊙
表示按元素乘积。
[0148]
为了预测未来时间戳t 1的异构信息网络嵌入，本发明优化了基于长短期记忆网络的深度自动编码器框架的目标函数。具体而言，本发明将梯度应用于公式19上的解码器权重，如下所示
[0149][0150]
其中w
*
(
k l
)为自动编码器第k l层的参数矩阵。在计算导数后，本发明还应用了sgd算法和adam来训练模型。
[0151]
算法三详细介绍了用于图预测的基于lstm的深度自动编码器。算法三包含了算法一和算法二中不断变化的元图的演进，形成邻接矩阵。它还利用在算法一和算法二中学习的动态嵌入形成a
vt
，这是自动编码器的输入。
[0152][0153]
为了评估m-dhin的性能，本发明使用从dblp、yelp、yago和 freebase中提取的四个动态数据集进行实验。这些数据集的描述性统计数据如表2所示。为简单起见，本发明仅提供不同时间跨度(月和年)的初始时间戳和最后时间戳的统计数据。
[0154]
表2.数据集统计数据。
[0155][0156]
dblp是计算机科学中的书目数据集。本发明使用2015年10月到 2016年12月的15个连续月份时间戳从中提取一个子集。具体而言，2015 年10月，它包含110,634篇论文(p)、9,2473位作者(a)、4,274个主题(t) 和118个出版平台(v)。2016年11月，它包含135,348篇论文(p)、 116,137位作者(a)、4,476个主题(t)和121个出版平台(v)。作者被分为四个标签区域：数据库、机器学习、数据挖掘和信息检索。
[0157]
yelp是一个包含餐厅评论的社交媒体数据集。提取的动态hin具有从 2016年1月到2016年12月的12个月连续快照。2016年1月，它包含81,240条评论(v)、43,927位顾客(c)、74个食品相关关键词(k)和 23,421家餐厅(r)。2016年12月，它包含102,367条评论(v)、51,299位顾客(c)、86个食品相关关键词(k)和29,777家餐厅(r)。餐厅分为三种类型：美式餐厅、寿司店和快餐。
[0158]
yago捕获世界知识，本发明提取了一个子集，其中包含2007年至 2016年电影的10个年度快照。2009年，它有5,334部电影(m)、8,346位演员(a)、1,345位导演(d)、1,123位作
曲(c)和2,876位制片人(p)。2018 年，它有7,476部电影(m)、10,212位演员(a)、1,872位导演(d)、1,342位作曲(c)和3,537位制片人(p)。电影分为五种类型：恐怖片、动作片、冒险片、犯罪片和科幻片。
[0159]
freebase包含世界知识和事实，提取的子集与电子游戏有关。它由2016 年1月至2016年12月的12个月度快照组成。在2016年1月开始时，它包含3435款游戏(g)、1284家发行商(p)、1768位开发者(d)和154 位设计师(s)。截至2016年12月，它包含4,122款游戏(g)、1,673家发行商(p)、2,022位开发者(d)和201位设计师(s)。这些游戏属于三种类型之一：动作、冒险和策略。
[0160]
在实验评估方面，本发明考虑了通过评价不同模型在节点分类任务上的性能，本发明将能够评估模型能够在多大程度上描述和捕获动态hin的特征。节点分类可以测试模型是否能够生成适当的动态hin嵌入。
[0161]
本发明纳入了两种类型的基准，一种由静态嵌入方法组成，另一种由动态嵌入方法组成。对于静态嵌入方法，本发明考虑了同构和异构方法。 deepwalk和node2vec最初设计用于表示同构网络。metapath2vec和 metagraph2vec分别是为使用元路径和元图的异构网络设计的。请注意，本发明没有应用利用文本信息的方法，因为本发明的数据集不包含此类信息，只包含节点和边。
[0162]
deepwalk利用随机游走来捕获hin的结构信息，并应用同构 skipgram来学习表示。它有两个主要的超参数，随机游走的步长(wl)和 skipgram机制的窗口大小(ws)。为了报告最佳性能，本发明使用 w l∈{20,40,60,}8和ws∈{3,5,7}使用网格搜索找到不同任务的最佳配置。
[0163]
node2vec是deepwalk的扩展，因为它使用有偏随机游走来更好地探索结构，还使用skipgrams来学习网络嵌入。本发明采用与deepwalk相同的 wl和ws。对于其偏差参数p和q，本发明对p∈{0.5,1,1.5,2,5}和q∈{0.5,1,1.5,2,5} 进行网格搜索。
[0164]
metapath2vec采用元路径来捕获hin的结构信息，并使用异构 skipgrams将上下文窗口限制为一种特定类型来学习嵌入。本发明使用与 deepwalk相同的wl和ws。
[0165]
metagraph2vec通过简单地组合几个元路径来构建元图，本质上是一个面向路径的模型。然后它采用异构skipgrams来学习最终表示。本发明将wl 和ws设置为与deepwalk相同的值。
[0166]
为了公平比较，本发明还评估了dynamictriad、dyngem、dyngraph2vec 和change2vec这四种动态嵌入模型的性能。
[0167]
dynamictriad描述了仅基于三元闭包过程的网络演进，它是为同构网络设计的。β0和β1是两个超参数，分别表示三元闭包过程的权重和时间平滑度的权重。本发明利用网格搜索，从β0∈{0.01，0.1，1，10}和β1∈{0.01，0.1，1，10}中找到最佳配置。
[0168]
change2vec首先学习动态hin的初始嵌入，然后使用metapath2vec模型对变化的节点集进行采样以进行训练。本发明将其配置设置为与 metapath2vec相同。
[0169]
dyngem通过深度自动编码器仅使用时间戳t 1的快照来捕获hin时间戳t的动态。α、υ1、υ2是通过网格搜索从α∈{10-6，10-5}、ν1∈{10-4
，10-6
}、ν2∈{10-3
，10-6
}中选择的相对权重超参数
[0170]
dyngraph2vec使用基于深度lstm的自动编码器，根据长度为lb的回溯窗口处理之
前的快照，即长度为lb的训练快照。m-dhin通过元图嵌入训练所有之前的时间戳快照，并使用自动编码器仅预测最终快照，而 dygraph2vec使用自动编码器学习所有快照图嵌入。因此，由于硬件资源有限， lb受到限制，如中所述，lb不大于10。因此，lb是从{3,4,5,6,7,8,9,10} 中选择的。
[0171]
至于其他参数，如学习率、嵌入维度等，本发明直接采用论文中介绍的方法最初的最佳设置。
[0172]
本发明还添加了一个名为m-dhin-mg的m-dhin变体，它仅通过元图使用动态复数嵌入，而没有基于深度lstm的自动编码器机制，以便在消融分析中衡量自动编码器的有效性。
[0173]
为了评估m-dhin的性能，本发明利用网格搜索来找到最佳的实验配置。具体而言，节点和元图嵌入维度从{32,64,128,256}中选择，sgd中的学习率从{0.01,0.02,0.025,0.05,0.1}中选择，负采样比率从{3,4,5,6,7}中选择，自动编码器层数从{2,3,4}中选择，lstm层数从{2,3,4}中选择，训练时期从{5,10,15,20,25,30,35,40}中选择。为了平衡有效性和效率，本发明选择以下配置来生成以下部分报告的实验结果。嵌入维度设为128，学习率设为0.025，负采样率设为5(即每个正样本对应5个负样本)，自动编码器层数和lstm层数都设为2，训练时期数设为20。
[0174]
所有实验都是在64位ubuntu 16.04.1lts系统上进行的，该系统具有 intel(r)core(tm)i9-7900x cpu、64gb ram和内存为8gb的 gtx-1080gpu。
[0175]
本发明通过参数敏感性分析来衡量m-dhin的稳定性，使用成对的双尾 t检验报告统计显著性。
[0176]
本部分将报告节点分类任务的实验结果。本发明计算micro-f1(mic-f1) 和macro-f1(mac-f1)作为评价指标。micro-f1和macro-f1得分越高，表示性能越好。
[0177]
表3提供了实验结果。总体而言，无论规模大小，m-dhin在每个数据集上均优于所有其他模型，这证实了其有效性。具体而言，metapath2vec和 metagraph2vec的性能优于同构静态网络模型deepwalk和node2vec，尽管它们在freebase上的表现略差，这表明元路径是一种比随机游走更好的探索网络特征的方法。metagraph2vec基本上是一个面向路径的模型，所以它只比结合了更多元路径的metapath2vec稍微好一点。本发明还观察到，与链路预测任务的结果不同，除了yelp中的mac-f1外，m-dhin-mg均优于dyngraph2vec，本发明假设这是因为嵌入信息在节点分类中比历史信息起更重要的作用。换句话说，本发明基于grami生成的元图的复数嵌入比基于 lstm的深度自动编码器生成的嵌入更具表现力，即使m-dhin-mg仅利用时间戳t处的图进行节点分类。结合复数嵌入和历史信息，m-dhin的性能优于m-dhin-mg。
[0178]
表3.节点分类任务实验结果
[0179][0180]
本发明的有益效果如下：
[0181]
基于元图的机制在变化数据集上进行训练，由于这种设置，本发明可扩展到大型动态异构信息网络，因为它只需要对整个异构信息网络建模一次，而随着时间的推移，只需要处理变化的部分；
[0182]
与现有的动态嵌入模型只能表达现有的快照相比，本发明可以预测未来的网络结构；
[0183]
在真实数据集上评估了本发明，证明了本发明显著且优于最先进的模型。
[0184]
本文所使用的词语“优选的”意指用作实例、示例或例证。本文描述为“优选的”任意方面或设计不必被解释为比其他方面或设计更有利。相反，词语“优选的”的使用旨在以具体方式提出概念。如本技术中所使用的术语“或”旨在意指包含的“或”而非排除的“或”。即，除非另外指定或从上下文中清楚，“x使用a或b”意指自然包括排列的任意一个。即，如果x使用a；x使用b；或x使用a和b二者，则“x使用a或b”在前述任一示例中得到满足。
[0185]
而且，尽管已经相对于一个或实现方式示出并描述了本公开，但是本领域技术人员基于对本说明书和附图的阅读和理解将会想到等价变型和修改。本公开包括所有这样的修改和变型，并且仅由所附权利要求的范围限制。特别地关于由上述组件(例如元件等)执行的各种功能，用于描述这样的组件的术语旨在对应于执行所述组件的指定功能(例如其在功能上是等价的)的任意组件(除非另外指示)，即使在结构上与执行本文所示的本公开的示范性实现方式中的功能的公开结构不等同。此外，尽管本公开的特定特征已经相对于若干实现方式中的仅一个被公开，但是这种特征可以与如可以对给定或特定应用而言是期望和有利的其他实现方式的一个或其他特征组合。而且，就术语“包括”、“具有”、“含有”或其变形被用在具体实施方式或权利要求中而言，这样的术语旨在以与术语“包含”相似的方式包括。
[0186]
本发明实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单
独物理存在，也可以多个或多个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。上述提到的存储介质可以是只读存储器，磁盘或光盘等。上述的各装置或系统，可以执行相应方法实施例中的存储方法。
[0187]
综上所述，上述实施例为本发明的一种实施方式，但本发明的实施方式并不受所述实施例的限制，其他的任何背离本发明的精神实质与原理下所做的改变、修饰、代替、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。