一种模体感知的时态网络预测方法与流程

1.本发明涉及时态网络预测领域，具体涉及一种模体感知的时态网络预测方法。


背景技术：

2.现实生活中的许多领域，如社交网络、知识分享社区和电子商务等都可形成随时间变化的时态网络。时态网络中，发生交互的对象视为节点，带时间戳的交互行为视为节点之间的边。随着时间的推移，时态网络的节点之间会产生新的边，同时会有新的节点出现在时态网络中。图1以社交平台为例展示了时态网络的一个实例，用户视为时态网络中的节点，用户之间发送消息的行为视为时态网络中的边，发送消息的时间视为边上时间戳。时态网络预测指基于历史数据预测时态网络中接下来可能发生的交互。由于时态网络随时间动态变化，与静态网络相比更为复杂，对其进行预测的挑战在于如何协同利用拓扑结构和时间信息建模网络的动态演化。
3.基于离散时间的时态网络预测方法将时态网络以预先设定的时间窗口进行切割，在切割形成的网络快照序列上进行嵌入得到节点表示用于预测。该类方法可进一步细分为基于时间平滑约束和基于深度序列模型的预测方法。基于时间平滑约束的方法对序列中相邻网络快照的节点嵌入附加平滑约束，建模时态网络的动态演化，然而时态网络在演化过程中会出现突变，因而此类方法的实际性能并不理想；基于深度序列模型的方法利用神经网络对网络快照序列进行建模，捕捉时态网络演变过程中的时间依赖关系，然而此类方法通过两个阶段分别建模拓扑结构和时间信息，无法协同建模上述两类信息，对网络演化模式的建模仍不充分。
4.基于连续时间的时态网络预测方法根据时间顺序流式处理每一条边(交互)，获得随时间动态变化的节点表示用于预测。该类方法可进一步分为不利用邻居信息的预测方法和利用邻居信息的预测方法。不利用邻居信息的预测方法在流式处理交互序列时只考虑当前交互涉及的两个节点，不考虑节点的拓扑结构，无法利用拓扑结构建模时态网络的动态演化；利用邻居信息的预测方法引入了时态网络的拓扑结构，结合节点的邻居信息对其进行建模，但是此类方法未显式利用包含时间信息的复杂拓扑结构，难以建模时态网络的复杂演化模式。


技术实现要素：

5.鉴于上述，本发明的目的是提供了一种模体感知的时态网络预测方法，通过利用利用复杂的拓扑结构提升时态网络预测的准确性。
6.实施例提供的一种模体感知的时态网络预测方法，包括以下步骤：
7.步骤1，获取并定义时态网络为其中，e＝(v
i
,v
j
,t)表示节点v
i
和节点v
j
在时刻t发生的交互；
8.步骤2，依据预先定义的时态网络模体集合统计时态网络中各交互参与形成的时态网络模体实例数，构建交互对应的额外的边特征r(e)；
9.步骤3，将时态网络中的每个交互e作为样本(v
i
,v
j
,t)，利用循环神经网络更新样本的节点表示；
10.步骤4，针对每个样本(v
i
,v
j
,t)，分别获取反映节点v
i
历史拓扑结构的邻居节点n(v
i
)
his
和当前拓扑结构的邻居节点n(v
i
)
cur
，构建包含节点v
i
多跳邻居的计算子图mapv
i
和包含节点v
j
多跳邻居的计算子图mapv
j
；
11.步骤5，在计算子图mapv
i
上，结合交互对应的额外的边特征r(e)，利用参数不同的多头注意力机制的图神经网络分别聚合邻居节点n(v
i
)
his
和n(v
i
)
cur
，获得节点v
i
基于邻居的表示z
i
(t)；在计算子图mapv
j
上，结合交互对应的额外的边特征r(e)，利用参数不同的多头注意力机制分别聚合邻居节点n(v
j
)
his
和n(v
j
)
cur
，获得节点v
j
基于邻居的表示z
j
(t)；
12.步骤6，将节点v
i
基于邻居的表示z
i
(t)和节点v
j
基于邻居的表示z
j
(t)串接后送入全连接神经网络，计算节点v
i
和节点v
j
在时刻t发生交互的概率，利用交叉熵函数计算损失依据交叉熵函数计算损失更新循环神经网络、图神经网络以及全连接神经网络参数；参数调优后的循环神经网络、图神经网络以及全连接神经网络参数组成时态网络预测模型；
13.步骤7，利用参数调优后的时态网络预测模型预测时态网络坑发生交互。
14.上述实施例提供的模体感知的时态网络预测方法，利用时态网络模体捕捉包含时间信息的复杂拓扑结构，同时利用基于多头注意力机制的图神经网络聚合邻居信息，获得更为准确的节点表示用于时态网络预测，具有的有益效果至少包括：
15.基于预先定义的时态网络模体，根据边参与形成的时态网络模体实例构建额外的边特征，显式利用时态网络中包含时间信息的复杂拓扑结构；根据交互的时间戳获取反映节点当前拓扑结构和历史拓扑结构的邻居，利用参数不同的多头注意力机制对两类邻居分别进行消息聚合，对节点在不同时期的拓扑结构分别进行建模，以提高时态网络预测的准确性，在社交网络、知识分享社区和电子商务等领域具有广阔的应用前景。
附图说明
16.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动前提下，还可以根据这些附图获得其他附图。
17.图1是背景技术中社交平台对应的时态网络；
18.图2是一实施例提供的模体感知的时态网络预测方法的整体流程图；
19.图3是一实施例提供的模体感知的时态网络预测方法的整体框架图；
20.图4是一实施例提供的不同类型网络的时态网络模体集合示例；
21.图5是一实施例提供的基于时态网络模体的边特征构建示例；
22.图6是一实施例提供的节点计算子图构建示例。
具体实施方式
23.为使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，
并不限定本发明的保护范围。
24.实施例提供了一种模体感知的时态网络预测方法，基于预先定义的时态网络模体构建额外的边特征，结合循环神经网络和图神经网络获得更为准确的节点表示用于时态网络预测。具体过程为：首先将时态网络中的交互作为样本，得到训练数据集；其次，根据预先定义的时态网络模体构建额外的边特征，显式利用包含时间信息的复杂拓扑结构；然后，根据交互发生的时间顺序，利用循环神经网络依次更新交互涉及节点的表示；接着，利用参数不同的多头注意力机制分别聚合反映历史拓扑结构和当前拓扑结构的邻居节点，获得基于邻居的节点表示，预测时态网络中可能发生的交互，这样可以有效利用复杂的拓扑结构提升时态网络预测的准确性。
25.图2和图3是一实施例提供的模体感知的时态网络预测方法的整体流程图和整体框架图。如图2和图3所示，实施例提供的模体感知的时态网络预测方法，包括以下步骤：
26.步骤1，获取并定义时态网络。
27.实施例中，时态网络定义为该时态网络表示按照时间排序的n个交互，将每个交互e作为样本得到训练数据集，其中，以三元组形式表示的交互e＝(v
i
,v
j
,t)表示节点v
i
和节点v
j
在时刻t发生的交互。该时态网络可以为表示社交行为网络，其中，节点表示多个用户，节点之间的连边表示用户之间发送消息的行为，发送消息的时间视为边上时间戳，这样时态网络预测指基于历史社交行为预测时态网络中接下来可能发生的用户之间发送消息的行为。
28.步骤2，根据预先定义的时态网络模体集合统计时态网络中各条边(即交互)参与形成的时态网络模体实例数，构建交互对应的额外的边特征r(e)。
29.时态网络模体表示时态网络中特定的子图结构，可将其定义为按照时间排序且发生在特定时间窗口δ内的交互序列。针对不同类型的时态网络分别定义需要统计实例数的时态网络模体集合，如图4为常见时态网络模体的示例，其中，(a)中的时态网络模体m1代表重复交互现象，时态网络模体m2至m4代表共同交互现象，时态网络模体m5至m7代表进一步强化的共同交互现象；(b)中的时态网络模体m1至m3代表两个节点间的交互模式，时态网络模体m4至m
12
代表三个节点间的交互模式。
30.若由时态网络中按时间排序的l个交互构成的序列s＝{e1,e2,
…
,e
l
}同时满足如下两个条件：(1)m和s可导出相同的拓扑结构且其中的边以相同的顺序连接；(2)序列s中的所有交互发生在时间窗口δ内，则称交互序列s为时态网络模体m的实例。令集合为交互e参与构成时态网络模体m的所有实例，n
instance
为集合大小，s
i
为集合中的第i个时态网络模体实例。交互e基于时态网络模体的边特征通过如下方式构建：
[0031][0032]
其中表示交互e基于时态网络模体m的第p维特征，ι(
·
)为指示函数，当时态网络模体实例s
i
的第p个交互为交互e时函数值为1，反之则为0。
[0033]
针对集合中的所有时态网络模体分别利用上述方式构建特征，将获得的向量进行串接即可得到交互e最终的边特征，具体方式如下：
[0034][0035]
其中，为交互e基于时态网络模体m1的特征。
[0036]
如图5所示为基于时态网络模体的边特征构建的示例。时态网络模体m1为循环连接的三角形子图结构，时态网络模体m2为两个节点构成的循环结构，δ表示时态网络模体的时间窗口，交互时间以秒(s)为单位。以有向边e＝(v1,v2,2s)为例，该条边参与构成了时态网络模体m1的实例s＝{(v1,v2,2s),(v2,v3,5s),(v3,v1,7s)}，且在该实例中为时间戳最小的边，即有向边e＝(v1,v2,2s)作为第1个交互、第2个交互和第3个交互出现在时态网络模体m1实例中的次数分别为1次、0次和0次，故其基于时态网络模体m1构建的边特征为[1,0,0]。同理，有向边e基于时态网络模体m2构建的边特征为[0,1,0]。针对预先定义的所有时态网络模体分别构建特征后进行串接，即可得到最终的边特征。
[0037]
步骤3，根据时间先后顺序将训练数据集按照固定的批量大小进行分批，批次总数为b。
[0038]
根据人为经验设定的批量大小m，按照交互发生的时间顺序对训练数据集进行分批，批次总数为b。具体计算方式如下：
[0039][0040]
其中n
sample
表示训练数据集中样本总数。
[0041]
步骤4，从训练数据集中顺序选取索引为k的一批训练样本，其中k∈{0,1,
…
,b}，进行步骤5
‑
9。
[0042]
步骤5，根据索引为k
‑
1的上一批次样本，利用循环神经网络更新样本涉及节点的表示。
[0043]
令交互e
′
＝(v
′
i
,v
′
j
,t)为上一批次内的交互样本，节点v
′
i
、v
′
j
需要根据该次交互的相关信息利用循环神经网络更新其节点表示。该步骤中采用的循环神经网络为门控循环单元gru，以更新节点v
′
i
表示s
′
i
(t)为例，具体计算方式如下：
[0044][0045]
z(t)＝σ
g
(w
z
m
′
i
(t) u
z
s
′
i
(t
‑
) b
z
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(5)
[0046]
r(t)＝σ
g
(w
r
m
′
i
(t) u
r
s
′
i
(t
‑
) b
r
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(6)
[0047][0048][0049]
其中m
′
i
(t)表示当前交互的相关信息，s
′
i
(t
‑
)、s
′
j
(t
‑
)分别表示节点v
′
i
、v
′
j
在交互e
′
发生前的向量表示，表示节点v
′
i
上一次交互时刻与当前时刻t的时间差，concat表示向量串接操作，m
′
i
(t)为gru当前时刻的外部输入，s
′
i
(t
‑
)作为gru前一时刻隐状态，z(t)、r(t)和c(t)分别表示gru的更新门、重置门和记忆单元，s
′
i
(t)表示节点v
′
i
更新的节点表示。同理，即节点v
′
j
的节点表示更新过程与节点v
′
i
相同。
[0050]
需要注意的是，当k＝0时，步骤5为将所有节点用零向量进行初始化。
[0051]
步骤6，针对当前批次内的样本(v
i
,v
j
,t)，分别采样反映节点v
i
历史拓扑结构和当
前拓扑结构的邻居节点，构建节点v
i
的计算子图，节点v
j
同理。
[0052]
为了便于理解，首先对下文所涉及的符号和概念做简要说明。时态网络中节点间可能存在重复交互行为而形成时间戳不同的多条边，故将时态网络中节点v
a
的邻居以二元组(v
b
,t
b
)的形式表示，其中v
b
表示节点，t
b
表示节点v
a
与v
b
的交互时间。
[0053]
构建目标节点v
i
在当前时刻t的计算子图时，根据高阶邻居与低阶邻居时间依赖关系以不同方式逐跳向外扩展，可得到包含多跳邻居的计算子图。注意此处高阶邻居和低阶邻居为相对概念，即两跳邻居相对一跳邻居为高阶邻居，两跳邻居相对三跳邻居则为低阶邻居。从低阶邻居(v
low
,t
low
)向外扩展时，可将(v
low
,t
low
)的邻居节点分为两类，分别表示为：
[0054][0055][0056]
其中n(v
low
)
his
为(v
low
,t
low
)在时刻t
low
前的邻居节点，反映其历史拓扑结构；n(v
low
)
cur
为(v
low
,t
low
)在时刻t
low
和t之间的邻居节点，反映其当前拓扑结构。以n(v
low
)
his
中的邻居节点为例，可将其作为低阶邻居(v
′
low
,t
′
low
)获取在时刻t
′
low
前的邻居节点和在时刻t
′
low
与t之间的邻居节点，分别反映(v
′
low
,t
′
low
)的历史拓扑结构和当前拓扑结构。将n(v
low
)
his
和n(v
low
)
cur
中所有的邻居节点作为低阶邻居重复上述过程迭代向外扩展，即可得到包含多跳邻居的计算子图。
[0057]
图6所示为节点v1在t8时刻的计算子图示例，该计算子图包含节点v1的两跳邻居。以低阶邻居(v4,t5)向外扩展获取高阶邻居为例，根据时间依赖关系可将高阶邻居分成n(v4)
his
和n(v4)
cur
两类。n(v4)
his
＝{(v2,t3)}中的高阶邻居与低阶邻居(v4,t5)发生交互的时刻小于t5，反映低阶邻居在时刻t5前的历史拓扑结构；n(v4)
cur
＝{(v5,t6),(v6,t7)}中的高阶邻居与低阶邻居(v4,t5)发生交互的时刻在t5和t8之间，反映低阶邻居在t8时刻的当前拓扑结构。
[0058]
步骤7，在步骤6得到的节点v
i
计算子图上，结合步骤2得到的基于时态网络模体的边特征，利用参数不同的多头注意力机制分别聚合邻居节点n(v
i
)
his
和n(v
i
)
cur
，获得节点v
i
基于邻居的表示z
i
(t)，节点v
j
同理。
[0059]
为了便于说明和简化符号，下文统一用(v
n
,t
′
)指代n(v
i
)
cur
和n(v
i
)
his
中的邻居节点。以聚合节点v
i
的当前时刻邻居n(v
i
)
cur
为例，首先将节点v
i
与邻居节点(v
n
,t
′
)的交互时间t
′
映射至高维向量，计算方式如下：
[0060][0061]
其中为映射后的高维时间向量，为可学习的参数。相比于交互行为的绝对时间，交互时间与当前时刻的相对时间t
‑
t
′
更具参考意义，故在后续计算中用φ(t
‑
t
′
)代替φ(t
′
)。
[0062]
结合基于时态网络模体构建的边特征和交互时间的高维映射向量，利用基于多头注意力机制的图神经网络聚合节点邻居，可协同建模时态网络的拓扑结构和时间信息。注意力机制中的query向量q
l
(t)通过如下方式获得：
[0063][0064]
其中表示聚合l
‑
1跳邻居后节点v
i
的向量表示，||表示向量串接操作，w
q
为权重映射矩阵。
[0065]
对于邻居节点(v
n
,t
′
)，e＝(v
i
,v
n
,t
′
)为与其对应的交互，融合拓扑结构和时间信息的邻居向量可表示为：
[0066][0067]
其中r(e)表示交互e基于时态网络模体构建的边特征，w
e
为权重映射矩阵，φ(t
‑
t
′
)表示交互e发生时刻与当前时刻时间差的高维映射向量。
[0068]
将n(v
i
)
cur
中所有邻居的邻居向量进行拼接，可得到反映节点当前拓扑结构的矩阵c
l
(t)。对c
l
(t)进行映射，可得到注意力机制的key矩阵k
l
(t)和value矩阵v
l
(t)，具体方式如下：
[0069][0070]
k
l
(t)＝c
l
(t)w
k
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(15)
[0071]
v
l
(t)＝c
l
(t)w
v
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(16)
[0072]
其中n
neighbor
为邻居个数，w
k
、w
v
为权重映射矩阵。
[0073]
根据q
l
(t)、k
l
(t)和v
l
(t)，利用多头注意力机制可得到反映当前拓扑结构的节点表示计算方式如下：
[0074][0075][0076][0077]
其中d
key
表示缩放因子，和表示第p头注意力机制的映射矩阵，w
o
表示拼接多头计算结果的映射矩阵，h表示注意力机制头数。
[0078]
利用参数不同的图神经网络通过相似方法得到反映历史拓扑结构的节点表示后，可计算捕捉节点拓扑结构变化的向量表示，方式如下：
[0079][0080]
其中f
g
为全连接神经网络。
[0081]
通过堆叠多层图神经网络的方式可得到基于多跳邻居的节点表示，堆叠层数需与
目标节点计算子图的规模保持一致。图神经网络的初始节点输入即循环神经网络更新后的节点表示为节点原始特征。为统一表述，下文用z
i
(t)表示图神经网络最后一层的输出。
[0082]
步骤8，将节点v
i
的表示z
i
(t)和节点v
j
的表示z
j
(t)串接后送入全连接神经网络，计算节点v
i
和节点v
j
在时刻t发生交互的概率，利用交叉熵函数计算损失
[0083]
节点v
i
和节点v
j
在时刻t发生交互的概率p
ij
(t)通过如下方式计算：
[0084]
p
i,j
(t)＝σ
g
(f
g
(z
i
(t)||z
j
(t)))
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(21)
[0085]
其中σ
g
为非线性的sigmoid激活函数，f
g
为全连接神经网络。
[0086]
预测任务的损失函数定义为交叉熵损失函数，由于所有交互均为正样本，故以1:1比例采样相同数量的负样本，损失函数的计算方式如下：
[0087][0088]
其中p
n
(v)为负采样分布。
[0089]
步骤9，根据批次中所有样本的损失对整个模型中的网络参数进行调整。
[0090]
计算当前批次中所有样本的预测损失具体计算方式如下所示：
[0091][0092]
其中表示单个样本的损失，m表示批次中样本的数量。在本发明中，根据所有样本的预测损失对整个模型中的网络参数进行调整。
[0093]
步骤10，重复步骤4
‑
9直到训练数据集中的所有批次都参与了模型训练。
[0094]
步骤11，若达到指定的训练迭代次数则训练结束，否则返回步骤3。
[0095]
步骤12，利用参数调优后的时态网络预测模型预测可能会发生的交互。
[0096]
上述实施例提供的模体感知的时态网络预测方法，基于预先定义的时态网络模体，根据边参与形成的时态网络模体实例构建额外的边特征，显式利用时态网络中包含时间信息的复杂拓扑结构；根据交互的时间戳获取反映节点当前拓扑结构和历史拓扑结构的邻居，利用参数不同的多头注意力机制对两类邻居分别进行消息聚合，对节点在不同时期的拓扑结构分别进行建模，以提高时态网络预测的准确性。
[0097]
以上所述的具体实施方式对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的最优选实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换等，均应包含在本发明的保护范围之内。