一种基于主题感知注意力网络的信息传播预测方法与流程

1.本发明涉及网络技术领域，尤其涉及一种基于主题感知注意力网络的信息传播预测方法。


背景技术：

2.推特、新浪微博等网络社交平台吸引了数以百万计的用户，每天都有大量的信息在用户之间传播。信息传播的过程，也称为级联，对传播模式以及用户行为的建模被广泛应用在许多领域中，如流行性预测，流行病学和个性化推荐。下一个用户预测作为一种流行的微观级联预测任务在近年来得到了广泛的研究。这个问题被定义为给定信息项随时间排序的用户感染序列，预测下一个被感染的用户(按照惯例，研究人员将使用“感染”、“激活”或“影响”来描述用户与信息项存在交互)。
3.传统的微观级联预测方法包含有基于独立级联模型(ic)的方法以及基于嵌入的方法。独立级联模型为每个用户对之间分配一个独立的扩散概率，许多级联扩散模型都是建立在该模型的基本假设上的，通过额外考虑更多的信息，如连续时间戳和用户属性，对独立级联模型进行扩展。另外存在一些研究探讨了主题信息对级联建模的影响。tic首次从主题感知的角度研究了信息传播预测任务，主要思路是通过为每个用户对之间设置特定的主题概率。
4.随着研究推进，研究人员提出了基于嵌入的方法来进行级联预测，通过利用表示学习技术提高模型的表达能力，将用户嵌入到连续的潜在空间中，通过用户嵌入函数计算每个用户对之间的传播概率，而不是直接估计一个实值参数。然而，基于ic的方法和基于嵌入的方法都没有考虑级联历史序列信息的建模。最近的工作已经表明这些模型不如基于考虑级联序列的深度学习模型有效。
5.随着深度学习的成功，循环神经网络(rnns)在建模信息传播方面表现出了较强的能力。topolstm扩展了标准lstm模型，通过社会图中提取的有向无环图(dag)构建隐藏状态。cyan
‑
rnn和deepdiffuse结合循环神经网络与注意力机制从而考虑传播结构。recctic提出了一种用于捕获树依赖的贝叶斯拓扑rnn模型。diffusion
‑
lstm利用图像信息辅助预测，建立tree
‑
lstm模型来推断传播路径。forest对gru模型进行了扩展，设计一种额外的结构上下文提取策略来利用底层的社交图信息。
6.最近，一些注意力网络被提出用于更好地捕捉级联序列中的传播依赖。hidan构建层次注意力网络，采用注意力机制捕捉级联中的非序列结构，从级联中挖掘真实的依赖关系，同时结合用户的时间戳信息设计时间衰减模块，联合建模用户依赖与时间衰减，极大的提高了模型的表达能力以及可解释性。
7.随着深度学习技术的发展，一些文献将信息传播级联建模为感染序列，采用循环神经网络取得了良好的效果。虽然级联通常表示为一个用户序列，按感染时间戳排序，但真实的传播过程通常不是严格有序的，其依赖于未观察到的用户连接图。因此，其他一些研究采用注意力机制捕获非顺序长期传播依赖。
8.然而，现有的基于神经网络的方法假设所有信息项的传播行为和模式是同质的。这种假设在现实世界中可能不成立。在真实的信息传播场景中，用户对不同主题的信息项可能会有不同的行为模式。从直观上看，用户的兴趣通常是多种多样的，根据信息项的主题，用户的传播行为也可能是多种多样的。例如，用户可能分别在不同的主题下关注不同人然后转发不同信息，因此具有特定于主题的依赖关系。现有的基于神经网络的方法很少利用信息文本，没有考虑建模主题感知的传播模式和用户行为，无法建模特定主题下的传播模式和依赖关系，限制了模型的表达能力。而传统的非神经方法已经证明了主题对用户的影响。
9.下一个用户预测作为一种流行的微观级联预测任务在近年来得到了广泛的研究。传统建模通常忽略传播信息项的文本内容，导致从不同的主题学习混合依赖关系。相比之下，主题感知建模旨在显式的解耦特定主题下的传播依赖，从而能够更准确地预测。事实上，传统的基于独立级联模型的非神经网络方法已经证明了主题感知建模的优势，它可以分别建模来自不同主题下信息项的行为。但是这些早期的方法是建立在很强的独立假设上的，这种策略限制了模型的泛化性能，并且已经被最近的基于深度学习的方法证明是次优的。据我们所知，之前没有任何研究提出一个基于神经网络的主题感知模型来挖掘不同主题下的传播依赖关系。


技术实现要素：

10.有鉴于此，本发明的目的是提出一种基于主题感知注意力网络的信息传播预测方法，从形式化传播预测问题开始，并引入我们的嵌入策略，将用户/位置/文本信息编码到向量中。然后我们将提出主题感知的注意力层，旨在捕捉不同主题的历史出传播依赖和时间衰减效应。最后，我们的模型将通过给定的主题感知的注意层获取多主题级联表示，继而预测下一个受感染用户。
11.为了实现上述目的，本发明提供如下技术方案：
12.本发明提供一种基于主题感知注意力网络的信息传播预测方法，s1、将主题上下文和传播历史上下文整合到用户表示中进行预测；
13.s2、主题上下文支持针对特定主题的传播模式建模，传播历史上下文进一步分解为用户依赖建模和位置依赖建模；
14.s3、使用编码得到的用户上下文来构建多主题下的用户表示；
15.s4、通过时间衰减聚合模块进一步集成用户表示，从而获取多主题级联表示，继而预测下一个受感染用户；
16.其中各模块均由信息传播的特征驱动。
17.进一步地，步骤s1的具体方法为：
18.给定用户集合u，级联集合v和传播信息集合m，m中第i个信息项的传播序列被定义为级联其中元组表示用户在时刻被转发，且序列按照感染时间排序，传播预测任务定义为给定级联c
i
的传播文本和先前的感染用户序列预测下一个感染用户为其中n＝1,2,
…
,|c
i
|
‑
1。
19.进一步地，步骤s2中传播模式建模是利用预训练语言模型bert对传播信息文本的
语义信息进行编码。
20.进一步地，步骤s2中传播模式建模是通过一个全连接层将由bert编码的文本嵌入转换为传播文本嵌入
21.y
i
＝w
x
x
i
b
x
ꢀꢀꢀ
(1)
22.其中w
x
和b
x
分别为权重矩阵和偏置向量。
23.进一步地，步骤s2中用户依赖建模使用嵌入矩阵编码用户，其中|u|代表用户人数，k,d分别代表主题数以及嵌入维度。
24.进一步地，对于级联序列中的每个用户用户嵌入为其中是用户在第k个主题下的用户嵌入。
25.进一步地，步骤s2中位置依赖建模是针对每个位置设定一个可学习的位置嵌入pos
j
，其中pos
j
在所有级联中共享。
26.进一步地，步骤s3中的编码方法为：
27.主题上下文：
28.对每个主题k计算用户嵌入和传播文本嵌入y
i
之间的余弦相似度，并用softmax函数对其进行归一化：
[0029][0030]
其中k＝1,2,
…
,k，并且代表用户在第k个主题下的权重；集合主题上下文的用户嵌入表示为
[0031]
传播历史上下文：
[0032]
级联序列中与先前用户的依赖的注意力权重由下面公式计算：
[0033][0034]
其中分别用于对目标用户以及先前用户进行主题特定的线性映射；
[0035]
用户与用户之间完整的注意力分数和权重用来描述传播历史上下文，并通过以下公式计算：
[0036][0037]
[0038]
其中是从位置m到位置j的位置依赖分数；
[0039]
完整的上下文感知的多主题用户表示：
[0040]
将第k个主题中的用户表示为先前感染用户的加权和：
[0041][0042]
主题上下文的权重和位置依赖得分在不同的层之间共享。
[0043]
进一步地，步骤s4中时间衰减聚合模块的建模方法为：
[0044]
将连续时间衰减转化为离散时间间隔：
[0045][0046]
其中t
l
通过将时间范围[0,t
max
]分割成l个子区间{[0,t1),..,[t
l
‑1,t
max
)}，其中t
max
是数据集中的最大时间戳，对于每个主题，每个时间间隔都有相应的可学习权重
[0047]
进一步地，步骤s4中多主题级联表示的获得方法为：
[0048]
根据公式(8)计算完整的聚合权重：
[0049][0050]
然后将通过softmax函数对j＝1,2,
…
,n进行归一化；
[0051]
对于每个主题k，计算以为权重的的加权和，并采用带有relu激活函数的前馈神经网络赋予模型非线性，主题感知注意力层的输出为级联表示，表示为
[0052]
进一步地，步骤s4中预测下一个受感染用户的方法为：
[0053]
给定级联序列通过衡量用户嵌入和级联嵌入的相似性来参数化下一个感染用户的概率，级联与用户的交互概率表示为：
[0054][0055]
其中θ表示所有需要学习的参数；
[0056]
预测感染用户的训练目标定义为公式(10)：
[0057][0058]
设置k个主题原型嵌入并且鼓励k主题下的用户嵌入与对应主题原型m
k
相似，目标是最大化：
[0059][0060]
将这一项作为额外的训练目标，并对所有用户求和：
[0061][0062]
完整的训练目标函数为其中η是平衡系数。
[0063]
与现有技术相比，本发明的有益效果为：
[0064]
本发明提供的基于主题感知注意力网络的信息传播预测方法，结合主题特定的传播建模以及深度学习技术的优势，设计了一种新颖有效的主题感知注意力机制，将主题上下文和传播历史上下文整合到用户表示中进行预测。主题上下文支持针对特定主题的传播模式建模，而传播历史上下文可以进一步分解为用户依赖建模和位置依赖建模。随后，我们可以使用编码得到的用户上下文来构建多主题下的用户表示。然后，我们通过一个时间衰减聚合模块进一步集成用户表示，从而获取级联表示。其中，所有这些模块都是由信息传播的特征驱动的。因此，我们提出的基于主题感知注意力网络的信息传播预测方法可以更好地拟合真实世界的扩散数据，并更准确地预测。此外，在传统的主题感知模型中需要使用预定义好的主题分布，而采用本发明方法主题可以自动学习。
附图说明
[0065]
为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
[0066]
图1为本发明实施例提供的主题感知注意力网络的架构图。
具体实施方式
[0067]
本发明提供一种基于主题感知注意力网络的信息传播预测方法，s1、将主题上下文和传播历史上下文整合到用户表示中进行预测；
[0068]
s2、主题上下文支持针对特定主题的传播模式建模，传播历史上下文进一步分解为用户依赖建模和位置依赖建模；
[0069]
s3、使用编码得到的用户上下文来构建多主题下的用户表示；
[0070]
s4、通过时间衰减聚合模块进一步集成用户表示，从而获取多主题级联表示，继而预测下一个受感染用户；
[0071]
其中各模块均由信息传播的特征驱动。
[0072]
为了更好地理解本技术方案，下面结合附图对本发明的方法做详细的说明。
[0073]
在本节中，我们将从形式化传播预测问题开始，并引入我们的嵌入策略，将用户/位置/文本信息编码到向量中。然后我们将提出主题感知的注意力层，旨在捕捉不同主题的历史出传播依赖和时间衰减效应。最后，我们的模型将通过给定的主题感知的注意层获取多主题级联表示，继而预测下一个受感染用户。我们提出的tan的完整结构如图1所示。
[0074]
1、问题定义
[0075]
给定用户集合u，级联集合v和传播信息集合m，m中第i个信息项的传播序列可以被定义为级联其中元组表示用户在时刻被转发，且序列按照感染时间排序。跟随之前任务设置，传播预测任务定义为给定级联c
i
的传播文本和先前的感染用户序列预测下一个感染用户其中n＝1,2,
…
,|c
i
|
‑
1。
[0076]
2、嵌入层
[0077]
1)用户嵌入：
[0078]
为了捕捉不同主题下的用户兴趣与依赖关系，我们使用嵌入矩阵为了捕捉不同主题下的用户兴趣与依赖关系，我们使用嵌入矩阵编码用户，其中|u|代表用户人数，k,d分别代表主题数以及嵌入维度。对于级联序列中的每个用户他的用户嵌入为其中是用户在第k个主题下的用户嵌入。
[0079]
2)位置嵌入：
[0080]
为了利用级联感染顺序信息，我们为每个位置设定了一个可学习的位置嵌入pos
j
，其中pos
j
在所有级联中共享。
[0081]
3)文本嵌入：
[0082]
我们利用预训练语言模型bert对传播信息文本的语义信息进行编码。为了度量特定主题的用户嵌入和文本嵌入之间的主题相似度，我们通过一个全连接层将由bert编码的文本嵌入转换为
[0083]
y
i
＝w
x
x
i
b
x
ꢀꢀꢀ
(1)
[0084]
其中w
x
和b
x
分别为权重矩阵和偏置向量。
[0085]
3、主题感知注意力层
[0086]
在本小节中，我们将进一步将各种上下文信息编码为用户表示，然后结合时间衰减权重聚合用户表示，为每个主题生成级联表示。
[0087]
3.1用户表示增强
[0088]
我们分别将主题上下文和传播历史上下文合并到多主题用户表示中。传播历史上下文可以进一步分解为用户依赖和位置依赖。受多头注意力机制的启发，我们将一个主题作为一个特定的头(head)，并在每个主题中分别执行注意力机制来提取用户和位置依赖关系。
[0089]
1)主题上下文
[0090]
基于传播文本y
i
的嵌入，我们提出在第k个主题下，如果用户嵌入与文本嵌入存在较高的相似度，则加强用户的嵌入。具体来说，我们对每个主题k计算和y
i
之间的余弦相似度，并用一个softmax函数对其进行归一化：
[0091]
[0092]
其中k＝1,2,
…
,k，并且代表用户在第k个主题下的权重。然后集合主题上下文的用户嵌入可以表示为我们可以发现当第k个主题对应的用户嵌入与y
i
的余弦相似度越大，分配的权重越大，该主题下的用户嵌入被进一步加强。
[0093]
2)传播历史上下文
[0094]
从直觉上看，用户被感染通常归因于传播文本，而在传播序列中只有少数之前被感染的用户。因此，传播历史上下文的目标是提取与刻画和用户感染相关的用户。具体而言，我们采用注意力机制来建模用户依赖关系，并给予这些可能影响感染的用户更多的注意力权重。形式上，级联序列中与先前用户的依赖的注意力权重可以由下面公式计算：
[0095][0096]
其中分别用于对目标用户以及先前用户进行主题特定的线性映射。
[0097]
直觉上，我们还应该关注源用户以及最近被感染用户。注意，此类依赖关系独立于特定用户，因此我们建议在每个主题下建模位置依赖关系。不同于以往直接对预定义的位置嵌入和用户嵌入相加，我们采用与用户依赖建模类似的方法计算位置依赖分数。这样，我们的方法可以更好地捕获与用户无关的位置依赖性，以获得更好的预测性能。
[0098]
用户与用户之间完整的注意力分数和权重可以用来描述传播历史上下文，并通过以下公式计算：
[0099][0100][0101]
其中是从位置m到位置j的位置依赖分数。
[0102]
3)完整的上下文感知的多主题用户表示
[0103]
为了充分利用主题和传播历史上下文，我们将第k个主题中的用户表示为先前感染用户的加权和。
[0104][0105]
请注意，我们还可以将上述操作的多个层叠加起来，以获取更加精准的表示。在这种情况下，主题上下文的权重和位置依赖得分在不同的层之间共享。
[0106]
3.2基于时间衰减聚合获取级联表示
[0107]
在提取多用户在多主题下表示后，我们需要将它们聚合以获得多个主题下的级联
表示。我们假设用户的影响会随时间衰减，并在公式4中共同考虑时间衰减和传播依赖的权重。
[0108]
1)时间衰减影响建模
[0109]
具体来说，受deephawkes的启发，我们对每个主题采用了非参数化的时间衰减建模策略。形式上，给出历史感染的级联序列首先将连续时间衰减转化为离散时间间隔：
[0110][0111]
其中t
l
通过将时间范围[0,t
max
]分割成l个子区间{[0,t1),..,[t
l
‑1,t
max
)}，其中t
max
是数据集中的最大时间戳。对于每个主题，每个时间间隔都有相应的可学习权重
[0112]
2)计算多主题下的级联表示
[0113]
完整的聚合权重为在公式4上加上额外的一项：
[0114][0115]
然后将通过softmax函数对j＝1,2,
…
,n进行归一化。最后，对于每个主题k，我们计算以为权重的的加权和，并采用带有relu激活函数的前馈神经网络赋予模型非线性。主题感知注意力层的输出为级联表示，可以表示为
[0116]
3.3训练目标以及模型细节
[0117]
给定级联序列通过衡量用户嵌入和级联嵌入的相似性来参数化下一个感染用户的概率。如下所示，级联与用户的交互概率可以表示为：
[0118][0119]
其中θ表示所有需要学习的参数。
[0120]
然后我们预测感染用户的训练目标可以定义为如下公式：
[0121][0122]
除此之外，我们希望每个主题子空间反应不同的语义，并且不同用户在同一主题下的嵌入应该尽可能相似。因此，我们设置k个主题原型嵌入并且鼓励k主题下的用户嵌入与对应主题原型m
k
相似。形式化，我们目标是最大化：
[0123]
[0124]
因此我们将这一项作为额外的训练目标，并对所有用户求和：
[0125][0126]
完整的训练目标函数为其中η是平衡系数。我们采用梯度下降法和adam优化器对参数进行优化。为了避免训练过程不稳定，我们还将层归一化和dropout技术应用到用户嵌入中。
[0127]
在本发明中我们提出了模型tan建模主题特定的传播依赖。具体来说，我们联合建模传播项目的文本内容信息以及用户传播历史序列，然后提出主题感知注意力机制用于捕获不同主题下的历史传播依赖以及时间衰减影响。与传统的主题感知模型相比，tan可以自动学习主题并且从深度学习中受益。与目前的基于神经网络的模型相比，tan不仅可以有效建模主题特定的传播模式，而且可以更好的捕获用户依赖以及位置依赖。同时主题信息的提取提升了模型的可解释能力，使得模型做出预测同时给出预测理由，即在某一特定主题的信息项更可能被谁转发，且可以根据注意力权重得出用户是被哪一个用户影响做出转发操作。
[0128]
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换，但这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。