一种基于主题感知注意力网络的信息传播预测方法与流程

技术特征：
1.一种基于主题感知注意力网络的信息传播预测方法，其特征在于，包括以下步骤：s1、将主题上下文和传播历史上下文整合到用户表示中进行预测；s2、主题上下文支持针对特定主题的传播模式建模，传播历史上下文进一步分解为用户依赖建模和位置依赖建模；s3、使用编码得到的用户上下文来构建多主题下的用户表示；s4、通过时间衰减聚合模块进一步集成用户表示，从而获取多主题级联表示，继而预测下一个受感染用户；其中各模块均由信息传播的特征驱动。2.根据权利要求1所述的基于主题感知注意力网络的信息传播预测方法，其特征在于，步骤s1的具体方法为：给定用户集合u，级联集合v和传播信息集合m，m中第i个信息项的传播序列被定义为级联其中元组表示用户在时刻被转发，且序列按照感染时间排序，传播预测任务定义为给定级联c
i
的传播文本和先前的感染用户序列预测下一个感染用户为其中n＝1，2，...，|c
i
|
‑
1。3.根据权利要求2所述的基于主题感知注意力网络的信息传播预测方法，其特征在于，步骤s2中传播模式建模是利用预训练语言模型bert对传播信息文本的语义信息进行编码，具体为通过一个全连接层将由bert编码的文本嵌入转换为传播文本嵌入y
i
＝w
x
x
i
b
x
ꢀꢀꢀꢀ
(1)其中w
x
和b
x
分别为权重矩阵和偏置向量。4.根据权利要求3所述的基于主题感知注意力网络的信息传播预测方法，其特征在于，步骤s2中用户依赖建模使用嵌入矩阵编码用户，其中|u|代表用户人数，k，d分别代表主题数以及嵌入维度。5.根据权利要求4所述的基于主题感知注意力网络的信息传播预测方法，其特征在于，对于级联序列中的每个用户用户嵌入为其中是用户在第k个主题下的用户嵌入。6.根据权利要求5所述的基于主题感知注意力网络的信息传播预测方法，其特征在于，步骤s2中位置依赖建模是针对每个位置设定一个可学习的位置嵌入pos
j
，其中pos
j
在所有级联中共享。7.根据权利要求6所述的基于主题感知注意力网络的信息传播预测方法，其特征在于，步骤s3中的编码方法为：主题上下文：对每个主题k计算用户嵌入和传播文本嵌入y
i
之间的余弦相似度，并用softmax函数对其进行归一化：
其中k＝1，2，...，k，并且代表用户在第k个主题下的权重；集合主题上下文的用户嵌入表示为传播历史上下文：级联序列中与先前用户的依赖的注意力权重由下面公式计算：其中分别用于对目标用户以及先前用户进行主题特定的线性映射：用户与用户之间完整的注意力分数和权重用来描述传播历史上下文，并通过以下公式计算：文，并通过以下公式计算：其中是从位置m到位置j的位置依赖分数；完整的上下文感知的多主题用户表示：将第k个主题中的用户表示为先前感染用户的加权和：主题上下文的权重和位置依赖得分在不同的层之间共享。8.根据权利要求1所述的基于主题感知注意力网络的信息传播预测方法，其特征在于，步骤s4中时间衰减聚合模块的建模方法为：将连续时间衰减转化为离散时间间隔：其中t1通过将时间范围[0，t
max
]分割成l个子区间{[0，t1)，..，[t
l
‑1，t
max
)}，其中t
max
是数据集中的最大时间戳，对于每个主题，每个时间间隔都有相应的可学习权重9.根据权利要求8所述的基于主题感知注意力网络的信息传播预测方法，其特征在于，步骤s4中多主题级联表示的获得方法为：根据公式(8)计算完整的聚合权重：然后将通过softmax函数对j＝1，2，...，n进行归一化；
对于每个主题k，计算以为权重的的加权和，并采用带有relu激活函数的前馈神经网络赋予模型非线性，主题感知注意力层的输出为级联表示，表示为10.根据权利要求1所述的基于主题感知注意力网络的信息传播预测方法，其特征在于，步骤s4中预测下一个受感染用户的方法为：给定级联序列通过衡量用户嵌入和级联嵌入的相似性来参数化下一个感染用户的概率，级联与用户的交互概率表示为：其中θ表示所有需要学习的参数；预测感染用户的训练目标定义为公式(10)：设置k个主题原型嵌入并且鼓励k主题下的用户嵌入与对应主题原型m
k
相似，目标是最大化：将这一项作为额外的训练目标，并对所有用户求和：完整的训练目标函数为其中η是平衡系数。

技术总结
本发明公开了一种基于主题感知注意力网络的信息传播预测方法，将主题上下文和传播历史上下文整合到用户表示中进行预测。主题上下文支持针对特定主题的传播模式建模，而传播历史上下文可以进一步分解为用户依赖建模和位置依赖建模。随后，我们可以使用编码得到的用户上下文来构建多主题下的用户表示。然后，我们通过一个时间衰减聚合模块进一步集成用户表示，从而获取级联表示。其中，所有这些模块都是由信息传播的特征驱动的。因此，我们提出的基于主题感知注意力网络的信息传播预测方法可以更好地拟合真实世界的扩散数据，并更准确地预测。此外，在传统的主题感知模型中需要使用预定义好的主题分布，而采用本发明方法主题可以自动学习。可以自动学习。可以自动学习。


技术研发人员：杨成 石川 王浩
受保护的技术使用者：北京邮电大学
技术研发日：2021.09.08
技术公布日：2021/11/24