一种基于立场特征的早期谣言检测方法与装置与流程

1.本发明涉及一种基于立场特征的早期谣言检测方法与装置，属于信息安全与人工智能技术领域。


背景技术：

2.随着计算机信息通信技术的发展，互联网逐渐深入到人们日常的生产和生活中，极大地促进了人类社会的发展。其中社交媒体作为互联网时代变革下的产物，例如微博，twitter、facebook等，已经成为了人类社会生活中重要的信息交流媒介，用户可以随时通过手机、电脑在其上面发表观点、交流经验及与他人互动。
3.社交媒体平台的迅速发展简化了人与人之间沟通的方式，同时也为人们收集信息和新闻提供了极为便利的途径，但随之产生的社交媒体谣言也不容小觑。近年来，越来越多的国内外学者投入到谣言检测的研究中，提出了许多新的检测模型和理论方法。传统的谣言检测方法以人为抽取的特征作为输入，采用支持向量机、决策树和随机森林等一些机器学习的方法来对谣言进行判断。此类方法在特征工程阶段繁琐且耗时，同时人为构建的特征主观性较强、缺乏高阶的特征表示，故不能有效地抽取谣言深层次的特征。随着深度学习模型在各大领域的成功应用，以rnn，cnn为主的深度学习模型也逐步应用到谣言检测领域，依靠其反向传播算法提取谣言深层次的特征。ma等人通过对事件中微博之间的时序关系建模，提出了基于递归神经网络(rnn)的谣言检测方法。刘政等人依据微博之间的联系提出了基于卷积神经网络的谣言检测方法。但是这些方法忽略了评论之间的结构(评论结构)关系，不能捕获到谣言的传播特征。treelstm、gnn等结构网络模型的出现为精确地预测谣言提供了新的解决方案，这类方法对谣言传播过程中评论之间的结构关系建模，有效地获取了谣言的传播结构特征。ma等人对谣言传播路径进行建模，提出了基于树结构的谣言检测方法rvnn。huang等人综合考虑了谣言检测的内容、用户和传播三个方面，提出了基于图卷积神经网络的谣言检测方法。tian等人提出一种基于双向图卷积网络结构(bi-gcn)的谣言检测方法，该方法探究了社交媒体文本的向上传播和向下传播模式，并结合源文本中关键性特征，提高了谣言检测的准确率。
4.然而，现有的谣言检测方法虽然取得一些研究进展，但依旧存在不足。针对谣言传播速度快和影响范围广的特点，能够及时快速地鉴别出谣言对保持网络生态健康和维持社会稳定有十分重要的意义。现有以图结构为基础的谣言检测方法在评论结构演化过程中虽然能够抽取到谣言的传播结构特征，但是没有考虑到谣言动态传播的特点，因而难以及时阻止谣言的传播，因此在早期谣言检测方向上还有很大的发展空间。


技术实现要素：

5.针对现有技术中存在的问题，本发明提出一种基于立场特征的早期谣言检测方法与装置，能够在谣言传播过程中及时地检测出谣言。本发明方法涵盖社交媒体谣言检测的全过程，主要包括数据集构建及特征处理、构建立场感知模块、构建谣言分类模块、构建强
化决策模块、对未知的帖子进行预测等过程，以便在谣言传播的早期对其进行识别，从而及时地阻止谣言的传播。
6.本发明分成立场感知、谣言分类和强化决策三个模块。首先，立场感知模块能够从评论中抽取立场特征。接着，谣言分类模块根据传播过程将谣言划分成一系列以图结构为基础的子评论结构，利用图卷积网络对每个子结构编码并联合立场特征输入到lstm神经网络中从而对谣言事件进行识别。然后，强化决策模块根据谣言动态传播的特点，整合立场特征为早期检测效果提供动作方案，即是否补充后续评论数据，从而及时地检测出谣言。最后，谣言分类模块根据要采取的行动完成最终的预测，进而避免谣言的扩大传播。
7.为了达到上述目的，本发明提供如下技术方案：
8.一种基于立场特征的早期谣言检测方法，包括如下步骤：
9.步骤1，数据集构建及特征处理，收集并整理谣言数据集，并对数据进行特征工程分析且特征处理；
10.步骤2，构建立场感知模块，在已有的立场数据集上进行立场检测任务，从而得到特征抽取模型，能够从评论中抽取立场特征；
11.步骤3，构建谣言分类模块，将谣言传播过程划分成一系列以图结构为基础的子评论结构，根据谣言动态传播的特点，对子评论结构的编码进行谣言分类；
12.步骤4，构建强化决策模块，通过整合立场特征为早期检测效果提供动作方案，即是否补充后续评论数据，从而及时地检测出谣言；
13.步骤5，采集待检测的社交媒体帖子并进行预测。
14.进一步的，所述步骤1具体包括如下过程：
15.首先收集并整理典型谣言检测数据集，包括twitter15、twitter16和weibo；然后使用tf-idf词向量模型从词频角度选取数据中频率较高的5000个单词来对每个帖子进行编码并将其作为初始特征向量；最后对于每个谣言事件，构造以图结构为基础的评论结构。
16.进一步的，所述步骤2具体包括如下过程：
17.本发明设计的立场感知模块使用roberta模型进行立场检测任务，从而得到特征抽取模型，其中roberta中“《cls》”位置输出的向量表示作为整个方法需要融合的立场特征。鉴于本发明对weibo和twitter两种数据集进行实验测试，因此立场感知模块的输入有两种类型。针对weibo数据集，输入是目标话题(#topic)和微博文本(raw text)，而对于twitter数据集，输入则是源帖子(source)、评论文本1(comment1)和对评论文本1回复的评论文本2(comment2)。接着立场感知模块对输入文本tokenizer化，即将输入的句子采用“《cls》”和“《sep》”标识符进行分隔开，其中“《cls》”需放在第一个句子首位，“《sep》”是句子之间的分隔符。因此输入的信息会以[＜cls＞,a,＜sep＞,b,＜sep＞...]形式出现，其中a，b分别表示第一个和第二个句子。将句子中每个token逐条输入到pre-trained roberta模型，经过多个transformer层编码后，从而得到每个token深层次表示，计算公式为：
[0018]
e＝roberta([＜cls＞,a,＜sep＞,b,＜sep＞...])
[0019]
从roberta编码后的特征表示e中取出“《cls》”位置上的向量e
cls
作为抽取的立场特征并进行立场分类，计算公式为：
[0020]
[0021]
本发明采用两个全连接层对立场特征e
cls
进行编码并将编码后的数据输入到softmax(
·
)分类器，从而得到一个三元组数值分别表示赞成、中立和反对对应的概率。使用交叉熵损失函数对立场感知模块进行优化，计算公式为：
[0022][0023]
其中n
stance
是样本的数量，c
stance
是立场类别的数量，和分别表示第i个样本的第j类真实和预测的概率。
[0024]
进一步的，所述步骤3具体包括如下子步骤：
[0025]
子步骤3-1，图评论结构划分，根据谣言动态传播的特点，对图评论结构s按照评论发布的时间进行划分，从以图结构为基础的子评论结构s
(1)
开始，每次增加一个评论内容形成下一个子评论结构，直到评论数量达到n-1时构成最后一个子结构，其中n-1是评论的数量。最终，事件c的评论结构s被表示为{s
(1)
,s
(2)
,...,s
(t)
}，对于每一个子评论结构s
(t)
，可以记作其中n
(t)-1是s
(t)
中评论的数量；
[0026]
子步骤3-2，图评论结构编码及预测，使用图卷积神经网络(gcn)来挖掘子评论结构的全局性特征，本发明使用两层图卷积层对图节点的特征进行卷积操作，并对最后一个图卷积层的输出向量平均化mean(
·
)从而得到全局性特征然后谣言分类模块融合立场感知模块提取的立场特征加强子评论结构的特征表示，计算公式为：
[0027][0028][0029]
其中wg和w
cls
是可学习的参数矩阵，用于统一和维度的大小，bg是偏移项。因此子评论结构s
(t)
经过组合后将得到特征表示h
(t)
，进而得到整个评论结构s的特征表示h，计算公式为：
[0030]
h＝concat([h
(1)
,h
(2)
,...,h
(t
′
)
])
[0031]
其中t
′
表示强化决策模块选择动作为“停止”时的时刻。由于各个以图结构为基础的子评论结构之间在时间尺度上具有相互依赖关系，使用lstm网络对各个子评论结构进行进一步编码，计算公式为：
[0032]ht
＝lstm(h)
[0033]
其中h
t
是lstm网络在t时刻的输出向量，表示子评论结构s
(t)
最终的编码特征表示。强化决策模块在没有做出“停止”行动之前，lstm网络任何时刻的输出向量都会被作为特征向量进行谣言预测。本发明使用softmax(
·
)激活函数对谣言分类，计算公式为：
[0034][0035]
其中w
p
是训练矩阵，b
p
是偏移项，是预测各类别谣言的概率；
[0036]
子步骤3-3，谣言分类损失函数，本发明采用交叉熵损失函数优化谣言分类模块，计算公式为：
[0037][0038]
其中n
rumor
是谣言数据集中样本的数量，c
rumor
是谣言类别的数量，和分别表示第i个样本的第j类真实和预测的概率。
[0039]
进一步的，所述步骤4具体包括如下子步骤：
[0040]
子步骤4-1，设置状态，强化决策模块融合立场特征与当前子评论结构抽取的特征表示作为该模块的状态计算公式为：
[0041][0042]
其中h
t
是子评论结构s
(t)
编码后的特征表示，是立场特征，由立场感知模块抽取得到，w
stance
是可学习的参数矩阵，b
state
是偏移项；
[0043]
子步骤4-2，设置动作，记a＝{a1,a2,...}是动作集合，其中a
t
∈{0,1}。在早期谣言检测中，本发明设置两个动作，分别是继续补充后续评论数据(continue)和停止补充去检测(stop)。当a
t
＝0时，强化决策模块会继续输入下一个子评论结构的编码，而当a
t
＝1时，模块不会再输入下一时刻的编码，无论选择哪个动作，谣言分类模块都会对事件进行预测，计算公式为：
[0044][0045]
子步骤4-3，设置奖励，记r＝{r1,r2,...}表示强化决策模块的交互性奖励，其中每个状态的奖励值r
t
由奖励函数得到。为了能够提升谣言检测的准确率，本发明利用谣言检测的结果来对强化决策模块给予相应的奖励或惩罚，因此奖励函数共包括三种可能的情况，分别是“continue”、“stop_correct”和“stop_incorrect”。其中“continue”表示a
t
＝0，即继续补充后续评论数据，此时模块需要进行分类预测，同时也要输入下一个时刻子评论结构的编码表示；“stop_correct”是指a
t
＝1且预测的结果是正确的；“stop_incorrect”是指a
t
＝1但预测的结果是错误的。对于“continue”情况，表明强化决策模块不能及时阻止谣言的传播，则会被给予轻微的惩罚-ε；对于“stop_correct”情况，强化决策模块将会赋予较大的奖励值来驱动方法向正确的方向发展；而对于“stop_incorrect”，则会给出较大的惩罚值，惩罚其判断错误。考虑到评论的数量可能影响谣言检测的效果，比如评论数量过少不足以谣言分类模块进行谣言分类，因此本发明设计了评论系数λ
(t)
用来平衡奖励函数，计算公式为：
[0046][0047]
其中n是以图结构为基础的评论结构中文本(包括源帖子和评论)总数，n
(t)
表示子评论结构s
(t)
中文本的数量。结合评论系数，完整的奖励函数如下所示：
[0048]
[0049]
其中m和p都是正常量值；
[0050]
子步骤4-4，强化学习损失函数，采用actor-critic算法对早期谣言检测进行决策。actor-critic由两个神经网络组成，包括actor网络和critic网络。actor网络和critic网络生成动作和价值的计算步骤如下：
[0051][0052][0053]
本发明使用两层全连接网络和抽取状态的特征，从而得到动作的概率和状态下选取动作的价值其中σ是激活函数，一般使用sigmoid函数。critic网络学习状态值函数通过时间差分误差td
(t)
进行优化。td
(t)
由当前时间状态的价值、下一时刻状态的价值以及选择动作后反馈的奖励值得到，计算公式为：
[0054][0055]
其中，ε是衰减因子，表示下一时刻状态价值的衰减权重。critic网络使用td
(t)
的平方值作为损失函数进行参数w的梯度更新，计算公式为：
[0056]
loss
critic
＝(td
(t)
)2[0057]
actor网络则是直接学习动作策略，利用td
(t)
加权的交叉熵作为损失函数来优化参数，计算公式为：
[0058][0059]
进一步的，所述步骤5具体包括如下过程：
[0060]
对于待检测的帖子，本发明通过官方提供的api接口对该帖子相关信息进行采集，包括源帖子以及下方评论信息；接着使用tf-idf词向量模型对每个文本内容进行编码，获取其向量化表示；然后依赖于评论之间的结构关系，将所有文本建模成以图结构为基础的数据结构，从而作为模型的输入；最后使用训练好的早期谣言检测模型对其进行预测，并反馈结果。
[0061]
本发明还提供了一种基于立场特征的早期谣言检测装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，该计算机程序被加载至处理器时实现上述基于立场特征的早期谣言检测方法。
[0062]
与现有技术相比，本发明具有如下优点和有益效果：
[0063]
1.本发明相比较于其他以图神经网络为主体的谣言检测方法，在能捕获谣言传播结构特征基础上，考虑到谣言动态传播特点，从而对谣言的识别准确率更高。且在早期谣言检测及时性方面进行实验对比，本发明能够对超过80％数量的事件在它们传播之后的6h内进行谣言判定，其识别谣言速度较快，从而及时阻止谣言的传播。
[0064]
2.本发明对谣言传播过程中评论之间的关系建模，符合谣言动态传播特点，且方法中融合了立场特征，能够显著反应用户对帖子的情感导向，在检测的及时性和准确率方面均有提升。
[0065]
3.本发明设计的谣言分类模块，通过使用图卷积网络能够深入挖掘以图结构为基
础的谣言文本的全局化特征。并结合立场特征作为lstm网络的输入，有利于捕获谣言的传播特征，该特性有效地凸显谣言的传播规律，大大增强谣言检测的性能。
附图说明
[0066]
图1为本发明提供的一种基于立场特征的早期谣言检测方法总体框架图；
[0067]
图2为本发明实施例涉及的立场感知模块框架；
[0068]
图3为本发明实施例涉及的actor网络和critic网络的更新过程。
具体实施方式
[0069]
以下将结合具体实施例对本发明提供的技术方案进行详细说明，应理解下述具体实施方式仅用于说明本发明而不用于限制本发明的范围。
[0070]
实施例1：一种基于立场特征的早期谣言检测方法，其整体框架如图1所示，方法包括如下步骤：
[0071]
步骤1，数据集构建及特征处理。首先收集并整理典型谣言检测数据集，包括twitter15、twitter16和weibo；然后使用tf-idf词向量模型从词频角度选取数据中频率较高的5000个单词来对每个帖子进行编码并将其作为初始特征向量；最后对于每个谣言事件，构造以图结构为基础的评论结构。
[0072]
步骤2，构建立场感知模块。该模块在已有的立场数据集上进行立场检测任务，从而得到特征抽取模型，能够从评论中抽取立场特征。本发明设计的立场感知模块使用roberta模型进行立场检测任务，从而得到特征抽取模型，其中roberta中“《cls》”位置输出的向量表示作为整个方法需要融合的立场特征，图2展示了立场感知模块的框架。鉴于本发明对weibo和twitter两种数据集进行实验测试，因此立场感知模块的输入有两种类型。针对weibo数据集，输入是目标话题(#topic)和微博文本(raw text)，而对于twitter数据集，输入则是源帖子(source)、评论文本1(comment1)和对评论文本1回复的评论文本2(comment2)。接着立场感知模块对输入文本tokenizer化，即将输入的句子采用“《cls》”和“《sep》”标识符进行分隔开，其中“《cls》”需放在第一个句子首位，“《sep》”是句子之间的分隔符。因此输入的信息会以[＜cls＞,a,＜sep＞,b,＜sep＞...]形式出现，其中a，b分别表示第一个和第二个句子。将句子中每个token逐条输入到pre-trained roberta模型，经过多个transformer层编码后，从而得到每个token深层次表示，计算公式为：
[0073]
e＝roberta([＜cls＞,a,＜sep＞,b,＜sep＞...])
[0074]
从roberta编码后的特征表示e中取出“《cls》”位置上的向量e
cls
作为抽取的立场特征并进行立场分类，计算公式为：
[0075][0076]
本发明采用两个全连接层对立场特征e
cls
进行编码并将编码后的数据输入到softmax(
·
)分类器，从而得到一个三元组数值分别表示赞成、中立和反对对应的概率。使用交叉熵损失函数对立场感知模块进行优化，计算公式为：
[0077]
[0078]
其中n
stance
是样本的数量，c
stance
是立场类别的数量，和分别表示第i个样本的第j类真实和预测的概率。
[0079]
步骤3，构建谣言分类模块，将谣言传播过程划分成一系列以图结构为基础的子评论结构，根据谣言动态传播的特点，对子评论结构的编码进行谣言分类。本步骤实施过程分为3个子步骤：
[0080]
子步骤3-1，图评论结构划分，根据谣言动态传播的特点，对图评论结构s按照评论发布的时间进行划分，从以图结构为基础的子评论结构s
(1)
开始，每次增加一个评论内容形成下一个子评论结构，直到评论数量达到n-1时构成最后一个子结构，其中n-1是评论的数量。最终，事件c的评论结构s被表示为{s
(1)
,s
(2)
,...,s
(t)
}，对于每一个子评论结构s
(t)
，可以记作其中n
(t)-1是s
(t)
中评论的数量；
[0081]
子步骤3-2，图评论结构编码及预测，使用图卷积神经网络(gcn)来挖掘子评论结构的全局性特征，本发明使用两层图卷积层对图节点的特征进行卷积操作，并对最后一个图卷积层的输出向量平均化mean(
·
)从而得到全局性特征然后谣言分类模块融合立场感知模块提取的立场特征加强子评论结构的特征表示，计算公式为：
[0082][0083][0084]
其中wg和w
cls
是可学习的参数矩阵，用于统一和维度的大小，bg是偏移项。因此子评论结构s
(t)
经过组合后将得到特征表示h
(t)
，进而得到整个评论结构s的特征表示h，计算公式为：
[0085]
h＝concat([h
(1)
,h
(2)
,...,h
(t
′
)
])
[0086]
其中t
′
表示强化决策模块选择动作为“停止”时的时刻。由于各个以图结构为基础的子评论结构之间在时间尺度上具有相互依赖关系，使用lstm网络对各个子评论结构进行进一步编码，计算公式为：
[0087]ht
＝lstm(h)
[0088]
其中h
t
是lstm网络在t时刻的输出向量，表示子评论结构s
(t)
最终的编码特征表示。强化决策模块在没有做出“停止”行动之前，lstm网络任何时刻的输出向量都会被作为特征向量进行谣言预测。本发明使用softmax(
·
)激活函数对谣言分类，计算公式为：
[0089][0090]
其中w
p
是训练矩阵，b
p
是偏移项，是预测各类别谣言的概率；
[0091]
子步骤3-3，谣言分类损失函数，本发明采用交叉熵损失函数优化谣言分类模块，计算公式为：
[0092][0093]
其中n
rumor
是谣言数据集中样本的数量，c
rumor
是谣言类别的数量，和分别表示第i个样本的第j类真实和预测的概率。
[0094]
步骤4，构建强化决策模块，通过整合立场特征为早期检测效果提供动作方案，即是否补充后续评论数据，从而及时地检测出谣言。本步骤实施过程分为4个子步骤：
[0095]
子步骤4-1，设置状态，强化决策模块融合立场特征与当前子评论结构抽取的特征表示作为该模块的状态计算公式为：
[0096][0097]
其中h
t
是子评论结构s
(t)
编码后的特征表示，是立场特征，由立场感知模块抽取得到，w
stance
是可学习的参数矩阵，b
state
是偏移项；
[0098]
子步骤4-2，设置动作，记a＝{a1,a2,...}是动作集合，其中a
t
∈{0,1}。在早期谣言检测中，本发明设置两个动作，分别是继续补充后续评论数据(continue)和停止补充去检测(stop)。当a
t
＝0时，强化决策模块会继续输入下一个子评论结构的编码，而当a
t
＝1时，模块不会再输入下一时刻的编码，无论选择哪个动作，谣言分类模块都会对事件进行预测，计算公式为：
[0099][0100]
子步骤4-3，设置奖励，记r＝{r1,r2,...}表示强化决策模块的交互性奖励，其中每个状态的奖励值r
t
由奖励函数得到。为了能够提升谣言检测的准确率，本发明利用谣言检测的结果来对强化决策模块给予相应的奖励或惩罚，因此奖励函数共包括三种可能的情况，分别是“continue”、“stop_correct”和“stop_incorrect”。其中“continue”表示a
t
＝0，即继续补充后续评论数据，此时模块需要进行分类预测，同时也要输入下一个时刻子评论结构的编码表示；“stop_correct”是指a
t
＝1且预测的结果是正确的；“stop_incorrect”是指a
t
＝1但预测的结果是错误的。对于“continue”情况，表明强化决策模块不能及时阻止谣言的传播，则会被给予轻微的惩罚-ε；对于“stop_correct”情况，强化决策模块将会赋予较大的奖励值来驱动方法向正确的方向发展；而对于“stop_incorrect”，则会给出较大的惩罚值，惩罚其判断错误。考虑到评论的数量可能影响谣言检测的效果，比如评论数量过少不足以谣言分类模块进行谣言分类，因此本发明设计了评论系数λ
(t)
用来平衡奖励函数，计算公式为：
[0101][0102]
其中n是以图结构为基础的评论结构中文本(包括源帖子和评论)总数，n
(t)
表示子评论结构s
(t)
中文本的数量。结合评论系数，完整的奖励函数如下所示：
[0103][0104]
其中m和p都是正常量值；
[0105]
子步骤4-4，强化学习损失函数，采用actor-critic算法对早期谣言检测进行决策。actor-critic由两个神经网络组成，包括actor网络和critic网络。图3展示了两个网络的更新过程，actor网络和critic网络生成动作和价值的计算步骤如下：
[0106][0107][0108]
本发明使用两层全连接网络和抽取状态的特征，从而得到动作的概率和状态下选取动作的价值其中σ是激活函数，一般使用sigmoid函数。critic网络学习状态值函数通过时间差分误差td
(t)
进行优化。td
(t)
由当前时间状态的价值、下一时刻状态的价值以及选择动作后反馈的奖励值得到，计算公式为：
[0109][0110]
其中，ε是衰减因子，表示下一时刻状态价值的衰减权重。critic网络使用td
(t)
的平方值作为损失函数进行参数w的梯度更新，计算公式为：
[0111]
loss
critic
＝(td
(t)
)2[0112]
actor网络则是直接学习动作策略，利用td
(t)
加权的交叉熵作为损失函数来优化参数，计算公式为：
[0113][0114]
步骤5，采集待检测的社交媒体帖子并进行预测。对于待检测的帖子，本发明通过官方提供的api接口对该帖子相关信息进行采集，包括源帖子以及下方评论信息；接着使用tf-idf词向量模型对每个文本内容进行编码，获取其向量化表示；然后依赖于评论之间的结构关系，将所有文本建模成以图结构为基础的数据结构，从而作为模型的输入；最后使用训练好的早期谣言检测模型对其进行预测，并反馈结果。
[0115]
综上，本发明包括三个部分：立场感知模块、谣言分类模块和立场感知模块。首先，设计基于roberta模型的立场感知模块，能够从评论中抽取立场特征。接着，基于评论之间的结构关系，设计谣言分类模块，将谣言传播过程划分成一系列以图结构为基础的子评论结构，使用图卷积网络进行编码并融合立场特征输入到lstm网络中从而对谣言事件进行识别。然后，基于actor-crtic强化学习算法，设计强化决策模块。该模块根据谣言动态传播的特点，融合立场特征为早期检测效果提供行动解决方案，即是否补充后续评论数据，从而及时地检测出谣言。最后，谣言分类模块根据行动结果完成最终的预测。
[0116]
实施例2的发明构思，本发明实施例公开的一种基于立场特征的早期谣言检测装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，该计算机程序被加载至处理器时实现上述基于立场特征的早期谣言检测方法。
[0117]
本发明方案所公开的技术手段不仅限于上述实施方式所公开的技术手段，还包括由以上技术特征任意组合所组成的技术方案。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。