多特征融合信息鉴伪与溯源分析方法、系统、设备及应用与流程

1.本发明属于数据信息识别技术领域，尤其涉及多特征融合信息鉴伪与溯源 分析方法、系统、设备及应用。


背景技术：

2.虚假信息检测中，现有的方法主要基于手工特征的挖掘与svm等传统机器 学习分类器实现，或采用图神经网络(gnn)、bert、vgg(visual geometrygroup)神经网络模型、deepfake等方法进行鉴别。
3.典型的手工特征可以是情感词等内容特征，也可以是昵称、头像等用户特 征，又或者是转发次数等传播特征。也有一些挖掘自用户反馈行为、事件传播 的生命周期等更为复杂的特征。这些特征能够在一定程度上区分虚假信息，结 合传统的有监督机器学习分类器，能够达到比较可观的检测效果。
4.但是，现有的虚假信息检测只通过分类器来鉴别，分类器只能识别指定的 语言文字，检测结果不够准确，无法识别各种的方式描述的信息。
5.现有技术一cn201910245401.6基于机器学习的虚假信息鉴别方法、系统及 存储介质，公开了对待鉴别信息进行分词处理，得到词序列；对词序列进行词 性标注，得到标注序列；根据词序列和标注序列，生成向量序列；基于预设的 鉴别模型对向量序列进行第一鉴别，得到第一结果；基于区块链技术对第一结 果进行第二鉴别，得到虚假信息鉴别结果。
6.图神经网络是图数据上的一种人工神经网络，广泛用于各种图数据上的机 器学习任务，然而，当前的图神经网络由于置换等变性的假设，不能分辨图中 的自同构节点，从而无法保持节点近似度。因此，在需要节点近似度的图任务 上，当前的图神经网络由于无法利用近似度信息，往往表现较差。例如，在边 预测任务中，点对之间的连通程度(或“距离”)是一个重要的依据，但不能保 持节点近似度的图神经网络将无法衡量两个点在图中的“距离”，从而无法进 行较为准确的预测。
7.由此，使图神经网络可以保持节点近似度，是一个增强图神经网络表达能 力的重要方向。目前已有的一个方法是通过节点与“锚节点”(锚节点是若干在 预处理阶段随机选定的节点)的最短路径来使得图神经网络具有保持节点近似 度的能力，但该方法也同时使得图神经网络失去了保持置换等变性的能力，这 使得该网络在需要置换等变性的任务上表现不佳。例如，在节点分类任务上， 这种方法不能排除无效的节点近似度信息，从而导致较为严重的过拟合。而由 于真实数据的复杂性，一个现实世界图数据的机器学习任务是否需要“置换等 变性”和/或“保持节点近似度”往往无法明确界定。因此，能同时具有两种能 力的图神经网络才能更好的解决问题，但现有分析均只能保持其中一者。
8.现有技术二cn202010842540.x一种基于随机信息传递的图神经网络方法， 首先构建包含一个节点特征图神经网络gnn和一个随机节点特征图神经网络 gnn'的图神经网络包括，并相应选取输出函数，解码函数和损失函数；对于每 个待处理的图数据，根据不同任务划分对应的测试集、验证集和训练集，采用 早停法训练图神经网络；利用训练完毕的
图神经网络对待处理的图数据的测试 集进行预测。
9.再者，线上社交网络为信息的扩散提供极大便利的同时，也为虚假信息的 加速传播搭建了虚拟的桥梁。虚假信息的传播一方面造成了巨大的经济损失， 另一方面还威胁到了社会的和谐稳定运行，已经成为了一项不得不给予足够重 视的社会现象。
10.传统的虚假信息鉴别采用人工方法，但在信息爆炸的今天，试图通过人力 对纷繁的线上网络舆情进行鉴别，几乎已经变成了一项不可能完成的任务。近 年来，在信息技术发展的推动下，学术及工业界开始将虚假信息鉴别的视角转 移到自动化的机器学习方法上。一种非常直观的鉴别方法就是分析舆情信息本 身，这类方法只关注于舆情信息携带的句法及语义内容，并借助于现代的机器 学习算法提取高维度的语言学特征。然而，受限于微博、twitter等社交平台对 于文本长度的限制，此类基于特征的方法很难提取到足够多的特征，从而也就 限制了虚假信息鉴别的准确性。为了克服特征提取上的难度，一些学者开始将 对原始舆情信息的评论、转发等后续信息加入到舆情鉴别的任务中。这类方法 种中，比较经典的就是建立信息传播的树形结构，然后采用回溯的方法，从叶 子节点逐步回溯到信息源的根节点。但是，受限于舆情传播初期传播树的不完 整性，此类算法对于早期的虚假信息鉴别并不具有很好的竞争性。
11.通过上述分析，现有技术存在的问题及缺陷为：
12.(1)现有技术仅从单一特征维度实现虚假信息鉴别，没有从多个特征维度 综合判定信息的真实性。
13.(2)现有技术没有对虚假信息进行传播分析与溯源定位，无法确定虚假信 息的传播脉络。
14.(3)现有技术没有计算虚假信息传播的核心节点与桥梁节点，因此无法确 定虚假信息发布、传播的核心和桥梁账号。


技术实现要素：

15.为克服相关技术中存在的问题，本发明公开实施例提供了多特征融合信息 鉴伪与溯源分析方法、系统、设备及应用。具体涉及人工智能、深度学习、机 器视觉、虚假信息鉴别技术领域。
16.所述技术方案如下：一种多特征融合信息鉴伪与溯源分析方法包括以下步 骤：
17.s1，针对社交媒体中的信息，从多模态信息内容、账号可信度以及传播网 络等维度实现信息真实性的综合评定；
18.s2，然后对虚假信息进行传播分析，确定虚假信息传播的核心节点与桥梁 节点；
19.s3，基于确定的虚假信息传播的核心节点与桥梁节点，确定虚假信息的传 播脉络，并获取发布和传播虚假信息的关键账号。
20.在一实施例中，步骤s3具体包括：根据虚假信息的多级传播网络数据，即 可获得虚假信息的始发节点账号，根据计算得到虚假信息传播的核心节点与桥 梁节点，通过忽略虚假信息传播的非关键节点，获得虚假信息传播的主体传播 脉络；传播脉络中的始发节点、核心节点与桥梁节点即为发布和传播虚假信息 的关键账号。
21.本发明另一目的在于提供一种多特征融合信息鉴伪与溯源分析系统包括：
22.虚假信息内容鉴别子系统，用于针对社交媒体中的信息，从信息内容、账 号可信
度以及传播网络等维度实现信息真实性的综合评定；
23.虚假信息传播分析与溯源子系统，用于对虚假信息进行传播分析，确定虚 假信息传播的核心节点与桥梁节点，以确定虚假信息的传播脉络，并获取发布 和传播虚假信息的关键账号。
24.在一个实施例中，所述虚假消息内容鉴别子系统包括：
25.多模态特征挖掘算法模块，用于负责挖掘社交网络信息的语言语义特征、 社交文本特征、视觉特征以及文本风格特征，分析信息内容在行文风格、写作 质量、隐含情感、主题和潜在动机等方面的差异，挖掘信息创作者、阅读者和 传播者的用户属性特征、行为特征以及信用特征，以及挖掘信息的传播网络特 征；
26.基于内容的虚假信息鉴别算法模块，用于通过将信息的文本语言语义特征、 文本风格特征、多模态特征输入到基于bert的预训练神经网络模型，提取输 入内容的深层语义与不同语义层次的视觉特征，实现虚假信息的有效鉴别；
27.基于视图像伪造分析的虚假信息鉴别算法模块，用于针对人脸生成、人脸 编辑、人脸替换多种深度伪造与深度合成方式进行分析，实现视图像的合成与 篡改检测，进而实现基于视图像伪造的虚假信息鉴别；
28.基于用户可信度的虚假信息鉴别算法模块，用于将信息内容特征输入到预 训练神经网络模型中，并与用户属性特征、行为特征以及信用特征等进行有效 融合，实现基于用户可信度的虚假信息鉴别；
29.基于传播的虚假信息鉴别算法模块，通过将信息的传播网络信息输入到图 神经网络中，挖掘图神经网络中的传播深度、传播速度等特征，并与信息内容 特征进行融合，实现基于传播的虚假信息准确鉴别；
30.多维度特征融合虚假信息评估算法模块，用于对基于内容的虚假信息鉴别 算法、基于视图像伪造分析的虚假信息鉴别算法、基于用户可信度的虚假信息 鉴别算法以及基于传播的虚假信息鉴别算法从不同维度对信息内容的鉴别结果 进行综合评估，从不同维度实现虚假信息的真实性评判。
31.在一个实施例中，虚假信息传播分析与溯源子系统包括：
32.假消息传播分析算法模块，用于分析社交网络信息在传播路径与传播速度 的特性，挖掘传播演化模式差异，突破时间序列在图深度神经网络中的应用， 实现虚假信息传播路径与传播脉络的分析；
33.虚假信息溯源算法模块，用于通过对虚假信息传播特征与关键节点利用图 计算算法进行精准研判，实现虚假信息传播网络中的桥梁节点、核心节点的鉴 别以及虚假信息传播源头的定位。
34.本发明的另一目的在于提供一种计算机设备，所述计算机设备包括存储器 和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行 时，使得所述处理器执行实施所述多特征融合信息鉴伪与溯源分析方法。
35.本发明的另一目的在于提供一种计算机可读存储介质，存储有计算机程序， 所述计算机程序被处理器执行时，使得所述处理器执行实施所述多特征融合信 息鉴伪与溯源分析方法。
36.本发明的另一目的在于提供一种信息数据处理终端，所述信息数据处理终 端用
于实现于电子装置上执行时，提供用户输入接口以实施如所述多特征融合 信息鉴伪与溯源分析方法。
37.本发明的另一目的在于提供一种社交网络多特征融合信息鉴伪与溯源分析 的服务器，所述服务器运行所述多特征融合信息鉴伪与溯源分析方法。
38.本发明的另一目的在于提供一种金融系统多特征融合信息鉴伪与溯源分析 平台，所述金融系统多特征融合信息鉴伪与溯源分析平台运行所述多特征融合 信息鉴伪与溯源分析方法。
39.本发明的另一目的在于提供一种公共安全多特征融合信息鉴伪与溯源分析 客户端，所述公共安全多特征融合信息鉴伪与溯源分析客户端运行所述多特征 融合信息鉴伪与溯源分析方法。
40.结合上述的所有技术方案，本发明所具备的优点及积极效果为：
41.第一、针对上述现有技术存在的技术问题以及解决该问题的难度，紧密结 合本发明的所要保护的技术方案以及研发过程中结果和数据等，详细、深刻地 分析本发明技术方案如何解决的技术问题，解决问题之后带来的一些具备创造 性的技术效果，具体描述如下：本发明针对社交媒体中的信息，从信息内容、 账号可信度以及传播网络等维度实现信息真实性的综合评定；然后对虚假信息 进行传播分析，确定虚假信息传播的核心节点与桥梁节点，以确定虚假信息的 传播脉络，并获取发布和传播虚假信息的关键账号。
42.第二、把技术方案看作一个整体或者从产品的角度，本发明所要保护的技 术方案具备的技术效果和优点，具体描述如下：本发明通过对文本内容、多模 态内容、账号可信度与传播网络等进行特征的挖掘与有效融合，从多个维度实 现虚假信息的综合评判和准确鉴别。本发明通过对虚假信息的传播分析与溯源， 实现虚假信息传播网络中核心节点与桥梁节点的计算，进而确定虚假信息的传 播脉络，并实现虚假信息发布账号的溯源定位。
43.相比于现有技术，本发明的优点进一步包括：本发明从多个维度实现社交 媒体中虚假信息的鉴别，提升了信息鉴伪的科学性与准确性；通过对虚假信息 的传播溯源与定位，有助于增强对虚假信息的产生、传播与发酵的整个过程的 认识，进而有助于挖掘在虚假信息传播过程中的核心账号，从而有助于实现对 虚假信息的有效治理。
44.第三、作为本发明的权利要求的创造性辅助证据，还体现在以下几个重要 方面：随着社交网络与自媒体的蓬勃发展，虚假新闻和谣言也变得日益泛滥， 引发了严重的社会问题。由于虚假信息人工校核存在难度高、工作量大、时间 滞后等诸多局限性，使得针对虚假信息自动检测的研究变得更加迫切。该技术 方案可实现虚假信息的准确检测与精准溯源，在虚假信息治理、热点事件干预 等领域显示出巨大的潜力。
[0045][0046]
附图说明
[0047]
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开 的实施例，并与说明书一起用于解释本公开的原理。
[0048]
图1是本发明实施例提供的多特征融合信息鉴伪与溯源分析方法流程图；
[0049]
图2是本发明实施例提供的多特征融合信息鉴伪与溯源分析方法原理图；
[0050]
图3是本发明实施例提供的多特征融合信息鉴伪与溯源分析系统示意图；
[0051]
图中：1、虚假信息内容鉴别子系统；1-1、多模态特征挖掘算法模块；1-2、 基于内容的虚假信息鉴别算法模块；1-3、基于视图像伪造分析的虚假信息鉴别 算法模块；1-4、基于用户可信度的虚假信息鉴别算法模块；1-5、基于传播的 虚假信息鉴别算法模块；1-6、多维度特征融合虚假信息评估算法模块；2、虚 假信息传播分析与溯源子系统；2-1、假消息传播分析算法模块；2-2、虚假信 息溯源算法模块。
具体实施方式
[0052]
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图对 本发明的具体实施方式做详细的说明。在下面的描述中阐述了很多具体细节以 便于充分理解本发明。但是本发明能够以很多不同于在此描述的其他方式来实 施，本领域技术人员可以在不违背本发明内涵的情况下做类似改进，因此本发 明不受下面公开的具体实施的限制。
[0053]
一、解释说明实施例：
[0054]
如图1所示，本发明实施例提供的多特征融合信息鉴伪与溯源分析方法包 括以下步骤：
[0055]
s101，针对社交媒体中的信息，从多模态信息内容、账号可信度以及传播 网络等维度实现信息真实性的综合评定；
[0056]
其中，根据信息内容对信息的真实性进行评定由基于内容的虚假信息鉴别 算法模块1-2与基于视图像伪造分析的虚假信息鉴别算法模块1-3实现。对于纯 文本信息，通过基于内容的虚假信息鉴别算法模块1-2输出的logits值，然后通 过softmax函数得到信息真实性的概率pa。对于多模态信息，将多模态信息中的 文本信息输入到基于内容的虚假信息鉴别算法模块1-2中，然后计算得到文本信 息的真实性概率p1；并将多模态信息中的视频或图像输入到基于视图像伪造分 析的虚假信息鉴别算法模块1-3中，计算得到视图像的真实性概率p2；最后计算 多模态信息的综合真实性概率：pa＝min(p1,p2)。
[0057]
根据账号可信度对信息的真实性进行评定由基于用户可信度的虚假信息鉴 别算法模块1-4实现。通过基于用户可信度的虚假信息鉴别算法模块1-4输出的 logits值，然后通过softmax函数得到信息真实性的概率pb。
[0058]
根据传播网络对信息的真实性进行评定由基于传播的虚假信息鉴别算法模 块1-5实现。通过基于传播的虚假信息鉴别算法模块1-5输出的logits值，然后 通过softmax函数得到信息真实性的概率pc。
[0059]
最后，可以得到基于信息内容、账号可信度以及传播网络这三个维度的信 息真实性评判结果(pa,pb,pc)。
[0060]
s102，然后对虚假信息进行传播分析，确定虚假信息传播的核心节点与桥 梁节点；
[0061]
其中，核心节点通过pagerank算法进行计算。在实际计算时，以制造和传 播指定虚假信息的账号作为节点，以虚假信息的点赞、评论、转发等互动关系 作为边，从而组成一个传播网络n。与其它账号存在更多互动关系的账号，被 赋予更高的权重。此外，与更高权重账号存在互动关系的账号，也被赋予更高 的权重。核心节点计算的原始公式为：
[0062][0063]
式中，u为需要计算pagerank的账号，t1～tn是与指定账号存在互动关系的 账号，d为阻尼系数，c(t1)为节点t的出度。
[0064]
桥梁节点基于介数中心性算法进行计算，其根据最短路径经过该节点的数 量来计算该节点的重要性。算法首先计算传播网络n中每对节点之间的最短(最 小权重和)路径。每个节点根据这些通过节点的最短路径的数量计算得到一个 分数。节点所在的路径越短，其得分越高。计算公式：
[0065][0066]
式中，σ
s,t
为节点s和t之间最短路径的数量，σ
s,t
(v)为节点s和t之间最短 路径中经过节点v的最短路径数量。
[0067]
s103，根据虚假信息的多级传播网络数据，即可获得虚假信息的始发节点 账号，根据s102即可计算得到虚假信息传播的核心节点与桥梁节点，通过忽略 虚假信息传播的非关键节点，即可获得虚假信息传播的主体传播脉络。传播脉 络中的始发节点、核心节点与桥梁节点即为发布和传播虚假信息的关键账号。
[0068]
实施例2
[0069]
如图2所示，本发明实施例提供的多特征融合信息鉴伪与溯源分析方法， 用于实现社交媒体中多模态信息的鉴伪、虚假信息的传播脉络分析与溯源定位。
[0070]
实施例3
[0071]
如图3所示，本发明实施例提供的多特征融合信息鉴伪与溯源分析系统用 于实现社交媒体中多模态信息的鉴伪、虚假信息的传播脉络分析与溯源定位。 该系统由虚假信息内容鉴别子系统1、虚假信息传播分析与溯源子系统2构成。
[0072]
所述虚假信息内容鉴别子系统1用于针对社交媒体中的信息，从信息内容、 账号可信度以及传播网络等维度实现信息真实性的综合评定；
[0073]
虚假信息传播分析与溯源子系统2，用于对虚假信息进行传播分析，确定虚 假信息传播的核心节点与桥梁节点，以确定虚假信息的传播脉络，并获取发布 和传播虚假信息的关键账号。
[0074]
实施例4
[0075]
如图3所示，基于本发明实施例3提供的多特征融合信息鉴伪与溯源分析 系统，进一步的，在本发明实施例中，虚假消息内容鉴别子系统1由多模态特 征挖掘算法模块1-1、基于内容的虚假信息鉴别算法模块1-2、基于视图像伪造 分析的虚假信息鉴别算法模块1-3、基于用户可信度的虚假信息鉴别算法模块 1-4、基于传播的虚假信息鉴别算法模块1-5与多维度特征融合虚假信息评估算 法模块1-6构成。
[0076]
所述多模态特征挖掘算法模块1-1负责挖掘社交网络信息的语言语义特征、 社交文本特征、视觉特征以及文本风格特征，探究信息内容在行文风格、写作 质量、隐含情感、主题和潜在动机等方面的差异，挖掘信息创作者、阅读者和 传播者的用户属性特征、行为特征以及信用特征，以及挖掘信息的传播网络特 征。
[0077]
基于内容的虚假信息鉴别算法模块1-2通过将信息的文本语言语义特征、文 本风格特征、多模态特征输入到基于bert的预训练神经网络模型，以提取输 入内容的深层语义与不同语义层次的视觉特征，进而实现虚假信息的有效鉴别。
[0078]
基于视图像伪造分析的虚假信息鉴别算法模块1-3针对人脸生成、人脸编辑、 人脸替换等多种深度伪造与深度合成方式进行分析，以实现视图像的合成与篡 改检测，进而实现基于视图像伪造的虚假信息鉴别。
[0079]
基于用户可信度的虚假信息鉴别算法模块1-4将信息内容特征输入到预训 练神经网络模型中，并与用户属性特征、行为特征以及信用特征进行有效融合， 进而实现基于用户可信度的虚假信息鉴别。
[0080]
基于传播的虚假信息鉴别算法模块1-5通过将信息的传播网络信息输入到 图神经网络(gnn)中，进一步地挖掘图神经网络中的传播深度、传播速度等 特征，并与信息内容特征进行融合，进而实现基于传播的虚假信息准确鉴别。
[0081]
多维度特征融合虚假信息评估算法模块1-6用于对基于内容的虚假信息鉴 别算法、基于视图像伪造分析的虚假信息鉴别算法、基于用户可信度的虚假信 息鉴别算法以及基于传播的虚假信息鉴别算法从不同维度对信息内容的鉴别结 果进行综合评估，从而从不同维度实现虚假信息的真实性评判。
[0082]
在本发明实施例中，虚假信息传播分析与溯源子系统2由假消息传播分析 算法模块2-1与虚假信息溯源算法模块2-2构成。
[0083]
其中，假消息传播分析算法模块2-1用于分析社交网络信息在传播路径与 传播速度的特性，进而挖掘其传播演化模式差异，突破时间序列在图深度神经 网络中的应用，实现虚假信息传播路径与传播脉络的深入分析。
[0084]
虚假信息溯源算法模块2-2通过对虚假信息传播特征与关键节点利用图计 算算法进行精准研判，最终实现虚假信息传播网络中的桥梁节点、核心节点的 鉴别以及虚假信息传播源头的定位。
[0085]
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详 述或记载的部分，可以参见其它实施例的相关描述。
[0086]
上述装置/单元之间的信息交互、执行过程等内容，由于与本发明方法实施 例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分， 此处不再赘述。
[0087]
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上 述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上 述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不 同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功 能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在， 也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬 件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模 块的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。上 述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程， 在此不再赘述。
[0088]
二、应用实施例：
[0089]
应用例1
[0090]
本发明实施例提供了一种计算机设备，该计算机设备包括：至少一个处理 器、存储器以及存储在所述存储器中并可在所述至少一个处理器上运行的计算 机程序，所述处理器执行所述计算机程序时实现上述任意各个方法实施例中的 步骤。
[0091]
应用例2
[0092]
本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介 质存储有计算机程序，所述计算机程序被处理器执行时可实现上述各个方法实 施例中的步骤。
[0093]
应用例3
[0094]
本发明实施例还提供了一种信息数据处理终端，所述信息数据处理终端用 于实现于电子装置上执行时，提供用户输入接口以实施如上述各方法实施例中 的步骤，所述信息数据处理终端不限于手机、电脑、交换机。
[0095]
应用例4
[0096]
本发明实施例还提供了一种服务器，所述服务器用于实现于电子装置上执 行时，提供用户输入接口以实施如上述各方法实施例中的步骤。
[0097]
应用例5
[0098]
本发明实施例提供了一种计算机程序产品，当计算机程序产品在电子设备 上运行时，使得电子设备执行时可实现上述各个方法实施例中的步骤。
[0099]
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或 使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明 实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的 硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机 程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算 机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代 码形式、可执行文件或某些中间形式等。所述计算机可读介质至少可以包括： 能够将计算机程序代码携带到拍照装置/终端设备的任何实体或装置、记录介质、 计算机存储器、只读存储器(read-onlymemory，rom)、随机存取存储器 (randomaccessmemory，ram)、电载波信号、电信信号以及软件分发介质。 例如u盘、移动硬盘、磁碟或者光盘等。
[0100]
以上所述，仅为本发明较优的具体的实施方式，但本发明的保护范围并不 局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在 本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本 发明的保护范围之内。