一种基于层次逻辑谓词与双向Mamba的多模态虚假新闻检测方法

本发明属于人工智能与数据处理，具体涉及一种基于层次逻辑谓词与双向mamba的多模态虚假新闻检测方法。

背景技术：

1、随着社交媒体平台的快速发展，新闻内容越来越多地以文本与图像共同出现的形式传播。虚假新闻发布者不仅可以通过编造文本事实进行误导，还可以采用旧图新用、错误连接、图像篡改、冒充来源、讽刺表达或具有误导性的图文组合等方式增强内容的迷惑性。因此，仅依据文本语义或单一图像内容进行真假判断，难以完整覆盖多模态虚假新闻中的复杂欺骗模式。

2、现有多模态虚假新闻检测方法通常采用文本编码器与视觉编码器提取连续特征，再通过拼接、注意力、门控或对比学习等方式完成多模态融合。上述方法能够利用文本与图像信息，但最终真假判别往往直接发生在高维连续表示上，缺少“可信”“矛盾”“不确定”“图文匹配”“错误连接”“篡改”等具有明确语义含义的中间推理变量，使得模型难以显式表达不同证据之间的逻辑支持、冲突和复合欺骗关系。

3、部分方法尝试引入神经符号变量或人工规则，但如果仅设置少量离散变量，难以同时覆盖关系状态、欺骗机制、图文配对及高阶复合逻辑；如果将全部逻辑变量一次性输入同一推理器，又容易忽略其天然语义分组。关系类、机制类、配对类和派生类谓词具有不同的内部依赖结构，因此更适合先进行组内上下文建模，再保留组内增强后的token级证据进入跨组全局推理。

4、此外，逻辑谓词序列并不存在天然的单向时间顺序。若仅采用单向扫描，前部谓词无法接收后部谓词的状态信息，容易使人工排列顺序对推理结果产生方向性影响。双向状态空间扫描能够分别在原顺序和反转顺序上进行选择性状态传播，再将两个方向的信息对齐融合，为结构化谓词序列提供双向上下文。

5、mamba基于选择性状态空间模型，可根据当前输入动态调节状态更新，在避免构造两两全连接注意力矩阵的情况下实现序列状态传播。然而，若仅把mamba用作低层文本或视觉编码器，仍难以直接体现虚假新闻检测中的显式逻辑关系。因此，需要先将图文融合特征转换为具有明确语义的基础谓词和派生谓词，再利用局部与全局双向mamba进行层次化逻辑推理。

6、综上，现有多模态虚假新闻检测方法仍存在显式逻辑证据表达不足、不同语义类型的逻辑变量缺少分组建模，以及单向或扁平化推理难以充分利用谓词间双向依赖等问题，有必要在多模态特征之上建立可微、分组且具有跨组联合建模能力的层次逻辑推理机制。

技术实现思路

1、为解决上述技术问题，本发明提出一种基于层次逻辑谓词与双向mamba的多模态虚假新闻检测方法。该方法首先分别编码新闻文本和配套图像，并将两种模态特征拼接形成统一多模态特征；然后由谓词生成器构建关系类、欺骗机制类和图文配对类基础逻辑谓词，再利用可微模糊逻辑构造派生逻辑谓词；随后将各谓词映射为token并划分为四个逻辑组，通过参数共享的局部双向mamba对各组执行组内双向推理，得到四组局部增强谓词序列；四组增强序列在token维进行拼接形成全局逻辑序列，再通过全局双向mamba进行跨组逻辑推理，获得结构化全局推理状态；最终由二分类主头输出真假新闻结果，并可在训练阶段设置六分类辅助头及逻辑一致性约束。

2、本发明是通过以下技术方案实现的：一种基于层次逻辑谓词与双向mamba的多模态虚假新闻检测方法，包括以下步骤：

3、步骤1、多模态特征编码与融合：对输入新闻文本和配套图像分别采用预训练文本编码器和预训练图像编码器进行特征提取，得到文本特征和图像特征，并在特征维进行拼接或等效融合，形成多模态融合特征；

4、具体方法为：

5、将新闻文本x输入预训练文本编码器et，将新闻图像i输入预训练图像编码器ei，分别对编码结果执行全局池化或等效特征汇聚，得到文本特征ft和图像特征fi：

6、

7、其中，dt和di分别表示文本特征维度和图像特征维度；所述文本编码器采用能够输出上下文语义表示的预训练语言模型，所述图像编码器采用能够输出视觉语义表示的预训练视觉网络；所述文本编码器采用macbert，所述图像编码器采用swintransformer；pooltext和poolimage分别表示文本编码器输出与图像编码器输出的全局池化或等效特征汇聚算子；所述等效特征汇聚是指将文本编码器输出的序列特征或图像编码器输出的空间特征转换为固定维度特征向量的可微汇聚操作；df表示文本特征与图像特征拼接后得到的多模态特征f的维度；x表示输入新闻文本，i表示与所述新闻文本对应的输入新闻图像，et和ei分别表示预训练文本编码器和预训练图像编码器，ft和fi分别表示经对应汇聚算子得到的文本特征向量和图像特征向量。

8、将文本特征ft与图像特征fi在特征维进行拼接，得到统一多模态特征f：

9、

10、将所述多模态特征f输入共享的谓词特征映射网络，形成用于多个谓词输出头共同使用的谓词生成表示：

11、

12、其中，hp表示供多个基础谓词输出头共享的谓词生成表示；φp表示由一层或多层全连接层、归一化层、非线性激活层或其组合构成的谓词生成器；所述谓词生成表示同时包含文本语义信息、视觉语义信息及二者在联合特征空间中的对应关系信息；dp表示所述共享谓词生成表示的维度。

13、步骤2、基础逻辑谓词构建：将所述多模态融合特征输入可学习的谓词生成器，生成包括关系类谓词、欺骗机制类谓词和图文配对类谓词的多组基础逻辑谓词；

14、所述步骤2中，谓词生成器基于多模态融合特征形成供多个基础谓词输出头共享的谓词生成表示hp，所述谓词生成表示的维度为dp；谓词生成器连接三个基础谓词输出头，分别得到关系类、欺骗机制类和图文配对类基础谓词概率：

15、

16、

17、

18、其中，wr、wm、wp分别表示关系类、欺骗机制类和图文配对类谓词输出头的权重参数，br、bm、bp为对应偏置参数，pr、pm、pp为对应谓词概率向量；关系类谓词包括trusted、weak、contradiction和uncertain四个谓词；欺骗机制类谓词包括true、satire、false_connection、imposter、manipulated和misleading六个谓词；图文配对类谓词包括pair_match和pair_mismatch两个谓词，从而形成十二个基础逻辑谓词；

19、各谓词输出头共享由同一多模态融合特征获得的谓词生成表示，输出层保持独立参数；关系类谓词输出头、欺骗机制类谓词输出头和图文配对类谓词输出头分别输出4维、6维和2维的谓词概率向量pr、pm和pp；相应地，wr、wm和wp的矩阵尺寸分别为4×dp、6×dp和2×dp，br、bm和bp的维度分别为4、6和2；softmax表示归一化指数函数，用于将各输出头的未归一化得分转换为对应的谓词概率向量。关系类谓词概率向量pr的各分量依次为ptrusted、pweak、pcontradiction和puncertain；欺骗机制类谓词概率向量pm的各分量依次为ptrue、psatire、pfalse_connection、pimposter、pmanipulated和pmisleading；图文配对类谓词概率向量pp的各分量依次为ppair_match和ppair_mismatch。上述各概率分量均位于[0,1]，且同一谓词概率向量的全部分量之和为1。

20、步骤3、派生逻辑谓词构建：按照预设的逻辑组合关系，采用可微模糊逻辑算子对所述基础逻辑谓词进行组合，生成派生逻辑谓词；其中，部分派生逻辑谓词由多个基础逻辑谓词直接组合得到，部分派生逻辑谓词由基础逻辑谓词与已生成的派生逻辑谓词进一步组合得到；

21、所述步骤3中，采用可微模糊逻辑对基础谓词以及已由基础谓词构造的派生逻辑谓词进行逐级组合；模糊与和模糊或分别定义为：

22、

23、

24、其中，au∈[0,1]表示第u个参与组合的谓词真值，n表示参与当前模糊逻辑组合的谓词数量；af和of分别表示模糊与算子和模糊或算子，下标f表示模糊逻辑算子的标识下标。基于上述算子，本实施方式构造关系冲突、任意虚假机制、真实支持、语义欺骗、跨模态欺骗、矛盾虚假、配对真实支持和配对冲突虚假八个派生逻辑谓词，所述八个派生逻辑谓词按照如下可微模糊逻辑关系构造：

25、

26、

27、

28、

29、

30、

31、

32、

33、其中，prc、pfa、pts、psd、pcmd、pcf、ppts和ppcf分别表示关系冲突、任意虚假机制、真实支持、语义欺骗、跨模态欺骗、矛盾虚假、配对真实支持和配对冲突虚假；参与上述派生组合的基础谓词真值ptrusted、pweak、pcontradiction、puncertain、ptrue、psatire、pfalse_connection、pimposter、pmanipulated、pmisleading、ppair_match、ppair_mismatch分别表示对应十二个基础逻辑谓词的真值，取值均位于[0,1]；pfa和pts在后续组合式中表示已先行构造的派生逻辑谓词，并可继续作为可微模糊逻辑算子的输入参与逐级组合。

34、步骤4、谓词token化与逻辑分组：将基础逻辑谓词和派生逻辑谓词的标量值映射为向量token，并按照谓词的语义功能划分为关系组、机制组、配对组和派生组；

35、所述步骤4中，将第j个逻辑谓词的真值pj通过可学习值投影映射到dtok维token空间；将pj与其反真值1-pj共同作为值投影输入，并叠加谓词类型嵌入和逻辑组嵌入：

36、

37、其中，φv表示谓词值投影网络；ejtype表示第j个谓词的语义身份嵌入，eg(j)group表示第j个谓词所属逻辑组的组嵌入；所述谓词语义身份嵌入和逻辑组嵌入均为可训练参数，维度均为dtok，分别用于标识谓词的具体语义身份及其所属逻辑组。所述谓词语义身份嵌入和逻辑组嵌入的初始值可采用随机初始化或等效可训练初始化方式，并在模型训练过程中与谓词值投影网络的参数共同更新。

38、十二个基础谓词与八个派生谓词分别按照如下四组组织：其中，j表示谓词索引，g(j)表示第j个谓词所属逻辑组，dtok表示统一的谓词token隐藏维度；ej表示第j个谓词对应的向量token；gr、gm、gp和gd分别表示关系组、机制组、配对组和派生组的谓词token序列；pj∈[0,1]；φv以由pj与1-pj构成的二维数值向量为输入，并输出dtok维向量。

39、

40、

41、

42、

43、其中，etrusted、eweak、econtradiction、euncertain、etrue、esatire、efalse_connection、eimposter、emanipulated、emisleading、epair_match和epair_mismatch分别表示十二个基础逻辑谓词对应的向量token；erc、efa、ets、esd、ecmd、ecf、epts和epcf分别表示关系冲突、任意虚假机制、真实支持、语义欺骗、跨模态欺骗、矛盾虚假、配对真实支持和配对冲突虚假八个派生逻辑谓词对应的向量token；gr、gm、gp和gd分别表示关系组、机制组、配对组和派生组的谓词token序列，各组token数量依次为4、6、2和8，每个谓词token的隐藏维度均为dtok。

44、步骤5、共享局部双向mamba组内推理：将所述关系组、机制组、配对组和派生组中的谓词token序列分别输入参数共享的局部双向mamba；针对每一逻辑组的谓词token序列，分别执行正向选择性状态空间扫描和反向选择性状态空间扫描，并对两个扫描方向的输出进行融合，得到与该逻辑组输入序列长度一致的局部增强谓词序列；

45、所述步骤5中，对于任一逻辑组g，采用四个逻辑组之间共享参数的局部双向mamba执行组内推理：

46、

47、

48、其中，ml表示四个逻辑组之间共享参数的局部mamba，rev(·)表示反转序列顺序；gg表示第g个逻辑组的输入token序列，hg→和hg←分别表示正向扫描结果与恢复原顺序后的反向扫描结果；正向输出与恢复原顺序的反向输出经融合、残差连接和归一化得到局部增强谓词序列cg，且保持该逻辑组的token数量不变；wl和bl分别表示双向状态融合的权重矩阵和偏置向量，ln表示层归一化，lg表示第g个逻辑组的token数量。wl及其转置矩阵wlt的尺寸分别为dtok×2dtok和2dtok×dtok；双向拼接状态在公式中右乘wlt，逐token映射回dtok维；bl为dtok维偏置向量，并按token位置广播相加；gg、hg→和hg←的尺寸均为lg×dtok；式中分号“;”表示沿特征维拼接两个方向的状态。g∈{r,m,p,d}，其中r、m、p、d分别表示关系组、机制组、配对组和派生组，相应的局部增强谓词序列cg分别记为cr、cm、cp和cd。

49、

50、其中，cg表示第g个逻辑组经共享局部双向mamba增强后的谓词token序列，关系组、机制组、配对组和派生组对应的局部增强谓词序列分别记为cr、cm、cp和cd；lg表示第g个逻辑组的token数量，lr、lm、lp和ld分别为4、6、2和8；dtok表示每个谓词token的隐藏维度。因此，共享局部双向mamba仅增强组内上下文表示，不改变对应逻辑组的token数量及单个token的隐藏维度。

51、步骤6、全局双向mamba跨组推理：将所述关系组、机制组、配对组和派生组对应的局部增强谓词序列按照预设逻辑组顺序进行拼接，形成全局逻辑序列；采用全局双向mamba对所述全局逻辑序列分别执行正向和反向选择性状态空间扫描，并融合两个方向的扫描结果，得到结构化全局推理状态；对所述结构化全局推理状态进行特征汇聚，获得全局逻辑表示；

52、所述步骤6中，将关系组、机制组、配对组和派生组的局部增强谓词序列cr、cm、cp和cd依次拼接为全局逻辑序列：

53、

54、使用独立于局部推理器的全局双向mamba对所述全局逻辑序列执行正向和反向扫描：

55、

56、

57、

58、其中，cg表示四组局部增强谓词序列拼接得到的全局逻辑序列，lg表示其token长度，mg表示全局mamba，rev(·)表示反转序列顺序，u→和u←分别表示全局正向扫描结果与恢复原顺序后的反向扫描结果，wg和bg分别表示全局双向状态融合的权重矩阵和偏置向量，ln表示层归一化；hg表示保持全局序列结构的跨组推理状态，hg表示由hg经特征汇聚得到的紧凑全局逻辑表示；poollogic表示对结构化全局推理状态hg执行可学习池化、注意力池化、均值池化或等效特征汇聚的算子，所述汇聚方式均为可微操作，其输出维度与单个谓词token的隐藏维度一致，以保证训练阶段梯度能够由全局逻辑表示反向传播至前级推理模块；其中，等效特征汇聚是指输入为序列状态、输出为单个固定维度全局表示且保持可微的序列汇聚操作。wg及其转置矩阵wgt的尺寸分别为dtok×2dtok和2dtok×dtok；双向拼接的全局状态在公式中右乘wgt，逐token映射回dtok维；bg为dtok维偏置向量，并按token位置广播相加；hg保持lg个token，每个token的维度为dtok，hg的维度为dtok；式中分号“;”表示沿特征维拼接两个方向的全局状态；concat表示沿token维按照关系组、机制组、配对组和派生组的预设顺序进行拼接；cg、u→、u←和hg的尺寸均为lg×dtok，且lg=lr+lm+lp+ld。其中，dtok表示单个谓词token的统一隐藏维度；lr、lm、lp和ld分别表示关系组、机制组、配对组和派生组的token数量，其取值依次为4、6、2和8；lg表示全局逻辑序列的token总数。

59、步骤7、模型训练与虚假新闻检测：将所述全局逻辑表示输入主分类头，得到真实新闻和虚假新闻的预测结果；在具备相应细粒度机制标签时，训练阶段设置细粒度辅助分类头并通过联合损失对模型参数进行优化，检测阶段以主分类头的输出作为最终真假新闻判定结果。

60、所述步骤7中，二分类主头与训练阶段的六分类辅助头分别以全局逻辑表示hg为输入：

61、

62、

63、其中，hg表示全局逻辑表示，其维度为dtok；dtok表示统一的谓词token隐藏维度；lbin和laux分别表示二分类主头和六分类辅助头的未归一化分类得分，维度分别为2和6；wbin和waux以及bbin和baux分别表示对应分类头的权重矩阵和偏置向量。

64、其中，wbin的尺寸为2×dtok，bbin的维度为2；waux的尺寸为6×dtok，baux的维度为6。ŷ和q̂分别表示经softmax归一化后的二分类预测概率向量和六分类预测概率向量；softmax表示归一化指数函数，各概率分量均位于[0,1]，且同一概率向量的全部分量之和为1。

65、二分类未归一化得分与概率向量均按“真实新闻、虚假新闻”的顺序排列；六分类未归一化得分与概率向量均按true、satire、false_connection、imposter、manipulated、misleading的顺序排列。二分类主头在训练和检测阶段均保留；六分类辅助头仅在具备相应细粒度监督标签的训练阶段参与优化，检测阶段不参与最终类别判别，最终检测结果由二分类主头的输出确定。

66、与现有技术相比，本发明具有以下有益效果：

67、（1）本发明将文本特征和图像特征在特征维进行拼接或等效融合，再由可学习谓词生成器将所得多模态融合特征显式转换为具有明确语义含义的基础逻辑谓词，形成“多模态特征—逻辑谓词—层次推理—分类决策”的结构化检测链路。

68、（2）本发明同时建模关系状态、欺骗机制和图文配对等不同基础逻辑空间，并利用可微逻辑生成高阶派生谓词，使模型能够显式表达可信支持、矛盾、配对冲突及复合欺骗等多种证据关系。

69、（3）本发明采用可微模糊与、模糊或及其等效逻辑算子将基础谓词构造成派生逻辑证据，使预设的逻辑组合关系能够与神经网络共同进行端到端优化。

70、（4）本发明在四个逻辑组内部使用参数共享的局部双向mamba进行组内双向推理，并保留各组完整的局部增强token序列；在全局阶段将四组增强序列拼接后再由全局双向mamba进行跨组双向推理，能够联合建模关系组、机制组、配对组与派生组之间的高阶组合证据和跨组欺骗模式，同时避免在局部阶段过早压缩造成的细粒度证据丢失。

71、（5）局部和全局阶段均采用正向与反向选择性扫描，使每个谓词能够同时接收其前后语义位置的状态信息，降低固定谓词排列顺序带来的单向传播偏差。

72、（6）本发明设置二分类主头和可选的细粒度辅助头，辅助头仅用于训练阶段提供监督，部署阶段可以移除，从而在保持最终检测路径简洁的同时利用细粒度标签提升全局逻辑表示的判别性。

73、（7）本发明的核心推理仅依赖输入图文、预训练感知编码器、显式逻辑谓词及双向状态空间推理器，不要求调用外部大语言模型生成背景知识或推理文本，便于在固定模型版本和离线环境中实现与复现。