基于多领域学习的多模态虚假新闻检测方法及系统

本发明涉及信息安全检测与多领域学习，具体为基于多领域学习的多模态虚假新闻检测方法及系统。

背景技术：

1、随着社交媒体快速发展，文本、图像融合的多模态虚假新闻大量传播，对网络认知安全造成严重威胁。多领域虚假新闻检测旨在对不同话题领域的新闻实现真实性判别，但现有多模态多领域虚假新闻检测技术仍存在三大技术缺陷：第一，真实新闻数据集呈现显著长尾分布，头部领域样本充足，尾部领域样本稀缺；多领域联合训练过程中头部领域主导参数更新，尾部领域易发生负迁移；传统风格混合增强直接跨全部领域做特征混合，不同领域间存在语义鸿沟，强行混合会产生语义偏移，破坏领域固有特征分布；

2、第二，情感操纵是虚假新闻传播的重要手段，但不同领域情感表达模式存在领域偏移。例如社会领域假新闻倾向高唤醒煽动情绪，健康领域假新闻常采用平淡客观的伪装叙事，娱乐领域真实新闻也会出现高强度情绪表达；现有技术大多将情感作为静态辅助特征，无法动态建模情感信号与新闻真假之间随领域变化的依赖关系，引入情感偏见，降低跨域检测鲁棒性。

3、第三，现有多领域模型普遍采用隐式软参数共享机制，无法显式解耦领域不变通用新闻鉴别模式与领域特有微观风格特征，两类特征相互纠缠产生特征冗余，模型跨领域泛化能力受限。

技术实现思路

1、本发明提供了基于多领域学习的多模态虚假新闻检测方法及系统。

2、本发明技术方案如下：

3、基于多领域学习的多模态虚假新闻检测方法，包括以下步骤：

4、s1.接收待检测新闻样本，待检测新闻样本包含文本信息、图像信息、所属新闻领域标签，提取特征得到基础模态特征、多模态特征、融合情感特征；

5、将新闻领域划分为若干领域簇，仅在同一领域簇内部对基础模态特征的风格分布进行自适应混合，生成增强后的基础模态特征；门控输入模态特征包括增强后的基础模态特征、多模态特征；

6、s2.将门控输入模态特征通过注意力聚合处理得到聚合模态特征，结合可学习领域嵌入向量进行领域-语义门控处理，输出基础路由；融合情感特征经过投影后通过情感门控处理得到情感路由，对情感路由进行方向和幅度调制，将调制后情感路由与基础路由残差融合归一化后得到门控输入模态特征的路由权重；

7、s3.对门控输入模态特征经专家网络处理后，并利用路由权重加权聚合，得到领域不变特征、领域特有特征，施加正交损失约束，使领域不变特征与领域特有特征的子空间相互正交，解耦得到门控输入模态特征的领域不变特征、领域特有特征；

8、s4.拼接门控输入模态特征的领域不变特征与领域特有特征得到各模态完整特征，经特征提取与概率映射后得到各单模态预测概率；聚合全部模态领域特有特征得到全局领域特征，将全局领域特征与融合情感特征拼接生成协同查询向量后，通过跨注意力处理得到各模态自适应权重，经加权聚合各模态预测概率，输出最终虚假新闻预测概率。

9、进一步，s1中仅在同一领域簇内部对基础模态特征的风格分布进行自适应混合，过程如下：对输入的文本特征、图像特征，计算特征通道维度的均值、标准差风格统计量；从同一领域簇内随机选取参考样本，基于分布采样混合系数，对锚点样本与参考样本的风格统计量做凸组合，将混合后的风格统计量注入去风格化的原始特征，生成增强后的基础模态特征，扩充尾部领域特征分布。

10、进一步，s2中对情感路由进行方向和幅度调制，过程如下：

11、将可学习的领域自适应调制系数与具备双向调制机制的激活函数相结合，对情感进行量级缩放，并将调节幅度严格约束在区间内。

12、进一步，s3中专家网络，为通过领域不变专家网络和领域特有专家网络，分别提取领域不变特征和领域特有特征。

13、进一步，s3中对领域不变特征采用带梯度反转层的领域判别器进行对抗训练，对领域特有特征采用无梯度反转层的领域判别器训练。

14、进一步，s4中各模态自适应权重，过程如下：

15、将全局领域特征与融合情感特征拼接，并通过预设映射网络生成协同查询向量，将协同查询向量作为跨注意力机制的查询特征，将各模态的完整特征作为键特征和值特征，基于查询特征、键特征和值特征进行跨注意力计算，输出各模态对应的归一化重要度权重。

16、进一步，s2中聚合模态特征，过程如下：

17、针对门控输入模态特征的特征序列，基于注意力机制，利用预设映射网络计算特征序列中各序列标记对应的重要性得分，根据重要性得分，对特征序列中的各序列标记进行加权聚合，得到聚合模态特征。

18、进一步，s1中基础模态特征包括文本特征、图像特征，融合情感特征由文本情感特征、图像情感特征融合后生成。

19、基于多领域学习的多模态虚假新闻检测系统，包括以下内容：

20、多模态特征提取与领域增强模块，接收待检测新闻样本，待检测新闻样本包含文本信息、图像信息、所属新闻领域标签，提取特征得到基础模态特征、多模态特征、融合情感特征；

21、将新闻领域划分为若干领域簇，仅在同一领域簇内部对基础模态特征的风格分布进行自适应混合，生成增强后的基础模态特征；门控输入模态特征包括增强后的基础模态特征、多模态特征；

22、双路由权重生成模块，将门控输入模态特征通过注意力聚合处理得到聚合模态特征，结合可学习领域嵌入向量进行领域-语义门控处理，输出基础路由；融合情感特征经过投影后通过情感门控处理得到情感路由，对情感路由进行方向和幅度调制，将调制后情感路由与基础路由残差融合归一化后得到门控输入模态特征的路由权重；

23、专家领域特征解耦模块，对门控输入模态特征经专家网络处理后，并利用路由权重加权聚合，得到领域不变特征、领域特有特征，施加正交损失约束，使领域不变特征与领域特有特征的子空间相互正交，解耦得到门控输入模态特征的领域不变特征、领域特有特征；

24、跨注意力协同预测模块，拼接门控输入模态特征的领域不变特征与领域特有特征得到各模态完整特征，经特征提取与概率映射后得到各单模态预测概率；聚合全部模态领域特有特征得到全局领域特征，将全局领域特征与融合情感特征拼接生成协同查询向量后，通过跨注意力处理得到各模态自适应权重，经加权聚合各模态预测概率，输出最终虚假新闻预测概率。

25、进一步，多模态特征提取与领域增强模块包括领域风格增强模块，内容如下：对输入的文本特征、图像特征，计算特征通道维度的均值、标准差风格统计量；从同一领域簇内随机选取参考样本，基于分布采样混合系数，对锚点样本与参考样本的风格统计量做凸组合，将混合后的风格统计量注入去风格化的原始特征，生成增强后的基础模态特征，扩充尾部领域特征分布。

26、本发明的有益效果在于：

27、1.本发明首先提取新闻文本、图像的基础模态、多模态及融合情感特征，通过同领域簇内特征风格自适应混合增强基础模态特征，构建门控输入模态特征；结合领域语义与情感双门控机制生成双路由，经调制融合得到模态路由权重；依托专家网络结合路由权重拆分领域不变与特有特征，通过正交损失约束实现特征解耦；最后融合两类特征得到单模态预测概率，结合全局领域特征与情感特征构建协同查询向量，通过跨注意力自适应加权聚合概率，输出最终虚假新闻检测结果。本发明缓解尾部领域样本稀缺问题，实现了领域特征解耦，提升多领域下虚假新闻检测精度。

28、2.本发明通过将新闻领域划分为若干领域簇，仅在同一领域簇内部对基础模态特征的风格分布进行自适应混合，生成增强后的基础模态特征，缓解多领域长尾分布引发的负迁移。

29、针对现有全领域风格混合易因语义鸿沟产生语义偏移，本发明结合大模型语义先验与人工评审划分语义兼容领域簇，执行簇内混合、簇间隔离，仅对簇内基础模态特征做风格统计量凸组合。由此扩充尾部样本与特征空间，避免跨簇污染，保障语义完整，促进头部知识向尾部迁移，提升尾部虚假新闻识别性能。

30、3.本发明通过将门控输入模态特征注意力聚合后结合可学习领域嵌入进行领域-语义门控得到基础路由，并将投影后的情感特征经情感门控及方向、幅度调制后与基础路由残差融合归一化，生成该门控输入模态特征的路由权重，解决了跨域情感异质性、消除了静态判别偏见，将情感信号作为门控调制因子，借助领域自适应可学习系数动态控制其放大、抑制或反向抵消。情感线索作用随领域偏移，不再简单将高唤醒情感等同于虚假新闻，从而实现情感线索领域自适应利用，提升虚假新闻识别性能。

31、4.本发明通过将门控输入模态特征经专家网络处理并按路由权重加权聚合，得到领域不变与领域特有特征，并以正交损失约束二者子空间正交，实现特征解耦；以梯度反转层对抗学习领域不变通用判别模式，领域判别器学习领域特有微观风格，并用正交损失约束两子空间正交，剥离冗余互信息，显式解耦，获得更纯净特征表示。

32、5.本发明通过将各模态领域不变与领域特有特征拼接后预测单模态概率，再以全局领域特征和融合情感特征经跨注意力生成的自适应权重加权聚合，输出最终虚假新闻预测概率，进一步提升整体检测精度；不同模态在不同领域场景下判别价值动态变化，本发明结合领域信息与融合情感特征生成协同查询向量，通过跨注意力机制动态计算文本、图像、多模态分支的自适应权重，对各模态独立预测概率加权聚合，充分挖掘图文模态各自判别优势。