意图感知与证据评分的细粒度多模态谣言检测方法

本发明涉及自然语言处理与计算机视觉，尤其涉及一种意图感知与证据评分的细粒度多模态谣言检测方法。

背景技术：

1、近年来，谣言检测技术取得了显著进展。早期研究主要依赖文本内容、传播结构或用户行为等单模态信息进行真实性判别，早期单模态检测方法通过卷积神经网络（cnn）、循环神经网络（rnn）、transformer以及图神经网络（gnn）等模型学习文本语义或传播模式，在一定程度上提升了谣言检测性能。然而，随着社交媒体中图文混合内容的广泛传播，多模态谣言检测逐渐成为研究热点。现有方法通过融合文本与图像信息，结合跨模态注意力、对比学习以及外部知识检索等技术，在多个公开数据集上取得了优于单模态方法的检测效果。

2、现有的谣言检测方法在许多主流的技术路线上取得了较好的性能，但仍然存在着一定的局限性：第一，现有方法通常对提取的文本、图像等特征直接进行融合，容易受到冗余信息和噪声特征的干扰；第二，现有证据相关的谣言检测方法主要关注证据与新闻内容的语义相关性，而缺乏对证据质量和可信度的有效评估，导致低质量甚至错误证据容易影响模型的最终决策；第三，当前跨模态交互方法大多关注全局语义一致性，而对于细粒度文本特征与图像局部区域之间的细粒度语义关系捕捉不充分，限制了模型对图文语义冲突和一致性的判别能力；第四，社交媒体中的谣言往往伴随着特定的传播目的，如制造恐慌、误导公众或吸引关注，而现有研究更多关注内容本身，对传播意图等高层语义信息获取较少，导致模型对谣言传播机制的理解仍然不足。

技术实现思路

1、本发明旨在至少解决现有技术中难以充分挖掘多模态特征及细粒度跨模态语义关联，影响信息的有效表达，以及对外部证据质量和传播意图等高层语义信息捕捉不充分，限制了模型的真实性推理能力的问题，特别创新地提出了一种意图感知与证据评分的细粒度多模态谣言检测方法。

2、为了实现本发明的上述目的，本发明提供了一种意图感知与证据评分的细粒度多模态谣言检测方法，包括以下步骤：

3、s1，对帖子文本、帖子图像以及对应的外部文本证据和图像证据分别进行特征提取，获得相应的文本特征、图像特征和证据特征；

4、s2，将所述文本特征和所述图像特征输入多门控混合专家网络进行精炼，获得文本增强特征和图像增强特征；

5、s3，分别评估各条文本证据和各条图像证据的质量得分，根据质量权重对各条证据特征进行加权聚合，获得最终证据表示；

6、s4，构建细粒度文本特征与图像区域特征之间的跨模态关联，进行双向语义对齐，获得细粒度模态对齐特征；

7、s5，分别从所述文本增强特征和所述图像增强特征中提取文本传播意图和图像传播意图，经门控融合获得传播意图感知特征；

8、s6，将各特征投影至统一语义空间，通过门控机制动态分配权重并进行加权融合，获得融合后的高层语义表示；

9、s7，将所述高层语义表示输入分类器，获得帖子所属的真实性类别的预测结果。

10、上述技术方案优选的，所述s1包括：采用预训练语言模型作为文本编码器，对所述帖子文本进行编码获得帖子文本特征，并采用共享参数的所述文本编码器对每条文本证据进行编码获得文本证据特征；采用预训练的视觉模型作为图像编码器，对所述帖子图像进行编码获得帖子图像特征，并采用共享参数的所述图像编码器对每条图像证据进行编码获得图像证据特征；所述帖子文本特征与所述文本证据特征的维度保持一致，所述帖子图像特征与所述图像证据特征的维度保持一致。

11、上述技术方案优选的，所述s2包括：所述多门控混合专家网络包括共享专家池、门控网络和任务塔；将所述文本特征和所述图像特征输入所述共享专家池，由共享专家池中的多个专家网络分别从不同语义视角挖掘输入特征中的潜在信息，获得多个专家输出；通过所述门控网络动态确定各专家输出的重要性权重，并对多个专家输出进行加权融合获得共享表示；所述任务塔包括第一任务塔和第二任务塔，所述第一任务塔将所述共享表示映射至统一语义空间进行模态对齐，获得对齐表示，所述第二任务塔对所述共享表示进行精炼，获得真实性判别特征；所述文本增强特征和所述图像增强特征分别由对应模态的对齐表示和真实性判别特征构成。

12、上述技术方案优选的，所述s3包括：对于文本证据，将所述文本增强特征与每条文本证据特征进行拼接得到联合表示，通过质量评估网络计算各条文本证据的质量得分，对无效位置的文本证据采用掩码方式进行过滤，并对各条文本证据的质量得分进行归一化得到质量权重，根据所述质量权重对各条文本证据特征进行加权求和，获得文本证据聚合特征；对于图像证据，按照相同方式获得图像证据聚合特征；将所述文本证据聚合特征和所述图像证据聚合特征进行拼接并投影，获得最终证据表示。

13、上述技术方案优选的，所述s4包括：计算每个细粒度文本特征与每个图像区域特征之间的语义相似度，得到跨模态关联矩阵；沿图像区域维度对所述跨模态关联矩阵进行归一化处理，得到文本到图像的注意力矩阵，通过注意力加权获得每个细粒度文本对应的图像语义表示；沿细粒度文本维度对所述跨模态关联矩阵进行归一化处理，得到图像到文本的注意力矩阵，通过注意力加权获得每个图像区域对应的文本语义表示；对所述图像语义表示和所述文本语义表示分别进行平均池化，并将池化结果拼接后投影，获得所述细粒度模态对齐特征。

14、上述技术方案优选的，所述s5中文本传播意图的提取包括：对文本序列特征进行情感预测，获得每个细粒度文本属于积极、中性及消极三类情感的概率分布；根据情感概率序列的方差衡量文本情感波动程度，获得情绪波动特征；构建修辞词典，统计所述帖子文本中修辞表达的覆盖率，并将所述覆盖率投影至高维语义空间，获得修辞特征；将所述文本增强特征、所述情绪波动特征和所述修辞特征进行融合，获得所述文本传播意图。

15、上述技术方案优选的，所述s5中图像传播意图的提取包括：使用所述文本编码器对情感提示词进行编码，构建视觉情感原型矩阵；将所述图像增强特征映射至所述文本编码器的语义空间并进行归一化，计算归一化后的图像表示与所述视觉情感原型矩阵中各情感原型之间的相似度，获得视觉情感相似度向量；计算文本情感分布与所述视觉情感相似度向量之间的余弦相似度，作为跨模态情感一致性特征；将所述图像增强特征、所述视觉情感相似度向量和所述跨模态情感一致性特征进行融合，获得所述图像传播意图；将所述文本传播意图和所述图像传播意图映射至统一空间并计算门控权重，根据所述门控权重对二者进行自适应整合，获得所述传播意图感知特征。

16、上述技术方案优选的，所述s6包括：将所述文本增强特征和所述图像增强特征中的对齐表示与真实性判别特征、所述最终证据表示、所述细粒度模态对齐特征以及所述传播意图感知特征分别投影至统一的语义空间，构建联合表示；利用门控网络学习各特征对应的权重系数，以自适应地衡量不同特征的重要程度；按照所述权重系数对各特征进行加权，并将加权后的各特征进行求和，获得融合后的高层语义表示。

17、上述技术方案优选的，所述s7包括：将所述高层语义表示输入全连接分类器，并通过归一化函数获得所述帖子属于各真实性类别的预测概率，取预测概率最大值对应的类别作为预测结果；模型训练过程中，以预测结果与真实标签之间的交叉熵损失作为主要分类目标，并引入多个辅助优化目标进行联合优化，所述辅助优化目标包括特征增强的正交约束损失、证据评分的质量正则化损失、细粒度模态对齐的约束一致性损失以及传播意图感知的对比损失。

18、上述技术方案优选的，所述s7中真实性类别包括非谣言、谣言和未经验证的谣言。

19、综上所述，由于采用了上述技术方案，本发明的有益效果是：

20、首次将mmoe（多门控混合专家网络）用于多模态谣言检测任务，通过多个专家网络学习语义信息，并设计了门控机制自适应融合不同专家的表示，实现更加鲁棒的多模态特征学习；提出了一个证据评分模块，对检索到的证据进行质量评估，根据证据的可信程度动态分配权重，有效解决低质量证据带来的噪声干扰；设计了一个细粒度模态对齐模块，通过捕捉细粒度文本特征与图像局部区域之间的细粒度语义对应关系，增强了跨模态语义一致性表示；构建了一个融合证据评分、细粒度模态对齐和传播意图感知的多模态谣言检测框架，将传播意图感知引入新闻与证据驱动的真实性检测过程，实现了内容语义、证据信息和传播行为的协同推理。

21、本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。