基于事件感知多模态表示学习的短视频假新闻检测方法

摘要: 本发明涉及虚假新闻检测领域,尤其涉及一种基于事件感知多模态表示学习的短视频假新闻检测方法。背景技术:1、短视频平台也逐渐成了新闻事件传递的承载媒介和大众讨论热门...
基于事件感知多模态表示学习的短视频假新闻检测方法

本发明涉及虚假新闻检测领域,尤其涉及一种基于事件感知多模态表示学习的短视频假新闻检测方法。

背景技术:

1、短视频平台也逐渐成了新闻事件传递的承载媒介和大众讨论热门话题的聚集地,短视频平台的假新闻检测实质上是对包含上述多模态信息的短视频帖子作出其背后所表达的新闻事件真实性程度的判决,最终输出“真实”或者“虚假”等类别判决结果。

2、现有内容语义类方法大都先分别抽取文本、视觉、声学特征,然后利用注意力机制等融合网络或分类器判断真假。例如svfend使用跨模态transformer表示新闻内容,tiktec基于字幕和视觉/音频线索检测短视频虚假信息,fakingrecipe从虚假新闻创作过程的素材选择与编辑偏好角度进行检测。还有方法直接调用gpt - 4、gpt - 4v等大模型语言或多模态大模型,根据标题、关键帧、ocr文本进行零样本判断,上述方法并没有有效利用同一新闻事件下多个帖子之间共享的纯净事件语义。用户产出的短视频往往经过剪辑等操作,易混入主观观点以及各种噪声,直接学习得到的多模态特征表示并不稳定。如果仅采用单层分类范式,模型无法同时兼顾整体事件一致性判断与模态细节核验,最终影响检测准确率。

技术实现思路

1、本发明的目的在于提供一种基于事件感知多模态表示学习的短视频假新闻检测方法,提高了文本模态、视觉模态和声学模态的稳定性;提升了低质量模态表示对新闻事件核心语义的表达能力。

2、本发明由如下技术方案实施:一种基于事件感知多模态表示学习的短视频假新闻检测方法,包括:

3、步骤s1:输入多个短视频帖子的标题、帧序列图像、ocr文本和音频,对每一个短视频帖子的标题、ocr文本进行拼接,输入文本编码模型进行文本特征提取,生成文本细粒度模态特征;利用视觉编码模型对帧序列图像进行帧级外观特征提取,生成视觉细粒度模态特征以及利用声学编码模型对音频进行声学特征提取,生成声学细粒度模态特征;

4、步骤s2:大语言模型按照提示词将标题和ocr文本生成多个短视频帖子级事件摘要;利用clip文本编码模型对短视频帖子事件摘要进行编码,生成帖子级文本细粒度模态特征,并计算任意两个帖子级文本细粒度模态特征的余弦相似度;根据余弦相似度和事件分组阈值对短视频帖子进行分组;

5、步骤s3:利用bert文本编码模型对组级事件文本进行编码,生成组级事件细粒度模态特征,采用事件mlp对组级事件细粒度模态特征进行投影;且采用模态特定mlp对文本细粒度模态特征、视觉细粒度模态特征和声学细粒度模态特征进行投影;

6、步骤s4:将投影后的组级事件细粒度模态特征、文本细粒度模态特征、视觉细粒度模态特征和声学细粒度模态特征进行时间维度时间维度拼接,生成事件模态细粒度模态特征时间序列,且采用多模态自注意力模块对事件模态细粒度模态特征时间序列进行交互,输出增强事件模态细粒度特征时间序列;

7、步骤s5:将投影后的模态特征、增强事件模态细粒度特征时间序列输入多头交叉注意力模块进行相关性计算,输出更新后的事件模态特征序列;对更新后的事件模态特征序列依次输入逐位置前馈网络、时间维平均池化和layernorm 层归一化,对应得到事件全局表示和事件下的模态全局表示;利用事件级对比损失函数计算负对数;

8、步骤s6:将步骤s4中的增强的事件模态隐藏特征时间序列中的模态隐藏特征输入多查询注意力模块,共享键投影和值投影,输出二次增强后的模态时序序列;将二次增强后的模态时序序列经过掩码平均池化对齐,沿时间维度平均值池化后,输入局部分类器,得到局部预测概率;

9、步骤s7:对步骤s5中的事件全局表示和事件下的模态全局表示进行线性层投影和归一化,将线性层投影和归一化后的事件全局表示和事件下的模态全局表示相加,得到综合全局表示,利用综合全局表示计算出全局预测概率;

10、步骤s8:将事件级对比损失、局部预测概率和全局预测概率输入优化模型中进行优化,直至达到预设训练轮数,输出局部预测概率和全局预测概率;根据优化的局部预测概率和优化的全局预测概率确定短视频真假。

11、进一步的,步骤2中计算任意两个贴子级文本模态原始特征的余弦相似度;根据余弦相似度和事件分组阈值对短视频帖子进行分组的具体方法包括:

12、步骤s20:计算帖子级文本细粒度模态特征之间的事件语义相似度,计算公式为:

13、

14、式中,表示事件语义相似度,,表示任意两个帖子级文本细粒度模态;

15、步骤s21:根据事件语义相似度和事件分组阈值进行分组,其中,事件分组阈值的取值范围为;

16、事件语义相似度和事件分组阈值进行分组的具体方法包括:

17、若事件语义相似度大于或等于事件分组阈值,则两个短视频帖子视为同一事件;若事件语义相似度小于事件分组阈值,则两个短视频帖子视为不同事件。

18、进一步的,步骤s3中具体包括:

19、步骤s30:将组级事件文本输入bert文本编码模型中,经过分词得到组级事件细粒度模态,将组级事件细粒度模态进行bert编码,输出组级事件细粒度模态特征,记为;

20、步骤s31:将组级事件细粒度模态特征输入事件mlpe,经过事件mlpe变化后的得到维度为的组级事件细粒度模态特征,记为,计算公式为:

21、

22、步骤s32:将文本细粒度模态特征、视觉细粒度模态特征和声学细粒度模态特征分别输入模态特定mlp,相应得到维度为的文本细粒度模态特征、维度为的视觉细粒度模态特征和维度为声学细粒度模态特征,计算公式为:

23、,。

24、进一步的,步骤s4中具体方法包括:

25、步骤s40:将维度为的组级事件细粒度模态特征、维度为的文本细粒度模态特征、维度为的视觉细粒度模态特征和维度为声学细粒度模态特征进行时间维度拼接,得到事件模态隐藏特征时间序列,记为x,

26、;

27、步骤s41:将事件模态隐藏特征时间序列输入多模态自注意力模块中,输出增强的事件模态细粒度模态特征时间序列;

28、其中,事件模态隐藏特征时间序列包括组级事件细粒度模态向量、文本细粒度模态向量、视觉细粒度模态向量和声学细粒度模态向量,组级事件细粒度模态向量分别与文本细粒度模态向量、视觉细粒度模态向量和声学细粒度模态向量进行注意力计算;注意力计算公式为:

29、

30、,,

31、式中,表示文本细粒度模态、视觉细粒度模态和声学细粒度模态矩阵,表示组级事件细粒度模态矩阵,表示值矩阵,,,均表示可学习投影矩阵;表示矩阵的转置矩阵;表示文本细粒度模态、视觉细粒度模态、声学细粒度模态和组级事件细粒度模态的维度。

32、进一步的,步骤s5中具体方法包括:

33、步骤s50:将投影后的模态特征、增强事件细粒度特征的每个头和增强模态细粒度特征的每个头输入多头交叉注意力模块,输出增强事件模态细粒度特征融合头;

34、其中,将增强事件细粒度特征的每个头和增强模态细粒度特征的每个头进行注意力计算,计算公式为:

35、

36、,,

37、式中,表示增强事件细粒度特征切分后的子空间矩阵,表示增强模态细粒度特征切分后的子空间矩阵,表示矩阵的转置矩阵,表示增强事件细粒度特征切分后的子空间矩阵和增强模态细粒度特征切分后的子空间矩阵的相关性矩阵;,,表示第i个头可学习投影矩阵;

38、步骤s51:将增强事件模态细粒度特征融合头沿特征维度拼接,输出更新后的事件模态特征序列;计算公式为:

39、

40、式中,表示可学习线性变换矩阵,表示增强事件模态细粒度特征融合头;

41、步骤s52:更新后的事件模态特征序列内的对齐事件模态特征和更新后的模态特征输入逐位置前馈网络进行非线性变换,非线性变换公式为:

42、

43、式中,表示第一层可学习权重矩阵;表示第一层偏置向量;为第一层信线性变换,表示非线性激活函数;表示第二层可学习权重矩阵;表示第二层偏置向量;

44、步骤s53:将非线性变化后的对齐事件模态特征和更新后的模态特征进行时间维度平均池化,时间维度平均池化的计算公式为:

45、

46、式中,表示平均池化输出向量;表示更新后的事件模态特征序列总长度;表示两层多层感知机,表示非线性变换更新后的事件模态特征序列

47、步骤s54:对时间维度平均池化后的对齐事件模态特征进行layernorm层归一化得到事件全局表示;对时间维度平均池化后更新后的模态特征进行layernorm层归一化,得到模态全局表示;

48、layernorm层归一化计算公式为:

49、

50、式中,表示第i个事件下短视频帖子集合;表示第i个事件下短视频帖子集合的数量;为温度系数;表示模态全局事件的转置;

51、事件全局表示为

52、模态全局表示为;

53、步骤s55:将事件全局表示和模态全局表示进行比值,得到值正负样本比值;

54、

55、步骤s56:利用事件级对比损失函数计算负对数,负对数计算公式为:。

56、进一步的,步骤s6中具体方法包括:

57、步骤s60:将增强文本模态细粒度特征,增强视觉模态细粒度特征和增强声学模态细粒度特征输入多查询注意力模块进行多查询注意力计算,输出的二次增强文本模态细粒度特征,二次增强视觉模态细粒度特征和二次增强声学模态细粒度特征;

58、多查询注意力计算公式为:

59、步骤s61:将二次增强文本模态细粒度特征、二次增强视觉模态细粒度特征和二次增强声学模态细粒度特征相加,得到融合多模态时序特征,表示为:

60、

61、步骤s62:对融合多模态时序特征进行掩码平均池化,掩码平均池化的计算公式为:

62、

63、步骤s63:将掩码平均池化后的融合多模态时序特征输入局部分类器,得到局部对数几率;对数几率的计算公式为:

64、

65、式中,表示局部对数几率,表示局部分类器的全部可学习参数;表示局部分类器

66、步骤s64:将对数几率经softmax得到局部预测概率;局部预测概率的计算公式为:

67、

68、式中,表示局部预测概率;表示局部分支判为真实新闻的概率,表示判为虚假新闻的概率。

69、进一步的,步骤s7具体方法包括:

70、步骤s70:将事件全局表示、文本模态全局表示、视觉模态全局表示和声学模态全局表示进行线性层投影和归一化,得到归一化后的事件全局表示、文本模态全局表示、视觉模态全局表示和声学模态全局表示,将事件全局表示、归一化后的文本模态全局表示、视觉模态全局表示和声学模态全局表示相加得到综合全局表示;

71、线性层投影公式为:,,,;

72、式中,表示线性层投影后的事件全局表示;表示线性层投影后的文本模态全局表示;表示线性层投影后的视觉模态全局表示;表示线性层投影后的声学模态全局表示;,,表示可学习权重矩阵,,,表示偏置项;

73、归一化公式为:,

74、式中,表示向量二范数;表示线性层投影后的文本模态全局表示、线性层投影后的视觉模态全局表示和线性层投影后的声学模态全局表示;

75、综合全局表示为:

76、步骤s71:将综合全局表示输入全局分类器,输出全局对数几率;全局对数几率计算公式为:

77、

78、式中,表示全局对数几率,表示全局对数几率;表示为全局分类器参数;

79、步骤s72:将全局对数几率经softmax得到全局预测概率,全局预测概率的计算公式为:

80、;

81、式中,表示全局分支判为真实新闻的概率;表示判为虚假新闻的概率。

82、进一步的,步骤s8具体方法包括:

83、步骤s8具体方法包括:

84、步骤s80:将局部预测概率和全局预测概率输入优化模型中,根据局部预测概率计算出局部二分类交叉熵损失;根据全局预测概率和真实标签计算出全局二分类交叉熵损失;

85、局部二分类交叉熵损失的计算公式为:

86、

87、式中,表示局部二分类交叉熵损失,表示输入向量;

88、全局二分类交叉熵损失计算公式为:

89、

90、步骤s81:事件级对比损失、局部二分类交叉熵损失和局部二分类交叉熵损失相加,得到总损失;

91、总损失函数:

92、步骤s83:利用总损失进行反向传播,优化编码适配层、mlp、注意力模块和分类器等可训练参数的梯度;利用链式求导法则计算各可训练参数的梯度;

93、步骤s84:分别计算各可训练参数的梯度的一阶矩估计值和二阶矩估计值;

94、步骤s85:对一阶矩估计值和二阶矩估计值进行偏差校正;

95、步骤s86:将校正后的一阶矩估计值和二阶矩估计值输入更新模型中,直至达到预设训练轮数时,输出局部预测概率和全局预测概率;

96、步骤s87:根据优化的局部预测概率和优化的全局预测概率进行等权平均融合,得到总预测概率向量,根据总预测概率向量确定短视频真假。

97、本发明的优点:

98、1、根据细粒度模态特征的余弦相似度将同一新闻事件下的多个短视频帖子聚合起来,获得比单帖摘要更纯净、更稳定的事件先验;采用多模态自注意力模块将事件细粒度模态特征分别与文本细粒度模态特征、视觉细粒度模态特征和声学细粒度模态特征进行交互,融合了全部时序证据后的增强事件语义;文本细粒度模态向量、视觉细粒度模态向量和声学细粒度模态向量中每一个细粒度模态向量被事件细粒度模态特征修正,不再只依赖片段本身,具备全局事件视野;提升了低质量模态表示对新闻事件核心语义的表达能力。

99、2、对投影后的模态特征、增强事件模态细粒度特征时间序列进行多头交叉注意力计算,以增强事件细粒度特征作为 query,多头交叉注意力会给增强事件细粒度特征匹配度高分配高注意力权重,无关片段权重压低,聚焦各增强模态细粒度特征中与增强事件细粒度特征强相关的片段,抑制主观观点以及各种噪声,提高了文本模态、视觉模态和声学模态的稳定性。

100、3、构建局部和全局双分支预测架构,局部分支对增强事件模态隐藏特征时序序列引入多查询注意力挖掘时序细粒度依赖,经时间维度平均池化聚合时序信息,通过局部分类器输出局部预测概率;全局分支融合事件全局表示与模态全局表示,经线性投影与归一化得到全局预测概率。采用 adamw 优化器对双分支参数联合优化,将局部预测概率与全局预测概率进行等权平均融合,得到最终总预测概率向量。该架构同时利用片段时序细粒度证据与事件整体语义信息,实现局部时序线索与全局事件逻辑的互补,提升了短视频虚假信息检测的鲁棒性和准确度。