基于策略驱动混合门控的多模态视频真实性检测方法

本发明涉及视频检测，具体涉及一种基于策略驱动混合门控的多模态视频真实性检测方法。

背景技术：

1、随着社交媒体和短视频平台的快速发展，文本、图像、音频和视频相结合的多模态内容已成为网络信息传播的重要载体。与单一文本形式的虚假信息相比，多模态视频虚假信息能够综合利用夸张性文本、误导性画面、情绪化音频、异常字幕以及视频剪辑等多种手段影响用户判断，具有传播速度快、隐蔽性强和识别难度高等特点。因此，对多模态视频内容进行准确、稳定的真实性检测，已成为网络内容治理和网络空间安全领域亟需解决的技术问题。

2、现有多模态视频真实性检测方法主要通过文本编码器、视觉编码器和音频编码器提取不同模态的特征，并采用特征拼接、注意力加权或跨模态交互等方式对各模态特征进行融合。上述方法能够在一定程度上利用不同模态之间的互补信息，但通常将所提取的信息作为普通特征进行统一聚合，缺少对不同特征所代表真实性证据的显式区分。

3、从虚假信息形成机制来看，不同视频样本所依赖的真实性证据并不相同。部分虚假视频主要表现为文本与画面之间的语义不一致、文本与音频之间的情绪冲突或内容夸张等内容异常；另一部分虚假视频则主要表现为ocr文字布局异常、字幕呈现异常、视频片段持续时间异常或剪辑顺序异常等编辑痕迹。因此，对于不同的视频样本，真实性检测模型应当能够选择内容型证据、编辑型证据或二者的协同证据进行判别。

4、现有特征融合方法通常采用固定融合结构。即使注意力机制能够针对不同样本生成不同权重，其底层融合结构仍保持不变，各证据分支均参与最终预测。当某一证据分支与当前样本的真实性判断无关时，强制将该分支纳入融合过程容易引入噪声。现有基于动态权重的方法虽然能够连续调节不同证据的贡献比例，但难以显式关闭无效证据分支；现有基于动态路由的方法虽然能够选择特定分支，但难以对多个分支之间的协同贡献进行连续、细粒度调节。

5、此外，证据分支选择属于离散决策，而证据贡献比例属于连续决策，二者共同构成离散与连续相结合的混合决策空间。传统监督学习方法难以在缺少动作级标签的情况下联合优化融合结构选择和分支贡献调节，导致检测模型无法根据不同样本的具体证据状态自适应确定最佳融合方式。

6、综上所述，现有技术方法存在以下问题及缺陷：

7、一、现有方法通常将多模态信息作为普通特征进行聚合，缺少对内容型证据和编辑型证据的显式划分与针对性建模；

8、二、现有固定融合结构难以适应不同视频样本对真实性证据的差异化依赖，容易引入无关证据噪声；

9、三、现有连续加权方法无法显式跳过无效证据分支，而现有离散路由方法难以实现多个证据分支贡献比例的细粒度调节；

10、四、现有技术缺少对离散融合结构和连续融合权重进行联合优化的机制，难以形成样本级自适应的证据融合策略。

11、基于此，本发明提出一种基于策略驱动混合门控的多模态视频真实性检测方法，以解决上述问题。

技术实现思路

1、本发明提供一种基于策略驱动混合门控的多模态视频真实性检测方法，以解决现有多模态视频真实性检测方法采用固定融合结构，难以根据不同视频样本动态选择真实性证据并调节证据贡献比例的问题。

2、本发明实施例中提供一种基于策略驱动混合门控的多模态视频真实性检测方法，所述方法包括：

3、对待检测视频进行多模态特征提取，获取多模态特征集合；

4、将所述多模态特征集合中的特征划分为内容型证据和编辑型证据，并对所述内容型证据和编辑型证据进行编码得到内容型证据编码向量和编辑型证据编码向量；

5、根据所述内容型证据编码向量和编辑型证据编码向量的差异，构造双证据策略状态；

6、将所述双证据策略状态输入预先训练的混合策略门控网络，输出不同策略动作的预测概率，所述策略动作包括仅采用内容型证据对应的单独预测结果、仅采用编辑型证据对应的单独预测结果、对两类证据的单独预测结果执行交互融合、对两类证据的单独预测结果执行加权融合，并选取其中预测概率最大值对应的策略动作进行执行得到未归一化预测结果；

7、将所述未归一化预测结果输入线性分类层，经softmax归一化得到待检测视频为真实或虚假的二分类概率，选取较大概率对应的类别作为最终视频真实性检测结果。

8、进一步地，对待检测视频进行多模态特征提取，获取多模态特征集合，具体包括：

9、对待检测视频进行包括文本语义特征、文本情绪特征、视觉语义特征、音频情绪特征、ocr相关编辑特征以及视频片段级编辑特征的多模态特征提取；

10、其中，所述文本语义特征用于表征视频中的包括字幕文本、视频标题、视频描述以及语音转写文本的文本所表达内容含义，文本情绪特征用于表征文本中所蕴含情感状态，视觉语义特征用于表征视频关键帧或采样帧中包括人物、物体、场景、人物姿态及其空间关系的画面语义信息，音频情绪特征用于表征音频声学信号所传递的语音情绪状态；

11、所述ocr相关编辑特征包括ocr短语特征和ocr视觉模式特征；ocr短语特征用于表示基于ocr识别得到的视频画面中的文字内容；ocr视觉模式特征用于表示基于ocr识别得到的视频画面中的文字布局、颜色、位置和显示形式；

12、所述视频片段级编辑特征包括片段级编辑内容特征、片段持续时间特征和片段时间位置特征；所述片段级编辑内容特征用于表征视频片段内部的时空内容以及相邻片段之间的包括画面变化、运动变化和内容跳转的编辑信息，片段持续时间特征和片段时间位置特征分别用于表示片段长度和片段在视频时间轴中的位置。

13、进一步地，将所述多模态特征集合中的特征划分为内容型证据和编辑型证据，具体包括：

14、将文本语义特征、文本情绪特征、视觉语义特征以及音频情绪特征划分为内容型证据；

15、将包括ocr短语特征和ocr视觉模式特征的ocr相关编辑特征以及包括片段级编辑内容特征、片段持续时间特征和片段时间位置特征的视频片段级编辑特征划分为编辑型证据；

16、将所述内容型证据中的文本情绪特征与音频情绪特征送入基于transformer的情绪证据编码模块，通过将文本情绪特征与音频情绪特征经模态对齐、transformer编码以及均值池化处理，输出统一情绪证据向量；

17、将所述内容型证据中的文本语义特征与视觉语义特征送入基于transformer的语义证据编码模块，通过将文本语义特征与视觉语义特征经模态对齐、transformer编码、跨模态注意力操作以及均值池化处理，输出统一语义证据向量；

18、将所述编辑型证据中的ocr短语特征和ocr视觉模式特征送入基于transformer的ocr证据编码模块，将ocr短语特征和ocr视觉模式特征经模态对齐、transformer编码以及均值池化处理，输出统一ocr证据向量；

19、将所述编辑型证据中的片段级编辑内容特征、片段持续时间特征和片段时间位置特征送入基于transformer的ocr证据编码模块，将ocr短语特征和ocr视觉模式特征经模态对齐、transformer编码以及均值池化处理，输出统一片段编辑型证据向量；

20、将得到的统一情绪证据向量和统一语义证据向量进行拼接得到内容型证据编码向量；

21、将得到的统一ocr证据向量和统一片段编辑型证据向量进行拼接得到编辑型证据编码向量。

22、进一步地，根据所述内容型证据编码向量和编辑型证据编码向量的差异，构造双证据策略状态，具体包括：

23、

24、其中，表示双证据策略状态，表示内容型证据编码向量和编辑型证据编码向量之间的逐元素绝对差异。

25、进一步地，所述混合策略门控网络包括策略编码器、动作映射分支和权重映射分支；所述策略编码器的输出端分别与动作映射分支和权重映射分支连接；

26、所述策略编码器包括依次连接的第一全连接层、第一relu激活层、第二全连接层和第二relu激活层，其中第一全连接层以双证据策略状态作为输入，经线性变换和relu激活后得到中间特征，然后将中间特征输入第二全连接层，并经relu激活后得到隐藏决策表示：

27、

28、

29、其中，和分别表示第一全连接层和第二全连接层的权重矩阵，和分别表示对应的偏置向量；表示策略编码器；

30、将得到的隐藏决策表示分别输入动作映射分支和权重映射分支；

31、所述动作映射分支包括输出维度为4的第三全连接层以及softmax层；第三全连接层将隐藏决策表示映射为四种策略动作对应的动作评分：

32、

33、再通过softmax层得到策略动作概率分布：

34、

35、其中，表示第四全连接层的权重矩阵，表示对应的偏置向量；表示离散动作映射函数；表示在给定双证据策略状态的条件下，选取策略动作a的概率；

36、所述权重映射分支包括输出维度为1的第四全连接层以及sigmoid层；第四全连接层将隐藏决策表示映射为融合权重评分：

37、

38、其中，表示权重映射函数；表示sigmoid函数；表示用于加权融合的融合权重，。

39、进一步地，所述策略动作包括仅采用内容型证据对应的单独预测结果、仅采用编辑型证据对应的单独预测结果、对两类证据的单独预测结果执行交互融合、对两类证据的单独预测结果执行加权融合，具体包括：

40、建立动作空间a={0，1，2，3}，其中动作0：对两类证据的单独预测结果执行交互融合，动作1：仅采用内容型证据对应的单独预测结果，动作2：仅采用编辑型证据对应的单独预测结果，动作3：对两类证据的单独预测结果执行加权融合，令、、、分别为执行对应动作0，1，2，3的预测结果；

41、

42、其中，为仅采用内容型证据对应的单独预测结果，通过将内容型证据编码向量输入用于二分类任务的内容分支预测网络后输出的视频真实性预测结果；

43、

44、其中，为仅采用编辑型证据对应的单独预测结果，通过将编辑型证据编码向量输入用于二分类任务的编辑分支预测网络后输出的视频真实性预测结果；

45、

46、其中，表示双曲正切激活函数，⊙表示逐元素乘法；

47、

48、其中，表示融合权重，由权重映射分支输出。

49、进一步地，所述方法还包括：

50、在训练过程，采用包括预热训练阶段和策略优化阶段的两阶段训练策略对网络模型进行训练；

51、其中，在预热训练阶段，以混合策略门控网络输出的各动作概率为加权系数，对各动作的执行结果进行加权求和，得到视频样本的预测结果，从而避免模型在训练初期过早固定选择某一种动作：

52、

53、其中，表示在策略状态下选择第个策略动作的概率，表示第个视频样本对应的执行第个动作的预测结果；表示在预热训练阶段第个视频样本对应的预测结果；

54、在策略优化阶段，沿用预热训练得到的网络模型参数，并根据混合策略门控网络输出的各动作概率对动作进行采样，并执行所采样动作得到对应的预测结果，并通过奖励函数判断所采样动作是否适合当前样本，从而优化动作概率分布：

55、

56、其中，表示在策略优化阶段第个视频样本对应的预测结果，表示第i个视频样本对应的执行被采样动作的预测结果。

57、进一步地，在策略优化阶段，针对第个视频样本构建奖励函数：

58、

59、其中，表示第个视频样本对应的所采样动作获得的总奖励；表示检测奖励，用于评价预测结果对真实标签的预测效果；表示分支重要性奖励，用于评价所采样动作是否偏向对当前样本判断更加可靠的证据分支；表示融合权重正则项，用于约束融合权重；和表示对应奖励项的权重系数；

60、检测奖励表示为：

61、

62、

63、其中，表示第个视频样本执行所采样动作后得到的预测结果；为第i个视频样本的真实类别标签，取值0时表示真实视频，取值为1时表示虚假视频；表示对执行softmax函数后得到的类别概率向量；表示从类别概率向量中取出的真实类别标签对应的预测概率；表示预测结果与真实分类标签之间的交叉熵损失；

64、分支重要性奖励表示为：

65、

66、其中：

67、

68、

69、其中，表示第个视频样本的分支重要性奖励；和分别表示第个视频样本的仅采用内容型证据对应的单独预测结果和仅采用编辑型证据对应的单独预测结果，和分别为对和执行softmax函数后得到的类别概率向量；表示第个视频样本的真实分类标签；和分别为从类别概率向量和中取出的真实类别对应的预测概率；表示第个视频样本的分支偏好指示量；表示双曲正切激活函数，用于将分支重要性奖励限制在范围内；

70、其中，分支偏好指示量表示为：

71、

72、其中，表示针对第个视频样本采样得到的动作；当时，对两类证据的单独预测结果执行交互融合，此时不单独偏向内容分支或编辑分支，因此令；当时，仅采用内容型证据对应的单独预测结果，表示偏向内容型证据分支，因此令；当时，仅采用编辑型证据对应的单独预测结果，表示偏向编辑型证据分支，因此令；当时，对两类证据的单独预测结果执行加权融合，令，根据融合权重确定分支偏好方向和偏好程度；

73、融合权重正则项表示为：

74、

75、其中，表示第个视频样本的融合权重正则项；表示第个视频样本的融合权重；表示融合权重相对于平衡权重0.5的偏离程度；表示融合权重正则控制参数；当时，对偏离平衡状态的融合权重进行约束，以提高融合过程的稳定性；当时，鼓励融合权重向其中一个证据分支倾斜，以提高融合决策的明确性。

76、进一步地，在策略优化阶段，根据批量样本的平均奖励更新移动奖励基线：

77、

78、

79、其中，表示当前训练批次中全部视频样本的平均奖励；表示当前训练批次包含的视频样本数量；表示第个视频样本的总奖励；表示移动奖励基线，用于表征模型在训练过程中的平均奖励水平；表示移动奖励基线的动量系数；符号“”表示使用符号右侧计算结果更新左侧的移动奖励基线；模型开始训练时，移动奖励基线初始化为0；在每个训练批次完成奖励计算后，利用当前批次平均奖励对移动奖励基线进行更新。

80、进一步地，所述方法还包括：

81、训练过程的总损失表示为：

82、

83、其中，表示模型训练过程的总损失；表示监督分类损失；表示策略损失；表示策略损失的权重系数，用于调节监督分类目标和策略优化目标之间的贡献比例；

84、其中监督分类损失表示为：

85、

86、其中，表示监督分类损失；表示第个视频样本的预测结果；和分别表示第个视频样本的仅采用内容型证据对应的单独预测结果和仅采用编辑型证据对应的单独预测结果；表示第个视频样本的真实分类标签；表示交叉熵损失函数；和分别表示相应的权重系数；

87、策略损失表示为：

88、

89、其中，表示策略损失；表示当前训练批次中包含的视频样本数量；表示当前训练批次中的第个视频样本；表示第个视频样本所采样动作的优势值；表示第个视频样本对应的双证据策略状态；表示在双证据策略状态下选择所采样动作的概率；表示熵正则系数；表示熵函数。

90、本发明提供一种基于策略驱动混合门控的多模态视频真实性检测方法，具有以下有益效果：

91、1、本发明通过将多模态特征显式划分为内容型证据与编辑型证据，并结合策略驱动的融合机制，能够针对不同虚假视频样本自适应选择最具判别力的真实性证据来源。当某一类证据与当前样本关联性较弱时，可有效降低其参与融合的程度甚至直接跳过，从而减少无关或噪声信息对检测结果的干扰，提高整体判别的准确性与鲁棒性。

92、二、本发明构建了融合结构选择与融合权重调节相结合的混合决策机制，通过离散动作实现证据分支的动态路由，通过连续权重实现证据贡献比例的精细调节，使模型既能够在不同证据分支之间进行灵活切换，又能够在多证据协同时实现细粒度融合，从而显著提升融合机制的表达能力与适应能力。

93、三、本发明采用预热训练与奖励驱动优化相结合的策略学习方式，在训练初期通过软执行机制保证各融合原语均获得充分梯度信号，在后期通过基于奖励的策略优化逐步强化有效融合路径，从而有效提升策略学习的稳定性，避免门控网络过早收敛至单一融合模式，增强模型对复杂样本分布的适应能力。

94、四、本发明在中文短视频数据集和英文短视频数据集上均取得较高的检测准确率和稳定性能，验证了所提出方法在不同语言环境、不同平台数据分布下的泛化能力，表明该方法具备良好的跨语言、跨场景适用性，能够适应多样化的实际应用需求。

95、五、本发明可广泛应用于短视频平台内容审核、网络谣言识别、媒体内容真实性验证、舆情风险监测以及网络空间安全治理等场景，通过提升虚假视频检测的准确性与可靠性，有助于降低虚假信息传播带来的社会风险与经济损失，具有显著的工程应用价值和推广前景。