基于面部情感轨迹的视频欺骗检测方法及系统

摘要: 本发明涉及计算机视觉,尤其涉及基于面部情感轨迹的视频欺骗检测方法、系统及设备。背景技术:1、视频欺骗检测在安防问询、司法辅助、远程身份核验、风险访谈、人机交互评...
基于面部情感轨迹的视频欺骗检测方法及系统

本发明涉及计算机视觉,尤其涉及基于面部情感轨迹的视频欺骗检测方法、系统及设备。

背景技术:

1、视频欺骗检测在安防问询、司法辅助、远程身份核验、风险访谈、人机交互评估等场景中具有重要应用价值。

2、为实现视频欺骗检测,常见的方法包括人工观察、多模态检测以及单模态检测。多模态检测即依赖多种传感器采集的视频、语音、文本、生理信号等进行判别,可以克服人工观察的主观性。单模态检测即直接从目标视频帧中提取视觉特征,再利用深度学习模型完成分类判断。此外,现有部分方案尝试将情感识别结果或表情变化作为辅助线索用于欺骗检测。

3、然而,多模态检测的部署成本高,在仅有视频输入的场景下存在较大应用限制。单模态检测易受光照、遮挡等视觉噪声干扰,可解释性不足,即便引入情感线索,也多依赖单帧情感结果,无法处理情感识别带来的噪声。而现有图学习、时序建模手段也缺少针对人脸情感时序轨迹的适配方案,尤其是针对面部情感随时间演化所形成的连续轨迹信息。

4、因此,亟需提供一种基于面部情感轨迹的视频欺骗检测方法以解决上述问题。

技术实现思路

1、本申请提供基于面部情感轨迹的视频欺骗检测方法及系统,用以解决现有技术中存在的仅依赖视频输入实现欺骗行为的检测准确率低的问题。

2、第一方面,本申请提供基于面部情感轨迹的视频欺骗检测方法,包括:

3、对待检测视频的各目标视频帧依次进行人脸检测,得到按时间顺序排列的人脸图像序列;

4、从所述人脸图像序列中提取各目标视频帧的人脸特征后映射得到表征各目标视频帧在多个预设情感类别上的分布状态的向量,遍历所述人脸图像序列形成待检测的面部情感向量序列;

5、基于所述面部情感向量序列生成的节点集合和邻接矩阵构建情感轨迹图,对所述情感轨迹图进行编码,得到所述情感轨迹图的图级表示;

6、对所述面部情感向量序列进行时序建模,得到表征各目标视频帧的重要性的时序权重,形成时序权重向量;

7、将所述情感轨迹图的图级表示和广播后的所述时序权重向量逐元素相乘,将得到的视频欺骗检测特征表示输入预训练的检测模型,得到待检测视频的欺骗检测结果。

8、第二方面,本申请提供基于面部情感轨迹的视频欺骗检测系统,包括:

9、人脸图像序列获取模块,用于对待检测视频的各目标视频帧依次进行人脸检测,得到按时间顺序排列的人脸图像序列;

10、情感向量构建模块,用于从所述人脸图像序列中提取各目标视频帧的人脸特征后映射得到表征各目标视频帧在多个预设情感类别上的分布状态的向量,遍历所述人脸图像序列形成待检测的面部情感向量序列;

11、情感轨迹图构建与编码模块,用于基于所述面部情感向量序列生成的节点集合和邻接矩阵构建情感轨迹图,对所述情感轨迹图进行编码,得到所述情感轨迹图的图级表示;

12、时序建模模块,用于对所述面部情感向量序列进行时序建模,得到表征各目标视频帧的重要性的时序权重,形成时序权重向量;

13、融合与分类输出模块,用于将所述情感轨迹图的图级表示和广播后的所述时序权重向量逐元素相乘,将得到的视频欺骗检测特征表示输入预训练的检测模型,得到待检测视频的欺骗检测结果。

14、本发明实施例提供的技术方案带来的有益效果至少包括:

15、1、针对伪造视频单帧人脸肉眼难以分辨真伪,但会出现情感时序演化异常的问题,本申请中按照离散均匀采样或非均匀采样的方式提取待检测视频的多个目标视频帧。然后进行人脸检测、人脸特征提取、情感映射,得到各目标视频帧的帧级情感向量,并在人脸缺失时检索相邻帧进行补偿,维持帧索引号、序列长度不变,避免因人脸漏检导致的网络输入维度错乱。再按照时序构成情感轨迹图,同时引入时序建模学习各目标视频帧的重要性,通过图卷积神经网络得到情感轨迹图的图级表示,结合广播的时序权重向量进行融合,整个方案依托情感时序演化特征实现人脸视频欺骗检测,通过有效捕捉时序演化异常来提升欺骗检测的识别能力。

16、2、本申请中的检测模型采用半监督多损失联合训练,首先利用用于训练的各目标视频帧的帧级情感向量确定对应的候选情感伪标签,并结合预设置信度阈值进一步区分可信目标视频帧和不可信目标视频帧,针对可信目标视频帧采用交叉熵表示的第一损失监督情感输出,不可信目标视频帧采用带时间邻域掩码的info-nce损失表示的第二损失约束时序情感关系,两者加权求和的第三损失作为半监督情感损失,充分利用无充分真值标签的数据,降低模型对大规模欺骗标注样本的依赖,提升模型在小样本条件下的泛化性能。叠加第四损失优化情感轨迹图内部节点特征与拓扑结构,第五损失完成整条视频欺骗二分类监督,即各损失分别对帧级情感输出、时序关系、图结构、视频全局判别形成分层约束,梯度反向传播协同更新整套网络参数,逐级约束人脸、情感映射、图卷积神经网络的输出质量,提升模型整体检测精度。

17、3、针对应用场景中欺骗情绪爆发、快速摇头、短时遮挡这类持续时间很短的欺骗事件,先对待检测视频的全量帧进行分析得到各帧的波动参数并进行加权求和得到综合波动值,然后基于综合波动值区分是进行离散均匀采样还是非均匀采样,若进行非均匀采样对划分的波动子区间进行加密采样、多平稳子区间进行降采样,规避固定间隔采样跳过瞬态高风险片段的缺陷,保留关键欺骗证据。其中,加密采样减少了连续多帧人脸漏检的情形,降低触发缺失补偿的频次,降低了人物身份错配、重复人脸的出现概率。并通过等间隔抽稀、补充采样保证两种采样得到的目标视频帧总数相同,保证了后续输入维度的一致性,提高了视频欺骗检测的准确性、鲁棒性。

18、本申请的这些方面或其他方面在以下实施例的描述中会更加简明易懂。

1.基于面部情感轨迹的视频欺骗检测方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的基于面部情感轨迹的视频欺骗检测方法,其特征在于,所述人脸图像序列的获取包括:

3.根据权利要求2所述的基于面部情感轨迹的视频欺骗检测方法,其特征在于,所述对待检测视频进行采样,得到多个目标视频帧,包括:

4.根据权利要求3所述的基于面部情感轨迹的视频欺骗检测方法,其特征在于,所述对待检测视频进行非均匀采样包括:

5.根据权利要求2所述的基于面部情感轨迹的视频欺骗检测方法,其特征在于,所述待检测的面部情感向量序列包括:

6.根据权利要求5所述的基于面部情感轨迹的视频欺骗检测方法,其特征在于,所述基于所述面部情感向量序列生成的节点集合和邻接矩阵构建情感轨迹图包括:

7.根据权利要求1所述的基于面部情感轨迹的视频欺骗检测方法,其特征在于,所述对所述情感轨迹图进行编码,得到所述情感轨迹图的图级表示包括:

8.根据权利要求5所述的基于面部情感轨迹的视频欺骗检测方法,其特征在于,所述对所述面部情感向量序列进行时序建模,得到表征各目标视频帧的重要性的时序权重,形成时序权重向量包括:

9.根据权利要求6所述的基于面部情感轨迹的视频欺骗检测方法,其特征在于,所述检测模型,总损失的计算包括:

10.基于面部情感轨迹的视频欺骗检测系统,其特征在于,包括: