基于掩码保护的驾驶员疲劳驾驶表情视频数据生成方法

摘要: 本发明属于智能汽车,具体的说是一种基于掩码保护的驾驶员疲劳驾驶表情视频数据生成方法。背景技术:1、人机共驾已成为l2和l3级辅助驾驶的主要形态,驾驶员监控系统(...
基于掩码保护的驾驶员疲劳驾驶表情视频数据生成方法

本发明属于智能汽车,具体的说是一种基于掩码保护的驾驶员疲劳驾驶表情视频数据生成方法。

背景技术:

1、人机共驾已成为l2和l3级辅助驾驶的主要形态,驾驶员监控系统(drivermonitoring system,dms)作为保障行车安全的核心组件,其重要性日益凸显。dms通过车内摄像头实施捕捉驾驶员的面部表情、头部姿态及肢体动作,以识别疲劳驾驶、分心驾驶等危险驾驶行为,并及时发出预警。为了确保dms系统对驾驶员疲劳驾驶状态的精准识别,模型必须经过大量高质量、多样性的数据进行测试,确保其在多场景类型下的功能鲁棒性。

2、然而,在实际工程中,获取足够的驾驶员疲劳驾驶视频数据面临诸多困难。一辆实验车往往只在一个位置上安装一款舱内摄像头,为丰富数据库,需招募大量驾驶员在不同的安装位置与不同参数的摄像头下进行数据采集,这在时间、人力、经费上的成本极高,而且一些疲劳驾驶表情(如闭眼时间过长、频繁打哈欠等)出于安全考虑无法在实车中频繁模拟,导致驾驶员疲劳驾驶状态数据难以获取,影响模型测试进程。

技术实现思路

1、为解决上述问题,本发明提供了一种基于掩码保护的驾驶员疲劳驾驶表情视频数据生成方法,结合了潜在空间特征解耦与多图层深度合成技术,通过引入独立权重的二值化遮罩作为空间约束项,本方法有效阻断了面部特征形变对二维像素平面上相邻但未物理重叠的物体边缘的牵引力,精准消除了复杂交互场景下极易产生的局部像素拉扯与扭曲伪影。同时,利用高精度面部特征分析与动态重定向能力,生成自然流畅的目标表情,并通过掩码逆向映射合成连续的视频流。本发明旨在利用带有空间约束的表情生成管线,高效率、无伪影地合成高逼真度的多姿态驾驶员疲劳测试视频数据,从而为dms算法测试与验证提供可靠的数据支撑。

2、本发明技术方案结合附图说明如下:

3、本发明提供了一种基于掩码保护的驾驶员疲劳驾驶表情视频数据生成方法,包括:

4、s1、源数据获取与保护掩码构建;

5、首先获取包含复杂交互场景的静态驾驶员源图像,以及表征目标疲劳状态的动态驱动视频序列;随后,提取源图像中与面颊在像素平面相邻但不重叠的物体边界;最终,基于边界信息生成二值化保护遮罩,在像素级划定不受形变干扰的刚性保护区;

6、s2、图像高精度人脸检测与特征解析;

7、首先提取面部边界框及高维关键点坐标;随后,将面部区域对齐并裁剪为消除空间偏差的标准尺寸图像;系统对输入的动态驱动视频进行逐帧解析,提取代表时序变化的头部三维姿态参数与面部肌肉运动向量;

8、s3、结合掩码机制的潜在空间表情重定向;

9、系统将源面部特征与驱动运动序列映射至潜在空间,进行身份与表情的特征解耦;针对与面部紧密相邻但物理未遮挡的物体,系统通过掩码权重强制切断形变梯度;

10、s4、多图层遮罩融合与时序视频序列生成;

11、系统首先通过逆仿射变换,将生成的单帧目标面部图像精准映射回原始源图像的初始空间坐标;随后,构建“原图-生成面部-保护遮罩”的多图层深度合成管线;最后,沿时间轴循环迭代单帧合成过程,将离散帧序列化编码,输出驾驶员疲劳表情视频。

12、进一步的,所述s1的具体方法如下:

13、s11、输入包含目标驾驶员特征及复杂交互场景的静态源图像,定义为三维张量,其中,h、w、c分别表示图像的高度、宽度和颜色通道数即c=3,在实际驾驶场景中,图像空间不仅包含驾驶员的面部区域,还包含与面部紧密相邻的干扰物体区域;所处理的复杂交互场景是指驾驶员面部区域与手机、手掌、香烟或其他非面部物体在二维图像中的投影边界相邻,但二者在物理空间中不存在相互遮挡的场景;对应的面部区域与邻近物体区域互不重叠,即;

14、s12、获取包含目标疲劳表情的驱动视频序列,将所述驱动视频序列定义为沿时间维度排列的图像集合:(1)

15、其中表示第t帧驱动图像,t表示驱动视频序列的总帧数,驱动视频序列将提供时序上的连续表情形变参考,用于在潜在空间中提取动态的头部姿态变化与面部肌肉运动参数;

16、s13、针对源图像中的非面部特征区域,利用预训练的图像分割算法或轮廓提取模型,进行特征提取与边界划定;通过前向计算获得目标物体的像素概率分布图,其中表示像素坐标()属于需保护刚性物体的概率,提取二维像素边界轮廓集合,如式(2):

17、(2)

18、式中,为二维像素边界轮廓中的第个像素点的横坐标;为二维像素边界轮廓中的第个像素点的纵坐标;

19、s14、基于概率分布图或边界信息,设定置信度阈值,生成与源图像分辨率完全一致的二值化保护遮罩矩阵,对应像素坐标()的状态计算公式如下:

20、(3)

21、式中,当=1时,表示像素坐标()位于刚性保护区域内,在后续面部表情重定向过程中,将该像素位置对应的形变位移设置为零,以保持受保护物体的原始像素位置及几何结构不变;当=0时,表示像素坐标位于允许发生形变的面部区域或非保护背景区域。

22、进一步的,所述s2的具体方法如下:

23、s21、将获取的静态源图像输入至预训练的高精度人脸检测网络d中进行全局扫描;网络前向传播后,输出包含置信度得分的面部边界框集合;假设图像中存在唯一目标驾驶员,取置信度最高的检测结果,定义为目标边界框:

24、(4)

25、其中,为边界框的中心点像素坐标,和分别为检测框的宽度和高度;

26、s22、在获取面部边界框的基础之上,利用关键点回归网络g对局部区域内的像素纹理进行深度解析,提取高维度的面部关键点;将提取到的二维关键点坐标集合定义为矩阵:

27、(5)

28、其中,为关键点的总数量;为第个关键点的精确定位;

29、s23、引入一组预设的标准面部模板关键点,通过最小化均方误差,求解出从原始图像空间到标准对齐空间的最优仿射变换矩阵:

30、(6)

31、求解出后,对原始图像应用该矩阵进行空间重采样,生成分辨率固定的标准对齐面部裁剪图像;

32、s24、同步处理s1中获取的动态驱动序列,利用参数化面部运动提取模型f对视频帧进行逐时间步t的解析,将第t帧中提取的运动特征向量进行解耦,数学表达为:

33、(7)

34、式中,为头部在三维空间中的旋转姿态角;为头部的三维平移向量;为第t帧的面部表情形变向量。

35、进一步的,所述s3的具体方法如下:

36、s31、使用预训练的特征编码器将s2获取的标准对齐面部图像映射至低维潜在空间,提取源图像的隐特征张量:

37、(8)

38、同时,将驱动序列中的时序运动参数转化为潜在空间中的驱动向量;

39、s32、在潜在空间中运用特征解耦模块,将源图像隐特征精确拆解为具有高维不变性的源身份特征与初始运动特征;整合s2中提取的第t帧驱动运动特征,构建目标运动编码;表情重定向的本质是在保持身份特征绝对不变的前提下,建立从初始状态到目标状态的映射;系统通过运算模块h预测出所需的特征层级形变场:

40、(9);

41、s33、引入s1生成的二值化保护遮罩作为强制约束;首先,通过平均池化操作对遮罩进行空间下采样,使尺寸与潜在空间特征图的尺度对齐,得到隐空间遮罩;随后,对形变场施加硬性权重约束,计算修正后的最终形变场:

42、 (10)

43、其中,为哈达玛乘积;为零位移的恒等形变场矩阵;

44、s34、将源身份特征与经过掩码防扭曲约束处理后的最终形变场进行特征融合,随后输入至预训练的生成器网络中进行上采样与纹理重建:

45、(11)。

46、进一步的,所述s4的具体方法如下:

47、s41、将s3生成的标准对齐单帧目标面部图像从局部对齐空间映射回原始源图像的全局物理坐标系;提取s2中求解的最优仿射变换矩阵,计算其逆矩阵,通过逆向空间插值运算,生成与源图像分辨率一致的初步对齐图层:

48、(12)

49、s42、对掩码边界施加二维高斯模糊滤波,生成具有平滑空间过渡权重的透明度通道矩阵:

50、(13)

51、式中,为卷积运算;为标准差为的高斯核函数;基于平滑权重重新计算交界带的融合像素:

52、(14)。

53、本发明的有益效果为:

54、1)本发明提供的基于掩码保护机制的驾驶员疲劳表情视频生成方法,结合了潜在空间特征解耦与多图层深度合成技术,通过引入独立权重的二值化遮罩作为空间约束项,能够精准控制生成视频中面部网格的形变边界与邻接物体的像素状态,同时利用潜在空间模型强大的特征映射能力,生成逼真的面部特征序列,并将受掩码约束的连续面部图像与全局源图进行无缝混合,合成高保真、无边缘伪影的驾驶员疲劳表情视频;

55、2)本发明采用“高精度表情重定向+局部掩码约束”的策略,大幅提升了复杂交互驾驶场景下生成数据的可用度。相比于传统端到端人像驱动模型在处理“物体与面部在像素平面相邻但未物理重叠”这一边缘情况时,极易产生严重像素扭曲与画面撕裂的技术痛点,本发明仅需对源图像中的邻近干扰物(如手持设备、香烟等)提取掩码提供刚性先验,即可通过底层梯度惩罚批量合成多样的无伪影疲劳驾驶视频数据;其次,本发明创新性地融合了潜在空间防扭曲计算与物理空间的多图层边缘混合,有效解决了合成视频中因打哈欠等大尺度面部运动导致的局部空间崩坏与边缘拉扯难题;通过精准锁定非面部区域的像素特征并执行抗锯齿缝合,确保了生成内容在复杂场景下的物理逻辑一致性,为驾驶员监控系统(dms)提供了高质量的基线测试数据,具有显著的实用价值和推广意义。