基于扩散模型的座舱内驾驶员视频光照重构方法

本发明属于智能汽车，具体的说是一种基于扩散模型的座舱内驾驶员视频光照重构方法。

背景技术：

1、随着智能网联汽车技术的发展，驾驶员监控系统（driver monitoring system，dms）已成为保障人机共驾安全的重要组成部分，dms通常依托座舱摄像头采集驾驶员面部表情、眼部状态、头部姿态及肢体动作等视觉信息识别驾驶员状态。为保证dms算法在真实道路环境中的稳定性，测试数据不仅需要覆盖不同驾驶员和不同动作类型，还需要充分覆盖复杂多变的座舱光照条件，例如日间强光、侧窗入射光、逆光、隧道明暗变化、夜间低照度、仪表盘反光及局部阴影等场景。

2、然而，在实际工程中，不同光照视频数据的获取存在较大困难。真实车辆采集高度依赖天气、时间、道路环境和车辆行驶状态，难以精确复现特定光照条件。若要获得丰富的光照样本，通常需要在不同时间、地点和天气条件下反复组织采集，导致时间、人力和经费成本显著增加。同时，强逆光、短时眩光、隧道出入口光照突变等极端场景具有较强随机性，难以通过常规采集方式稳定获得，进而造成复杂光照样本不足，影响dms算法在极端光照环境下的鲁棒性测试。

3、现有数据增强方法多采用亮度调整、对比度变化、颜色扰动或滤镜叠加等方式模拟光照变化，但此类方法主要作用于二维像素层面，难以真实表达光源方向、明暗过渡、人物面部阴影、车内遮挡及局部反光之间的空间关系。在连续视频处理中，逐帧增强还可能引入亮度跳变、背景闪烁和人物细节不稳定等问题，难以满足dms视频测试对时序连续性和视觉真实性的要求。

技术实现思路

1、为解决上述问题，本发明提出了一种基于扩散模型的座舱内驾驶员视频光照重构方法，通过引入可控光照条件图、文本语义约束、原始座舱视频前景约束及时序一致性生成机制，将目标光照分布作为条件信息注入扩散生成过程，在保持驾驶员动作、姿态和座舱结构连续性的基础上，对视频画面的光照方向、强度、阴影和整体明暗关系进行重构，从而高效生成多种复杂光照条件下的视频数据，为dms算法测试、复杂场景验证和系统敏感样本扩展提供可靠支撑。

2、本发明技术方案结合附图说明如下：

3、本发明提供了一种基于扩散模型的座舱内驾驶员视频光照重构方法，包括以下步骤：

4、s1、构建与目标视频匹配的光照条件图；

5、根据待生成的座舱光照类型，设定光源的位置、形状、尺寸、亮度和偏移方向，形成黑底与高亮光斑组成的空间光照分布图，并通过模糊处理生成自然渐变的光照边界；

6、s2、构建多模态生成条件；

7、首先对输入视频进行帧序列提取，并将视频帧编码为前景潜在表示，用于保持驾驶员姿态、动作和座舱结构；同时利用文本编码器将正向提示词和负向提示词转换为语义约束，并结合光照条件图，形成包含内容、语义和光照信息的统一条件输入；

8、s3、基于时序扩散模型与光照控制模型生成重光照视频帧；

9、系统在基础扩散模型中加载视频运动模块，以增强连续帧之间的时序一致性，并引入光照控制模型，使扩散去噪过程受到目标光照条件约束；模型根据多模态生成条件，在潜在空间中逐步去噪生成新的视频帧潜在表示，重构画面的光源方向、明暗关系、阴影分布和整体光照效果；

10、s4、解码生成帧并合成目标视频；

11、系统将重光照视频潜在序列输入vae解码器，还原为连续rgb图像帧，并按照原始视频或预设帧率进行时序排列与视频合成，生成目标光照条件下的座舱内驾驶员监测测试视频。

12、进一步的，所述s1的具体方法如下：

13、s11、读取待处理的座舱内驾驶员视频，获取视频分辨率、帧率和帧数基础参数，设输入视频为：

14、（1）

15、式中，v表示输入视频；it表示第t帧图像；t表示视频总帧数；每一帧图像的尺寸为：

16、（2）

17、式中，表示实数集；h表示图像高度，w表示图像宽度，3表示rgb三通道，构建的目标光照条件图l与输入视频帧保持相同尺寸，即：

18、（3）

19、s12、根据待模拟的光照场景，设定目标光源的位置、形状、尺寸和强度参数，目标光源参数表示为：

20、（4）

21、式中，和表示光源中心在光照条件图中的坐标位置，表示光斑半径或影响范围，表示光照强度；

22、光源中心位置根据图像尺寸归一化设定：

23、（5）

24、式中，和分别表示光源在水平方向和垂直方向上的相对位置系数，取值范围为[0,1]；

25、s13、在确定光源参数后，构建初始光照条件图；初始光照条件图采用黑色背景与白色光斑组合的形式，其中，黑色区域表示归一化光照强度为0的弱光区域，高亮区域表示归一化光照强度大于等于预设阈值的目标光源区域，其中；对于图像中任一像素点，初始光照强度定义为：

26、（6）

27、式中，表示像素点处的初始光照强度；当像素点位于光源半径内时，赋予光照强度，其中；当像素点位于外时，赋值为0，从而形成黑底白色光斑图；

28、如果需要模拟椭圆形光照或倾斜入射光，则将圆形光斑扩展为椭圆光斑：

29、（7）

30、式中，和分别表示椭圆光斑在水平方向和垂直方向上的半轴长度；

31、s14、由于真实座舱光照通常具有连续衰减特性，因此对初始光照图进行模糊处理，采用高斯模糊将转换为平滑光照条件图：

32、（8）

33、式中，表示标准差为的高斯核，表示卷积运算，控制光照边界的柔和程度，越大，光照扩散范围越广，明暗过渡越平滑；

34、随后，对模糊后的光照图进行归一化处理：

35、（9）

36、式中，表示最终光照条件图中像素点的归一化光照强度，取值范围为[0,1]；归一化后的光照条件图作为后续扩散模型的光照控制输入，用于表征目标光源方向、照射范围、强度分布和明暗变化关系。

37、进一步的，所述s2的具体方法如下：

38、s21、对输入视频进行抽帧，得到连续视频帧序列：

39、（10）

40、式中，表示输入视频，表示第t帧图像，表示视频总帧数；为了保证后续条件输入在空间维度上保持一致，将每一帧统一调整为预设尺寸并进行归一化处理：

41、（11）

42、式中，表示尺寸调整与归一化操作，表示预处理后的第帧驾驶员图像；

43、s22、将预处理后的视频帧输入vae编码器，得到每一帧对应的前景潜在表示：

44、（12）

45、式中，表示vae编码器，表示第帧驾驶员图像的前景潜在特征；所有视频帧的前景潜在表示为：

46、（13）；

47、s23、根据目标生成效果设置正向文本提示词和负向文本提示词；正向提示词用于描述希望保留或生成的画面语义，负向提示词用于抑制不希望保留或生成的画面语义；设正向提示词为，负向提示词为，通过clip文本编码器分别得到：

48、（14）

49、（15）

50、式中，表示文本编码器，表示正向语义条件，表示负向语义条件；

51、s24、将s1得到的目标光照条件图输入条件编码模块，得到光照潜在条件：

52、（16）

53、式中，表示光照条件编码器，由vae编码器实现；表示目标光照潜在条件，光照潜在条件用于表征目标光源的位置、方向、强度、照射范围和明暗过渡关系，为后续扩散模型提供可控光照约束；

54、s25、将视频前景潜在表示、文本语义条件、以及光照潜在条件输入条件融合模块，形成统一的多模态生成条件：

55、（17）

56、式中，表示多模态条件融合函数，表示第帧对应的扩散生成条件，表示光照条件权重系数，取值范围为[0,1]，用于控制目标光照条件对生成结果的影响强度；当，光照条件约束强，生成视频中的光照重构效果明显；时，光照条件约束弱，生成结果更倾向于保留原始视频光照。

57、对于整段视频，多模态生成条件表示为：

58、（18）

59、条件集合同时包含驾驶员视频内容约束、文本语义约束和目标光照约束，作为后续时序扩散模型进行视频光照重构的输入条件。

60、进一步的，所述s3的具体方法如下：

61、s31、加载预训练基础扩散模型，设为：

62、（19）

63、其中，表示扩散去噪网络，和分别表示vae编码器和解码器。在此基础上，引入时序运动模块，使扩散模型具备处理连续视频帧的能力：

64、（20）

65、其中，表示时序运动模块的加载或融合操作，表示运动模块参数，表示具有时序建模能力的扩散模型。该步骤用于增强相邻帧之间的人物姿态、面部状态和座舱背景的一致性，减少逐帧生成造成的闪烁和跳变。

66、s32、在时序扩散模型基础上，进一步加载光照控制模型，使扩散去噪过程能够受到目标光照条件约束；设光照控制模型参数为，则融合后的重光照扩散模型表示为：

67、（21）

68、式中，表示光照控制模块的加载操作，表示同时具有时序一致性生成能力和光照重构能力的扩散模型；

69、 s33、为了在保留原始驾驶员动作与座舱结构的基础上生成新的光照效果，系统根据s2得到的前景潜在表示构建带噪潜变量；设扩散总步数为，去噪强度为，则起始去噪步表示为：

70、（22）

71、对第帧前景潜变量加入噪声，得到初始待去噪潜变量：

72、（23）

73、式中，表示第步对应的噪声调度系数；，表示高斯噪声；去噪强度用于控制原始视频内容保留程度与光照重构程度之间的平衡，越大，生成光照变化越明显；越小，越倾向于保持原始画面；

74、s34、在扩散采样过程中，将第帧在第个去噪步的潜变量、时间步以及s2得到的多模态生成条件输入重光照扩散网络，预测当前潜变量中的噪声分量：

75、（24）

76、式中，表示融合了时序运动模块和光照控制模块的重光照扩散模型，表示模型在第步预测得到的噪声；为了增强生成结果对文本语义和光照条件的响应，分别计算正向条件和负向条件下的噪声预测结果，并采用条件引导形式：

77、（25）

78、式中，表示正向条件下的噪声预测结果，表示负向条件下的噪声预测结果，s表示条件引导强度，表示融合正负向约束后的最终噪声估计；随后，采样器根据噪声估计对潜变量进行反向更新：

79、（26）

80、式中，表示第步的采样更新函数；

81、s35、经过s34的多步时序引导去噪后，对每一帧均可得到最终的重光照潜在表示：

82、（27）

83、式中，表示由重光照扩散模型和采样器共同完成的完整去噪生成过程，表示第帧的初始带噪潜变量，表示对应帧的多模态生成条件，表示第帧最终生成的重光照潜变量；

84、将所有帧的生成结果按照原视频的时间顺序排列，得到整段视频的重光照潜在序列：

85、（28）

86、式中，表示最终输出的重光照视频潜在序列，表示视频总帧数。

87、进一步的，所述s4的具体方法如下：

88、s41、将s3得到的重光照视频潜在序列输入vae解码器，将潜在空间中的生成结果还原为rgb图像帧，利用vae解码器对每一帧潜变量进行解码：

89、=（29）

90、其中，表示解码得到的第帧重光照图像；

91、s42、对图像帧进行像素归一化、裁剪、缩放或格式转换处理，满足视频合成要求；设后处理函数为，则第帧处理后的图像表示为：

92、

93、式中，和分别表示目标视频帧的高度和宽度，表示经后处理后的重光照图像帧；

94、s43、将后处理后的所有图像帧按照原始驾驶员视频的时间顺序重新排列，形成连续的重光照图像帧序列：

95、（31）

96、式中，表示待合成的重光照视频帧序列，设原始视频帧率为f，输出视频采用相同帧率：

97、（32）

98、随后，系统按照原始帧率对重光照图像帧序列进行编码合成，得到目标光照条件下的座舱内驾驶员视频：

99、（33）

100、式中，表示视频合成函数，表示最终生成的视频。

101、本发明的有益效果为：

102、1）本发明能够有效降低座舱内复杂光照视频数据的获取成本。通过构建可控光照条件图，并结合扩散模型对原始驾驶员视频进行光照重构，可在无需实车采集的情况下，快速生成强光、暗光、逆光、局部阴影、车内反光等多种光照条件下的视频。相比传统亮度调节、滤镜叠加等像素级增强方式，本发明能够更真实地重构光源方向、明暗过渡、阴影分布和整体色调，使生成视频更接近真实座舱光照环境；

103、2）本发明还能够在保持原始驾驶员动作、姿态、面部状态和座舱结构稳定的基础上，提高生成视频的时序连续性和测试可用性。通过引入视频运动模块和光照控制模型，生成结果能够减少逐帧处理带来的闪烁、跳变和结构变形问题，适用于dms算法在复杂光照场景下的鲁棒性验证。