融入高频惯性物理约束的自动驾驶世界模型时空状态预测方法及系统

摘要: 本发明涉及智能驾驶环境推演与具身智能,尤其是涉及融入高频惯性物理约束的自动驾驶世界模型时空状态预测方法及系统。背景技术:1、随着自动驾驶技术发展,世界模型可通过...
融入高频惯性物理约束的自动驾驶世界模型时空状态预测方法及系统

本发明涉及智能驾驶环境推演与具身智能,尤其是涉及融入高频惯性物理约束的自动驾驶世界模型时空状态预测方法及系统。

背景技术:

1、随着自动驾驶技术发展,世界模型可通过学习历史驾驶数据的时空演化关系预测未来交通场景,为决策规划提供环境状态预测。视觉联合嵌入预测架构可在非重构的潜在空间内执行特征预测,从而减少像素级图像重构所需的计算量。

2、现有视觉世界模型在环境推演的运动状态一致性方面仍存在不足。视觉传感器的采样频率相对较低,并可能受到遮挡或光照变化影响;仅依赖视觉潜在特征进行时空预测时,难以及时表征紧急制动、路面颠簸或打滑等工况下的位置、速度和姿态变化,预测结果可能出现位置突变、速度不连续或姿态变化不合理。

3、惯性测量单元(imu)能够以较高频率输出载体比力与角速度,多传感器融合定位还能够输出位置、姿态和速度状态。现有预测框架仍需要解决视觉特征与运动状态信息在潜在空间内的对齐、融合,以及利用运动状态信息约束未来预测结果的问题。

4、公开号为cn122300550a的中国发明专利申请公开了一种基于物理信息融合模型的端到端自动驾驶方法,其在世界模型中建模并预测物理指标,并在策略学习中将所述物理指标作为约束。对于不执行像素级重构的潜在空间预测,仍有必要进一步研究如何将高频惯性数据或多传感器融合状态同时用于输入特征增强与输出状态一致性约束。

5、因此,需要一种自动驾驶世界模型时空状态预测方法及系统,在潜在空间内融合视觉信息与载体运动状态信息,并约束预测位置、速度和姿态与参考运动状态的一致性。

技术实现思路

1、本发明旨在提供一种融入高频惯性物理约束的自动驾驶世界模型时空状态预测方法及系统,以在不执行像素级图像重构的条件下,将imu高频惯性数据或多传感器融合得到的位置、姿态和速度信息用于潜在特征融合和预测结果约束。

2、本发明的目的可以通过以下技术方案来实现:

3、根据本发明的一个方面,提供了一种融入高频惯性物理约束的自动驾驶世界模型时空状态预测方法,所述方法包括:

4、s1.同步获取车载多源视觉传感器输出的连续图像帧序列,以及载体运动状态信息,所述载体运动状态信息包括惯性测量单元输出的高频惯性数据流,或由至少两种车载传感器融合得到的位置、姿态和速度信息;

5、s2.利用视觉编码器提取所述连续图像帧序列的潜在空间特征;同时基于所述载体运动状态信息确定载体的位置增量、速度增量和姿态变化量,生成运动状态物理特征,并根据相应状态估计协方差确定可信度系数;

6、s3.构建同构流形空间,通过对比学习机制将所述潜在空间特征与所述运动状态物理特征进行拓扑对齐,并利用所述可信度系数调节对齐后的两类特征的融合权重,得到物理增强的语义特征表示;

7、s4.在联合嵌入预测架构下,利用时空演化网络根据所述物理增强的语义特征表示及当前车辆控制指令,在不执行像素级图像重构的条件下,推演未来时间窗口内的预测潜在特征;

8、s5.构建由所述可信度系数加权的运动状态一致性损失函数,计算所述预测潜在特征解码出的位置、速度和姿态预测量与基于所述载体运动状态信息确定的参考位置、参考速度和参考姿态之间的残差,构建总训练损失函数,通过所述总训练损失函数和反向传播约束时空演化网络的预测输出,得到未来时间窗口内的场景状态预测结果。

9、作为优选的技术方案,所述载体运动状态信息包括以下至少一种:所述高频惯性数据流中的实时比力与角速度;以及由摄像头、惯性测量单元、轮速计、卫星定位装置和激光雷达中的至少两种车载传感器融合得到的位置、姿态和速度信息。

10、作为优选的技术方案,所述载体运动状态增量表示为:

11、

12、其中,、和分别表示在时间间隔内由惯性测量单元观测值预积分得到的位移增量、速度增量和姿态变换增量,t表示矩阵转置;当采用多传感器融合状态时,、和由融合状态序列在相应时间间隔内的变化确定。

13、作为优选的技术方案,所述运动状态物理特征由所述惯性测量单元观测值预积分或多传感器融合得到的位置、姿态和速度信息生成;根据所述惯性测量单元观测值预积分协方差或多传感器融合状态的估计协方差确定可信度系数,并利用所述可信度系数调节所述运动状态物理特征在特征融合及一致性约束中的权重。

14、作为优选的技术方案,所述拓扑对齐的过程包括通过最小化互信息损失函数实现视觉特征与运动状态特征的分布一致性,表示为:

15、

16、其中,e为期望,表示视觉特征与运动状态特征的联合概率分布,和分别表示视觉特征与运动状态特征的边缘概率分布,d为判别函数,用于衡量视觉语义流形与运动状态流形在潜在空间内的拓扑相似度。

17、作为优选的技术方案,所述预测潜在特征表示为:

18、

19、其中,代表参数为的转换模型,为当前时刻的物理增强语义特征表示,为当前时刻,为预测步数,为给定的未来动作控制序列。

20、作为优选的技术方案,所述运动状态一致性损失函数的数学表达式为:

21、

22、其中,为物理状态解码头,用于将预测潜在特征映射回物理运动空间;ode代表基于牛顿运动学的常微分方程,、和分别表示时刻的载体物理状态向量、载体比力和载体角速度,所述载体物理状态向量包括位置、速度和姿态,表示l2范数;当载体运动状态信息为多传感器融合状态时,参考物理轨迹由各时间戳的位置、速度和姿态状态序列确定。

23、作为优选的技术方案,所述总训练损失函数包括语义预测损失与运动状态一致性损失,表示为:

24、

25、其中,为预测潜在特征与目标潜在特征之间的语义预测损失,为所述预测潜在特征解码出的位置、速度和姿态预测量与所述参考位置、参考速度和参考姿态之间的运动状态一致性损失,为物理约束权重系数,表示与时刻的实际未来观测对应的目标潜在特征。

26、作为优选的技术方案,所述运动状态一致性损失函数仅在训练阶段基于预测时间窗口对应的载体运动状态信息计算;在推理阶段,仅使用截至当前时刻的图像和载体运动状态信息,不输入未来时刻的观测数据,得到未来时间窗口内的场景状态预测结果。

27、根据本发明的另一个方面,提供了一种融入高频惯性物理约束的自动驾驶世界模型时空状态预测系统,所述系统用于实现如上述的融入高频惯性物理约束的自动驾驶世界模型时空状态预测方法,所述系统包括:

28、数据感知模块,用于同步获取车载多源视觉传感器输出的连续图像帧序列,以及载体运动状态信息,所述载体运动状态信息包括惯性测量单元输出的高频惯性数据流,或由至少两种车载传感器融合得到的位置、姿态和速度信息;

29、特征对齐处理器,与所述数据感知模块连接,用于在潜在空间内将视觉潜在特征与基于载体运动状态信息生成的运动状态物理特征进行跨模态对齐,并根据状态估计协方差确定的可信度系数调节融合权重;

30、轻量化演化推演模块,与所述特征对齐处理器连接,内置基于联合嵌入预测架构的时空转换模型,用于执行非像素重构式的潜在特征序列预测;

31、物理一致性约束器,与所述轻量化演化推演模块连接,用于在训练阶段根据参考位置、参考速度和参考姿态构建由所述可信度系数加权的运动状态一致性损失函数,并约束所述轻量化演化推演模块的预测输出。

32、与现有技术相比,本发明至少具有以下有益效果之一:

33、(1)本发明同步利用连续图像帧序列与载体运动状态信息,载体运动状态信息既可以来源于imu高频惯性数据,也可以来源于多传感器融合得到的位置、姿态和速度信息。通过将运动状态物理特征与视觉潜在特征进行拓扑对齐和融合,使潜在特征不仅包含场景语义信息,还包含与载体位置、姿态和速度变化相关的运动状态信息,从而有利于弥补视觉传感器采样频率相对较低、易受遮挡和光照变化影响所造成的瞬态运动信息缺失。

34、(2)本发明采用联合嵌入预测架构,在物理增强的潜在特征空间内进行未来时空状态推演,无需对未来图像进行像素级解码、重构和渲染。与依赖视频生成的世界模型相比,该方式能够减少图像解码与像素渲染所需的计算量和存储开销,有利于降低世界模型的推理延迟,并适应车载计算平台算力和存储资源受限的应用环境。

35、(3)本发明将预测潜在特征解码为位置、速度和姿态预测量,并与基于imu预积分或多传感器融合状态序列确定的参考位置、参考速度和参考姿态进行比较,构建运动状态一致性损失;同时根据状态估计协方差确定可信度系数,并利用可信度系数调节特征融合和一致性约束的权重。由此可以降低低可信度运动状态信息对模型训练的不利影响,并对位置突变、速度不连续或姿态变化不合理等预测偏差施加约束。在推理阶段不输入未来观测数据,从而保持未来场景状态预测过程的可实施性。