一种基于动作感知潜在世界模型的端到端自动驾驶轨迹规划方法、系统、设备及存储介质
本发明涉及自动驾驶、智能车辆控制、端到端轨迹规划、世界模型学习和自监督表征学习,尤其涉及一种基于动作感知潜在世界模型的端到端自动驾驶轨迹规划方法、系统、设备及存储介质。
背景技术:
1、自动驾驶系统需要根据车辆周围环境、路线引导信息和车辆自身运动状态生成安全、舒适且符合交通规则的未来轨迹。传统自动驾驶技术通常采用感知、预测、规划和控制四个模块串联的方式,各模块分别进行目标检测、地图构建、运动预测和路径规划。该类方案具有一定可解释性,但不同模块的优化目标并不完全一致,前序模块误差会在后续模块中累积,且部署时往往依赖人工标注的三维检测框、高精地图、语义分割和占据栅格监督信息。
2、近年来,端到端自动驾驶方法直接从原始传感器数据中提取与规划相关的场景表征,并输出未来轨迹和控制量,有助于减少模块间信息传递损失并实现统一优化。然而,当训练目标主要依赖专家轨迹拟合时,模型倾向于复现历史行驶分布,而缺少对不同候选行为后果的显式比较。在开环评价中,模型表现为较低轨迹误差;在闭环与近闭环运行中,交互风险估计不足会导致碰撞、偏离可行驶区域和过度保守三类问题。
3、为改善端到端模型的场景理解能力,已有技术引入鸟瞰图表示、向量化场景表示、三维占据表示以及世界模型。基于图像生成的世界模型用于预测未来图像和视频,但图像级生成计算开销大,且生成质量并不总是与规划安全性一致。基于三维占据的世界模型能够表达较丰富的空间结构,但通常需要占据标签和额外三维监督。基于潜空间的世界模型通过预测未来潜变量学习场景动态,计算效率较高;现有方案仍主要关注单一未来状态预测、重建式自监督以及由规划器直接输出目标轨迹,未充分将多个具体候选轨迹作为动作条件分别注入预测过程,难以在推理阶段直接比较不同候选轨迹对未来交互风险的影响。
4、因此,亟需一种能够在不依赖人工感知标注、不生成未来图像的情况下,利用潜空间世界模型对多个候选轨迹进行动作条件后果预测和安全评分的端到端自动驾驶规划方法,以提高复杂场景下轨迹选择的安全性、鲁棒性和推理效率。
技术实现思路
1、本发明旨在解决现有端到端自动驾驶规划方法中场景表征学习与轨迹选择目标不充分对齐、对人工感知标注依赖较强、世界模型推理开销较大以及难以对多候选轨迹进行潜空间风险评估的问题。
2、为实现上述目的,本发明提供一种基于动作感知潜在世界模型的端到端自动驾驶轨迹规划方法。该方法将当前观测及若干历史观测编码为潜在世界表征,生成多个候选轨迹,将各候选轨迹作为对应动作条件分别与潜在世界表征融合,并通过潜在世界预测模型在隐空间中预测各候选轨迹在多个未来时域导致的场景演化,再基于未来潜变量进行多指标风险评分和轨迹选择,从而形成“候选动作生成、动作条件潜在预测、多时域评分、安全过滤和目标轨迹输出”的闭环。
3、具体方案如下:
4、步骤1:获取车辆周围的多路环视图像、车辆状态信息和路线引导信息,并根据采样时间构建包含当前帧和若干历史帧的观测序列;
5、步骤2:利用场景编码器分别提取当前帧及若干历史帧的潜在场景特征,并通过时序融合模块得到潜在世界表征;
6、步骤3:根据路线引导信息、车辆状态和潜在世界表征生成多个候选轨迹;
7、步骤4:将各候选轨迹编码为动作嵌入,并与潜在世界表征融合得到各候选轨迹对应的动作感知潜变量;
8、步骤5:将动作感知潜变量输入潜在世界预测模型,预测每一条候选轨迹在至少两个未来时域内的未来潜变量;
9、步骤6:由动态预测时域权重模块根据车辆运动状态、候选轨迹几何属性、交通状态、潜在世界表征变化幅度和初始风险估计值,为各固定未来时域生成对应的时域权重;所述时域权重用于对各未来时域下得到的规划评分进行加权汇聚,使与当前交通状态更相关的预测时域对候选轨迹综合评价具有更高贡献。
10、步骤7:基于各未来时域的预测潜变量分别计算每一条候选轨迹在各时域下的规划评分,并利用步骤6得到的时域权重对同一评分项在不同未来时域上的结果进行加权汇聚;在一种实施方式中,所述规划评分包括碰撞风险、可行驶区域符合度、路线一致性、轨迹平滑性、舒适性、行驶进度和预测不确定性七项。
11、步骤8:先剔除超过安全风险阈值的候选轨迹,再在安全候选集合中按照统一的评分项权重选择综合评分最高的候选轨迹作为目标轨迹,并将目标轨迹输出至车辆控制模块中的下游控制器。
12、进一步地,训练阶段将驾驶日志或仿真记录中实际执行的专家轨迹作为事实动作条件,利用对应的真实未来观测经同一场景编码器的冻结副本提取目标潜变量,对事实动作分支的未来潜变量预测进行监督;对于未实际执行的候选轨迹及扰动轨迹,则主要通过候选轨迹排序约束和安全风险约束学习不同动作条件之间的相对后果差异。训练阶段还引入专家轨迹监督和空间先验蒸馏辅助约束,使潜在世界表征既包含场景动态信息,又与最终规划安全目标保持一致。
13、进一步地,在一种实施方式中,未来预测时域数量 =3,分别对应一秒、二秒和三秒。对于每一条候选轨迹,三个时域对应的时域权重根据车辆速度、候选轨迹平均曲率、前方交通密度、潜在世界表征变化幅度和初始风险估计值自适应计算,并用于加权汇聚三个时域上的规划评分。所述权重关系由动态时域权重函数在训练和验证过程中学习或确定;例如,低速跟车场景可提高较短时域的贡献,高速变道和路口交互场景可提高较长时域的贡献。
14、本发明的有益效果:
15、(1)通过在潜空间内预测未来场景演化,减少未来图像生成步骤和三维占据输出步骤带来的计算开销,提升车辆端推理效率;
16、(2)通过将多个候选轨迹分别作为动作条件输入潜在世界模型,使模型能够对不同可执行驾驶行为进行反事实评估;在一种实施方式中,候选轨迹包括保持车道、左变道、右变道、减速跟车、绕行和停车等待六类候选行为,从而提高轨迹选择安全性;
17、(3)通过历史潜变量融合和动态预测时域加权,使模型能够兼顾短时动态障碍、交互行为和较长时域路线风险;
18、(4)通过自监督潜变量预测、轨迹监督、排序约束和安全约束联合训练,降低对人工三维检测框、高精地图和占据标签的依赖;
19、(5)通过潜空间风险评分模块,将场景表征学习与规划评价目标对齐,有利于提高复杂交通场景下的闭环表现。
1.一种基于动作感知潜在世界模型的端到端自动驾驶轨迹规划方法,其特征在于,包括:
2.根据权利要求1所述的端到端自动驾驶轨迹规划方法,其特征在于,所述步骤1中,利用车辆的前、前左、前右、后、后左、后右六路环视摄像头,获取车辆周围六路环视图像;车辆状态信息包括速度、加速度、横摆角速度、方向盘转角和历史轨迹点,路线引导信息包括全局路径、局部目标点、转向指令和车道级引导;按照固定采样周期获取上述信息,并形成当前时刻以及前四个历史时刻的观测序列;
3.根据权利要求2所述的端到端自动驾驶轨迹规划方法,其特征在于,所述步骤2中,场景编码器由三部分构成:第一部分为六路图像共享权重的特征提取骨干,用于得到每一路图像的二维特征图;第二部分为视角几何对齐子网络,结合相机内外参、视角位置编码和鸟瞰查询将六路图像特征对齐到以自车为中心的坐标系;第三部分为令牌压缩子网络,使用128个可学习查询从对齐特征中提取紧凑潜在令牌;
4.根据权利要求3所述的端到端自动驾驶轨迹规划方法,其特征在于,所述步骤3中,六条候选轨迹分别对应保持车道、左变道、右变道、减速跟车、绕行和停车等待,候选轨迹集合记为 ,每条候选轨迹 表示为:
5.根据权利要求4所述的端到端自动驾驶轨迹规划方法,其特征在于,所述步骤4中,先对每条候选轨迹计算位置序列、速度序列、航向变化、曲率和加速度五类轨迹属性,再经两层轨迹 transformer 编码器得到动作嵌入,动作嵌入作为条件向量依次参与动作条件交叉注意力层和门控残差调制层,使潜在世界表征在六条候选轨迹条件下产生六个动作感知潜变量;
6.根据权利要求5所述的端到端自动驾驶轨迹规划方法,其特征在于,所述步骤5中,所述潜在世界预测模型由动作条件交叉注意力层、潜变量转移层、残差归一化层和三时域预测头构成;动作条件交叉注意力层将动作表征作为条件键值向量,使候选轨迹影响道路结构令牌和动态目标令牌;潜变量转移层估计场景潜变量从当前时刻到未来时域的残差变化;残差归一化层对预测残差进行尺度归一化并与当前动作感知潜变量形成残差连接,以抑制不同令牌及不同预测时域间的数值尺度波动,稳定多时域预测并保留当前场景中的静态结构信息;三时域预测头分别输出一秒、二秒和三秒三个未来时域的潜变量;
7.根据权利要求6所述的端到端自动驾驶轨迹规划方法,其特征在于,所述步骤6中,动态预测时域权重模块的输入向量包括车辆速度、候选轨迹平均曲率、前方交通密度、潜在世界表征变化幅度和初始风险估计值,经两层感知机和 softmax 归一化后得到三个非负权重,三个权重之和为 1。
8.根据权利要求7所述的端到端自动驾驶轨迹规划方法,其特征在于,所述步骤7中,规划评分项包括七项:碰撞风险、可行驶区域符合度、路线一致性、轨迹平滑性、舒适性、行驶进度和预测不确定性;
9.根据权利要求1-8任一项所述端到端自动驾驶轨迹规划方法的系统,其特征在于,包括数据获取模块、场景编码模块、候选轨迹生成模块、动作感知融合模块、潜在世界预测模型模块、动态预测时域权重模块以及轨迹评分与选择模块;
10.根据权利要求1-8任一项所述端到端自动驾驶轨迹规划方法的电子设备或存储介质,其特征在于,所述电子设备包括存储器和处理器,所述存储器内存储步骤1-步骤7内容的程序,所述处理器能够读取并执行存储器内的程序;
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com