一种需求引导的自动驾驶真实场景生成方法
本说明书涉及自动驾驶,尤其涉及一种需求引导的自动驾驶真实场景生成方法。
背景技术:
1、近年来,自动驾驶技术取得了长足进步,在限定运行区域内已能够实现极少甚至无需人类接管。仿真测试作为评估自动驾驶系统安全性与性能的关键手段,为感知、决策、规划等核心算法的开发与验证提供了不可或缺的基础环境。
2、自动驾驶系统的性能高度依赖于海量且高质量的真实驾驶场景数据。然而,真实世界的驾驶环境近乎无限,采集的数据难以覆盖全部可能性,尤其对于安全攸关的极端场景(如突发事故、危险驾驶行为),其自然出现频率极低,但一旦缺失将严重影响系统的鲁棒性。
3、随着大语言模型的兴起,部分工作尝试将其应用于数据驱动的文本到场景生成(text-to-scenario)。然而,文本形式难以完整、准确地表达用户的全部需求。
4、为此,本说明书提供了一种需求引导的自动驾驶真实场景生成方法。
技术实现思路
1、本说明书提供一种需求引导的自动驾驶真实场景生成方法,以部分的解决现有技术存在的上述问题。
2、本说明书采用下述技术方案:
3、本说明书提供了一种需求引导的自动驾驶真实场景生成方法,包括:
4、s1.获取用户需求信息和预处理地图,所述用户需求信息包括场景文本描述、场景初始图像和场景中的智能体初始位姿;
5、s2.将所述用户需求信息输入预训练的多模态大语言模型,得到整数型离散化的智能体行为编码;
6、s3.将所述智能体初始位姿、所述智能体行为编码和所述预处理地图输入预训练的场景生成模型,得到与所述用户需求信息匹配的自动驾驶真实场景,并基于最优控制理论,对所述自动驾驶真实场景中的智能体轨迹进行运动学优化。
7、根据上述技术手段,本方案通过将用户的场景文本描述、初始图像和智能体初始位姿共同作为输入,生成过程不再完全随机,而是紧密围绕用户指定的场景类型、交通参与者行为和环境布局展开。生成场景与用户需求高度匹配,可控性明显提升。方案同时支持文本、图像和位姿等多种输入形式,能够表达复杂的场景语义和初始条件。用户既可以用自然语言描述想要的交通场景,也可以通过初始图像和位姿约束空间布局,降低了场景构建门槛,提高了设计效率。在场景生成后,进一步对智能体轨迹进行运动学优化,能够消除生成过程中可能出现的不合理运动,如速度突变、加速度过大、轨迹不平滑或违反车辆运动学约束等问题。最终生成的场景不仅视觉上真实,而且车辆行为在物理和运动学层面可执行,适合用于自动驾驶仿真测试。方案将需求理解、行为生成、场景生成和轨迹优化串联起来,形成较为完整的自动化流程。各模块采用预训练模型,具备良好的泛化能力和可替换性,便于后续引入更复杂的需求类型、更多交通参与者或更精细的动力学约束。
8、进一步的,s3中基于最优控制理论,对所述自动驾驶真实场景中的智能体轨迹进行运动学优化,具体包括:
9、基于最优控制理论,构建所述自动驾驶真实场景中的智能体轨迹进行运动学优化的非线性规划问题;
10、求解所述非线性规划问题,对所述自动驾驶真实场景中的智能体轨迹进行运动学优化。
11、进一步的,所述非线性规划问题的表达式为:
12、
13、
14、
15、
16、
17、其中,为所述自动驾驶真实场景中的第时间步智能体的状态向量;为优化的第时间步智能体的状态向量,为智能体的全局位置坐标,为智能体的航向角,为智能体的纵向速度,为智能体的纵向加速度,为智能体的横摆角速度;为优化的第时间步智能体的控制向量,为智能体的纵向加加速度,为智能体的横摆角加速度;为第时间步的缺失帧掩码,为pseudo-huber损失函数,为控制平滑权重矩阵,为智能体轨迹的总时间步,为时间步长。
18、进一步的,s2中所述智能体行为编码为13维整数向量,所述智能体行为编码包括智能体类型编码、速度区间索引、尺寸区间索引、五个连续的时间片段内的动作趋势编码、所述五个连续的时间片段内的动作类型编码,所述动作趋势编码包括开始编码、保持编码、结束编码,所述动作类型编码包括停止编码、u型转弯编码、左转弯编码、左变道编码、减速编码、恒速编码、加速编码、右变道编码、右转弯编码。
19、进一步的,每个时间片段内的动作趋势编码基于该时间片段的相邻时间片段的动作类型编码进行判定。
20、进一步的,所述判定的规则表达式为:
21、
22、其中,表示动作趋势编码,开始编码、保持编码、结束编码分别为2、1、0;针对一个时间片段,表示该时间片段之前的时间片段的动作类型编码,表示该时间片段之后的时间片段的动作类型编码;表示各动作类型编码的预设优先级。
23、进一步的,预训练的场景生成模型包括多上下文门控块、位置编码模块、多层感知机模块、多层transformer模块、轨迹生成模块;每层transformer模块包括多头自注意力子模块和多头交叉注意力子模块;所述轨迹生成模块包括初始状态属性分布预测子模块、未来多模态轨迹预测子模块;
24、s3中将所述智能体初始位姿、所述智能体行为编码和所述预处理地图输入预训练的场景生成模型,得到与所述用户需求信息匹配的自动驾驶真实场景,具体包括:
25、将所述智能体初始位姿、所述智能体行为编码和所述预处理地图输入预训练的场景生成模型,所述预处理地图经所述多上下文门控块编码,得到地图特征向量;
26、将所述智能体初始位姿、所述智能体行为编码进行拼接,并将拼接结果依次经所述位置编码模块和所述多层感知机模块,得到智能体查询特征向量;
27、将所述智能体查询特征向量和所述地图特征向量依次经多层transformer模块,得到智能体综合特征向量;
28、将所述智能体综合特征向量分别输入所述初始状态属性分布预测子模块、所述未来多模态轨迹预测子模块,得到智能体初始状态属性分布和智能体轨迹。
29、进一步的,将所述智能体查询特征向量和所述地图特征向量依次经多层transformer模块,得到智能体综合特征向量,具体包括:
30、针对第n层transformer模块,将第n-1层transformer模块输出的特征向量输入所述第n层transformer模块的多头自注意力子模块,得到所述第n层transformer模块的多头自注意力子模块输出的特征向量;
31、将所述第n层transformer模块的多头自注意力子模块输出的特征向量和所述地图特征向量输入多头交叉注意力子模块,得到输入第n+1层transformer的特征向量;其中,,n为正整数;n等于1时,所述智能体查询特征向量输入第1层transformer模块的多头自注意力子模块;n等于n时,第n层transformer模块的多头交叉注意力子模块输出智能体综合特征向量。
32、进一步的,s1中获取用户需求信息,具体包括:
33、获取用户输入的场景文本描述;
34、根据所述场景文本描述,从预设的地图数据库中检索与所述场景文本描述匹配的地图;
35、将所述匹配的地图渲染成所述用户可操作的图像界面;
36、响应于所述用户在所述图像界面上的操作,确定所述用户设定的智能体初始位姿;
37、将所述场景文本描述、操作完毕的所述图像界面、所述智能体初始位姿作为用户需求信息。
38、进一步的,s1中获取用户需求信息和预处理地图,具体包括:
39、获取用户输入的智能体密度等级和道路拓扑类型;
40、根据所述智能体密度等级和所述道路拓扑类型,在预处理场景模版数据集中匹配场景模版;
41、根据匹配的场景模版,确定用户需求信息和预处理地图。
42、本说明书采用的上述至少一个技术方案能够达到以下有益效果:
43、本方案通过将用户的场景文本描述、初始图像和智能体初始位姿共同作为输入,生成过程不再完全随机,而是紧密围绕用户指定的场景类型、交通参与者行为和环境布局展开。生成场景与用户需求高度匹配,可控性明显提升。方案同时支持文本、图像和位姿等多种输入形式,能够表达复杂的场景语义和初始条件。用户既可以用自然语言描述想要的交通场景,也可以通过初始图像和位姿约束空间布局,降低了场景构建门槛,提高了设计效率。在场景生成后,进一步对智能体轨迹进行运动学优化,能够消除生成过程中可能出现的不合理运动,如速度突变、加速度过大、轨迹不平滑或违反车辆运动学约束等问题。最终生成的场景不仅视觉上真实,而且车辆行为在物理和运动学层面可执行,适合用于自动驾驶仿真测试。方案将需求理解、行为生成、场景生成和轨迹优化串联起来,形成较为完整的自动化流程。各模块采用预训练模型,具备良好的泛化能力和可替换性,便于后续引入更复杂的需求类型、更多交通参与者或更精细的动力学约束。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com