一种自动驾驶规划方法及系统与流程

本发明涉及自动驾驶，尤其涉及一种自动驾驶规划方法及系统。

背景技术：

1、视觉–语言–动作（vla）模型将前视或环视图像、结构化自车状态与自然语言指令映射为未来轨迹或控制量。为提升复杂场景下的因果一致性，业界广泛采用显式思维链（chain-of-thought, cot）：模型先自回归生成自然语言推理，再输出轨迹。另一方面，为降低 token 开销，研究界提出潜空间/隐式 cot：以连续隐状态或短潜向量序列承载推理，并可在训练期借助辅助解码器对齐显式推理文本。

2、世界模型在自动驾驶中用于预测环境演化；部分工作将世界模型表征与规划或潜推理结合，以刻画多体交互与道路几何变化。

3、然而，现有技术中，显式 cot 的推理时延近似与推理链长度成正比，难以与车载实时闭环严格匹配。纯语言潜空间压缩偏向语义符号，对道路几何演化与交通参与者动力学的刻画不足，导致潜式 cot 在驾驶任务上常弱于显式 cot。部分潜式方案仍对潜向量逐步自回归生成，未充分消除推理阶段的迭代开销。若训练初期潜 token 表征不稳定，辅助解码器与主模型联合优化易出现表征塌缩或解码对齐失败。

技术实现思路

1、鉴于目前自动驾驶技术领域存在的上述不足，本发明提供一种自动驾驶规划方法及系统，引入视觉潜token段与语言潜token段作为并行可学习的压缩推理载体，使潜空间同时满足语义意图与物理因果约束，在保持轨迹质量不显著下降的前提下，可实现更低推理时延。

2、为达到上述目的，本发明的实施例采用如下技术方案：

3、一种自动驾驶规划方法，包括以下步骤：

4、获取车载传感器图像与包含自车状态与驾驶指令的结构化文本，并将其输入视觉-语言-动作主干网络，得到视觉潜token段、语言潜token段及轨迹答案段的序列特征；

5、基于所述语言潜token段对应的隐状态，通过语言辅助解码器生成与驾驶决策相关的思维链文本，并通过第一损失函数监督；

6、基于所述视觉潜token段对应的隐状态，通过视觉世界模型辅助解码器预测至少一个未来时刻的视觉表征或视觉词元，并通过第二损失函数监督；

7、通过包含轨迹预测损失的联合目标对视觉-语言-动作主干网络与辅助解码器进行分阶段优化；

8、移除所述语言辅助解码器与所述视觉世界模型辅助解码器，将已学习的视觉潜token段与语言潜token段作为固定上下文预填充至所述主干网络，并一次性前向得到轨迹输出。

9、依照本发明的一个方面，所述视觉潜token段位于所述语言潜token段之前，且所述轨迹答案段通过注意力机制汇聚所述视觉潜token段和语言潜token段的信息。

10、依照本发明的一个方面，所述视觉潜token段、语言潜token段及轨迹答案段的序列特征按序排列。

11、依照本发明的一个方面，所述第一损失函数设置为所述思维链文本的负对数似然损失。

12、依照本发明的一个方面，所述第二损失函数设置为未来帧视觉词元或视觉特征的预测误差损失。

13、依照本发明的一个方面，所述语言辅助解码器的输入信息包括当前帧视觉patch嵌入经映射后与所述语言潜隐状态的拼接信息。

14、依照本发明的一个方面，所述至少一个未来时刻包括第一预测时刻与第二预测时刻，所述第二预测时刻晚于所述第一预测时刻。

15、依照本发明的一个方面，所述视觉潜token段与所述语言潜token段由复用现有词表的占位词元子串实现。

16、依照本发明的一个方面，所述通过包含轨迹预测损失的联合目标对视觉-语言-动作主干网络与辅助解码器进行分阶段优化还包括：冻结所述视觉-语言-动作主干网络并训练所述辅助解码器，以及解冻后联合微调。

17、一种自动驾驶规划系统，包括存储器和处理器，所述存储器包括输入模块、语言潜段模块、视觉潜段模块、优化模块和输出模块，所述输入模块用于存储程序，所述处理器用于获取车载传感器图像与包含自车状态与驾驶指令的结构化文本，并将其输入视觉-语言-动作主干网络，得到视觉潜token段、语言潜token段及轨迹答案段的序列特征；所述语言潜段模块基于所述语言潜token段对应的隐状态，通过语言辅助解码器生成与驾驶决策相关的思维链文本，并通过第一损失函数监督；所述视觉潜段模块基于所述视觉潜token段对应的隐状态，通过视觉世界模型辅助解码器预测至少一个未来时刻的视觉表征或视觉词元，并通过第二损失函数监督；所述优化模块通过包含轨迹预测损失的联合目标对视觉-语言-动作主干网络与辅助解码器进行分阶段优化；所述输出模块移除所述语言辅助解码器与所述视觉世界模型辅助解码器，将已学习的视觉潜token段与语言潜token段作为固定上下文预填充至所述主干网络，并一次性前向得到轨迹输出。

18、本发明实施的优点：引入视觉潜token段与语言潜token段作为并行可学习的压缩推理载体，使潜空间同时满足语义意图与物理因果约束，在保持轨迹质量不显著下降前提下，可实现更低推理时延。

1.一种自动驾驶规划方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的自动驾驶规划方法，其特征在于，所述视觉潜token段位于所述语言潜token段之前，且所述轨迹答案段通过注意力机制汇聚所述视觉潜token段和语言潜token段的信息。

3.根据权利要求2所述的自动驾驶规划方法，其特征在于，所述视觉潜token段、语言潜token段及轨迹答案段的序列特征按序排列。

4.根据权利要求1所述的自动驾驶规划方法，其特征在于，所述第一损失函数设置为所述思维链文本的负对数似然损失。

5.根据权利要求1所述的自动驾驶规划方法，其特征在于，所述第二损失函数设置为未来帧视觉词元或视觉特征的预测误差损失。

6.根据权利要求1所述的自动驾驶规划方法，其特征在于，所述语言辅助解码器的输入信息包括当前帧视觉patch嵌入经映射后与所述语言潜隐状态的拼接信息。

7.根据权利要求1所述的自动驾驶规划方法，其特征在于，所述至少一个未来时刻包括第一预测时刻与第二预测时刻，所述第二预测时刻晚于所述第一预测时刻。

8.根据权利要求1所述的自动驾驶规划方法，其特征在于，所述视觉潜token段与所述语言潜token段由复用现有词表的占位词元子串实现。

9.根据权利要求1至8中任一所述的自动驾驶规划方法，其特征在于，所述通过包含轨迹预测损失的联合目标对视觉-语言-动作主干网络与辅助解码器进行分阶段优化还包括：冻结所述视觉-语言-动作主干网络并训练所述辅助解码器，以及解冻后联合微调。

10.一种自动驾驶规划系统，包括存储器和处理器，所述存储器包括输入模块、语言潜段模块、视觉潜段模块、优化模块和输出模块，所述输入模块用于存储程序，其特征在于，所述处理器用于获取车载传感器图像与包含自车状态与驾驶指令的结构化文本，并将其输入视觉-语言-动作主干网络，得到视觉潜token段、语言潜token段及轨迹答案段的序列特征；所述语言潜段模块基于所述语言潜token段对应的隐状态，通过语言辅助解码器生成与驾驶决策相关的思维链文本，并通过第一损失函数监督；所述视觉潜段模块基于所述视觉潜token段对应的隐状态，通过视觉世界模型辅助解码器预测至少一个未来时刻的视觉表征或视觉词元，并通过第二损失函数监督；所述优化模块通过包含轨迹预测损失的联合目标对视觉-语言-动作主干网络与辅助解码器进行分阶段优化；所述输出模块移除所述语言辅助解码器与所述视觉世界模型辅助解码器，将已学习的视觉潜token段与语言潜token段作为固定上下文预填充至所述主干网络，并一次性前向得到轨迹输出。