一种基于自适应快慢思考与视觉语言模型的自动驾驶规划方法

本发明属于自动驾驶与人工智能，具体涉及一种基于自适应快慢思考与视觉语言模型的自动驾驶规划方法。

背景技术：

1、自动驾驶系统正经历从传统模块化管道向端到端学习方法的转变。端到端模型试图使用深度神经网络直接将原始传感器输入映射到最终驾驶命令。虽然这种范式减少了级联误差，但传统的端到端模型在处理长尾分布和分布外（ood）场景时，往往缺乏高层语义理解和泛化能力。近年来，视觉语言模型因其强大的预训练知识和通识推理能力，在增强自动驾驶安全性方面显示出巨大潜力。利用思维链（chain-of-thought,cot）技术，vlm可以将复杂的驾驶任务分解为多步推理过程。

2、然而，直接将vlm部署于安全关键的自动驾驶场景面临两大挑战。首先是推理效率与深度的矛盾：单一的cot模式缺乏灵活性，在简单的直行或跟车场景中会导致不必要的延迟和计算开销，现有的快慢思考系统往往是两个独立模型或者集成在单一llm内部，这会导致决策割裂和黑盒不可控的问题。其次是逻辑一致性与幻觉问题：vlm生成的自由文本解释可能包含与最终驾驶决策相矛盾的信息，导致可解释性不可靠。传统的行为克隆难以建立中间推理与最终动作之间的严格因果联系。因此，需要一种能够根据场景复杂度动态调整推理深度，并能保证推理逻辑与决策动作一致的自动驾驶规划方法。

技术实现思路

1、鉴于以上问题，本发明设计了一种基于自适应快慢思考与视觉语言模型的自动驾驶规划框架。该方法通过引入一个轻量级的策略门控仲裁器来动态评估场景复杂度，自适应地在“快思考”（直接动作输出）和“慢思考”（结构化思维链推理）之间切换，并利用带有验证性奖励的强化学习来对齐模型的逻辑一致性。

2、为了实现上述目的，本发明是通过以下技术方案来实现的:

3、一种基于自适应快慢思考与视觉语言模型的自动驾驶规划方法，该方法集成了一个策略门控仲裁器（arbiter）与视觉语言模型基座。策略门控仲裁器利用来自视觉编码器的多尺度特征实时评估场景复杂度，动态激活不同的推理模式：对于简单场景，执行低延迟的直接动作预测（快思考）；对于复杂场景，执行基于思维链的深度推理（慢思考）。具体步骤如下：

4、步骤1：多尺度视觉特征提取与融合：

5、利用预训练视觉编码器处理车辆前视图像，并结合导航指令和车辆状态信息，提取多层特征。为了捕捉场景的细节与全局信息，引入深度堆叠模块（deepstack），融合来自视觉编码器的多尺度特征，以实现更细粒度的图像-文本对齐。

6、步骤2：基于策略门控仲裁器arbiter的场景复杂度评估：

7、集成一个轻量级的transformer作为策略门控仲裁器，在语言模型推理之前对场景进行实时分类。策略门控仲裁器使用交叉注意力机制和一个可学习的分类查询向量来融合多尺度视觉特征，输出包含全局信息的场景复杂度表征。计算公式如下：；其中，为选取的层视觉特征。随后，将输入分类头并通过sigmoid激活函数，得到最终的场景复杂度概率：；

8、步骤3：自适应快慢双通路推理：

9、根据策略门控仲裁器输出的概率动态激活不同的推理模式。快思考通路：当场景被判定为简单时（低于阈值），跳过复杂的推理过程，直接利用视觉语言模型（vlm）输出驾驶元动作（meta-action）。慢思考通路：当场景被判定为复杂时（高于阈值），激活结构化思维链（structuredchain-of-thought,s-cot）。

10、s-cot强制模型按照严格定义的模板输出推理过程，包括：(1)特殊环境识别、(2)关键风险因素识别、(3)车道可用性评估、(4)简要推理描述、以及(5)最终动作规划。快慢思考的阈值初值设为0.7，可根据需求调整。

11、步骤4：两阶段后训练与对齐优化：

12、基于预训练的多模态视觉语言模型，采用“监督微调（sft）+强化学习（rl）”的策略对模型进行训练。

13、（1）监督微调阶段：

14、对于简单场景数据，训练模型直接输出动作，损失函数定义为：；

15、对于复杂场景数据，训练模型输出完整的s-cot序列，采用分段加权交叉熵损失：；

16、其中，为根据s-cot不同片段（如感知、推理、动作）分配的权重。

17、（2）策略门控仲裁器独立对齐阶段：

18、在监督微调（sft）阶段，除了对大语言模型进行指令微调外，还需对策略门控仲裁器进行独立训练。策略门控仲裁器的核心任务是准确识别场景复杂度，以决定激活“快思考”还是“慢思考”路径。在自动驾驶的安全逻辑中，将复杂场景误判为简单场景（漏报）可能导致车辆在缺乏充分推理的情况下做出危险决策，其后果远比将简单场景误判为复杂场景（误报，仅导致计算资源浪费）严重。为了确保自动驾驶的安全性，策略门控仲裁器的训练必须体现“宁可误判为复杂，不可误判为简单”的非对称风险原则。因此，本发明设计了一种非对称加权损失函数，重点惩罚复杂场景漏报错误。策略门控仲裁器的总损失函数定义如下：；

19、其中，表示标准的二元交叉熵损失，用于让策略门控仲裁器学习基本的分类判别能力，使其预测概率尽可能接近样本的真实标签（简单场景为0，复杂场景为1）。是风险惩罚系数，表示该求和项仅针对真实标签为“复杂场景”的样本进行计算用于调节安全约束在总损失中的权重，通常取值大于1，以强化对漏检行为的惩罚力度。表示该求和项仅针对真实标签为“复杂场景”的样本进行计算。是第个样本的风险代价。该代价是在离线阶段通过评估sft模型在“快思考”模式下处理该复杂样本的失败程度计算得到的。具体而言，如果sft模型在禁用思维链的情况下，对该复杂样本预测的驾驶动作与专家真值存在严重偏差（如发生碰撞或严重违规），则取较大值；反之，若快思考也能侥幸处理正确，则值较小。通过引入加权项，该公式迫使策略门控仲裁器对于那些“快思考无法处理”的高危复杂场景输出极高的，从而从机制上保证了系统在面临潜在风险时能够稳定地切换至慢思考模式。

20、（3）基于可验证奖励的强化学习对齐阶段：

21、在完成监督微调和策略门控仲裁器训练后，模型已具备基本的驾驶能力，但在处理长尾复杂场景时，视觉语言模型生成的思维链仍可能出现“幻觉”或“言行不一”的问题。为了解决这一问题，本发明引入基于群组相对策略优化（group relative policyoptimization, grpo）的强化学习阶段。该阶段通过构建可验证奖励函数，直接优化模型生成结构化思维链和最终动作的策略，使其不仅符合人类驾驶逻辑，而且在物理执行层面安全可行。

22、复合奖励函数设计：

23、定义总奖励函数为基础任务、逻辑一致性与风险规避三者的加权和：；其中，奖励格式合规及动作准确性；专门用于检测“慢思考”路径中推理过程与最终动作之间的因果一致性，通过规则解析器提取推理文本中的关键实体状态如“红灯”，若其与动作如“加速”矛盾，则给予重罚；奖励不确定性表达及防御性驾驶行为，即针对分布外或高风险场景，奖励模型表达“认知不确定性”。当模型在复杂场景中使用“可能”、“需观察”等审慎词汇，或主动选择保守动作时，给予正向奖励，从而抑制模型的盲目过自信并降低幻觉。

24、强化学习目标函数：

25、采用grpo算法，对于输入和策略门控仲裁器上下文，模型采样生成一组输出。优化目标函数旨在最大化优势动作的概率，同时利用kl散度约束防止模型偏离：；其中，为采样组的大小；为重要性采样比率；为第个输出在组内的相对优势，通过对组内所有输出的综合奖励值进行均值和标准差归一化计算得到；为kl散度，用于约束当前策略不偏离参考策略即sft模型过远；为kl散度惩罚系数，为截断边界超参数。

26、本发明具有的技术效果：

27、1、根据分解式演示数据进行模仿学习训练。首先利用超大规模专家模型通过多轮对话生成分解式标注数据，让模型初步学会“快思考”（直接输出动作）和“慢思考”（输出s-cot思维链）两种行为策略，为后续的强化学习做模型热身准备。

28、2、设计奖励模型。本发明不同于传统的基于人类偏好的奖励模型，而是设计了可验证的规则化奖励模型。因为驾驶安全需要绝对的逻辑约束，而非模糊的偏好。本发明使用细粒度为整条思维链的奖励模型。根据模型生成的, , 等全链路输出，通过预设的逻辑校验器进行打分。例如，若推理中识别到“左侧不可变道”但动作选择了“左变道”，则给予重罚。这种基于规则的奖励计算简单、确定性强，能有效引导模型学习因果逻辑。

29、3、改进强化学习算法。传统的ppo算法需要训练价值网络（critic），显存开销大且在长文本生成中不稳定。本发明基于群组相对策略优化（grpo）算法。该算法不需要价值网络，而是基于当前策略采样一组输出序列，通过计算组内样本的相对优势来评估好坏。为了防止策略更新偏离初始的sft模型太远，在目标函数中引入了kl散度作为惩罚项，确保模型在保持语言通顺性的前提下优化驾驶策略。

30、4、大模型群组对比强化训练。由于采用grpo算法，训练过程天然具备“对比”特性。对于每一个输入，模型会分批次生成条不同的思维链和动作序列。然后利用步骤2中的奖励函数对这些序列进行打分，选出相对分数高（逻辑自洽、安全）的序列作为正样本，分数低的作为负样本，通过公式(7)进行一轮轮迭代更新。这种方式避免了训练额外的rewardmodel神经网络，直接利用规则进行高效的基线对比学习。

31、5、调参细节。该算法主要需要调节的超参数包括：kl散度系数、学习率、以及采样群组大小。控制强化学习策略与原始sft策略的偏离程度，如果模型输出出现乱码或语言退化，需适当增大；决定了对比的丰富度，显存允许情况下越大梯度的方差越小，训练越稳定。奖励权重方面，的权重通常设置较高，以强制模型优先满足逻辑一致性。