一种基于多模态大模型的端到端自动驾驶训练方法及系统与流程

本发明涉及自动驾驶人工智能，尤其涉及一种基于多模态大模型的端到端自动驾驶训练方法及系统。

背景技术：

1、随着vision-language-action（vla）多模态大模型在自动驾驶领域的广泛应用，端到端自动驾驶系统已初步实现视觉感知、语言推理与轨迹规划的统一建模，在泛化性和人类对齐方面展现出显著优势。然而，现有vla模型的训练方法普遍采用静态监督微调（supervised fine-tuning, sft）范式，即依赖预先收集的标注数据集进行一次性或有限轮次的训练，训练完成后模型参数即固化部署。这种离线训练模式导致模型缺乏从真实路采数据或仿真交互中持续挖掘自身失败场景、并针对性地生成训练数据以进行自我改进的闭环进化能力。具体而言，现有系统在仿真评估或实车测试中检测到规划失误、碰撞风险或长尾场景推理错误后，无法自动将失败反馈转化为有效的训练信号——既不能根据失败根因精准定位需要强化的能力维度，也难以低成本地生成覆盖失败边界区域的新颖训练样本，更缺乏按需调用特定训练阶段进行针对性重训练的决策机制，使得模型的性能提升严重依赖人工分析失败案例并手动扩充数据集，迭代效率低下、成本高昂，尤其在罕见长尾场景面前改进缓慢，难以实现模型的持续自我进化。

技术实现思路

1、鉴于目前自动驾驶人工智能技术领域存在的上述不足，本发明提供一种基于多模态大模型的端到端自动驾驶训练方法及系统，对失败场景进行自动检测与根因分类，并行执行世界模型想象展开与定向场景变异以生成失败边界区域的训练数据，并根据改进计划动态选择对应的训练阶段进行针对性重训练，通过迭代形成闭环进化机制，使vla模型无需人工介入即可持续实现性能的自我改进。

2、为达到上述目的，本发明的实施例采用如下技术方案：

3、一种基于多模态大模型的端到端自动驾驶训练方法，包括：

4、获取当前目标多模态大模型在实车或影子模式下采集的驾驶数据；

5、将所述当前目标多模态大模型部署至闭环仿真环境进行评测，根据评测结果检测失败场景，并对所述失败场景进行根因分类，根据根因分类结果生成改进计划，所述改进计划包含待强化的训练阶段标识；

6、基于所述失败场景及其根因分类，执行双轨数据生成：调用世界模型对所述失败场景进行想象展开以生成想象数据，以及基于所述失败场景的根因进行定向场景变异并经所述世界模型验证以生成合成数据；

7、至少利用所述想象数据和所述合成数据，根据所述改进计划中待强化的训练阶段标识，从预设的多阶段渐进式训练策略中选择对应的至少一个训练阶段，对所述当前目标多模态大模型进行重训练，得到更新后的多模态大模型；

8、将所述更新后的多模态大模型作为新的当前目标多模态大模型重复上述过程，直至满足迭代终止条件。

9、依照本发明的一个方面，所述多模态大模型采用双模思维机制，在进行推理时根据场景复杂度自适应路由至快思考路径或慢思考路径；所述快思考路径直接输出轨迹，所述慢思考路径先生成结构化推理链再输出轨迹，所述结构化推理链包含环境感知、关键物体识别、风险评估、行为决策及轨迹关联五个推理域。

10、依照本发明的一个方面，所述输出轨迹通过基于循环门控单元与自行车运动学模型的适配器将轨迹映射为满足物理可执行性的控制指令，并通过安全护栏执行动力学约束检查、碰撞检查和可行驶区域验证，若任一检查不通过则触发预设的规则规划器进行回退。

11、依照本发明的一个方面，所述多模态大模型通过层次化视觉-语言对齐层对2d视觉特征、3d视觉特征与语言嵌入进行逐级交叉注意力对齐，并通过实例感知token融合模块以多头注意力与门控机制融合2d与3d视觉特征。

12、依照本发明的一个方面，所述多阶段渐进式训练策略中包含强化学习训练阶段，该阶段采用组相对优势优化，对同一推理提示采样多个输出轨迹，计算包含轨迹质量、元动作一致性、碰撞惩罚及推理质量的多维度可验证奖励，在组内计算各输出相对于组内基线的相对优势，并结合kl散度约束更新模型参数。

13、依照本发明的一个方面，所述想象展开采用快捷强制多步展开策略：以所述失败场景的当前状态为起点，通过高斯词汇采样生成动作序列，并通过自回归方式预测后续状态的密集奖励，将奖励序列满足预设增长趋势的展开轨迹作为所述想象数据。

14、依照本发明的一个方面，所述定向场景变异基于所述失败根因确定待变异的场景参数，对动态障碍物轨迹、光照强度、天气类型及路面物理属性中的至少一种进行参数扰动，并将变异后的场景输入所述世界模型进行验证，筛选出预测奖励满足预设阈值的变异场景作为所述合成数据。

15、依照本发明的一个方面，在获取所述驾驶数据时，通过主动学习策略计算各样本的模型预测不确定性、样本分布稀有度及场景复杂度，综合生成优先级权重，根据所述优先级权重筛选高价值样本用于后续重训练。

16、依照本发明的一个方面，还包括在线建图与位姿优化步骤：从三维点云中提取语义地标，通过带法向量约束的ransac算法拟合圆柱体地标与平面地标；构建包含车道线因子、道路边界因子、杆状地标因子、交通标志面因子、路面平面因子、动态障碍物边界因子及路口拓扑因子的因子图进行全局位姿优化；增量更新时，基于空间欧氏距离与拓扑关联深度确定候选节点，并根据各候选节点在更新前后的信息熵缩减量判定最终优化区域，执行局部边缘化优化。

17、一种基于多模态大模型的端到端自动驾驶训练系统，包括：

18、数据获取模块，获取当前目标多模态大模型在实车或影子模式下采集的驾驶数据；

19、评估与分析模块，将所述当前目标多模态大模型部署至闭环仿真环境进行评测，根据评测结果检测失败场景，并对所述失败场景进行根因分类，根据根因分类结果生成改进计划，所述改进计划包含待强化的训练阶段标识；

20、双轨数据生成模块，基于所述失败场景及其根因分类，执行双轨数据生成：调用世界模型对所述失败场景进行想象展开以生成想象数据，以及基于所述失败场景的根因进行定向场景变异并经所述世界模型验证以生成合成数据；

21、训练模块，至少利用所述想象数据和所述合成数据，根据所述改进计划中待强化的训练阶段标识，从预设的多阶段渐进式训练策略中选择对应的至少一个训练阶段，对所述当前目标多模态大模型进行重训练，得到更新后的多模态大模型；

22、迭代模块，将所述更新后的多模态大模型作为新的当前目标多模态大模型重复上述过程，直至满足迭代终止条件。

23、本发明实施的优点：能够基于闭环仿真评测自动检测失败场景并完成根因分类，并行通过世界模型想象展开与定向场景变异低成本地生成覆盖失败边界区域的多样化训练数据，再根据改进计划从多阶段渐进式训练策略中动态选择对应的训练阶段进行针对性重训练，形成完整的“评估→生成→重训练”自适应进化闭环，显著降低模型迭代对人工分析及数据标注的依赖；同时，结构化推理链监督微调与基于组相对优势优化及多维度奖励的强化学习对齐的渐进式引入，使模型推理质量与轨迹安全性得到深度协同优化，有效提升了系统在长尾场景下的泛化能力与规划安全性，实现了自动驾驶模型在有限监督信号下的持续自我进化。