一种自动驾驶策略优化方法及装置、车辆与流程

本技术涉及自动驾驶，特别涉及一种自动驾驶策略优化方法及装置、车辆。

背景技术：

1、传统的自动驾驶系统通常采用模块化架构，包括感知、预测、规划和控制等模块，但模块之间接口固定，误差会逐级传递，导致系统性能受限。近年来，端到端自动驾驶成为研究热点，通过深度学习模型直接从传感器数据预测车辆轨迹或控制信号，从而实现整体优化。

2、随着大模型技术的发展，视觉-语言-动作（vision-language-action，vla）模型成为端到端自动驾驶的重要研究方向。这类模型将视觉、语言和动作统一建模，通常采用视觉语言模型作为环境理解模块，将图像和文本指令编码为语义特征，再通过策略网络或扩散模型生成轨迹或控制动作，在复杂场景下表现出更强的环境理解与规划能力。

3、在vla模型及端到端自动驾驶模型的落地应用中，通常采用行为克隆（behaviorcloning）进行初步训练，并使用强化学习进行策略微调以进一步优化轨迹性能。然而，在实车落地场景下，出于安全和成本考虑，强化学习阶段通常只能利用采集好的离线数据集进行训练，缺乏可实时交互的真实环境。为了在离线数据上实现闭环训练，现有技术通常依赖高保真仿真器或基于图像空间的世界模型来构建交互环境，即通过预测未来的图像帧或调用仿真引擎来获取模型动作反馈后的新状态。

4、一方面，若仅采用离线数据进行开环训练，模型输入始终来自真实数据而非自身预测状态，导致训练与测试之间存在分布偏移（distributionshift），模型误差在闭环部署中容易累积，引发偏离车道或碰撞等安全问题。另一方面，若采用仿真器或基于图像空间的世界模型构建闭环，则面临构建成本高、难以完全拟真以及图像生成计算开销巨大等问题，且图像中包含的大量与决策无关的视觉噪声会降低策略优化的效率。

技术实现思路

1、本技术实施例提供一种自动驾驶策略优化方法及装置、车辆，以解决相关技术中基于离线数据训练时难以在不依赖高成本仿真环境的前提下实现有效的闭环策略优化的问题。

2、第一方面，提供了一种自动驾驶策略优化方法，其包括：获取离线驾驶数据，所述离线驾驶数据包括环境图像和车辆状态信息；从所述环境图像中提取当前时刻的环境语义特征；基于所述当前时刻的环境语义特征，生成驾驶动作指令；根据所述车辆状态信息，确认与所述驾驶动作指令关联的状态变化量；基于所述当前时刻的环境语义特征和状态变化量，预测下一时刻的环境语义特征；基于所述下一时刻的环境语义特征，进行多步特征推演以获得特征推演序列；基于所述特征推演序列计算累积奖励值，并利用所述累积奖励值更新自动驾驶策略模型的参数。

3、一些实施例中，所述从所述环境图像中提取当前时刻的环境语义特征，包括：获取与所述环境图像对应的文本导航指令；将所述环境图像和文本导航指令输入至视觉语言模型；利用所述视觉语言模型的编码层，将所述环境图像和文本导航指令映射为高维向量，作为所述当前时刻的环境语义特征。

4、一些实施例中，所述基于所述当前时刻的环境语义特征，生成驾驶动作指令，包括：将所述当前时刻的环境语义特征输入至所述自动驾驶策略模型；利用所述自动驾驶策略模型生成预设时间窗口内的驾驶轨迹，作为所述驾驶动作指令。

5、一些实施例中，所述根据所述车辆状态信息，确认与驾驶动作指令关联的状态变化量，包括：获取所述离线驾驶数据中记录的、与所述驾驶动作指令对应的当前时刻车辆状态信息和下一时刻车辆状态信息；计算所述下一时刻车辆状态信息与所述当前时刻车辆状态信息之间的差值，作为所述状态变化量。

6、一些实施例中，所述基于所述当前时刻的环境语义特征和状态变化量，预测下一时刻的环境语义特征，包括：获取特征动力学模型；将所述当前时刻的环境语义特征和所述状态变化量输入至特征动力学模型；利用所述特征动力学模型输出下一时刻的环境语义特征。

7、一些实施例中，所述获取特征动力学模型包括：获取训练样本对，所述训练样本对包括第一时刻图像、第二时刻图像以及所述第一时刻与所述第二时刻之间的状态变化量；提取所述第一时刻图像的第一环境语义特征和所述第二时刻图像的第二环境语义特征；利用待训练的特征动力学模型，基于所述第一环境语义特征和所述状态变化量，预测第三环境语义特征；计算所述第三环境语义特征与所述第二环境语义特征之间的特征一致性损失；基于所述特征一致性损失更新所述待训练的特征动力学模型的参数，直至满足收敛条件，得到所述特征动力学模型。

8、一些实施例中，所述获取训练样本对，包括：从离线数据集中选取任意两帧图像作为候选帧对；计算所述候选帧对中两帧图像对应的车辆状态之间的状态距离；若所述状态距离小于预设的状态距离阈值，则将所述候选帧对确定为所述训练样本对。

9、一些实施例中，所述基于所述下一时刻的环境语义特征，进行多步特征推演以获得特征推演序列，包括：将所述下一时刻的环境语义特征作为新的当前时刻的环境语义特征；执行多步生成驾驶动作指令、预测下一时刻的环境语义特征的步骤，以获得多步推演的环境语义特征；将每次预测得到的环境语义特征按时间顺序排列，形成所述特征推演序列。

10、一些实施例中，所述基于所述特征推演序列计算累积奖励值，包括：从所述特征推演序列中解析环境语义信息，所述环境语义信息包括：自车与车道线的相对位置、自车与障碍物的相对距离中的至少一个；若所述环境语义信息满足安全约束条件，则生成正向奖励值；若所述环境语义信息违反安全约束条件，则生成负向奖励值；将所述正向奖励值和/或负向奖励值累加，得到所述累积奖励值。

11、一些实施例中，所述利用所述累积奖励值更新自动驾驶策略模型的参数，包括：基于强化学习算法，将所述累积奖励值作为优化目标，更新所述自动驾驶策略模型的参数。

12、第二方面，提供了一种自动驾驶策略优化装置，包括：数据获取模块，其用于获取离线驾驶数据，所述离线驾驶数据包括环境图像和车辆状态信息；特征提取模块，其用于从所述环境图像中提取当前时刻的环境语义特征；策略生成模块，其用于基于所述当前时刻的环境语义特征，生成驾驶动作指令；状态确定模块，其用于根据所述车辆状态信息，确认与所述驾驶动作指令关联的状态变化量；语义特征推演模块，其用于基于所述当前时刻的环境语义特征和状态变化量，预测下一时刻的环境语义特征；序列推演模块，其用于基于所述下一时刻的环境语义特征，进行多步特征推演以获得特征推演序列；模型优化模块，其用于基于所述特征推演序列计算累积奖励值，并利用所述累积奖励值更新自动驾驶策略模型的参数。

13、第三方面，提供了一种车辆，包括：存储器，其用于存储计算机程序和自动驾驶策略模型；处理器，其与所述存储器连接，并用于在执行所述计算机程序时，利用所述自动驾驶策略模型生成驾驶控制指令；其中，所述自动驾驶策略模型是由如第一方面中任一项所述的自动驾驶策略优化方法训练得到。

14、本技术提供的技术方案带来的有益效果包括：

15、本技术实施例提供了一种自动驾驶策略优化方法及装置、车辆，通过从环境图像中提取当前时刻的环境语义特征，避免了直接处理高维图像数据的计算开销，进而基于当前时刻的环境语义特征生成驾驶动作指令，并根据车辆状态信息确定与动作关联的状态变化量，利用当前时刻的环境语义特征和该状态变化量预测下一时刻的环境语义特征，从而在特征空间内构建起状态演化的动力学模型；在此基础上，基于预测的下一时刻环境语义特征进行多步特征推演以获得特征推演序列，模拟了闭环驾驶过程中的状态累积变化，使得模型能够在无需真实环境交互或高成本仿真器的情况下，仅基于离线数据即可实现多步闭环推演；最后基于特征推演序列计算累积奖励值并更新模型参数，有效解决了相关技术中基于离线数据训练时因开环训练导致的分布偏移问题，同时避免了依赖高保真仿真器或图像空间世界模型所带来的高成本及视觉噪声干扰，实现了低成本、高效率的闭环策略优化。