基于强化学习的非结构化交叉口多车通行时间确定方法

本发明涉及非结构化道路交叉口网联自动驾驶车辆协同轨迹规划，特别是针对无车道线、无信号灯的非结构化交叉口（如露天矿区、港口等场景）中多车协同轨迹规划问题，提出一种基于强化学习的通行时间确定方法。针对将多车协同轨迹规划建模为固定终端时间最优控制问题（ocp）时，终端通行时间的最优取值难以确定这一关键前置问题，通过强化学习训练面向特定交叉口的通行时间预测模型，根据当前批次到达交叉口的多车交通配置自适应地输出最优通行时间，为后续ocp求解器提供关键参数设定，实现通行效率与求解可行性的联合优化。

背景技术：

1、在非结构化交叉口多车协同轨迹规划中，将问题建模为最优控制问题（ocp）并通过数值方法求解是一种被广泛采用的技术路线。为降低ocp的非线性程度并简化求解过程，一种常见且有效的做法是将通行时间设定为固定常量而非自由优化变量，从而避免自由终端时间引入的额外非凸性。这一做法大幅降低了求解难度，使得基于梯度的nlp求解器能够更高效地收敛到可行解。然而，的具体取值对ocp的求解结果具有决定性影响：过小，车辆在运动学极限约束下无法在规定时间内完成交叉口通行，导致ocp无可行解；过大，车辆被迫以低于最优的速度行驶，通行效率下降且能耗增加。因此，在固定的框架下，如何针对当前多车交通配置确定一个既能保证ocp求解成功又能最大化通行效率的最优通行时间，是多车协同轨迹规划中一个关键的前置决策问题。

2、最优通行时间的确定面临高维耦合的困难。对于给定的非结构化交叉口，最优取决于当前批次到达交叉口的车辆数量、各车的初始位姿（位置、速度、航向角）与目标出口方向的组合、车辆运动学极限参数以及车辆间的潜在冲突密度等多重因素的耦合作用。这些因素之间的关系高度非线性且难以用解析公式显式表达。现有方法通常采用人工经验设定固定值、基于最坏情况估计的保守设定、或通过多次试探性求解进行二分搜索。然而，经验固定值无法适应多变的交通配置，保守估计牺牲通行效率，试探性求解则需要反复调用ocp求解器，计算开销成倍增加，无法满足实时性要求。

3、现有技术中，公开号为cn114283607b的发明专利公开了一种基于分布式群智学习的多车协同规划方法，采用多智能体强化学习框架实现多车协同轨迹规划，各智能体通过分布式通信共享感知信息并直接输出车辆控制指令。公开号为cn116895163a的发明专利公开了一种基于信号灯主动通信的多车协同控制方法和系统，通过信号灯与车辆的信息交互优化多车通行速度，基于信号相位周期进行速度引导以减少车辆停车次数和延误。公开号为cn115016474a的发明专利公开了一种用于车路协同自动驾驶的控制方法、路侧设备、云控平台和系统，通过云控平台集中规划多车行驶轨迹并下发控制指令，实现车路协同环境下的自动驾驶控制。然而，上述方法在通行时间确定方面均存在以下技术缺陷：

4、（1）现有方法将通行时间设定为固定经验值，未考虑不同交通配置下最优的差异性。其技术原因在于：最优取决于车辆数量、初始位姿、目标出口方向、运动学极限和冲突密度等多重因素的耦合作用，这些因素之间的关系高度非线性，无法用简单的解析公式或查表方法确定。固定经验值在部分场景下可行，但在交通配置偏离经验假设的场景下会导致ocp求解失败或通行效率大幅下降。

5、（2）基于最坏情况估计的保守设定方法虽然能够保证ocp在绝大多数场景下有可行解，但系统性地高估了所需通行时间。其技术原因在于：保守估计按照最不利的交通配置（如车辆数量最多、冲突最密集）来设定，对于实际中大量中等或低冲突密度的交通配置而言，被显著高估，车辆不得不以远低于最优的速度通行，造成通行效率和能耗的双重损失。

6、（3）基于试探性求解的二分搜索方法能够逐步逼近最优，但需要反复调用ocp求解器。其技术原因在于：每次试探需要完整求解一次ocp以判断当前是否可行，搜索过程中的多次ocp求解使总计算时间成倍增加。在非结构化交叉口场景下，单次ocp求解本身已具有较高计算复杂度，多次求解使得实时性完全无法保证。

7、因此，如何在不反复调用ocp求解器的前提下，针对当前交通配置实时、准确地确定最优通行时间，是非结构化交叉口多车协同轨迹规划中亟待解决的关键问题。

技术实现思路

1、如前所述，在非结构化交叉口多车协同轨迹规划中，将问题建模为固定终端时间ocp时，通行时间的取值对求解可行性和通行效率具有决定性影响。现有方法采用固定经验值无法适应多变的交通配置，保守估计系统性地牺牲通行效率，试探性搜索需反复调用ocp求解器而无法满足实时性。有鉴于此，本发明提供一种基于强化学习的非结构化交叉口多车协同规划通行时间确定方法，针对特定非结构化交叉口，训练一个从多车交通配置到最优通行时间的映射模型。该模型以当前批次多车的状态信息和冲突特征为输入，以为输出，通过与ocp求解器的交互反馈学习最优策略，训练完成后可在毫秒级时间内为任意新到达的交通配置预测最优，无需反复调用ocp求解器，实现通行效率与求解可行性的联合优化。

2、本发明完整的技术方案包括：

3、基于强化学习的非结构化交叉口多车协同规划通行时间确定方法，包括如下步骤：

4、1）针对特定非结构化交叉口，将通行时间确定问题建模为单步决策问题，建立状态空间、动作空间和奖励函数，所述状态空间负责将当前批次多车交通配置编码为状态向量s，动作空间负责基于状态向量s，由策略网络输出归一化动作a，并线性映射转换为物理通行时间，奖励函数用于将物理通行时间传入ocp作为固定参数进行求解时计算奖励；

5、2）构建强化学习训练环境，以ocp求解器作为交互环境，在该交叉口的大量随机交通配置下，训练通行时间预测模型，通行时间预测模型训练过程为：

6、观测当前episode多车交通配置下的状态向量s，随后由策略网络输出归一化动作a 并映射为物理通行时间，将物理通行时间传入 ocp求解器，并以为参数进行求解，根据求解结果计算奖励r 并存入经验缓冲区，累积足够数量的episode后，执行ppo参数更新，重复上述过程直至策略收敛；

7、3）最后，将步骤2）训练完成的通行时间预测模型部署于该交叉口的云控平台，实时提取其交通配置特征并编码为状态向量s，策略网络前向推理输出最优并传递给ocp求解器进行多车协同轨迹规划。

8、进一步的，状态空间设计方式为，状态向量s包含以下特征分量：各cav的初始位置坐标，初始速度，初始航向角，目标出口方向编码，各cav的运动学极限参数：最大速度、最大加速度、最大转向角；潜在冲突密度指标，所述潜在冲突密度指标为需经过相同冲突区域的车辆对数量与总车辆对数量之比。

9、进一步的，动作空间设计方式为：

10、所述动作空间为连续标量，输出通行时间：

11、(1)

12、式中，和分别为通行时间的物理下界和上界，由交叉口尺寸和车辆运动学极限确定，由策略网络输出归一化动作a ∈ [-1, 1]，通过公式(2)线性映射转换为物理通行时间：

13、(2)

14、其中，由交叉口最短路径长度除以车辆最大允许速度确定，由交叉口最长路径长度除以车辆最小允许速度确定。

15、进一步的，奖励函数设计方式为：

16、总奖励函数由四个子奖励的线性组合构成：

17、(3)

18、式中，为求解可行性奖励，为通行效率奖励，为轨迹质量奖励，为求解效率奖励。

19、进一步的，对可行性奖励，当ocp求解器在给定下成功求得可行解时，给予正奖励；当求解失败时，给予大负惩罚（），以严厉惩罚导致求解失败的选取：

20、(4)。

21、进一步的，对通行效率奖励，在ocp求解成功时，以作为通行效率奖励：

22、(5)

23、为通行效率奖励权重系数。

24、进一步的，轨迹质量奖励：

25、(6)

26、式中，为ocp的目标函数值，为轨迹质量权重系数。

27、进一步的，对求解效率奖励：

28、(7)

29、式中，为ocp求解器的实际计算耗时，为求解效率奖励权重系数。

30、进一步的，策略网络的训练过程中，首先从预设的分布中随机生成一个交通配置：车辆数量在[]内均匀采样，各cav的初始位姿、进入方向从该交叉口各进口道的合理初始区域内随机采样；目标出口方向从可行出口中随机选取；车辆尺寸参数按正态分布波动以反映异构车辆的差异性；

31、采用近端策略优化ppo算法训练通行时间预测策略，ppo算法通过裁剪代理目标函数限制策略更新幅度，策略网络和价值网络结构采用多层感知机mlp结构，策略网络输入为状态向量s，输出为归一化动作a的高斯分布参数，价值网络输入状态向量s，输出状态为价值估计v(s)。

32、进一步的，非结构化交叉口发生几何变更时，以原交叉口训练得到的策略网络参数作为新交叉口训练的初始化权重，在新交叉口的少量随机交通配置下进行微调训练。

33、相比于现有技术，本发明的有益效果在于：

34、非结构化交叉口多车协同轨迹规划中，将问题建模为固定终端时间ocp时，通行时间的合理确定直接决定了ocp的求解可行性和通行效率。现有方法采用固定经验值无法适应多变的交通配置，保守估计系统性地牺牲通行效率，试探性搜索需反复调用ocp求解器而无法满足实时性。本发明中：

35、基于所发明的强化学习通行时间预测模型，通过将ocp求解器作为训练环境的交互组件，使智能体在大量随机交通配置下学习选取与求解结果之间的映射关系。训练完成后，模型可在毫秒级时间内根据当前交通配置输出最优，无需反复调用ocp求解器，克服了试探性搜索方法计算开销成倍增加、无法满足实时性要求的技术缺陷。

36、基于所发明的多维复合奖励函数，将求解可行性、通行效率、轨迹质量和求解效率四个目标统一编码为标量奖励信号，使智能体在学习过程中自动权衡选取的多维影响。求解可行性奖励的大负惩罚设计迫使策略首先保证ocp求解成功，在此前提下通行效率奖励驱动策略趋向更短的，克服了固定经验值无法自适应调整和保守估计系统性高估通行时间的技术缺陷。

37、基于所发明的面向特定交叉口的训练与部署范式，针对给定交叉口的固定几何布局，在该交叉口的大量随机交通配置下进行针对性训练，使模型充分学习该交叉口特有的几何约束、冲突模式和运动学限制对最优的影响，确保预测精度和泛化能力。部署时模型推理时间为毫秒级，不增加系统实时性负担。