基于行为锚定双时间尺度参数化动作的车辆轨迹规划方法

本发明涉及汽车，具体地涉及一种基于行为锚定双时间尺度参数化动作的车辆轨迹规划方法。

背景技术：

1、自动驾驶领域中，参数化深度q网络（parameterized deep q-network，pdqn）是一类典型混合强化学习算法，可以同时输出离散行为动作以及配套的连续控制参数，适合处理离散换道决策+连续轨迹加速度控制的自动驾驶任务。现有单时间尺度pdqn基线方案，策略决策周期与动作执行周期完全对齐。当采用低频策略（例如0.5hz）降低训练开销时，一次输出的离散换道行为、轨迹参数、加速度参数会在完整决策周期内全部保持不变，会带来多方面缺陷：

2、第一，离散行为与连续参数强耦合锁死。换道意图被锁存的同时加速度、轨迹参数也被锁死；当周边车辆发生加减速、切入切出等动态变化，自车无法实时调整纵向控制，纵向响应滞后，显著增大碰撞风险。

3、第二，轨迹开环执行，无法跟随车辆实时位姿修正，直接替换新轨迹会造成轨迹跳变，带来转向抖动，乘坐舒适性差。

4、第三，训练样本处理粗糙，仅存储完整决策窗口的累计奖励，丢失逐帧的控制反馈信息，价值函数估计偏差大。

5、若为了解决响应滞后问题直接提升策略频率，则会带来离散换道行为频繁切换，横向意图反复跳变，车辆频繁来回修正车道，同样恶化安全性与舒适性。其他基线算法例如ppo、sac，虽然可以高频输出连续动作，但是缺少针对换道行为的显式离散-连续分层建模，在高密度混合交通流下碰撞风险高，通行完成率低。此外，现有基于深度强化学习的自动驾驶决策方法的性能评估多在20至40秒的短时域仿真中进行，测试时长仅覆盖单次或少数几次驾驶决策过程。上述短时域评估范式难以反映低频决策框架下离散行为与连续参数耦合锁死导致的纵向响应滞后在长时间连续驾驶任务中逐步累积的安全风险。当测试时域延长至200秒时，碰撞率急剧上升、通行完成率显著下降，现有方法的可靠性面临严峻挑战。

6、综上，现有技术存在两难：低频策略纵向响应滞后，高频策略横向意图抖动。如何解耦离散行为选择频率和连续控制参数更新频率，兼顾横向行为稳定性和纵向控制实时性，并在长时域连续驾驶任务中保持可靠性，是本领域亟待解决的技术问题。

技术实现思路

1、鉴于此，本发明提供一种基于行为锚定双时间尺度参数化动作的车辆轨迹规划方法，以兼顾横向行为稳定性和纵向控制实时性，并在长时域连续驾驶任务中保持可靠性。

2、一种基于行为锚定双时间尺度参数化动作的车辆轨迹规划方法，包括：

3、s1，基于车辆与交通环境交互获取当前环境观测数据，进而构建车辆混合决策状态空间与参数化动作空间；

4、s2，基于车辆混合决策状态空间，由高层行为网络按照第一决策频率在行为窗口起始边界输出高层离散行为，并根据当前车道和高层离散行为确定目标车道，在行为窗口内部锁存高层离散行为并保持目标车道不变；

5、s3，在行为窗口内部，基于锁存的高层离散行为和每个底层仿真帧的车辆观测状态，微观策略网络在每个底层仿真帧输出低层连续控制参数，低层连续控制参数包括轨迹纵向位移调节参数和纵向加速度控制量，底层仿真帧按照高于第一决策频率的第二频率运行；

6、s4，在每个底层仿真帧，以车辆当前状态作为新轨迹规划起点，在保持目标车道不变的条件下生成新轨迹，并将新轨迹与上一时刻参考轨迹中尚未执行的旧轨迹剩余段进行加权融合，得到融合参考轨迹，将融合参考轨迹输入轨迹跟踪控制器以输出车辆横向转向控制量；

7、s5，分别构建行为经验池和微观经验池，将行为窗口起始边界的状态、锁存的高层离散行为、行为窗口内累计的外层奖励、下一行为窗口起始边界的状态和终止标记作为行为窗口级样本存储于行为经验池，将每个底层仿真帧的车辆观测状态、锁存的高层离散行为、轨迹纵向位移调节参数、纵向加速度控制量、即时奖励、下一底层仿真帧的车辆观测状态和微观样本边界标记作为底层仿真帧级样本存储于微观经验池；

8、s6，基于行为经验池中的样本训练高层行为critic，高层行为critic仅在行为窗口边界进行高层离散行为价值更新，基于微观经验池中的样本训练微观critic和微观actor，微观critic在锁存高层离散行为的条件下学习底层连续控制参数的价值函数并采用多步时序差分目标进行价值更新，微观actor以最大化微观critic的价值为训练目标，再根据训练结果更新高层行为网络和微观策略网络的网络参数，用于下一轮车辆轨迹决策和底层控制。

9、根据本发明提供的基于行为锚定双时间尺度参数化动作的车辆轨迹规划方法，具有以下有益效果：

10、1.本发明采用双时间尺度解耦设计，将高层离散行为决策和低层连续参数更新分离。行为窗口锁存高层离散行为，避免换道意图频繁跳变，解决了高频策略导致的横向意图抖动问题；同时逐帧刷新连续轨迹参数和加速度，克服低频策略带来的纵向响应滞后问题，使自车能够实时响应周边车辆的加减速和切入切出等动态变化，显著降低动态交通场景的碰撞风险。

11、2.本发明提出滚动轨迹重规划融合机制，保留旧轨迹未执行部分，以平移对齐方式消除新旧轨迹起点偏差，再与新轨迹进行加权融合，避免直接替换轨迹造成的横向突变，降低转向方差，提升乘坐舒适性。

12、3.本发明采用分层经验池和分层衔接的贝尔曼目标，区分高层换道行为样本和底层逐帧控制样本，使行为决策边界、轨迹执行边界和价值函数训练边界在时间尺度上保持一致，充分利用逐帧即时奖励反馈，改善价值函数估计精度，提升样本利用效率，加快算法收敛。训练收敛曲线表明本发明方法在训练初期即表现出更快的收敛速度和更高的奖励水平。

13、4.本发明在v/c=0.3交通流密度下表现出较好的稳定性提升效果，且在200秒长时域连续驾驶测试中保持性能优势，克服了现有方法随测试时长增加性能急剧衰减的缺陷。根据统一仿真测试，本发明方法相比基线方法具有更高回合平均奖励、更高仿真执行完成率、更低碰撞率，能够降低无效换道与频繁加减速，改善混合交通流的通行效率。由此，本发明能够兼顾横向行为稳定性和纵向控制实时性，并在长时域连续驾驶任务中保持可靠性。

1.一种基于行为锚定双时间尺度参数化动作的车辆轨迹规划方法，其特征在于，包括：

2.根据权利要求1所述的基于行为锚定双时间尺度参数化动作的车辆轨迹规划方法，其特征在于，步骤s1中，车辆混合决策状态空间包括自车运动状态、车道状态以及周边车辆交互状态，自车运动状态至少包括自车速度、航向角和横向偏移，周边车辆交互状态至少包括前车及相邻车道车辆的相对距离和相对速度；参数化动作空间由高层离散行为和低层连续控制参数共同构成，其中，高层离散行为至少包括车道保持、向左换道和向右换道，低层连续控制参数至少包括轨迹纵向位移调节参数和纵向加速度控制量，参数化动作空间表示为：

3.根据权利要求2所述的基于行为锚定双时间尺度参数化动作的车辆轨迹规划方法，其特征在于，步骤s2中，行为窗口包含的底层仿真帧数由如下公式确定：

4.根据权利要求3所述的基于行为锚定双时间尺度参数化动作的车辆轨迹规划方法，其特征在于，步骤s3中，微观策略网络以当前底层仿真帧的车辆观测状态和锁存的高层离散行为为输入，输出轨迹纵向位移调节参数和纵向加速度控制量，计算公式为：

5.根据权利要求4所述的基于行为锚定双时间尺度参数化动作的车辆轨迹规划方法，其特征在于，步骤s4中，将旧轨迹剩余段平移对齐至新轨迹起点，得到对齐后的旧轨迹剩余段，计算公式为：

6.根据权利要求5所述的基于行为锚定双时间尺度参数化动作的车辆轨迹规划方法，其特征在于，步骤s5中，行为经验池的样本集合表示为：

7.根据权利要求6所述的基于行为锚定双时间尺度参数化动作的车辆轨迹规划方法，其特征在于，步骤s6中，基于行为经验池训练高层行为critic，高层行为critic仅在行为窗口边界进行高层离散行为价值更新，贝尔曼目标表示为：

8.根据权利要求7所述的基于行为锚定双时间尺度参数化动作的车辆轨迹规划方法，其特征在于，步骤s6中，基于微观经验池训练微观critic和微观actor，多步时序差分步数取5，5步微观累计回报表示为：