一种集成主动倾摆的安全强化学习车辆路径跟踪控制方法

摘要: 本发明属于智能车辆运动控制,具体是一种集成主动倾摆控制、强化学习控制和模型预测安全过滤的车辆路径跟踪控制方法。可用于自动驾驶车辆在高速变道、双移线避障及曲线路径...
一种集成主动倾摆的安全强化学习车辆路径跟踪控制方法

本发明属于智能车辆运动控制,具体是一种集成主动倾摆控制、强化学习控制和模型预测安全过滤的车辆路径跟踪控制方法。可用于自动驾驶车辆在高速变道、双移线避障及曲线路径行驶等工况下的横向路径跟踪、车身姿态调节和稳定性约束控制。该方法通过强化学习生成车辆控制动作,并结合模型预测安全过滤层对前轮转角和主动倾摆控制力进行安全校核与修正,以提高车辆路径跟踪精度和高速行驶稳定性。

背景技术:

1、随着自动驾驶技术的发展,车辆路径跟踪控制在高速变道、紧急避障和曲线路径行驶等场景中具有重要作用。路径跟踪控制的目标是使车辆按照规划模块生成的参考路径稳定行驶,并在跟踪过程中保证车辆的横向稳定性和行驶安全性。在高速工况下,车辆受到轮胎侧向力非线性、执行器物理约束、车身侧倾响应以及横向载荷转移等因素影响,容易出现横向跟踪误差增大、横摆响应剧烈、倾摆角过大以及稳定性裕度降低等问题。因此,车辆路径跟踪控制不仅需要提高跟踪精度,还需要同时考虑控制输入约束、车辆状态约束和侧倾稳定性约束。

2、现有模型预测控制方法能够在有限预测时域内对车辆未来状态进行预测,并在优化求解过程中显式考虑前轮转角、转角变化率、横向误差和车辆稳定性等约束,因此在车辆路径跟踪控制中具有较好的约束处理能力。然而,该类方法通常对车辆预测模型精度依赖较强,当车辆处于高速避障、大曲率路径跟踪或侧倾响应明显的复杂工况时,车辆动力学非线性和模型不确定性会增加控制器设计难度。同时,模型预测控制需要在每个采样周期内求解优化问题,若预测模型和约束条件较为复杂,容易增加在线计算负担,影响控制系统的实时性。

3、强化学习方法能够通过智能体与环境的交互自主学习控制策略,具有较强的非线性映射能力和自适应控制能力。对于车辆路径跟踪任务,强化学习控制器可以根据车辆当前状态直接输出控制动作,训练完成后通过策略网络前向推理即可获得控制量,具有较好的在线决策效率。特别是sac算法通过引入最大熵机制,能够提高策略探索能力和训练稳定性,适合用于连续状态、连续动作条件下的车辆路径跟踪控制。但是,强化学习方法主要依靠奖励函数和终止条件对控制行为进行间接约束,在训练初期策略尚未收敛时,智能体可能输出幅值过大或变化过快的控制动作,导致车辆偏离安全区域,甚至引发横摆响应剧烈、倾摆角超限或横向载荷转移率升高等安全风险。因此,单纯依靠强化学习方法难以在每个控制周期内显式保证车辆输入约束和状态约束满足。

4、此外,在高速路径跟踪过程中,车辆侧倾运动对行驶稳定性的影响更加明显。当前轮转角较大或路径曲率快速变化时,车辆会产生较大的横向加速度,使车身发生侧倾并引起左右轮垂向载荷重新分配。当横向载荷转移率过大时,车辆可能接近侧翻边界,影响高速避障过程中的安全性。主动倾摆控制能够通过施加主动悬架作动力调节车身姿态,降低倾摆角误差和横向载荷转移风险,从而提高车辆在高速路径跟踪过程中的稳定性。然而,将主动倾摆控制引入强化学习路径跟踪后,控制动作由单一前轮转角扩展为前轮转角和主动倾摆控制力两个控制量,虽然提高了控制自由度,但也使控制输入之间的耦合关系更加复杂。若仅对两个控制量分别进行简单限幅,难以保证二者组合后仍能满足车辆侧倾稳定性和横向安全约束。

5、因此,需提出一种集成主动倾摆控制的安全强化学习车辆路径跟踪控制方法,在发挥 sac强化学习控制器非线性决策能力和在线推理效率的同时,引入模型预测安全过滤机制,对强化学习输出的前轮转角和主动倾摆控制力进行短时域预测、约束校核和最小必要修正,使最终作用于车辆的控制动作既能尽量保留强化学习控制器的控制意图,又能满足车辆输入约束、车身倾摆约束和横向载荷转移率约束,从而提高车辆在高速路径跟踪和避障行驶过程中的跟踪精度、控制实时性和行驶安全性。

技术实现思路

1、本发明所要解决的技术问题是针对现有车辆路径跟踪控制方法在高速变道、双移线避障及曲线路径行驶等工况下存在的控制安全性不足、强化学习训练初期动作探索风险较高、主动倾摆控制与转向控制耦合关系难以协调、车辆侧倾稳定性难以显式保证等问题,提供一种集成主动倾摆的安全强化学习车辆路径跟踪控制方法。该方法通过强化学习控制器生成车辆路径跟踪候选动作,并在强化学习控制器与车辆执行机构之间设置模型预测安全过滤层,对候选前轮转角和主动倾摆控制力进行短时域预测、约束校核和最小必要修正,使最终施加于车辆的控制动作在尽量保留强化学习控制意图的同时满足车辆输入约束、车身倾摆约束和横向稳定性约束,从而提高车辆在高速路径跟踪过程中的跟踪精度、控制实时性和行驶安全性。

2、为实现上述技术目的,本发明采取的技术方案为:

3、一种集成主动倾摆的安全强化学习车辆路径跟踪控制方法,包括以下步骤:

4、步骤s1、采集车辆当前行驶状态和参考路径信息,并根据车辆当前行驶状态与参考路径信息计算车辆路径跟踪与倾摆状态信息;

5、所述车辆路径跟踪与倾摆状态信息包括车辆的横向误差、航向误差、横向误差变化率、航向误差变化率、当前前轮转角、前轮转角变化率、车身实际倾摆角与目标倾摆角之间的误差、车身倾摆角速度;

6、所述参考路径信息包括参考路径位置、参考航向角和参考曲率,用于辅助计算车辆路径跟踪与倾摆状态信息;并为后续模型预测安全过滤层提供预测输入;

7、步骤s2、以步骤s1获取的车辆路径跟踪与倾摆状态信息作为sac强化学习智能体的输入状态,以前轮转角和主动倾摆控制力作为sac强化学习智能体的动作输出,构建sac强化学习控制器;

8、步骤s3、将步骤s1中获取的当前车辆路径跟踪与倾摆状态信息输入训练后的sac强化学习控制器,输出候选控制动作,候选控制动作包括候选前轮转角和候选主动倾摆控制力;

9、步骤s4、在sac强化学习控制器与车辆执行机构之间设置模型预测安全过滤层,以步骤s3输出的候选前轮转角和候选主动倾摆控制力作为参考输入,结合当前车辆状态和车辆预测模型,对候选控制动作在未来短时域内引起的车辆状态变化和控制输入变化进行预测,得到未来预测时域内的预测车辆状态和预测控制输入序列;

10、其中,当前车辆状态至少包括车辆的横向误差、航向误差、横向速度、横摆角速度、车身倾摆角和倾摆角速度;

11、步骤s5、根据车辆横向动力学模型、侧倾动力学模型和横向载荷转移关系,构建在当前车辆状态下由前轮转角和主动倾摆控制力共同决定的二维耦合安全可行域,即双输入安全通道;所述双输入安全通道是在当前车辆状态下,所有同时满足安全约束条件的控制动作所构成的集合:所述安全约束条件包括车辆输入约束、输入变化率约束、车辆状态约束和横向稳定性约束;所述控制动作由安全前轮转角和安全主动倾摆控制力共同组成;

12、在所述双输入安全通道内,当前候选前轮转角和候选主动倾摆控制力自身满足所述车辆输入约束和输入变化率约束,且前轮转角与主动倾摆控制力的组合在预测时域内不会引起任何车辆状态约束或横向稳定性约束被违反;

13、步骤s6、将当前时刻的候选前轮转角和候选主动倾摆控制力、以及步骤s4中预测得到的所述预测车辆状态和预测控制输入序列,分别与步骤s5所述安全约束条件进行逐一对比;

14、候选前轮转角和候选主动倾摆控制力自身满足车辆输入约束和输入变化率约束,且在预测时域内所有预测车辆状态和预测控制输入序列均满足所述安全约束条件,则判定步骤s3输出的候选控制动作位于步骤s5所述双输入安全通道内,不对候选控制动作进行修正,直接将候选前轮转角和候选主动倾摆控制力作为最终控制动作输出;

15、若候选前轮转角或候选主动倾摆控制力自身不满足车辆输入约束和输入变化率约束,或在预测时域内任一预测车辆状态或预测控制输入序列不满足所述安全约束条件,则判定步骤s3输出的候选控制动作不位于步骤s5所述双输入安全通道内,通过在线优化求解与候选控制动作距离最近且满足安全约束条件的安全控制动作,并将修正后的安全前轮转角和安全主动倾摆控制力作为最终控制动作输出;

16、步骤s7、将步骤s6输出的最终控制动作作用于车辆执行机构;

17、在下一采样周期,重新获取车辆当前行驶状态并重复执行步骤s1至步骤s7,形成滚动更新的安全强化学习路径跟踪控制过程。

18、作为本发明进一步改进的技术方案,所述步骤s2中的sac强化学习控制器的构建,具体包括:

19、步骤s2.1、构建sac策略网络,所述sac策略网络以步骤s1所述的车辆路径跟踪与倾摆状态信息作为输入,输出归一化的前轮转角和归一化的主动倾摆控制力,并通过比例映射转换为实际候选前轮转角和候选主动倾摆控制力;

20、步骤s2.2、构建sac双评论家网络,所述sac双评论家网络包括第一评论家网络和第二评论家网络,第一评论家网络和第二评论家网络的结构相同但网络参数相互独立,用于评估当前车辆状态下执行双输入动作的综合动作价值;并采用第一评论家网络输出值和第二评论家网络输出值中的较小值作为动作价值估计结果,以降低动作价值过估计问题;

21、步骤2.3、构建奖励函数,所述奖励函数为:

22、;

23、其中,为横向误差,为航向误差,为横向误差变化率,为航向误差变化率,为车身实际倾摆角与目标倾摆角之间的误差,为最大倾摆角,为车身倾摆角速度,为当前的前轮转角,为前轮转角上限,为当前的主动倾摆控制力,为主动倾摆控制力上限,为额外惩罚项,当横向误差的绝对值超过横向误差安全阈值、或车身倾摆角的绝对值超过倾摆角安全阈值、或横向载荷转移率的绝对值超过横向载荷转移率安全阈值时,触发额外惩罚;否则不施加额外惩罚。

24、作为本发明进一步改进的技术方案,所述的步骤s4中模型预测安全过滤层包括:

25、步骤s4.1、建立车辆预测模型:根据车辆横向动力学模型、路径误差模型和侧倾动力学模型,建立用于短时域状态预测的车辆预测模型,以当前车辆状态和候选控制动作作为输入,在有限预测时域内递推计算未来若干采样时刻内的预测车辆状态和预测控制输入序列:

26、所述预测车辆状态包括车辆的横向误差、航向误差、横向速度、横摆角速度、车身倾摆角、倾摆角速度和横向载荷转移率;

27、所述预测控制输入序列包括未来各预测步的前轮转角和主动倾摆控制力;

28、步骤s4.2、构建安全约束条件,所述安全约束条件至少包括前轮转角幅值约束、前轮转角变化率约束、主动倾摆控制力幅值约束、主动倾摆控制力变化率约束、横向误差约束、航向误差约束、横向速度约束、横摆角速度约束、车身倾摆角约束、倾摆角速度约束和横向载荷转移率约束;

29、步骤s4.3、将sac强化学习控制器输出的候选前轮转角和候选主动倾摆控制力作为安全校核对象,代入步骤s4.1建立的安全过滤层预测模型,在有限预测时域内递推计算车辆未来状态和控制输入,得到所述预测车辆状态和预测控制输入序列。

30、作为本发明进一步改进的技术方案,所述步骤s5中所述车辆输入约束具体包括前轮转角幅值约束和主动倾摆控制力幅值约束;输入变化率约束具体包括前轮转角变化率约束和主动倾摆控制力变化率约束;车辆状态约束具体包括横向误差约束、航向误差约束、横向速度约束、横摆角速度约束、车身倾摆角约束和倾摆角速度约束;横向稳定性约束具体包括横向载荷转移率约束。

31、作为本发明进一步改进的技术方案,所述步骤s6中的通过在线优化求解与候选控制动作距离最近且满足安全约束条件的安全控制动作,具体包括:

32、步骤6.1、构建安全动作修正优化目标:

33、以修正后的前轮转角和主动倾摆控制力尽可能接近sac强化学习控制器输出的候选前轮转角和候选主动倾摆控制力为目标,构建安全动作修正优化目标函数;

34、安全动作修正优化目标函数为:

35、;

36、其中,j为优化目标函数;du为动作幅值归一化矩阵,用于统一前轮转角和主动倾摆控制力的量纲;+j|为在当前时刻k预测得到的未来第j步控制输入,包括前轮转角和主动倾摆控制力;rl(k)为sac强化学习控制器在当前时刻k输出的候选控制动作; d 为控制增量归一化矩阵,用于统一前轮转角变化量和主动倾摆控制力变化量的量纲;+j|为未来第j步控制输入变化量;nc为控制时域长度,表示在线优化中需要求解的控制输入步数;其中,k表示当前采样时刻,j表示控制时域内的第j个控制步, 为动作偏差权重矩阵,为控制增量权重矩阵,为松弛变量,为松弛变量惩罚系数;

37、步骤6.2、构建带约束的二次规划问题:

38、将车辆安全约束条件作为优化约束,将步骤6.1所述的安全动作修正优化目标作为优化目标,构建带约束的二次规划问题;

39、步骤6.3、求解安全控制动作:

40、通过在线求解二次规划问题,获得在当前时刻k的预测时域内满足车辆安全约束条件且与sac强化学习控制器输出的候选动作偏差最小的最优控制序列;

41、所述最优控制序列包括当前时刻及未来若干控制时域内的多组控制输入,每一组控制输入均由前轮转角和主动倾摆控制力组成;

42、步骤6.4、输出最终控制动作:

43、将步骤6.3求得的最优控制序列中的第一组控制输入即为当前时刻的安全控制动作,包括安全前轮转角和安全主动倾摆控制力,将安全前轮转角和安全主动倾摆控制力作为最终控制动作。

44、本发明的有益效果为:

45、1、针对现有模型预测控制方法对车辆预测模型精度依赖较强、在线计算负担较大的问题,本发明采用sac强化学习控制器生成候选控制动作,训练完成后通过策略网络前向推理即可获得控制量,具有较好的在线决策效率。同时,本发明将强化学习控制器的非线性决策能力与模型预测安全过滤机制相结合,在发挥sac算法强非线性映射能力和自适应控制能力的同时,通过安全过滤层对候选动作进行约束校核,兼顾了控制实时性与安全性。

46、2、针对单纯依靠强化学习方法难以在每个控制周期内显式保证车辆输入约束和状态约束满足的问题,本发明在强化学习控制器与车辆执行机构之间设置了模型预测安全过滤层。该安全过滤层以候选前轮转角和候选主动倾摆控制力作为参考输入,以当前车辆状态作为预测初始状态,结合车辆预测模型对候选控制动作在未来短时域内引起的车辆状态和控制输入变化进行预测。当候选动作满足安全约束时,安全过滤层具有非干预性,最终控制动作等于sac策略网络输出的候选动作;当候选动作可能导致安全约束违背时,安全过滤层通过在线优化进行最小必要修正,使最终控制动作既满足安全约束,又尽量保留sac控制器的原始控制意图。这一机制有效解决了强化学习训练初期策略尚未收敛时智能体输出高风险动作的问题。

47、3、针对主动倾摆控制引入强化学习路径跟踪后控制输入耦合关系复杂、简单限幅难以保证组合安全的问题,本发明构建了前轮转角-主动倾摆控制力双输入安全通道。该安全通道不是前轮转角独立安全范围和主动倾摆控制力独立安全范围的简单组合,而是考虑二者共同作用于车辆动力学响应后形成的联合安全可行域。在双输入安全通道内,前轮转角与主动倾摆控制力的组合在预测时域内不会引起横向误差、航向误差、横摆角速度、车身倾摆角或横向载荷转移率超出安全约束范围。通过这一二维耦合安全可行域的构建,本发明有效协调了转向控制与主动倾摆控制之间的耦合关系,避免了分别简单限幅导致的安全漏洞。

48、4、针对车辆侧倾运动对高速行驶稳定性影响明显、横向载荷转移率过大易导致侧翻的问题,本发明将主动倾摆控制力作为独立控制量引入路径跟踪控制框架。通过主动悬架系统或主动倾摆执行机构产生等效侧倾控制力矩,主动调节车身倾摆响应和横向载荷转移状态。安全约束条件中明确包含了车身倾摆角约束、倾摆角速度约束和横向载荷转移率约束,能够在预测时域内对车身倾摆姿态和侧倾稳定性风险进行提前预测和主动限制。仿真结果表明,本发明在保持较好路径跟踪性能的同时,能够有效降低车身倾摆角误差和横向载荷转移风险,提高车辆高速路径跟踪过程中的车身姿态稳定性和侧倾安全性

49、5、针对模型预测控制在线计算负担较大的问题,本发明中模型预测安全过滤层仅对强化学习输出的候选动作进行安全校核和必要修正,而非完全替代强化学习控制器进行路径跟踪决策。安全过滤层采用短时域预测和滚动时域控制方式,仅将求解得到的最优控制序列中的第一组控制输入作为当前时刻实际输出的安全控制动作,在保证安全性的同时有效降低了在线优化计算量。此外,安全过滤层的优化目标是最小化与候选动作的偏差而非完全重新生成控制动作,进一步减少了计算负担。这一架构使得本发明在保持较高控制实时性的同时,能够显式满足车辆输入约束、车身倾摆约束和横向稳定性约束。

50、6、本发明适用于高速双移线、紧急变道、曲线路径跟踪和避障路径跟踪等多种工况,在车辆路径跟踪过程中同时实现横向路径误差控制、车身倾摆姿态控制和横向载荷转移风险抑制。仿真结果表明,本发明所提出的safe-sac主动倾摆方法在保持sac控制器非线性决策能力的同时,通过模型预测安全过滤层对候选前轮转角和主动倾摆控制力进行安全校核与最小修正,使车辆横向位移能够较好地跟随期望路径,前轮转角更加平滑,车身倾摆角误差和横向载荷转移率得到有效抑制。