基于可微车辆动力学与强化学习的分布式驱动车辆横纵向协同控制方法

本技术涉及车辆底盘控制，具体涉及一种基于可微车辆动力学与强化学习的分布式驱动车辆横纵向协同控制方法。

背景技术：

1、分布式驱动车辆是指每个车轮均配备独立的轮毂电机或轮边电机驱动系统的电动汽车，其四个车轮的驱动力矩可以独立、快速地精确控制。这种独特的驱动构型为车辆动力学控制提供了极高的执行自由度，使得车辆可以在驱动防滑、车身稳定性控制、轨迹跟踪等多个维度实现传统集中式驱动车辆难以企及的性能。具体而言，分布式驱动车辆可以通过独立调节各车轮的驱动力矩，直接产生期望的横摆力矩，从而主动干预车辆的横摆运动，在极限工况下维持车身姿态稳定；同时，各车轮驱动力的独立调节也为优化轮胎附着利用率、降低能量消耗提供了新的可能性。

2、在车辆行驶过程中，尤其是极限避障、加速转向、大曲率弯道行驶、低附着路面紧急制动等耦合滑移工况下，轮胎的横向力和纵向力共同受到轮胎-路面附着椭圆的约束，两者之间存在强烈的非线性耦合关系。具体而言，当轮胎纵向滑移率增大时，其可提供的侧向力会显著下降；反之，当轮胎侧偏角增大时，其可传递的纵向力也会衰减。这种轮胎力的强耦合特性使得横纵向协同控制成为分布式驱动车辆控制中的核心难题——如果仅将纵向控制和横向控制分开设计，则难以在轮胎附着极限附近充分利用每个车轮的附着能力，甚至可能因控制指令超出轮胎物理极限而导致车辆失稳。

3、近年来，深度强化学习方法在自动驾驶和车辆控制领域得到了广泛关注。强化学习方法通过智能体与环境的交互试错，可以学习到复杂的非线性控制策略，且训练完成后的策略网络仅需简单的前向计算即可输出控制指令，在线计算量远小于模型预测控制。然而，纯数据驱动的强化学习方法在实际车辆控制中面临以下突出问题：第一，强化学习训练需要大量的交互数据，在真实车辆上直接训练不仅成本高昂，还存在严重的安全风险；第二，若在训练中不使用准确的车辆动力学模型，则学习到的策略可能过度依赖于训练场景中的特定条件，在未见的极限工况下泛化能力不足；第三，纯数据驱动方法缺少轮胎摩擦边界、动态载荷转移、执行器物理极限等先验知识的约束，训练过程中策略网络容易输出超出车辆物理极限的控制指令，导致轮端过度滑转或车辆失稳，训练效率低下且难以部署到实际车辆。

4、还有部分研究尝试将神经网络控制器与物理约束相结合，例如在神经网络输出后添加饱和函数进行限幅，或在损失函数中添加惩罚项以约束控制量。然而，这些方法要么仅实现了简单的输出边界截断，无法保证动态过程中的复杂约束（如轮胎滑移率约束、总量约束等）；要么将物理约束作为训练后的附加处理环节，与策略网络本身脱离，约束的施加与策略的优化未形成闭环，难以获得既满足约束又具有最优性能的控制策略。此外，现有方案中采用的车辆动力学模型大多为非可微或半可微模型，无法将车辆运动的长期演化效应通过梯度反向传播至策略网络的参数更新中，限制了策略网络学习长时域控制策略的能力。

技术实现思路

1、本技术的主要目的在于提供了一种基于可微车辆动力学与强化学习的分布式驱动车辆横纵向协同控制方法，包括以下步骤：

2、步骤s1：获取分布式驱动车辆的前轮转角、纵向加速度需求以及车辆动力学状态，构成综合观测向量；

3、步骤s2：基于包含耦合滑移轮胎模型、动态载荷转移模型和七自由度车辆动力学模型的可微车辆动力学仿真器，建立车辆状态、控制动作和转向输入之间的可微状态更新关系；

4、步骤s3：将所述综合观测向量输入策略网络，经批量归一化层、多层感知机和激活函数处理，得到与四个车轮分别对应的动态残差；

5、步骤s4：根据动态垂向载荷和所述纵向加速度需求确定四轮基础分配量，并将所述四轮基础分配量与所述动态残差叠加，得到四轮预分配电机加速度指令；

6、步骤s5：根据所述纵向加速度需求和所述四轮预分配电机加速度指令计算动态缩放因子，利用所述动态缩放因子对所述四轮预分配电机加速度指令进行全局等比例钳制，得到满足驾驶员纵向总需求约束的四轮独立驱动控制指令；

7、步骤s6：以横摆角速度跟踪、纵向加速度跟踪、质心侧偏角安全约束、纵向滑移率约束和控制动作平顺性构建多目标代价函数，基于所述可微车辆动力学仿真器及所述可微状态更新关系进行多步前向推演，并通过随时间反向传播训练所述策略网络；

8、步骤s7：将训练后的所述策略网络部署到车辆控制器，由所述车辆控制器根据当前综合观测向量实时前向推理，输出最终的四轮独立驱动控制指令。

9、在一实施例中，所述步骤s1，具体包括：

10、利用车载传感器采集所述分布式驱动车辆的实时物理信号，所述实时物理信号包括由转角传感器测得的所述前轮转角、由加速踏板位置传感器换算得到的所述驾驶员纵向加速度需求、由惯性测量单元测得的车辆纵向速度、车辆侧向速度和车辆横摆角速度，以及由四轮轮速传感器分别测得的左前、右前、左后和右后车轮的轮端线速度；

11、对所述实时物理信号进行信号预处理，所述预处理包括采用低通滤波器滤除高频噪声，并对超出预设物理置信区间的异常值进行剔除或平滑替换，以得到经滤波处理的物理信号；

12、将经所述预处理后的物理信号，按照预设的维度顺序进行拼接，构建得到所述综合观测向量；其中，所述综合观测向量包括前轮转角、纵向加速度需求、车辆纵向速度、车辆侧向速度、车辆横摆角速度以及左前、右前、左后和右后车轮线速度。

13、在一实施例中，所述步骤s2，具体包括：

14、分别构建所述耦合滑移轮胎模型、所述动态载荷转移模型和所述七自由度车辆动力学模型，其中所述耦合滑移轮胎模型用于计算轮胎在耦合滑移工况下的纵向力和侧向力，所述动态载荷转移模型用于计算各车轮随车辆运动状态变化的动态垂向载荷，所述七自由度车辆动力学模型用于描述车辆纵向、侧向、横摆运动及各车轮旋转运动的动力学演化；

15、将所述耦合滑移轮胎模型输出的轮胎纵向力和轮胎侧向力、以及所述动态载荷转移模型输出的各车轮动态垂向载荷，作为输入参数传递给所述七自由度车辆动力学模型，形成以轮胎力计算、载荷转移计算和整车动力学积分为核心的连续时间非线性动力学系统的统一物理仿真计算流；

16、将所述统一物理仿真计算流中的全部运算以张量化形式实现，并采用自动微分框架构建所述车辆状态、控制动作和转向输入之间的可微状态更新关系，所述可微状态更新关系表达为微分方程形式：

17、

18、其中x为车辆系统状态向量，u为四轮控制动作向量，δt为前轮转角，使得所述可微状态更新关系在后续的随时间反向传播训练中能够将代价函数的梯度由仿真器输出端连续回传至策略网络权重。

19、在一实施例中，所述耦合滑移轮胎模型、所述动态载荷转移模型和所述七自由度车辆动力学模型，具体包括：

20、所述耦合滑移轮胎模型采用无奇点张量化方式计算各车轮的纵向滑移率和轮胎侧偏角，根据动态垂向载荷修正等效摩擦系数和滑移刚度，基于改进pacejka魔术公式计算纯纵向轮胎力和纯侧向轮胎力，并通过耦合滑移权重合成耦合工况下的轮胎纵向力和轮胎侧向力，所述耦合滑移轮胎模型中的所有运算均保持可微；

21、所述动态载荷转移模型根据车辆的纵向加速度和侧向加速度分别计算俯仰载荷转移量和侧倾载荷转移量，将各车轮的静态垂向载荷与对应方向的载荷转移量叠加，并利用最大值函数对各车轮的动态垂向载荷施加垂向载荷下限，以保持载荷值为非负物理量，所述动态载荷转移模型中的所有运算均保持可微；

22、所述七自由度车辆动力学模型以车辆纵向速度、车辆侧向速度、横摆角速度以及四个车轮的轮端线速度构成状态向量，并根据四轮轮胎纵向力、四轮轮胎侧向力、车轮相对质心坐标、车轮转动惯量和有效滚动半径更新车辆状态。

23、在一实施例中，所述步骤s3，具体包括：

24、将所述综合观测向量输入所述策略网络的批量归一化层，对所述综合观测向量中的各物理量进行量纲归一化处理，消除不同物理量之间的量纲差异，得到归一化后的观测特征；

25、将所述归一化特征向量依次输入所述多层感知机的各隐藏层，每一隐藏层依次执行全连接线性变换、批量归一化处理和mish激活函数非线性映射，逐层提取高维状态特征，得到高维状态特征向量，所述mish激活函数用于保持非线性区间的连续平滑梯度；

26、将所述高维状态特征向量输入所述策略网络的输出层，所述输出层为无激活函数的全连接层，对四个车轮分别输出对应的原始动态残差，将所述原始动态残差经双曲正切函数限制后乘以对应车轮的非对称安全裕度边界，得到最终与四个车轮分别对应的动态残差。

27、在一实施例中，所述步骤s4，具体包括：

28、获取所述可微车辆动力学仿真器在当前时刻输出的各车轮动态垂向载荷，根据各车轮动态垂向载荷占四轮动态垂向载荷总和的比例分配所述纵向加速度需求，并利用截断函数将分配结果限制在单轮电机加速度上限以内，得到四轮基础分配量；

29、将所述策略网络输出的与四个车轮分别对应的动态残差与对应车轮的非对称安全裕度边界相乘，得到限制幅值后的四轮动态调整量；

30、将所述四轮基础分配量与所述四轮动态调整量逐轮对应相加，得到四轮预分配电机加速度指令。

31、在一实施例中，所述步骤s5，具体包括：

32、计算所述四轮预分配电机加速度指令的总和，并将所述纵向加速度需求与所述四轮预分配电机加速度指令总和进行比值运算，得到初始动态缩放因子；

33、采用截断函数对所述初始动态缩放因子进行截断处理，将所述初始动态缩放因子的数值限制在[0, 1]区间内，得到最终动态缩放因子；

34、将所述最终动态缩放因子分别乘以各轮的所述四轮预分配电机加速度指令，得到经过全局等比例缩放后的所述四轮独立驱动控制指令，使得所述四轮独立驱动控制指令的总和等于所述纵向加速度需求。

35、在一实施例中，所述步骤s6，具体包括：

36、构建多目标代价函数，所述多目标代价函数由横摆角速度与理想横摆角速度之间的跟踪代价、实际纵向加速度与纵向加速度需求之间的跟踪代价、质心侧偏角超过安全边界时的稳定性惩罚、各车轮纵向滑移率超过滑移率阈值时的防滑转惩罚以及相邻时刻控制动作差异对应的平顺性惩罚加权求和构成，并设定各惩罚项对应的权重系数；

37、从预设的初始状态分布中随机采样车辆初始状态和驾驶员指令序列，以采样得到的初始状态作为起始条件，将策略网络输出的四轮独立驱动控制指令输入所述可微车辆动力学仿真器，按照固定离散步长进行多步前向推演，生成未来时间窗内的状态序列和控制序列，并记录各时间步对应的多目标代价函数值；

38、沿时间方向将各时间步的多目标代价函数值按折扣因子累加得到总代价，在时间展开的可微计算图中，从所述总代价出发通过链式法则逐层反向传播，依次计算所述总代价对所述可微车辆动力学仿真器各状态变量和控制变量的偏导数、对策略网络输出层偏导数以及策略网络各层权重和偏置的梯度，采用梯度下降优化算法根据计算得到的梯度更新策略网络参数，其中在离散状态积分和轨迹缓存环节中引入张量深拷贝算子以保持跨时间步的梯度链连续完整。

39、在一实施例中，所述步骤s7，具体包括：

40、将离线训练收敛后的策略网络中的批量归一化层的运行均值和运行方差提取并固化为静态常量，将各批量归一化层与其前一层的全连接层进行等效线性融合，以消除批量归一化层在前向推理中对输入数据的动态统计依赖性；

41、去除训练阶段所使用的自动求导计算图依赖和梯度计算分支，将多层感知机的每一隐藏层和输出层均等效映射为纯前向矩阵乘法与偏置加法运算，根据各层预定的量化精度导出各层权重矩阵和偏置向量为静态常量数组，并存储于所述车辆控制器的存储器中；

42、将批量归一化融合后的多层感知机前向传播逻辑封装为车辆控制器可执行的底层代码，所述底层代码仅包含矩阵乘法和激活函数的数值计算，不依赖于任何深度学习框架的运行环境，所述车辆控制器在每一控制周期读取当前综合观测向量后执行所述底层代码完成一次前向推理，并通过四轮驱动输出接口输出四轮独立驱动控制指令。

43、由此可见，本技术具有如下有益效果：

44、第一，本技术通过构建包含耦合滑移轮胎模型、动态载荷转移模型和七自由度车辆动力学模型的可微车辆动力学仿真器，将轮胎摩擦边界、动态载荷转移和整车运动约束纳入同一可微计算图，使物理先验知识通过解析梯度直接参与策略网络训练，提升了策略在极限工况下的泛化能力和安全性。

45、第二，本技术采用“基础分配+动态残差+可微动态缩放”三级指令生成架构，以轮荷比例分配作为物理先验保证基础合理性，策略网络输出动态残差实现精细化横纵向协同调节，可微动态缩放因子确保四轮驱动指令总和不超过驾驶员纵向需求且各轮不超出轮端物理边界，解决了纯数据驱动强化学习易输出越限指令的问题。

46、第三，本技术通过随时间反向传播进行多步前向推演训练，引入张量深拷贝算子保持梯度链连续完整，使策略网络能够学习控制动作对未来横摆角速度、质心侧偏角和滑移率演化的长期影响，克服了短视策略在极限工况下易失稳的缺陷。

47、第四，本技术训练完成后通过固化批量归一化参数、层融合、导出权重为静态常量数组并封装为纯前向矩阵运算，使策略网络在车辆控制器上无需依赖深度学习框架即可实时推理，相比模型预测控制大幅降低在线计算量，满足量产车辆毫秒级实时控制需求。

48、第五，本技术在轮胎模型中引入稳定性常数和atan2函数实现无奇点张量化计算，在动态载荷转移模型中设置垂向载荷下限，确保微观运动学变量在前向推演和反向求导中保持连续稳定，有效避免了数值奇异导致的梯度爆炸或梯度消失，保障了训练过程的稳定性和收敛性。