一种复杂地形下全主动线控无人履带车侧纵垂决策控制分层自学习方法
本发明属于无人履带车决策与控制,特别是涉及一种复杂地形下全主动线控无人履带车侧纵垂决策控制分层自学习方法。
背景技术:
1、全主动线控无人履带车采用线控底盘并配备多组独立主动悬架作动机构,各组主动悬架作动机构能够沿车辆垂向独立输出轴向位移,从而主动调节车体俯仰姿态与侧倾姿态,这种垂向全主动的对象结构在军事侦察、灾害救援、野外勘探等复杂非结构化场景中具有广泛的应用前景。在包含障碍物与起伏地形的复杂环境中,无人履带车的侧向转向、纵向行驶与垂向悬架运动之间存在强耦合关系:地面高程变化直接影响车辆姿态与附着条件,进而约束纵向车速与侧向转向能力;主动悬架的垂向调节又会改变车辆重心高度与接地压力分布,反过来影响平面运动的稳定性。要充分发挥侧纵垂向全主动线控无人履带车的高机动、高平稳、高安全等自主行驶能力,需要将侧向、纵向、垂向三个方向的运动纳入统一的决策控制框架进行协同优化。
2、然而,现有无人履带车决策控制方案多采用平面运动规划与垂向悬架控制相互独立的分层架构,轨迹规划层不考虑悬架作动状态,悬架控制层也不参与决策优化,难以在复杂地形下同时兼顾通行效率、行驶平顺性与执行器安全等性能;轨迹规划层对地形变化的适应性不足;轨迹跟踪层多采用模型预测控制,但大多针对平整路面设计约束条件,缺少基于局部地形高程信息的动态安全约束,在崎岖地形容易发生侧倾、滑移甚至侧翻;传统基于规则或模型的控制方法依赖精确的车辆动力学模型与地形参数辨识,在地形参数未知或动态变化的非结构化场景中适应性不足。
技术实现思路
1、本发明目的在于提供一种复杂地形下全主动线控无人履带车侧纵垂决策控制分层自学习方法,通过构建仿真训练环境,对多源观测信息进行预处理与解耦式决策生成,结合多模式混合轨迹规划、地形约束自适应mpc跟踪控制及底层执行控制,并利用多目标奖励加权融合和强化学习对决策神经网络进行迭代更新,实现整车碰撞安全、执行器饱和、全局路径跟踪、侧纵向稳定性、垂向平顺性、行驶高效性和能耗经济性等多目标协同优化,提升无人履带车在复杂地形下的自主决策控制能力与适应性。
2、为了实现本发明目的,本发明提供了一种复杂地形下全主动线控无人履带车侧纵垂决策控制分层自学习方法,包括以下步骤:
3、s1、搭建复杂地形下全主动线控无人履带车决策控制自学习仿真训练环境;运行该自学习仿真训练并逐时刻输出多源观测信息;所述多源观测信息包括全局路径、地面高程图、障碍物运动状态、履带车运动状态、悬架反馈状态、驱动电机反馈状态;
4、s2、将所述多源观测信息,通过多源信息预处理,获得得到预处理后多源信息集合;所述预处理后多源信息集合包括全局路径局部投影片段、局部地形栅格高程图、局部障碍栅格占用图、车辆中心俯仰姿态角、车辆中心侧倾姿态角、车辆中心纵向速度、车辆中心横摆角速度、车辆中心纵向加速度、车辆中心侧向加速度、车辆中心垂向加速度、各组独立主动悬架作动机构的绝对轴向位置、左右驱动电机的转速和转矩;
5、s3、将所述预处理后多源信息集合,通过平面与垂向运动解耦式决策生成运算,获得局部期望轨迹编号、各组独立主动悬架作动机构期望轴向位移增量;所述决策生成运算包括共享主干多输出头多层全连接决策神经网络计算以及网络输出随机探索处理;
6、s4、将所述全局路径局部投影片段和所述局部期望轨迹编号,通过多模式离线与在线混合式轨迹规划运算,索引调取候选轨迹簇中对应轨迹作为局部期望轨迹,得到局部期望轨迹点集合;所述候选轨迹簇包含多时空维度广域覆盖的离线候选轨迹簇,以及基于车辆中心至全局路径局部投影片段终点实时生成的在线候选轨迹;
7、s5、将所述局部地形栅格高程图和所述局部期望轨迹点集合,通过地形约束自适应的mpc轨迹跟踪运算,得到期望纵向速度、期望横摆角速度;所述mpc轨迹跟踪运算包括地形约束生成以及轨迹跟踪预测优化控制;
8、s6、将所述期望纵向速度、期望横摆角速度,以及所述各组独立主动悬架作动机构的绝对轴向位置、各组独立主动悬架作动机构期望轴向位移增量,通过底盘底层控制运算,得到左右履带驱动电机转速指令、各组独立主动悬架作动机构绝对轴向位置指令;所述底盘底层控制运算包括两轮差速逆运动学模型解算和期望轴向位移增量叠加计算;
9、s7、将所述左右履带驱动电机转速指令、各组独立主动悬架作动机构绝对轴向位置指令输入s1搭建的仿真训练环境,完成履带车与仿真环境之间的状态转移,由所述仿真训练环境输出得到下一时间步的多源观测信息;
10、s8、将上一时间步s3的输入输出、当前时间步s3的输入,通过自学习多目标奖励加权融合运算,得到自学习奖励值,并通过所述上一时间步s3的输入输出、当前时间步s3的输入以及所述自学习奖励值,建立一条数据基元并将其存入自学习训练经验数据库;其中自学习多目标奖励包括整车碰撞安全性、执行器饱和性、全局路径跟踪性、侧纵向行驶稳定性、垂向行驶平顺性、行驶高效性、能耗最优性多个奖励目标;
11、s9、根据所述自学习训练经验数据库,对训练经验数据进行批采样,通过强化学习对所述s3的决策神经网络计算的参数进行梯度更新;
12、s10、对所述s2至s10进行循环迭代训练,直至所述s3的决策神经网络收敛。
13、所述s1中,所述全局路径包括所有全局路径点的全局坐标;所述地面高程图包括所有地面点的全局坐标与高程值;所述障碍物运动状态包括各个障碍物相对车辆中心的位置、速度;所述履带车运动状态包括车辆中心全局坐标、车辆航向角、车辆中心俯仰姿态角、车辆中心侧倾姿态角、车辆中心纵向速度、车辆中心横摆角速度、车辆中心纵向加速度、车辆中心侧向加速度、车辆中心垂向加速度;所述悬架反馈状态包括各组独立主动悬架作动机构的绝对轴向位置;所述驱动电机反馈状态包括左右驱动电机的转速和转矩。
14、所述s2的全局路径局部投影片段的获取具体为:计算所述车辆中心全局坐标在所述全局路径上的投影点,以此投影点为起点沿着全局路径向前遍历,直至路径累积弧长首次超过预定义的前瞻距离约束值,记录遍历过程中包含起点和终点在内的每个点坐标,并将其转换到车辆坐标系下;
15、所述局部地形栅格高程图的获取具体为:以所述车辆中心为原点、预定义长度为半径、车辆纵轴为对称轴、预定义角度为圆心角,构建扇形局部地形区域,并将半径、圆心角分别离散以对该区域进行网格划分,得到局部地形栅格;针对每个局部地形栅格,提取其包含的所有角点的极坐标,将每个极坐标分别转换到车辆坐标系和全局坐标系;利用所述地面高程图,通过插值计算得到每个局部地形栅格每个角点的高程值;构建包含所有局部地形栅格编号及每个栅格所有从属角点的车辆坐标系坐标和高程值的局部地形栅格高程图;
16、所述局部障碍栅格占用图的获取具体为:以所述车辆中心为原点、预定义长度为半径、车辆纵轴为对称轴、预定义角度为圆心角,构建扇形局部障碍区域,并将半径、圆心角分别离散以对该区域进行网格划分,得到局部障碍栅格;针对每个局部障碍栅格,提取其包含的所有角点极坐标,将所述障碍物运动状态中各个障碍物相对车辆中心的位置转换为极坐标,计算判定每个局部障碍栅格的障碍物占用状态;构建包含所有局部障碍栅格编号及其障碍物占用状态的局部障碍栅格占用图;
17、所述车辆中心俯仰姿态角、车辆中心侧倾姿态角、车辆中心纵向速度、车辆中心横摆角速度、车辆中心纵向加速度、车辆中心侧向加速度、车辆中心垂向加速度、各组独立主动悬架作动机构的绝对轴向位置、左右驱动电机的转速和转矩均直接从所述多源观测信息中获取。
18、所述s4的多时空维度广域覆盖的离线候选轨迹簇的具体为:按照曲率划分为大曲率转向模式、中曲率转向模式、小曲率转向模式以及原地转向模式;对大、中、小曲率转向模式分别设定曲率区间并在各曲率区间进行离散采样,得到各转向模式下候选轨迹曲率集合;划分短距预瞄模式、中距预瞄模式、长距预瞄模式并分别设定距离区间,通过在各距离区间进行离散采样得到各预瞄模式下候选轨迹长度集合;划分低速度模式、中速度模式、高速度模式并分别设定速度区间,通过在各速度区间进行离散采样得到各速度模式下候选轨迹速度集合;将每个候选轨迹曲率集合中的每个曲率、每个候选轨迹长度集合中的每个长度、每个候选轨迹速度集合中的每个速度进行排列组合并进行候选轨迹生成,得到大、中、小曲率转向模式下包含不同曲率、不同长度、不同速度的候选轨迹簇;对原地转向模式,车辆执行原地回转运动,不设置轨迹的曲率、长度与速度,同时划分慢速度原地转向模式、中速度原地转向模式、快速度原地转向模式并分别设定横摆角速度区间,通过在各横摆角速度区间进行离散采样得到各速度原地转向模式下候选轨迹横摆角速度集合,基于该集合中的每个横摆角速度进行候选轨迹生成,得到原地转向模式下包含不同横摆角速度的候选轨迹簇;将大、中、小曲率转向模式下的候选轨迹簇与原地转向模式下的候选轨迹簇进行聚合,得到多时空维度广域覆盖的离线候选轨迹簇;
19、所述在线候选轨迹通过多项式轨迹生成算法将所述车辆中心与所述全局路径局部投影片段的终点进行连接得到。
20、所述s5的地形约束自适应的mpc轨迹跟踪运算,以独轮车运动学模型作为预测模型,以车辆坐标系下的车辆中心纵向位置、车辆中心侧向位置、车辆横摆角作为状态变量,以所述车辆中心纵向速度、车辆中心横摆角速度作为控制变量,以所述局部期望轨迹点集合作为mpc优化问题求解的跟踪目标,以预定义的履带车车辆中心纵向速度、车辆中心横摆角速度的最值作为mpc优化问题求解的控制变量物理约束条件,以所述地形约束作为mpc优化问题求解的控制变量地形约束条件;
21、所述地形约束生成步骤包括:基于所述局部地形栅格高程图,判定所述局部期望轨迹点集合中每个期望轨迹点坐标所属的局部地形栅格编号,提取该栅格所有角点的车辆坐标系坐标和高程值,并拟合该栅格平面,求解该平面的法向量相对全局坐标系平面的夹角,当该夹角的绝对值小于设定的安全阈值时,按二者之差的绝对值对所述控制变量物理约束条件进行线性收紧,直至设定的最低限度安全控制变量物理约束,得到mpc优化问题求解的控制变量地形约束条件。
22、所述s6的额底盘底层控制预算输出的左右履带驱动电机转速指令计算具体为:基于两轮差速逆运动学模型,根据所述期望纵向速度和期望横摆角速度计算左、右履带期望线速度;所述左履带期望线速度等于期望纵向速度减去期望横摆角速度与预定义两侧履带中心距离之半的乘积;所述右履带期望线速度等于期望纵向速度加上期望横摆角速度与预定义两侧履带中心距离之半的乘积;将左、右履带期望线速度分别除以驱动轮半径并乘以减速比,并施加预定义的左右履带驱动电机转速饱和限幅得到所述左右履带驱动电机转速指令;
23、所述各组独立主动悬架作动机构绝对轴向位置指令,由所述各组独立主动悬架作动机构期望轴向位移增量与当前时间步所述各组独立主动悬架作动机构的绝对轴向位置相加,并施加预定义的主动悬架作动机构机械行程饱和限幅得到。
24、所述s8的自学习多目标奖励中,整车碰撞安全性奖励根据所述各个障碍物相对车辆中心的位置计算,直线距离小于安全阈值时给予负奖励且距离越近负奖励值越小;执行器饱和性奖励根据所述左右驱动电机的转速和转矩,以及各组独立主动悬架作动机构的绝对轴向位置,相对于各自物理极限的接近程度计算,越接近极限负奖励值越小;全局路径跟踪性奖励根据所述车辆中心全局坐标与所述车辆中心全局坐标在全局路径上的投影点的直线距离计算,距离越大负奖励值越小;侧纵向行驶稳定性奖励根据所述车辆中心横摆角速度、车辆中心纵向加速度、车辆中心侧向加速度计算,绝对值越大负奖励值越小;垂向行驶平顺性奖励根据所述车辆中心的垂向加速度计算,绝对值越大负奖励值越小;行驶高效性奖励根据所述车辆中心的纵向速度计算,速度越低负奖励值越小;能耗最优性奖励根据左右履带驱动电机输出功率之和计算,功率之和越高负奖励值越小,其中左右电机输出功率通过所述左右驱动电机的转速和转矩计算得到。
25、所述s9的强化学习采用近端策略优化算法、软演员-评论家算法或双延迟深度确定性策略梯度算法中的一种;当所述强化学习采用近端策略优化算法时,所述决策神经网络包括策略网络与价值网络,训练过程中通过裁剪概率比对策略网络的更新幅度进行约束,采用广义优势估计计算优势函数,并通过经验数据库中的批量样本对策略网络与价值网络进行多轮梯度更新。
26、与现有技术相比,本发明的显著进步在于:
27、(1)本发明针对集成多组独立主动悬架作动机构、能够沿垂向独立调节车体俯仰与侧倾姿态的侧纵垂向全主动线控无人履带车,将垂向悬架决策纳入与平面决策统一的强化学习优化框架,能够实现履带车侧纵垂一体化协同自学习控制,有利于解决现有履带车方案缺少垂向主动悬架联合决策的技术问题,充分发挥垂向全主动悬架的姿态调节与减振能力;
28、(2)本发明采用多模式离线与在线混合式轨迹规划器,将覆盖大中小曲率转向、原地转向、多预瞄距离、多速度等级的离线候选轨迹簇与基于全局期望路径投影终点实时生成的在线候选轨迹相结合,既保证轨迹空间的广域覆盖,又能够适应动态障碍与地形变化,有利于提升复杂非结构化场景下的轨迹规划适应性;
29、(3)本发明通过地形约束自适应的mpc轨迹跟踪器,利用局部地形栅格高程图对期望轨迹点进行栅格归属判定、栅格平面拟合与法向量夹角求解,据此动态收紧速度与角速度约束边界,能够在复杂地形条件下自动生成安全和稳定性约束,有利于抑制崎岖地形的侧翻与滑移风险;
30、(4)本发明构建包含整车碰撞安全性、执行器饱和性、全局路径跟踪性、侧纵向行驶稳定性、垂向行驶平顺性、行驶高效性及能耗最优性的多目标奖励函数,并通过强化学习迭代训练自动优化决策神经网络参数,有利于实现复杂地形下无人履带车多目标协同优化。
31、为更清楚说明本发明的功能特性以及结构参数,下面结合附图及具体实施方式进一步说明。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com