一种四足机器人运动控制方法及装置

本发明涉及智能硬件，具体涉及一种四足机器人运动控制方法及装置。

背景技术：

1、四足机器人在野外勘探、灾后救援、工业巡检及边远山区作业等非结构化场景中具有广阔的应用前景。此类环境地形复杂多变，包含碎石路面、陡峭坡道、离散障碍及湿滑地面等多种复杂工况，对运动控制器的鲁棒性提出了极高要求。近年来，基于深度强化学习的运动控制方法在四足机器人领域取得了显著进展，涌现出大量端到端学习的运动策略。

2、然而，现有高性能策略普遍依赖视觉相机、激光雷达或深度相机等外部传感器提前获取地形几何信息。在实际户外部署中，光照剧烈变化、尘土与植被遮挡、机身高频振荡引发的运动模糊、以及机载计算延迟等因素，极易导致外部传感器失效或感知数据严重失真。此时机器人必须仅依赖惯性测量单元imu和关节编码器提供的本体感知信号进行所谓的“盲态”运动控制。

3、当前主流的盲态运动控制方法多采用教师-学生两阶段蒸馏框架：第一阶段，教师策略在仿真环境中借助特权信息训练得到理想运动策略；第二阶段，学生策略仅依赖本体感知历史序列，通过模仿教师动作完成部署。尽管该范式在一定程度上推动了盲态运动控制的发展，但仍存在两个尚未解决的关键技术瓶颈：

4、（1）现有本体感知编码器多将历史序列简单展平或采用单一时序模型混合处理，缺乏对单关节时间动态与多关节空间协同的显式解耦建模。这使得网络难以区分短时足地冲击瞬态如脚部撞击障碍后的关节急剧响应，与长时步态周期特征如对角腿的相位协同，从而限制了在高度非结构化地形上的特征表达能力与策略泛化能力。

5、（2）教师策略基于确定性的空间几何信息如高度图编码环境，而学生策略只能从本体感知历史中推断概率性的时间响应模式，两者本质上属于不同的感知模态。现有蒸馏方法在整个训练过程中对师生隐空间施加固定权重的对齐约束，一方面使速度估计与接触力估计等多任务回归之间的梯度尺度严重失衡，另一方面过度约束了学生策略，迫使其重建本体感知输入中并不存在的几何信息，阻碍其发展适配自身感官输入的专属动态表征。这最终导致策略在复杂地形下的鲁棒性不足，且仿真到实物sim-to-real迁移成功率难以保障。

6、总体而言，现有技术中尚缺乏一种能够在外部传感器失效的复杂非结构化地形下提供高稳定性、高精度的鲁棒运动控制方案。

技术实现思路

1、本发明实施例针对现有四足机器人盲态运动控制方案中存在的本体感知特征耦合严重、跨模态师生蒸馏过约束及多任务梯度失衡等问题，提出了一种四足机器人运动控制方法及装置，能够在外部传感器失效的复杂非结构化地形下实现高稳定性、高精度的鲁棒运动控制。

2、为解决上述技术问题，本发明提供如下技术方案：

3、本发明实施例提供了一种四足机器人运动控制方法，其中，所述方法包括：

4、采集四足机器人当前控制周期的本体感知观测向量；

5、按照预设滑动窗口对所述本体感知观测向量进行分割取值，构建二维本体感知历史序列矩阵；

6、将所述二维本体感知历史序列矩阵输入时空解耦本体感知器stpe的时间分支，得到时间特征向量；

7、将所述二维本体感知历史序列矩阵输入时空解耦本体感知器stpe的空间分支，得到空间特征向量；

8、将所述时间特征向量和所述空间特征向量进行拼接融合并经线性投影得到原始向量；

9、基于所述原始向量估计基座线速度、四足接触力和经约束的隐式地形表征；

10、构建两阶段强化学习训练网络，并基于所述基座线速度、四足接触力对所述两阶段强化学习训练网络进行训练，得到目标网络模型；

11、将所述经约束的隐式地形表征和所述本体感知观测向量拼接后输入所述目标网络模型，得到输出的期望关节角度偏移量，其中，所述期望关节角度偏移量经比例微分控制器转换为关节力矩驱动所述四足机器人运动。

12、可选地，采集四足机器人当前控制周期的本体感知观测向量的步骤，包括：

13、通过惯性测量单元与关节编码器在每个控制周期内获取预设参数信息，其中，所述预设参数信息包括：基座角速度、投影重力、指令速度、第一数量维度关节位置误差、第一数量维度关节速度以及第一数量维度上一时刻关节动作；

14、基于获取的当前控制周期的所述预设参数信息生成当前控制周期的本体感知观测向量。

15、可选地，将所述二维本体感知历史序列矩阵输入时空解耦本体感知器stpe的时间分支，得到时间特征向量的步骤，包括：

16、将所述二维本体感知历史序列矩阵输入stpe的时间分支；

17、所述stpe利用长短期记忆网络lstm沿时间轴处理所述二维本体感知历史序列矩阵中的各序列，针对每个序列提取序列末尾隐藏状态并经线性投影与elu激活函数得到时间特征向量。

18、可选地，将所述二维本体感知历史序列矩阵输入时空解耦本体感知器stpe的空间分支，得到空间特征向量的步骤，包括：

19、将所述二维本体感知历史序列矩阵输入stpe的空间分支，沿时间轴计算各通道的均值和标准差；

20、将计算得到的各通道的均值和标准差拼接为增强向量；

21、所述增强向量经多层感知机编码，得到空间特征向量。

22、可选地，构建两阶段强化学习训练网络，并基于所述基座线速度、四足接触力对所述两阶段强化学习训练网络进行训练，得到目标网络模型的步骤，包括：

23、构建两阶段强化学习训练网络；其中，所述两阶段强化学习训练网络包括教师策略网络和学生策略网络；

24、采用教师编码器将多维特权信息映射生成的教师隐变量；

25、将教师隐变量和本体感知向量拼接构成的向量输入至所述教师策略网络，基于稠密奖励机制对所述教师策略网络进行训练，得到训练后的教师策略网络；

26、冻结所述教师策略网络和所述教师编码器，采用时空位置编码器stpe对多维特权信息进行估计得到学生隐变量；

27、将所述学生隐变量和本体感知向量拼接构成的向量输入至所述学生策略网络，所述stpe与所述学生策略网络通过自适应矩估计优化器联合优化，得到训练后的学生策略网络。

28、可选地，所述多维特权信息包括：真实基座线速度、四足接触状态、摩擦系数、质量参数、比例微分增益偏移以及地形高度扫描信息。

29、可选地，所述稠密奖励机制中所引入的奖励项包括：线速度跟踪、角速度跟踪、基座姿态、垂直速度、关节力矩、关节加速度、动作变化率、足端腾空时间、碰撞惩罚以及关节限位。

30、本发明实施例还提供了一种四足机器人运动控制装置，其中，所述装置包括：

31、采集模块，用于采集四足机器人当前控制周期的本体感知观测向量；

32、构建模块，用于按照预设滑动窗口对所述本体感知观测向量进行分割取值，构建二维本体感知历史序列矩阵；

33、第一预测模块，用于将所述二维本体感知历史序列矩阵输入时空解耦本体感知器stpe的时间分支，得到时间特征向量；

34、第二预测模块，用于将所述二维本体感知历史序列矩阵输入时空解耦本体感知器stpe的空间分支，得到空间特征向量；

35、拼接模块，用于将所述时间特征向量和所述空间特征向量进行拼接融合并经线性投影得到原始向量；

36、估计模块，用于基于所述原始向量估计基座线速度、四足接触力和经约束的隐式地形表征；

37、模型构建模块，用于构建两阶段强化学习训练网络，并基于所述基座线速度、四足接触力对所述两阶段强化学习训练网络进行训练，得到目标网络模型；

38、偏移量预测模块，用于将所述经约束的隐式地形表征和所述本体感知观测向量拼接后输入所述目标网络模型，得到输出的期望关节角度偏移量，其中，所述期望关节角度偏移量经比例微分控制器转换为关节力矩驱动所述四足机器人运动。

39、可选地，所述采集模块包括：

40、第一子模块，用于通过惯性测量单元与关节编码器在每个控制周期内获取预设参数信息，其中，所述预设参数信息包括：基座角速度、投影重力、指令速度、第一数量维度关节位置误差、第一数量维度关节速度以及第一数量维度上一时刻关节动作；

41、第二子模块，用于基于获取的当前控制周期的所述预设参数信息生成当前控制周期的本体感知观测向量。

42、可选地，所述第一预测模块具体用于：

43、将所述二维本体感知历史序列矩阵输入stpe的时间分支；

44、所述stpe利用长短期记忆网络lstm沿时间轴处理所述二维本体感知历史序列矩阵中的各序列，针对每个序列提取序列末尾隐藏状态并经线性投影与elu激活函数得到时间特征向量。

45、可选地，所述第二预测模块具体用于：

46、将所述二维本体感知历史序列矩阵输入stpe的空间分支，沿时间轴计算各通道的均值和标准差；

47、将计算得到的各通道的均值和标准差拼接为增强向量；

48、所述增强向量经多层感知机编码，得到空间特征向量。

49、可选地，所述模型构建模块包括：

50、第三子模块，用于构建两阶段强化学习训练网络；其中，所述两阶段强化学习训练网络包括教师策略网络和学生策略网络；

51、第四子模块，用于采用教师编码器将多维特权信息映射生成的教师隐变量；

52、第五子模块，用于将教师隐变量和本体感知向量拼接构成的向量输入至所述教师策略网络，基于稠密奖励机制对所述教师策略网络进行训练，得到训练后的教师策略网络；

53、第六子模块，用于冻结所述教师策略网络和所述教师编码器，采用时空位置编码器stpe对多维特权信息进行估计得到学生隐变量；

54、第七子模块，用于将所述学生隐变量和本体感知向量拼接构成的向量输入至所述学生策略网络，所述stpe与所述学生策略网络通过自适应矩估计优化器联合优化，得到训练后的学生策略网络。

55、可选地，所述多维特权信息包括：真实基座线速度、四足接触状态、摩擦系数、质量参数、比例微分增益偏移以及地形高度扫描信息。

56、可选地，所述稠密奖励机制中所引入的奖励项包括：线速度跟踪、角速度跟踪、基座姿态、垂直速度、关节力矩、关节加速度、动作变化率、足端腾空时间、碰撞惩罚以及关节限位。

57、本发明实施例还提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；存储器，用于存放计算机程序；处理器，用于执行存储器上所存放的程序时，实现如上述任意一种四足机器人运动控制方法流程。

58、本技术实施例提供的四足机器人运动控制方案，通过时空解耦本体感知估计器stpe对本体感知历史序列进行时间动态与空间关节协同特征的解耦提取，抑制冗余信息并强化关键地形交互特征；采用渐进松弛蒸馏策略优化学生策略的隐空间对齐与多任务回归，在跨模态知识迁移过程中动态调整约束权重并自适应平衡梯度尺度，从而提高复杂地形下盲态运动的控制精度与鲁棒性。