一种基于稳定盲态与深度强化学习融合的机器人运动控制方法与流程

本技术属于机器人控制，具体而言涉及一种基于本体感知与深度强化学习融合的机器人运动控制方法。

背景技术：

1、随着机器人技术的飞速发展，机器人因其独特的离散触地运动方式，在灾难救援、野外勘探及复杂工业巡检等非结构化场景中展现出巨大的应用潜力。与传统的轮式或履带式机器人相比，机器人能够跨越障碍、攀爬楼梯并在不平整的地面上移动，这使得它们在替代人类执行危险任务方面具有显著优势。然而，机器人在复杂多变环境中的稳定运动控制仍是该领域的核心技术难点。

2、目前，机器人的导航与避障高度依赖于视觉传感器。虽然视觉系统能够提供丰富的环境信息，但在实际应用中极易受到环境条件的限制。在黑暗、浓烟、大雾或粉尘弥漫的灾害现场，以及光照不足的地下矿井或洞穴环境中，视觉传感器往往由于成像质量下降而变得不可靠甚至完全失效。此外，视觉传感器还面临着由于高速运动导致的图像模糊、遮挡以及物理损坏等风险，这使得过度依赖视觉反馈的机器人系统在极端环境下缺乏足够的鲁棒性和生存能力。

3、为了应对视觉降级的挑战，基于本体感受反馈的“盲行”控制方法引起了广泛关注。这种方法主要依赖关节传感器和力传感器提供的触觉反馈来感知地形特征。早期的研究主要基于经典运动学模型，通过静态稳定性分析和预设的步态模式来确保平衡，虽然精度较高但缺乏对未知复杂地形的自适应能力。近年来，深度强化学习在机器人领域取得了突破，通过大规模仿真训练，机器人能够表现出极强的平衡恢复能力，但在处理楼梯等需要精确落点规划的结构化障碍时，纯强化学习方法往往难以收敛，且训练出的策略在面对变高度障碍时泛化性能有限。

4、因此，行业内迫切需要一种新的控制方案，既能够利用经典控制模型提供坚实的稳定性保障，又能够发挥深度强化学习在动态环境中的优化与自适应能力。通过结合稳定盲态算法的稳健性与学习算法的灵活性，使机器人在无视觉引导的情况下，依然能够通过物理接触反馈精准地调整步态参数，实现在复杂非结构化地形中的高效、自主运动。

技术实现思路

1、本发明的目的在于提供一种基于稳定盲态与深度强化学习融合的机器人运动控制方法，以解决机器人在视觉传感器失效、光照不足、烟尘遮挡或环境信息不完整的情况下，难以依靠视觉信息稳定通过楼梯、台阶、门槛等障碍物的问题。该方法通过将基于 softactor-critic 算法的强化学习策略与基于模型驱动的稳定步进算法相结合，使机器人能够在不依赖视觉输入的条件下，利用质心位置、足端位置以及足端力传感器反馈，自适应调整步态动作参数，并保持行走过程中的静态稳定性。

2、为实现上述目的，本发明提供的一种基于稳定盲态与深度强化学习融合的机器人运动控制方法，包括如下步骤：

3、s1、建立集成控制系统，所述集成控制系统包括上层强化学习策略和下层稳定步进算法；其中，上层强化学习策略基于 soft actor-critic 算法，

4、利用最大熵强化学习框架来平衡奖励最大化与策略探索，从而提高策略在连续控制任务中的鲁棒性。其目标函数为：

5、

6、其中，为温度系数，用于调节熵项对策略的影响程度。sac策略接收的观测状态包括机器人质心、足端位置及经最大归一化处理后的足端垂直反力数据。策略输出的动作指令包含目标移动腿部的标识、世界坐标系下的平面位移量以及抬腿高度。

7、s2、在物理仿真环境中构建强化学习模型，所述强化学习模型包括用于产生随机动作策略的策略网络，以及用于评估状态价值的批评家网络；通过策略网络和批评家网络之间的交互训练，使机器人逐步学习在障碍地形中的动作选择方式。

8、s3、获取机器人的观测状态信息，所述观测状态信息包括机器人质心位置、各足端在世界坐标系下的位置以及足端力传感器测得的垂直反力数据。进一步地，所述足端力传感器数据采用最大归一化方法进行处理，使原始力反馈数据被缩放至预设数值范围内，同时保留各足端力反馈之间的相对大小关系。

9、s4、将观测状态信息输入策略网络，由策略网络输出动作指令，所述动作指令包括目标移动腿部的标识、目标移动腿部在水平面内的平面位移量以及目标移动腿部的抬腿高度。通过上述动作指令，上层强化学习策略能够在不同地形条件下动态调整机器人下一步的摆动腿选择、落脚位置以及抬腿幅度。

10、s5、执行稳定步进算法，根据动作指令计算由支撑腿构成的支持多边形中心，并根据支持多边形中心调整机器人质心位置，使机器人在运动循环的任意时刻均满足准静态稳定条件；随后，根据摆动腿目标位置生成足端运动轨迹，并利用逆运动学解算关节角度。进一步地，摆动腿的运动轨迹采用抛物线函数确定，通过离散化轨迹点并实时进行逆运动学计算，使足端运动保持平滑且加速度受限；在摆动腿运动过程中，通过足端力传感器持续监测环境接触状态，当探测力超过预设阈值时，立即停止摆动腿运动，以实现对障碍物或地面的物理探测。

11、s6、基于爬楼成功奖励、足端位移奖励及跌倒惩罚构建综合奖励函数，并利用 sac算法不断优化策略网络参数，直至机器人在不依赖视觉输入的情况下实现在楼梯地形上的稳定攀爬。进一步地，所述爬楼成功奖励与完成任务所需的总步数成反比，以鼓励机器人使用更少步数通过楼梯障碍；在训练阶段，通过在不同高度的楼梯地形上进行评估，使策略网络能够在一定范围内泛化至未见过的阶梯尺寸。

12、进一步优选的实施方式，在步骤s5中，所述稳定步进算法采用准静态步态范式，确保机器人在运动循环的任意时刻均处于静态平衡状态，即使运动突然停止也能保持稳定。

13、进一步优选的实施方式，在步骤s5中，摆动腿的运动轨迹采用抛物线函数确定，通过离散化轨迹点并实时进行逆运动学计算，确保足端运动平滑且加速度受限。

14、进一步优选的实施方式，在步骤s6中，所述爬楼成功奖励与完成任务所需的总步数成反比，以鼓励机器人利用最少的步数高效通过楼梯障碍。

15、进一步优选的实施方式，所述观测状态中的力传感器数据采用最大归一化方法进行处理，将原始数值缩放至[-1, 1]区间内，同时保持各传感器数值间的相对比例。

16、进一步优选的实施方式，在训练阶段，通过在不同高度的楼梯地形上进行评估，使策略网络学会在一定范围内泛化至未见过的阶梯尺寸。

17、与现有技术相比，本发明具有如下有益效果：

18、第一，本发明通过将上层深度强化学习策略与下层模型驱动稳定步进算法结合，使机器人在视觉传感器失效或视觉信息不可靠的环境中，仍能够依靠本体感知信息和足端力反馈完成稳定运动控制。

19、第二，本发明利用稳定步进算法计算支持多边形中心并调整质心位置，使机器人在移动摆动腿之前先满足准静态稳定条件，降低了机器人在攀爬台阶、楼梯或跨越障碍物时发生倾覆的风险。

20、第三，本发明通过足端力传感器实时判断摆动腿与地形之间的接触状态，当足端探测力超过预设阈值时立即停止摆动腿运动，从而使机器人能够在无视觉条件下完成对未知障碍物高度或地面接触位置的物理探测。

21、第四，本发明通过综合奖励函数引导策略网络优化目标移动腿部、平面位移量和抬腿高度，使机器人能够在保持稳定性的基础上提高通过楼梯障碍的效率，并增强其对不同高度阶梯地形的适应能力。

22、第五，本发明适用于灾害救援、地下巡检、工业厂区巡检、仓储物流、复杂建筑环境通行以及其他视觉受限或地形不确定的机器人运动控制场景。