一种髋关节外骨骼的连续助力控制系统及方法

本发明属于机器人控制，具体涉及一种髋关节外骨骼的连续助力控制系统及一种髋关节外骨骼的连续助力控制方法。

背景技术：

1、髋关节外骨骼的控制目标是在不干扰人体自然步态的前提下提供适时、平滑、节能且安全的辅助力矩。由于不同穿戴者体重、步速、步幅、肌力和地形环境均存在差异，传统固定参数控制器难以在多场景中兼顾舒适性、稳定性和助力效果。强化学习能够通过人机交互数据学习控制策略，但外骨骼数据采集成本高、试错风险高，因此需要样本效率高且适合连续动作空间的算法。

2、现有髋关节外骨骼控制方法包括基于有限状态机的相位控制、基于 pid 或阻抗模型的轨迹跟踪控制、基于肌电或足底压力的意图触发控制，以及基于 dqn、ppo 等强化学习算法的策略控制。上述方法在特定场景中能够实现助力，但在连续地形变化、穿戴者个体差异和视觉预判场景下仍存在不足。

3、现有有限状态机控制方案通常根据步态相位切换不同助力曲线，例如在髋关节屈曲或伸展阶段施加预设力矩。阻抗控制方案则根据关节偏差输出弹簧阻尼力矩。强化学习方案中，dqn 通常输出离散动作，例如增大助力、减小助力或切换模式主要适用于离散动作空间，若用于外骨骼控制通常需要将力矩或模式离散化；ppo 可输出连续动作，但训练数据难以重复利用，实机调参成本较高。

4、此外，现有强化学习外骨骼控制方案常将策略网络直接输出到电机驱动器，缺乏独立安全约束层；在探索阶段可能产生过大力矩、过快力矩变化或不符合人体舒适性的动作。若没有安全限幅、速率限制和异常回退机制，难以满足穿戴式人机交互设备的工程要求。尤其是对于医疗辅助和穿戴式设备，反复采集真实人机交互数据代价高且需要严格安全限制，现有的技术方案难以满足需求。

技术实现思路

1、本发明的目的是针对现有技术中存在的问题，提供一种髋关节外骨骼的连续助力控制系统及方法，基于 sac 的连续助力控制方法，使外骨骼能够接收 lstm 输出的综合时空状态，结合最大熵离策略强化学习生成连续动作，并通过独立安全约束层、异常回退逻辑和低层电机控制器将策略动作转换为可执行的髋关节电机控制指令。

2、技术方案如下：

3、一种髋关节外骨骼的连续助力控制系统，包括状态生成子系统、sac决策子系统、安全执行子系统和训练数据子系统；其中状态生成子系统包括cnn视觉模块、本体感觉采集模块和lstm时序状态融合模块；sac（soft actor-critic）决策子系统包括演员网络（actor）、双评论家网络（critic）、目标网络和熵温度模块；安全执行子系统包括动作映射模块、安全约束层、异常回退模块、低层电机控制器和左右髋关节执行器；训练数据子系统包括奖励计算模块、经验回放池和离线/后台更新模块；lstm时序状态融合模块将cnn视觉模块和本体感觉采集模块收集的数据融合后输入演员网络，演员网络输出连续动作分布，经过动作映射模块映射为力矩或阻抗动作，并由安全约束层执行限幅和速率限制后输入低层电机控制器，控制左右髋关节执行器执行助力控制指令，训练数据子系统收集助力控制数据，对sac决策子系统进行离线修正。

4、进一步的，状态生成子系统中cnn视觉模块接收前向相机或深度相机图像，输出地形概率、障碍物信息和视觉置信度，作为lstm和奖励权重调整的输入；本体感觉采集模块采集imu、关节角度、关节速度、电机电流、温度、足底压力或安全状态，作为连续助力控制的实时反馈输入；lstm时序状态融合模块融合视觉特征和本体感觉序列，输出综合时空状态、步态相位和不确定性。

5、进一步的，sac决策子系统中演员网络根据状态输出连续动作分布的均值和方差，经双曲正切函数压缩后得到归一化动作；双评论家网络；包括q1和q2两个价值网络，用于估计状态动作价值并通过取较小值抑制过估计，并维护目标评论家网络；熵温度模块自动调整熵温度系数 alpha，使策略在探索性和稳定性之间保持平衡。

6、进一步的，安全执行子系统中动作映射模块将演员网络输出的归一化动作映射为外骨骼可执行的左右髋关节力矩或阻抗参数；安全约束层对对原始动作执行力矩限幅、力矩变化率限制、阻抗参数范围约束、双侧协调约束，并在遇到预设的安全事件终止条件时，通过异常回退模块立即切换至零助力或保守阻抗控制；低层执行模块将安全动作转换为电机控制指令，并以高频闭环执行左右髋关节助力。

7、更进一步的，安全事件终止条件包括：发生急停、通信超时、温度过高、关节越界、连续安全投影失败。

8、进一步的，训练数据子系统中奖励计算模块根据步态对称性、助力时机、关节功率、运动稳定性、能耗、力矩平滑性和安全事件生成即时奖励，各奖励项的权重系数根据cnn视觉模块输出的地形概率向量实时自适应调整；经验回放池记录状态、动作、奖励、下一状态、安全修正量和异常标志，供离线训练、实机微调和故障追溯使用。

9、更进一步的，奖励项的权重系数调整方式为：当检测到坡道地形概率最高时，自动提高稳定性奖励权重和能耗惩罚权重；当处于平地行走时，自动提高步态对称性奖励权重和助力时机奖励权重；当检测到楼梯或障碍物时，自动提高安全事件惩罚权重；奖励权重调整公式为：，其中为第个奖励项在时刻的自适应权重；为基准权重；为地形类别对奖励项的权重调整量；为 cnn视觉模块输出的地形类别的实时概率。

10、一种髋关节外骨骼的连续助力控制方法，使用上述系统并执行如下步骤：

11、步骤100：完成sac（soft actor-critic）网络框架的训练，得到的sac优选网络；

12、步骤200：将sac优选网络部署到髋关节外骨骼的控制器中，优选网络由演员网络、动作映射模块和安全约束层构成；

13、步骤300：髋关节外骨骼的控制器在每个控制周期获取 lstm 输出的综合时空状态，并读取当前关节角度、速度、电机电流、温度和安全状态；

14、步骤400：将综合时空状态输入 sac 优选网络，输出动作分布参数，并按公式：采样得到归一化连续动作，其中为归一化连续动作；和分别为演员网络输出的均值函数和标准差函数；为lstm 输出的综合时空状态；为采样噪声；用于将动作压缩至归一化范围；

15、步骤500：将归一化动作映射到外骨骼可执行范围，形成原始动作；

16、步骤600：安全约束层执行限幅和速率限制，限幅和速率限制采用控制障碍函数将原始动作投影至安全动作集合的最近点，而非简单截断，控制障碍函数投影公式为：；其中，为 sac 演员网络输出的原始动作，为投影后的安全动作，为第项安全约束对应的控制障碍函数，为 cbf 约束收敛系数，为安全约束数量；

17、步骤700：低层执行模块执行髋关节外骨骼的电机控制；

18、步骤800：左右髋关节执行器根据电机控制执行助力控制指令；

19、步骤900：采集下一时刻状态、人体反馈或代理指标，并计算即时奖励，若发生安全异常进入步骤1000；若无安全异常进入步骤1100；

20、步骤1000：切换保守助力或零助力模式，回到步骤600；

21、步骤1100：写入经验回收池用于离线策略更新，完成对髋关节外骨骼的连续助力控制。

22、进一步的，步骤100中sac网络框架的训练包括如下步骤：

23、步骤110：将演员网络、双评论家网络、目标评论家网络、熵温度模块和经验回放池构成sac网络框架，并随机化预训练策略；

24、步骤120：采集交互数据，并随机化穿戴者质量、步速、地形坡度、摩擦系数、传感器噪声和执行延迟，提升策略迁移能力；

25、步骤130：使用已有外骨骼试验数据或保守控制器采集的数据初始化经验回放池，并采样训练批次，经验回放数据结构公式为：。其中，为经验样本；和分别为当前状态和下一状态；为动作；为即时奖励；为终止标志；为安全标志；

26、步骤140：使用公式：计算评论家目标值，并更新双评论家网络和目标评论家网络，其中下一时刻动作由目标策略采样得到，为评论家目标值；为即时奖励；为折扣因子；和为两个目标评论家网络；为熵温度系数；为演员策略分布；

27、步骤150：最小化评论家均方误差损失，最大化演员的目标值和熵项，并根据目标熵自动更新演员网络和熵温度系数，公式为：，其中，为评论家损失，为演员目标；为评论家网络估计值；为目标值；和分别表示熵温度系数和策略分布；

28、步骤160：通过安全约束层验证动作输出的实机指标是否满足要求，不满足要求进入步骤170，满足要求进入步骤180；

29、步骤170：降低探索方差并调整奖励权重，然后回到步骤150；

30、步骤180：完成sac网络框架的训练，得到sac优选网络。

31、进一步的，步骤600中安全约束层同时包含双侧协调约束：，其中为预设的最大允许双侧力矩差值，以及步态相位耦合约束，即当左腿处于支撑相时，右侧助力力矩应不超过左腿支撑力矩的预设比例，反之亦然，以确保双侧助力在力学上协调一致。

32、有益效果：

33、1）本发明通过sac 优选网络通过经验回放池重复利用历史人机交互数据，适合外骨骼数据采集成本高的应用场景，策略直接输出连续力矩或阻抗参数，避免离散模式切换带来的机械冲击和穿戴不适。

34、2）最大熵目标使策略在训练阶段保持适当随机性，有利于适应不同穿戴者和地形变化。

35、3）安全约束层独立于策略网络，对力矩、速率、关节范围和异常状态进行硬约束，降低实机运行风险。

36、4）奖励权重根据地形概率自适应调整，使sac策略在不同场景下自动关注最关键的优化目标，在坡道重视稳定性、在平地重视步态对称性、在障碍物前重视安全性，避免固定权重方案的场景偏好局限.