一种上肢康复机器人人机协同轨迹跟踪控制方法及其系统
本发明属于康复机器人控制,具体涉及一种上肢康复机器人人机协同轨迹跟踪控制方法及其系统。
背景技术:
1、脑卒中是导致患者肢体运动障碍的主要病因之一,具有发病率高、致残率高的特点。现代神经科学研究表明,中枢神经具有可塑性,受损运动功能可通过高强度、高重复、任务导向的早期康复训练得到重建。康复机器人能够为患者提供可量化、可重复、长时间、长路程的运动训练,是缓解康复治疗师资源短缺、提升康复训练效率的重要途径。
2、康复机器人的辅助训练通常分为被动康复与主动康复两个阶段,被动阶段通过跟踪期望轨迹牵引患肢运动,防止肌肉挛缩与关节粘连;随着功能恢复,训练重心转向主动康复阶段,此时患者参与度直接影响神经可塑性的恢复效果,因此如何根据患者实时运动状态提供“恰到好处”的辅助,即按需辅助原则,是提升康复效果的核心问题。
3、现有主动康复控制器存在明显局限:基于强化学习的控制器虽能在系统先验不足时以任务目标为导向训练策略,但其策略仅关注“如何跟踪给定参考”,而参考轨迹本身按时间律开环推进,与策略的实时跟踪状态相互解耦——在患者具有残余主动辅助力但能力受限的场景中,当末端执行器在几何困难路段减速时,开环推进的参考点持续前进,跟踪误差随时间单调累积扩大直至失控;当末端执行器停滞时,固定速率的参考点无法提供“等待”余量,策略无从追赶。此外,现有方法在仿真训练时常将患者残余肌力写入奖励函数作为人工奖励项或作为随机扰动项处理,前者使患者辅助被错误编码为策略的“奖励来源”,导致策略学到的行为与真实物理因果不符,后者割裂了患者主动出力与机器人运动之间的真实物理耦合关系。因此,亟需一种能依据末端实时跟踪状态闭环调度参考点推进、并在物理层面而非奖励层面刻画患者残余肌力的上肢康复机器人控制方法及其系统。
技术实现思路
1、本发明的目的是克服现有技术中存在的参考轨迹按时间开环推进、与策略实时跟踪状态解耦而导致参考脱节、跟踪误差发散乃至任务失败以及在仿真训练中将患者残余肌力计入奖励函数导致的奖励泄露、物理一致性差以及跟踪精度低的缺陷,提供一种能够依据末端位置实时跟踪状态闭环调度参考点推进、并在物理层面而非奖励层面刻画患者残余肌力的上肢康复机器人人机协同轨迹跟踪控制方法及其系统。
2、本发明解决其技术问题所采用的技术方案是:一种上肢康复机器人人机协同轨迹跟踪控制方法,包括:
3、s1、离线参考轨迹生成:搭建机器人关节空间参考轨迹数据集,生成包含m个路点的路点序列;
4、s2、构建人机耦合环境:将患者划分为多个运动功能等级,对每个运动功能等级配置对应的刚度系数与力饱和上限,将患者残余肌力建模为饱和弹簧力;将所述饱和弹簧力通过几何雅可比矩阵映射至关节空间,参与刚体动力学积分;
5、s3、策略网络训练:建立马尔可夫决策过程,采用软演员-评论家算法训练人机协同轨迹跟踪策略,在每个控制步循环以下步骤,直至轨迹完成或者触发最大步数时终止:
6、s31、观测组装:采集关节角度向量、关节角速度向量以及末端执行器实际位置的数值,利用当前维护的参考点索引从所述数据集中取出目标参考点位置,计算跟踪误差向量,将、、、误差向量模长、以及归一化轨迹完成进度拼接,构造观测向量,其中;
7、s32、策略推理与执行:将观测向量输入软演员-评论家策略网络,输出高斯分布的均值和对数标准差,通过重参数化采样得到动作向量,将动作向量中的前六维经缩放后作为关节角度增量,叠加到当前关节目标上;
8、s33、物理推进:在若干个物理子步循环中,每个子步内同时施加策略力矩和每步重新计算的饱和弹簧力,所述饱和弹簧力在当前控制步内保持参考点不变,但随实时末端位移动态计算,共同参与刚体动力学积分得出下一时刻的真实关节状态;
9、s34、自适应参考点arp索引更新:基于物理推进后的实际末端位置,计算空间通道、时间通道与卡滞检测下的速率系数,空间通道、时间通道和卡滞检测三路信号联合调度得到参考点推进量;
10、s35、奖励计算:基于所述的参考点推进量计算进度奖励、尾段奖励和里程碑奖励;基于物理推进后的误差和计算跟踪奖励、平滑惩罚和违规分量,汇总为标量奖励值;
11、s36、次态组装与入库:使用新索引重新读取新参考点,组装下一步的观测,将本次交互的四元组(,,,)存入经验回放缓冲区;
12、s37、梯度更新:当所述经验回放缓冲区数据量超过预热阈值后,随机采样一批样本,依次计算损失函数,更新双评论家网络、策略网络以及自适应温度系数,执行网络梯度更新;
13、s4、完成策略训练后,加载训练完成的策略网络,输出关节控制指令驱动上肢康复机器人完成人机协同轨迹跟踪康复训练。
14、进一步地,在步骤s1中,所述关节空间参考轨迹数据集是由临床日常生活活动能力处方转化形成,供在线arp逐点索引推进,对所述数据集做以下处理:
15、s11、笛卡尔层面:
16、对关键路点的位置用三次b样条插值,姿态用四元数球面线性插值,沿轨迹弧长重参数化并等距离散组成路点序列,使康复机器人每次索引推进相等的末端位移量;
17、s12、关节层面:采用阻尼最小二乘法逐点求解逆运动学,并进行热启动加速;先用梯形速度规划,再用五次多项式进行平滑处理,输出带时间戳的参考轨迹;
18、s13、数据检验:数据入库前执行可达性、连续性、动力学可行性检验;合格,归入数据集生成路点序列供在线索引;不合格路段触发局部重规划,重复步骤s11-s13。
19、进一步地,在步骤s2中,所述运动功能等级依据fugl-meyer上肢功能评估量表来划分,所述饱和弹簧力:,其中末端偏差向量,为当前参考点位置,为机器人末端执行器当前位置,为指向参考点的单位方向向量,当时取零向量,为弹簧刚度系数,为力饱和上限;将所述饱和弹簧力经所述末端执行器的几何雅可比矩阵映射为关节力矩;所述刚体动力学积分方程为。
20、进一步地,在步骤s32中,所述动作向量,所述关节角度增量。
21、进一步地,在步骤s34中,所述空间通道,其中,,,优选地,;当=时,机器人运动末端紧贴参考点;当>时,立即归零,参考点完全等待末端执行器;所述时间通道,其中,为单次任务执行的最大控制步数,为时间通道速率系数。
22、进一步地,在步骤s34中,所述卡滞检测用于检测末端的覆盖进展,在策略停滞时降低时间通道速率以延长策略追赶时间,所述时间通道速率系数,其中为末端执行器最近一次使大于零的控制步时刻,为停滞阈值且。
23、进一步地,,,,所述控制步的控制频率为50hz,个控制步;优选地,,。
24、进一步地,在步骤s35中,所述进度奖励,其中;所述尾段奖励,其中,;所述里程碑奖励,其中,当达到80%节点时,;当达到100%节点时,;所述跟踪奖励,其中,;所述平滑惩罚,其中,;所述违规分量,其中,,;所述标量奖励值。
25、更进一步地,还包括安全监控:实时采集末端执行器与被牵引对象之间的交互力模长与交互力矩模长,当超过力安全阈值或者当超过力矩安全阈值时,系统均做记录,优选地,,。
26、一种上肢康复机器人人机协同轨迹跟踪控制系统,用于执行权利要求1-9所述的控制方法,包括:
27、轨迹库生成模块,用于对临床日常生活活动能力处方任务轨迹进行插值、逆运动学求解,生成关节空间参考轨迹数据集;
28、患者能力分级模块,被配置为基于fugl-meyer上肢功能评估量表对患者上肢运动功能进行运动功能等级分级,确定患者所属能力等级及对应的饱和弹簧力参数;
29、人机耦合动力学仿真模块,被配置为构建包含机器人和具有残余肌力的患者的耦合刚体动力学模型,将所述饱和弹簧力作为真实物理外力经几何雅可比矩阵映射至关节空间,参与动力学积分;
30、强化学习训练模块,被配置为基于软演员-评论家算法在马尔可夫决策过程框架下训练协同跟踪策略,所述协同跟踪策略以观测向量为输入、以关节角度增量为动作输出;
31、自适应参考调度模块,被配置为在执行强化学习策略的每个控制步中,通过空间通道、时间通道和卡滞检测三个组件联合计算参考轨迹的索引推进量,动态更新当前参考点位置,使参考点推进速率受末端执行器实时跟踪状态反馈调节;
32、奖励计算模块,被配置为基于更新后的参考点索引计算包含跟踪奖励、进度奖励、尾段奖励、里程碑奖励、平滑惩罚和违规惩罚的标量奖励值,用于软演员-评论家算法的参数更新;
33、控制模块,用于加载训练好的策略网络,输出关节控制指令驱动上肢康复机器人完成人机协同轨迹跟踪康复训练。
34、本发明的一种上肢康复机器人人机协同轨迹跟踪控制方法及其系统的有益效果是:
35、本发明通过设计由空间通道、时间通道与卡滞检测三者联合调度的自适应参考点推进机制,将参考轨迹索引的推进由传统的时间开环函数改造为末端执行器实时跟踪状态的闭环反馈函数。空间通道采用前瞻式连续满足判据,仅在末端连续落入路点邻域时才推进索引,使参考点完全等待末端;时间通道提供兜底下限,且其可推进路点数上限在结构上严格小于路点总数,迫使主推进依赖空间通道;卡滞检测在末端长期停滞时进一步降低时间通道速率,延长追赶时间。三者联合调度使系统在几何弯折、曲率剧变的困难路段自动退化为逐点推进甚至等待,从结构上避免了开环推进导致的参考点脱节与跟踪误差单调发散问题。
36、本发明将患者划分为多个运动功能等级,将患者残余肌力建模为指向当前参考点的饱和弹簧力,经几何雅可比矩阵映射为关节力矩,作为刚体动力学方程右端的真实输入项参与逐子步数值积分,而非奖励函数中的人工项。这一设计从物理通道上规避了奖励泄露:策略所感知的末端运动是机器人主动控制力矩与患者辅助力共同作用的结果,与真实人机协同场景完全一致。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com