基于技能分解的灵巧旋拧技能学习方法及机器人旋拧系统与流程

摘要: 本发明涉及机器人技能学习,尤其是涉及一种基于技能分解的灵巧旋拧技能学习方法及机器人旋拧系统。背景技术:1、旋拧是机器人精细操作中的典型密集接触任务,广泛存在于开...
基于技能分解的灵巧旋拧技能学习方法及机器人旋拧系统与流程

本发明涉及机器人技能学习,尤其是涉及一种基于技能分解的灵巧旋拧技能学习方法及机器人旋拧系统。

背景技术:

1、旋拧是机器人精细操作中的典型密集接触任务,广泛存在于开合瓶盖、调节仪器旋钮、装配螺纹件等工业与服务场景。相较于抓取、推动等低维操作,旋拧要求多根手指在狭小接触区域内持续建立接触、施加切向力矩,并在手指关节达到运动极限后释放、重抓、再次施加切向力矩,因此同时具有高维动作空间、强时序耦合和复杂非线性接触动力学的特点。

2、chen等人(y. chen, y. geng, f. zhong, et al.)在《bi-dexhands: towardshuman-level bimanual dexterous manipulation》(《面向人类水平的双手灵巧操作》,ieee transactions on pattern analysis and machine intelligence,2024年第46卷第5期,第2804-2818页)一文中,提出了一种基于强化学习的双臂灵巧操作仿真与训练平台bi-dexhands, bi-dexhands基于isaac gym构建,设置了包括瓶盖开启任务在内的20个双手操作任务,并支持单智能体/多智能体强化学习等多种训练范式,用于提供多指灵巧手的灵巧操作技能训练基准平台。

3、在bi-dexhands的瓶盖开启任务中,瓶体与瓶盖采用平移关节连接,两只多指灵巧手分别操作瓶体和瓶盖;任务奖励包括手指与瓶盖或瓶体之间的距离以及瓶盖相对瓶体的位移,用于引导强化学习策略将瓶盖从瓶体上分离。该方法能够评测高自由度双手协同控制及强化学习算法,但其任务设计主要面向瓶盖分离这一单步动作,不能直接描述需要多根手指持续施加切向力矩、周期性执行释放和重新抓握的连续多圈旋拧过程。

4、上述bi-dexhands在用于需要精确力控和阶段性操作的连续灵巧旋拧任务时,仍存在以下局限:

5、其一,采用端到端方式直接学习完整瓶盖开启任务,难以解决高维动作空间与密集接触动力学相互耦合的挑战,导致强化学习策略探索难度很大;

6、其二,未对真实的连续旋拧过程进行建模和分析,而是简单地将其看作瓶盖分离问题,难以描述真实旋拧过程;

7、其三,未对操作动作进行合理限制和引导,难以保证旋转收益来源于稳定、有效的多指接触,且难以抑制阶段切换时的动作突变、接触丢失和空转。

8、由此,有必要提供一种能够降低高维长时序任务学习难度、有效利用触觉接触约束策略,并实现稳定旋拧的灵巧旋拧技能学习方法及机器人旋拧系统。

技术实现思路

1、本发明旨在解决现有旋拧技能学习方案的问题,提供一种基于技能分解的灵巧旋拧技能学习方法及系统。该方法及系统使多指灵巧手能够针对瓶盖、旋钮或类似旋拧对象,学习并执行稳定且可连续循环的旋拧动作。

2、为解决上述技术问题,本发明提供如下技术方案:

3、第一方面,本发明提供一种基于技能分解的灵巧旋拧技能学习方法,包括如下步骤:

4、步骤1、将完整旋拧动作分解为抓握、旋转和释放三个子技能;

5、步骤2、采用强化学习算法进行旋转子技能训练;其中,所述强化学习算法的奖励函数基于指尖接近奖励、旋转速度奖励、累计旋转角度奖励和接触失败惩罚构建,在旋转子技能训练阶段,利用力触觉接触指示函数对旋转速度奖励和累计旋转角度奖励进行门控,使只有在形成稳定有效的手指-物体接触后才能获得旋转速度奖励与累计旋转角度奖励,即旋转收益;

6、步骤3、在旋转子技能训练完成后,按照抓握、旋转和释放循环切换规则组合三个子技能,形成抓握、旋转和释放循环操作的旋拧流程;在执行实际旋拧任务时,抓握与释放基于目标姿态筛选进行姿态引导,以提供稳定初始抓握和自然释放动作。

7、优选的,所述步骤3中,依据旋转终止判据和三个子技能对应的预设时间驻留窗口协调三个子技能的循环操作,所述旋转终止判据由参与旋拧手指的关节状态构成,具体为:持续监控参与旋拧手指的各关节角度,当任一参与旋拧手指的关节角度达到对应的预设关节运动极限时,判定当前旋转阶段满足旋转终止判据,触发释放子技能,并循环执行直至完成旋拧任务。

8、优选的,所述步骤2中,所述强化学习算法为ppo(proximal policyoptimization,近端策略优化)、sac(soft actor-critic,软演员-评论家算法)、td3(twindelayed deep deterministic policy gradient,双延迟深度确定性策略梯度)、ddpg(deep deterministic policy gradient,深度确定性策略梯度)或其他连续控制算法。

9、优选的,所述强化学习算法的状态空间包括:参与旋拧手指的关节位置、关节速度、及刚体状态,旋拧对象的位置、尺寸及绕旋拧轴的角速度,参与旋拧手指的指尖接触力合力,以及上一时刻旋拧动作;所述强化学习算法的动作空间为参与旋拧手指的关节目标位置或目标位置增量。

10、具体的,参与旋拧手指的刚体状态包括参与旋拧手指对应刚体的位置、姿态、线速度和角速度;其中,所述位置包括刚体中心的位置向量,所述姿态采用四元数表示。

11、具体的,旋拧对象的位置包括旋拧对象中心的位置向量。

12、优选的,所述强化学习算法的奖励函数、指尖接近奖励、旋转速度奖励、累计旋转角度奖励和接触失败惩罚分别如式(1)至(5)所示:

13、;

14、;

15、;

16、;

17、;

18、上式(1)中, 表示所述强化学习算法的奖励函数, 表示指尖接近奖励;表示旋转速度奖励; 表示累计旋转角度奖励; 表示接触失败惩罚,用于惩罚接触丢失; 为力触觉接触指示函数,用于解决“旋转任务完成”和“动作与接触有效”之间的奖励冲突;、、 和  分别为预设的指尖接近奖励、旋转速度奖励、累计旋转角度奖励和接触失败惩罚的权重系数。

19、上式(2)中, 为预设参与旋拧的手指数量, 为第  个参与旋拧手指的指尖刚体中心的位置向量, 为旋拧对象中心的位置向量, 表示 l2 范数;; 用于鼓励指尖接近旋拧对象,其通过减小各参与旋拧手指的指尖与旋拧对象之间的欧氏距离之和,引导各参与旋拧手指的指尖接近旋拧对象。

20、上式(3)中, 为旋拧对象绕旋拧轴的角速度,单位为 rad/s; 和 分别为预设角速度下限和预设角速度上限,单位为 rad/s; 表示限幅函数,,表示将  限制在  至  的范围内;旋转速度奖励用于奖励绕旋拧轴的角速度,鼓励旋拧对象沿目标旋拧方向提高旋转速度。

21、上式(4)中, 表示每个训练轮次的开始时刻, 表示每个训练轮次的当前时刻; 为预设累计旋转角度阈值, 表示向下取整函数;累计旋转角度奖励用于在累计旋转角达到预设累计旋转角度阈值时给出稀疏奖励。

22、上式(1)和(5)中,力触觉接触指示函数  取值为 1 或 0:

23、在每个训练轮次,当该训练轮次的执行时间小于或等于预设的探索过渡时间阈值 时,所述力触觉接触指示函数  置为 1,以允许手指接近旋拧对象;当该训练轮次的执行时间大于预设的探索过渡时间阈值  时,如果所有预设参与旋拧手指的指尖的接触力合力均超过预设接触力合力阈值 ,此时表示所有指尖与旋拧对象均形成有效接触,即形成了有效的手指-物体接触,所述力触觉接触指示函数  置为 1,以激活旋转速度奖励  和累计旋转角度奖励 ,产生旋转收益,否则,表示指尖与旋拧对象未形成有效接触,所述力触觉接触指示函数  置为 0,以触发接触失败惩罚 。

24、优选的,所述探索过渡时间阈值  的取值范围为 0.01 s 至 1.00 s。

25、优选的,所述探索过渡时间阈值 取值0.10 s。

26、优选的,所述步骤2中,在强化学习训练过程中,将连续触觉信号转化为二值接触状态,具体为:对第  个参与旋拧的手指的指尖计算接触力合力 ,当  大于预设接触力合力阈值 时,判定该指尖与旋拧对象形成接触;否则判定该指尖未与旋拧对象形成接触。

27、优选的,所述预设接触力合力阈值  的取值范围为 0.01 n 至 1.00 n。

28、优选的,所述步骤3中,所述抓握子技能和所述释放子技能通过pd控制器进行姿态引导,所述pd控制器的控制律如式(6)所示:

29、   (6);

30、其中, 为 t 时刻输出的关节力矩或关节目标位置, 为关节目标位置, 为关节当前位置, 为关节目标速度, 为关节当前速度, 为比例系数,为微分系数。

31、优选的,所述奖励函数的权重系数满足: 至 ,,。

32、优选的,所述奖励函数的权重系数取值为: ,,,。

33、优选的,所述步骤3中,所述预设时间驻留窗口包括:抓握阶段保持10至50个控制步,旋转阶段在触发旋转终止判据后继续保持3至10个控制步,释放阶段保持1至10个控制步。

34、优选的,采用强化学习算法进行旋转子技能训练的具体过程为:

35、步骤s71,初始化仿真环境、多指灵巧手、旋拧对象和旋转策略网络,并将多指灵巧手置于目标抓握姿态对应的初始状态;

36、步骤s72,按照轮次进行训练,其中每个训练轮次包括如下步骤:

37、步骤s721,对本体状态、触觉状态、旋拧对象状态以及上一时刻旋拧动作进行时间对齐并拼接,形成旋转策略网络的输入状态;

38、步骤s722,由所述旋转策略网络根据所述输入状态输出多指灵巧手的关节的目标位置或目标位置增量,并通过低层控制器驱动多指灵巧手与旋拧对象交互,得到交互后的触觉状态;

39、步骤s723,根据交互后的触觉状态计算所述力触觉接触指示函数c,根据旋拧对象状态和所述力触觉接触指示函数c计算奖励函数r及终止信号,并存储状态、动作、奖励、下一状态和终止信号;

40、步骤s724,基于存储的数据(状态、动作、奖励、下一状态和终止信号)更新所述旋转策略网络;

41、步骤s73,判断所述旋转策略网络是否满足预设收敛条件,如果不满足,则进入下个训练轮次,如果满足,则训练完成。

42、优选的,基于目标姿态筛选对所述抓握子技能进行姿态引导的具体过程为:

43、首先,筛选或在线生成目标抓握姿态,其中,所述目标抓握姿态满足参与旋拧手指的指尖与旋拧对象形成有效接触、参与旋拧手指的关节角度处于预设范围、无异常伸展以及无自碰撞;

44、然后,根据所述目标抓握姿态与当前参与旋拧手指的关节状态之间的偏差,生成参与旋拧手指的关节目标位置或关节力矩,在预设对应的时间驻留窗口内控制参与旋拧手指保持所述关节目标位置或关节力矩,以建立旋转子技能所需的稳定接触。

45、优选的,基于目标姿态筛选对所述释放子技能进行姿态引导的具体过程为:

46、根据预设目标释放姿态与参与旋拧手指的关节当前状态之间的偏差,生成参与旋拧手指的关节目标位置或关节力矩,在预设对应的时间驻留窗口内控制参与旋拧手指保持所述关节目标位置或关节力矩,使参与旋拧手指与旋拧对象表面分离,实现释放;

47、在所述释放子技能对应的时间驻留窗口结束后,将当前子技能切换为抓握子技能,以重新建立接触并开始下一时刻旋转动作。

48、第二方面,本发明还提供一种机器人旋拧系统。所述机器人旋拧系统包括:

49、多指灵巧手;

50、触觉感知单元,用于采集参与旋拧手指的指尖接触力或触觉压力信号;触觉预处理单元,用于根据所述接触力或触觉压力信号计算各参与旋拧手指的接触力合力,并与预设接触力合力阈值比较,得到二值接触状态;

51、本体感知单元,用于采集多指灵巧手的参与旋拧手指的关节位置、关节速度、以及指尖刚体状态,构成本体状态并输出;

52、旋拧对象状态获取单元,用于获取或估计旋拧对象的位置、绕旋拧轴角速度、旋转角度和尺寸参数,构成旋拧对象状态并输出;

53、策略观测构建单元,用于对所述触觉状态、所述本体状态、所述旋拧对象状态和所述上一时刻旋拧动作进行时间对齐和拼接,形成旋转策略网络的输入状态;

54、技能分解高层规划器,用于将完整旋拧任务划分为抓握、旋转和释放三个子技能,并根据预设参与旋拧手指的关节状态构成的旋转终止判据和预设时间驻留窗口输出子技能切换指令;

55、抓握子技能控制器,用于根据目标抓握姿态和当前关节状态生成抓握控制指令;

56、旋转子技能训练单元,用于利用力触觉接触指示函数门控旋转速度奖励和累计旋转角度奖励,并采用强化学习算法训练旋转策略网络,以实现旋转子技能学习;

57、释放子技能控制器,用于根据目标释放姿态和当前参与旋拧手指的关节状态生成释放控制指令;

58、以及部署控制单元,用于接收所述策略观测构建单元输出的旋转策略网络的输入状态、还用于根据所述技能分解高层规划器输出的子技能切换指令,调用所述抓握子技能控制器、所述旋转策略网络或所述释放子技能控制器,并输出参与旋拧手指的关节目标位置或目标位置增量;再由低层物理控制器转换为关节力矩指令,控制多指灵巧手执行对应动作。

59、优选的,所述多指灵巧手为shadow hand或其他具有多个主动关节的多指灵巧手;

60、优选的,旋转策略网络的推理频率为30 hz,低层物理控制器的控制频率为1000hz。

61、第三方面,本发明提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如第一方面所述方法。

62、第四方面,本发明提供一种计算机程序产品,包括计算机程序或指令,所述计算机程序或指令被处理器执行时实现如第一方面所述方法。

63、与现有技术相比,本发明的优点在于:

64、(1)降低高维长时序任务的学习难度。 本发明将完整的灵巧旋拧动作分解为抓握、旋转和释放三个子技能,对旋转进行强化学习训练,对抓握和释放进行结构化姿态引导控制,从而通过抓握/释放结构化控制与旋转强化学习策略的组合,大幅缩减强化学习策略的探索空间,提高训练效率;

65、(2)解决“稳定接触”与“快速旋转”之间的奖励冲突。本发明通过力触觉接触指示函数对旋转速度奖励和累计旋转角度奖励进行门控,使只有在形成稳定有效的手指-物体接触后才能获得旋转收益,避免通过不合理接触方式获取旋转奖励,保持旋拧过程中的接触稳定性。

66、(3)实现真实连续旋拧过程的建模与执行。 本发明按照抓握、旋转和释放循环切换规则组合三个子技能,形成能够描述和执行多圈连续旋拧操作的流程,并在实际任务中通过目标姿态筛选引导抓握与释放,在抓握、旋转、释放三个子技能之间实现平稳切换,减少关节极限处的动作突变、接触中断和空转。

67、综上,本发明使多指灵巧手能够针对瓶盖、旋钮或类似旋拧对象,学习并执行稳定且可连续循环的旋拧动作。