一种动力学感知修正轨迹柔顺全身运动控制方法及系统与流程
本发明属于人形机器人运动控制,尤其涉及一种动力学感知修正轨迹柔顺全身运动控制方法及系统。
背景技术:
1、在人形机器人真实部署过程中,机器人不可避免地与人、物体以及不确定环境发生接触。例如,在行走过程中被人拉拽手臂、躯干被侧向推压、站立时双手被牵引,或者在起身过程中脚部受到持续外力。这类外部交互会改变机器人原有运动状态,如果控制器仍然刚性地跟踪原始参考动作,机器人可能产生不自然的抵抗动作、过大的接触力、动作抖动甚至失去平衡。
2、近年来,强化学习与模仿学习使人形机器人能够从参考轨迹中学习多样的全身运动,例如行走、站立、全身动作模仿以及高动态运动技能。现有模仿学习控制器通常以复现参考轨迹为主要目标,通过跟踪根部位姿、关节位置、关键身体部位位置和速度来保证动作相似度。然而,该类控制器在受到外力时往往会把外力引起的偏差视为必须立即消除的误差,从而对外界施加较强反作用力。
3、柔顺控制的经典方法包括混合位置/力控制、阻抗控制和操作空间运动/力控制等,这些方法为机器人在不确定环境中实现安全交互提供了基础思想。随着强化学习和模仿学习的发展,也出现了通过扰动参考轨迹、学习上肢柔顺动作、引入接触适应模块或设置受扰动目标轨迹来提升交互安全性的方案。然而,现有方法仍存在多方面不足:首先,许多人形机器人模仿控制器仍以高精度跟踪原始参考动作为主要目标,当机器人受到外部拉拽、推压、托举或物体接触时,控制器往往会将外力造成的偏差视为需要立即消除的跟踪误差,从而产生过强的纠偏动作和较大的接触反力,导致动作不自然、交互不安全,严重时还可能破坏平衡。其次,一些柔顺模仿方法依赖离线轨迹增广或基于运动学求解器预先生成受扰动参考轨迹,这类参考轨迹虽然能够给出可行姿态,但通常没有显式建模外力引起的动力学响应、惯性效应、质量分布变化以及不同机器人构型下的响应差异,因此在面对未见过的接触位置、外力方向、外力持续时间或复杂全身动作时,物理一致性和泛化能力不足。再次,部分现有方案主要关注末端执行器、手臂或上半身的柔顺性,较少考虑外力作用于躯干、下肢或足部时双臂、躯干、髋膝踝和支撑状态之间的协同调整,难以覆盖人形机器人在行走、站立、起身等任务中的全身柔顺行为。此外,名义运动跟踪与柔顺适应之间本身存在竞争关系:过强的原始轨迹跟踪会抑制自然的受力让步,而过强的柔顺性又可能降低参考动作保真度和任务稳定性;因此,单纯依靠固定奖励权重或单一评价网络,难以在训练过程中根据跟踪质量和交互强度动态平衡二者。
4、现有技术存在的问题包括:
5、(1)现有模仿学习控制器通常强调刚性跟踪原始参考轨迹,在外部拉拽、推压、托举等交互中容易产生过大的抵抗力和不自然的纠偏动作,存在交互安全风险。
6、(2)依赖离线轨迹增广或运动学求解的柔顺参考方法,难以反映外部力引起的真实动力学效应,面对未见过的扰动方向、接触位置和机器人构型时物理一致性不足。
7、(3)仅针对上肢或末端的柔顺控制难以覆盖人形机器人的全身响应;外力作用在躯干、腿部或足部时,需要双臂、躯干和下肢协同调整,否则容易破坏平衡。
8、(4)运动跟踪目标与柔顺适应目标存在天然冲突。过强跟踪会抑制柔顺,过强柔顺会破坏参考动作跟踪精确度和稳定性,单一评论家或固定权重奖励难以在训练过程中动态平衡二者。
9、(5)若训练阶段的扰动分布过于单一,策略在真实环境中面对不同身体区域、不同大小和方向的外力时鲁棒性不足;若一开始直接加入全身强扰动,又会造成训练不稳定。
10、(6)实机部署不能依赖仿真中的外力真值、完整动力学状态或修正轨迹等特权信息,因此需要一种能够在训练中利用特权信息、在部署时仅依赖机载观测运行的策略结构。
11、因此,如何在不牺牲参考动作跟踪质量的前提下,使人形机器人在外力交互中产生自然、安全、可恢复的全身柔顺响应,是人形机器人控制中的关键技术问题。
技术实现思路
1、本发明旨在解决人形机器人模仿学习中刚性轨迹跟踪导致交互不自然、抗扰柔顺性不足的问题;针对现有方法动力学一致性差、全身协同响应不足、跟踪与柔顺目标难以平衡以及实机部署依赖特权信息等问题,提出一种可用于真实环境的全身柔顺运动控制方法一种动力学感知修正轨迹柔顺全身运动控制方法及系统。
2、本发明为解决上述技术问题采用以下技术方案:
3、一种面向人形机器人的动力学感知修正轨迹柔顺全身运动控制方法,包括以下步骤:
4、s1:建立面向柔顺运动跟踪的决策模型,将人形机器人运动模仿与柔顺控制建模为带约束的部分可观测决策过程,策略输出期望关节位置,控制器根据所述期望关节位置与当前关节状态生成关节力矩;
5、s2:构建教师-学生策略网络,训练阶段编码器接收策略观测和特权观测并输出特权隐变量,教师决策网络根据所述策略观测和所述特权隐变量生成动作;部署阶段适应网络仅根据所述策略观测预测可部署隐变量,学生决策网络根据所述策略观测和所述可部署隐变量输出可部署动作;
6、s3:在线生成动力学感知修正轨迹,根据外部力、机器人连杆雅可比矩阵、质量矩阵和局部工作空间度量计算柔顺位移,并生成修正关节参考。
7、s4:采用虚拟弹簧式全身扰动采样,将机器人身体划分为不同区域,在各区域施加模拟外部力扰动,并采用身体区域课程学习逐步增加扰动范围和难度;
8、s5:构建自适应加权多评论家强化学习框架,设置跟踪评论家和柔顺评论家分别评价运动跟踪质量和柔顺适应能力,通过拉格朗日乘子动态组合跟踪优势函数和柔顺优势函数;
9、s6:设计奖励函数,包括原始运动跟踪奖励、正则化奖励和柔顺控制奖励,利用所述奖励函数优化策略;
10、s7:采用域随机化进行训练,随机化机器人动力学参数和物理参数;
11、s8:实机部署阶段,仅依赖机载传感器获得的本体观测和参考运动命令,由所述学生策略输出期望关节位置,经pd控制器生成关节力矩。
12、作为本发明一种面向人形机器人的动力学感知修正轨迹柔顺全身运动控制方法的进一步优选方案,步骤s3中所述在线生成动力学感知修正轨迹具体包括:
13、设外部力 作用于选定身体连杆,通过该连杆的平移雅可比矩阵 将外力投影到关节空间,得到关节力矩 ;
14、结合机器人质量矩阵估计关节加速度响应;
15、通过将关节加速度诱导的运动转换到任务空间,定义局部工作空间度量
16、,计算柔顺位移速度,其中 α 为柔顺系数,为正则项;
17、对所述柔顺位移速度 按物理步长积分得到柔顺位移,并进行范数约束;
18、所述修正关节参考为,其中为原始参考关节位置,为动力学感知修正后的参考关节位置。
19、作为本发明一种面向人形机器人的动力学感知修正轨迹柔顺全身运动控制方法的进一步优选方案,当外力撤除且所述柔顺位移大于恢复阈值时,通过有界恢复项将所述柔顺位移逐步驱动回零,使机器人平滑回到名义动作。
20、作为本发明一种面向人形机器人的动力学感知修正轨迹柔顺全身运动控制方法的进一步优选方案,所述策略观测包括启动标识、未来运动命令、参考关节位置、参考投影重力、当前基座角速度、当前投影重力、历史关节位置以及上一时刻动作;所述特权观测包括根部运动、目标运动、全身关键点、外力作用状态、动力学修正位移、修正位移速度以及修正关节目标。
21、作为本发明一种面向人形机器人的动力学感知修正轨迹柔顺全身运动控制方法的进一步优选方案,步骤s4中所述虚拟弹簧式全身扰动采样具体包括:
22、对选定的身体连杆 b,在其局部邻域内采样虚拟点 ,将原始连杆位置 视为弹簧锚点,根据生成外部力,其中为采样弹簧刚度,clip表示按身体区域限制最大力;
23、所述身体区域划分为上肢区域、躯干区域和下肢区域,不同区域设置不同的采样半径和力上限,下肢区域采用更严格的力界限。
24、作为本发明一种面向人形机器人的动力学感知修正轨迹柔顺全身运动控制方法的进一步优选方案,所述身体区域课程学习具体包括:
25、训练早期优先在上肢区域施加扰动;
26、中期逐步加入躯干区域扰动;
27、后期扩展到下肢区域扰动,实现全身扰动的适应。
28、作为本发明一种面向人形机器人的动力学感知修正轨迹柔顺全身运动控制方法的进一步优选方案,步骤s5中所述自适应加权多评论家强化学习框架具体包括:
29、训练分为预热阶段和柔顺阶段,所述预热阶段仅使用跟踪优势函数优化策略,使策略跟踪原始参考运动,并在线记录当前最优跟踪价值;
30、预热后引入柔顺评论家,通过拉格朗日乘子 动态组合跟踪优势 和柔顺优势 ;
31、当当前跟踪价值低于,提高跟踪项权重以保护运动跟踪性能;当跟踪性能充足时,降低跟踪权重并增强柔顺学习;
32、作为本发明一种面向人形机器人的动力学感知修正轨迹柔顺全身运动控制方法的进一步优选方案,步骤s6中所述柔顺控制奖励包括:
33、修正关节目标跟踪奖励,用于鼓励机器人在外部交互下跟踪所述修正关节参考;
34、外力跟踪奖励,用于根据连杆位移估计实际外力并惩罚实际外力与期望外力的偏差;
35、位移平滑奖励,用于限制所述柔顺位移 u 的突变;
36、外力方向对齐奖励,用于鼓励受力连杆沿外力方向产生自然位移;
37、恢复奖励,用于在外力停止后惩罚残余柔顺位移,使策略回到原始运动。
38、作为本发明一种面向人形机器人的动力学感知修正轨迹柔顺全身运动控制方法的进一步优选方案,所述教师网络和学生网络为三层多层感知机结构。
39、一种基于向人形机器人的动力学感知修正轨迹柔顺全身运动控制方法的控制系统,包括:
40、参考运动输入模块,用于提供原始参考运动数据;
41、机器人本体观测模块,用于获取机器人当前本体状态信息;
42、外部扰动建模模块,用于生成模拟外部力扰动;
43、动力学感知修正轨迹模块,用于根据外部力、雅可比矩阵、质量矩阵和局部工作空间度量在线生成修正关节参考;
44、教师-学生策略网络模块,用于在训练阶段利用特权信息学习柔顺响应策略,在部署阶段仅依赖机载观测输出期望关节位置;
45、自适应加权多评论家强化学习模块,用于通过跟踪评论家和柔顺评论家分别评价运动
46、跟踪质量和柔顺适应能力,并动态组合二者优势函数;
47、奖励计算模块,用于计算原始运动跟踪奖励、正则化奖励和柔顺控制奖励;
48、域随机化训练模块,用于在仿真训练中随机化机器人动力学参数和物理参数;
49、实机部署控制模块,用于将学生策略输出的期望关节位置经pd控制器转换为关节力矩。
50、本发明采用以上技术方案与现有技术相比,具有以下技术效果:
51、1、本发明提出动力学感知修正轨迹机制,将外部力通过雅可比矩阵、质量矩阵和局部工作空间度量转化为有界关节参考修正,使机器人在接触交互中生成符合受力规律的自然让步动作,而不是机械地跟踪原始轨迹。
52、2、本发明通过修正关节参考,使柔顺动作仍然围绕原始参考运动展开,避免传统柔顺策略在外力下完全偏离任务目标,实现“可让步但不失控”的全身运动控制;
53、3、本发明采用教师-学生策略结构,在训练阶段充分利用外力、修正轨迹和动力学状态等特权信息,在部署阶段仅依赖机载传感器观测,兼顾训练效果与实机可落地性;
54、4、本发明采用自适应加权多评论家框架,将运动跟踪和柔顺适应分开评价,并根据跟踪约束动态调整二者权重,解决固定奖励权重难以平衡跟踪准确性与柔顺安全的问题;
55、5、本发明采用虚拟弹簧式全身扰动采样和身体区域课程学习,使策略能够从上肢柔顺逐步扩展到躯干和下肢柔顺,提升对复杂真实交互场景的泛化能力;
56、6、本发明柔顺奖励同时考虑修正关节跟踪、外力跟踪、位移平滑、外力方向对齐和外力撤除后的恢复,能够降低交互力、减少动作突变和关节力矩消耗,提高机器人与人或环境交互时的安全性和自然性;
57、7、本发明在多种外部扰动下保持稳定运动,并显著提升轨迹完成率、降低外力误差和动作变化率,具有良好的工程应用价值。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com