基于足底触觉的机器人控制策略仿真训练方法、控制方法及装置
本技术涉及机器人控制,尤其涉及一种基于足底触觉的机器人控制策略仿真训练方法、控制方法及装置。
背景技术:
1、随着人形机器人运动控制、环境感知和强化学习技术的发展,人形机器人已经能够在楼梯、斜坡、台阶和离散平台等复杂地形上完成行走或越障。现有技术通常以是否完成穿越任务、是否到达目标位置或者是否跌倒作为机器人控制策略的主要评价依据。然而,机器人即使能够完成任务,其整机稳定性仍旧存在一定风险,例如可能在落地瞬间产生较大的冲击力和结构振动,可能在台阶或平台边缘形成局部接触,或者在支撑阶段出现有效接触面积较小、压力中心接近支撑边界等情况。
技术实现思路
1、有鉴于此,本技术提供一种基于足底触觉的机器人控制策略仿真训练方法、控制方法及装置,旨在优化机器人运动控制策略,提高整机稳定性。
2、根据本技术第一方面,提供一种基于足底触觉的机器人控制策略仿真训练方法,包括:
3、根据仿真地形表面数据以及仿真机器人的足部法向接触合力和足底位姿,确定所述仿真机器人足底压力分布;所述仿真机器人足底包括多个虚拟压力感知单元,所述压力分布包括每个虚拟压力感知单元对应的荷载;
4、基于所述压力分布,确定足底触觉特征;所述足底触觉特征与部署阶段从真实足底压力感知阵列提取的触觉特征具有相同的物理定义,所述触觉特征包括法向合力、接触面积比以及压力中心;
5、针对所述机器人的每只足,根据所述足底触觉特征以及该足垂向速度、离地高度,确定该足的接触阶段;所述接触阶段至少包括摆动阶段、预落地阶段、落地阶段及支撑阶段;
6、根据每个接触阶段对应的控制目标,构建约束评价函数,以确定机器人足底触觉控制策略得分;
7、将机器人的本体状态信息以及所述足底触觉特征输入至策略网络,以输出控制策略信息并基于所述控制策略信息控制所述仿真机器人运动;
8、以优化所述足底触觉控制策略得分为目标,对所述策略网络进行训练。
9、在一些可能的实施方式中,所述根据仿真地形表面数据以及设定的机器人足部法向接触合力,确定机器人足底压力分布,包括:
10、根据机器人足底局部法向与所述虚拟压力感知单元落足位置处地形法向之间的匹配程度,以及虚拟压力感知单元至对应地形表面之间的间距,确定该虚拟压力感知单元对应的荷载权重;
11、根据所述多个虚拟压力感知单元对应的荷载权重,以及所述机器人足部法向接触合力,确定每个虚拟压力感知单元的初始等效法向荷载;
12、在每个虚拟压力感知单元的预设邻域范围内执行荷载扩散,以根据所述预设邻域范围内的多个虚拟压力感知单元的初始等效法向荷载,确定该虚拟压力感知单元对应的荷载。
13、在一些可能的实施方式中,所述根据所述足底触觉特征以及该足垂向速度、离地高度,确定该足的接触阶段,包括:
14、根据所述法向合力及所述接触面积比,确定机器人足底落地接触状态;
15、根据所述垂向速度及所述离地高度,确定该足的落地状态;
16、响应于所述接触状态指示未接触,根据所述落地状态确定所述接触阶段为摆动阶段或预落地阶段;
17、响应于所述接触状态指示接触,根据最近一次由未接触切换为接触对应的持续时间小于预设落地窗口,确定所述接触阶段为落地阶段;或者,根据最近一次由未接触切换为接触对应的持续时间大于所述预设落地窗口,确定所述接触阶段为支撑阶段。
18、在一些可能的实施方式中,所述足底触觉特征还包括压力中心边界裕度,所述压力中心边界裕度根据所述压力中心与所述机器人足底的有效支撑区域边界的距离确定,所述有效支撑区域包括荷载大于激活阈值的虚拟压力感知单元。所述接触面积比用于指示所述有效支撑区域相较于所述机器人足底的面积比。
19、在一些可能的实施方式中,所述根据每个接触阶段对应的控制目标,构建约束评价函数,以确定机器人足底触觉控制策略得分,包括:
20、构建所述预落地阶段对应的第一约束评价函数,所述第一约束评价函数与所述垂向速度的大小及垂向加速度的大小呈负相关;
21、构建所述落地阶段对应的第二约束评价函数,所述第二约束评价函数与所述法向合力的大小以及所述法向合力的正向增长率的大小呈负相关;
22、构建所述支撑阶段对应的第三约束评价函数,所述第三约束评价函数与所述接触面积比的大小以及所述压力中心边界裕度的大小呈正相关,并与相邻时刻所述压力中心的偏移大小呈负相关;
23、根据所述第一约束评价函数、所述第二约束评价函数及所述第三约束评价函数的得分,确定所述足底触觉控制策略得分。
24、在一些可能的实施方式中,所述方法还包括:构建预设落地窗口对应的第四约束评价函数,所述第四约束评价函数与该窗口内法向合力的峰值以及法向合力的正向增长率峰值呈负相关。所述足底触觉控制策略得分还根据所述第四约束评价函数的得分确定。
25、在一些可能的实施方式中,所述以优化所述足底触觉控制策略得分为目标,对所述策略网络进行训练,包括:采用非对称策略-评价器强化学习结构,根据第一评价器基于预设奖励评价项中的稠密奖励组的价值估计,以及第二评价器基于所述预设奖励评价项中的阶段触发奖励组的价值估计,构造用于策略优化的优势量,以对所述策略网络进行迭代训练。其中,所述预设奖励评价项包括所述足底触觉控制策略得分对应的奖励项;所述第一评价器及所述第二评价器的输入,包括所述策略网络的输入、机器人足部垂向速度以及对应的接触阶段。
26、在一些可能的实施方式中,所述策略网络的输入还包括所述仿真地形表面数据的历史观测数据,所述历史观测数据与部署阶段通过环境感知单元获取的真实地形表面数据具有相同的数据形式。
27、根据本技术第二方面,还提供一种基于足底触觉的机器人控制方法,包括:
28、根据机器人足底压力感知阵列采集的足底压力数据,提取足底触觉特征;所述触觉特征包括法向合力、接触面积比以及压力中心;
29、将所述足底触觉特征以及机器人的本体状态信息输入至预先训练好的策略网络,以输出目标关节位置;
30、根据所述目标关节位置生成关节控制指令,以驱动所述机器人运动;
31、其中所述策略网络根据如上述实施例中任一所述的方法训练得到。
32、在一些可能的实施方式中,所述根据所述目标关节位置生成关节控制指令,以驱动所述机器人运动,包括:获取当前关节位置以及关节速度;根据所述目标关节位置、所述当前关节位置以及所述关节速度,确定关节驱动力矩。
33、在一些可能的实施方式中,所述方法还包括:响应于如下异常情况中的至少一种,控制所述机器人执行安全回退操作:所述足底触觉特征超出预设安全阈值范围,所述足底压力数据缺失,目标关节位置或所述关节驱动力矩超出所述机器人的可执行约束范围。其中,所述安全回退操作包括减速、降低动作变换幅度或恢复静立状态。
34、根据本技术第三方面,还提供一种基于足底触觉的机器人控制策略仿真训练装置,包括:
35、触觉仿真对齐组件,用于根据仿真地形表面数据以及仿真机器人的足部法向接触合力和足底位姿,确定所述仿真机器人足底压力分布;所述仿真机器人足底包括多个虚拟压力感知单元,所述压力分布包括每个虚拟压力感知单元对应的荷载。
36、第一触觉特征提取组件,用于基于所述压力分布,确定足底触觉特征;所述足底触觉特征与部署阶段从真实足底压力感知阵列提取的触觉特征具有相同的物理定义,所述触觉特征包括法向合力、接触面积比以及压力中心。
37、接触阶段确定组件,用于针对所述机器人的每只足,根据所述足底触觉特征以及该足垂向速度、离地高度,确定该足的接触阶段;所述接触阶段至少包括摆动阶段、预落地阶段、落地阶段及支撑阶段。
38、阶段目标构建组件,用于根据每个接触阶段对应的控制目标,构建约束评价函数,以确定机器人足底触觉控制策略得分。
39、策略训练组件,用于将机器人的本体状态信息以及所述足底触觉特征输入至策略网络,以输出控制策略信息并基于所述控制策略信息控制所述仿真机器人运动;以及,以优化所述足底触觉控制策略得分为目标,对所述策略网络进行训练。
40、根据本技术第四方面,还提供一种基于足底触觉的机器人控制装置,包括:
41、第二触觉特征提取组件,用于根据机器人足底压力感知阵列采集的足底压力数据,提取足底触觉特征;所述触觉特征包括法向合力、接触面积比以及压力中心。
42、运动控制组件,用于将所述足底触觉特征以及机器人的本体状态信息输入至预先训练好的策略网络,以输出目标关节位置;以及,根据所述目标关节位置生成关节控制指令,以驱动所述机器人运动。其中所述策略网络根据如上述实施例中任一所述的方法训练得到。
43、根据本技术第五方面,还提供一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现上述方法。
44、根据本技术第六方面,还提供一种计算机可读存储介质,其上存储有计算机程序,所述程序被处理器执行时实现上述方法。
45、本技术的实施例方式提供的技术方案可以包括以下有益效果:
46、本技术实施例中,首先根据仿真机器人足底压力分布提取足底触觉特征,并将该足底触觉特征与机器人本体状态信息作为策略网络的输入,可以实现仿真训练阶段与真实部署阶段的观测对齐,保证训练阶段和部署阶段的观测一致性,确保了真实部署阶段根据原始阵列数据提取上述足底触觉特征作为策略输入的可行性。并且,通过采用紧凑的触觉特征而非直接迁移高维的原始压力阵列数据,可以降低对具体传感器分辨率、单元布局和制造差异的依赖,降低干扰信息对策略输入的影响程度,提高系统抗干扰能力,并降低策略输入的数据复杂程度,降低系统数据处理及计算压力、提高系统响应速度以及性能。另一方面,在仿真训练过程中,从足底触觉特征层面出发,根据不同接触阶段的控制目标构建不同的约束评价函数,以通过训练实现阶段性的精细化控制,确保每个接触阶段的足底触觉特征满足阶段稳定性需求。基于此,可以避免机器人足部落地瞬间产生较大的冲击力和结构振动,并且有利于使得机器人落足后与地形表面形成更为完整的接触,且落足姿态更加稳定、足底受力分布更加均匀,从而兼顾整个步态周期的连贯性与系统整机稳定性。
47、应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本技术。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com