机器人运动控制策略的优化方法、系统、设备及存储介质与流程

摘要: 本技术涉及机器人控制,具体涉及一种机器人运动控制策略的优化方法、系统、设备及存储介质。背景技术:1、随着机器人技术的快速发展,人形机器人在运动跟踪任务中的应用日...
机器人运动控制策略的优化方法、系统、设备及存储介质与流程

本技术涉及机器人控制,具体涉及一种机器人运动控制策略的优化方法、系统、设备及存储介质。

背景技术:

1、随着机器人技术的快速发展,人形机器人在运动跟踪任务中的应用日益广泛,为了实现复杂动作的高精度跟踪,基于强化学习的控制策略训练方法逐渐成为主流技术方向,在训练过程中,通常需要通过并行训练环境采集大量的交互数据,存入在线轨迹缓冲区,并基于缓冲区中的数据分布对机器人的运动控制策略进行迭代优化,以满足机器人对动作稳定性及泛化能力的整体需求。

2、相关技术中,为了提高运动控制策略的训练效率,通常通过在线统计参考运动轨迹中各片段的失败率,动态调整不同片段作为训练回合起始点的重置概率,使得失败率较高的动作片段有更高的概率被重新尝试,此外,部分方案还结合了课程学习策略,根据训练进度逐渐增加训练动作的难度,以期提升模型对复杂动作的学习效果。

3、但是,现有的自适应采样方法主要侧重于调整回合起始点的选择概率,却忽略了不同难度片段在实际运行过程中的存活时长差异;对于高难度的运动片段,机器人往往在尝试初期就因跟踪失败而快速终止回合,导致其在在线轨迹缓冲区中贡献的有效训练样本极少;而对于低难度片段,虽然重置概率较低,但由于回合存活时间长,占据了大部分缓冲区空间;这种样本分布与重置概率不匹配的问题,导致控制策略在更新时难以获得足够的高难度区域梯度信号,使得人形机器人在面对复杂动作时的跟踪成功率难以进一步提升,甚至出现对高难度动作学习不充分的现象。

技术实现思路

1、为解决上述问题,本技术提供一种机器人运动控制策略的优化方法、系统、设备及存储介质。

2、第一方面,本技术实施例提供一种机器人运动控制策略的优化方法,所述机器人运动控制策略的优化方法包括:

3、在训练过程中在线更新各运动片段的难度评估指标,基于所述难度评估指标筛选候选困难运动片段;

4、基于预设的并行环境总数,将多个并行环境划分为困难训练环境池与全局训练环境池并统计各候选困难运动片段的目标环境占用量与当前活跃环境数量,确定占用缺额,将空闲并行环境依据所述占用缺额动态分配至所述困难训练环境池或所述全局训练环境池,其中,为所述困难训练环境池分配局部排练任务,为所述全局训练环境池从全部预设参考运动片段分配全局采样任务;

5、为所述困难训练环境池配置包含最小局部训练时长约束的预设局部终止条件,为所述全局训练环境池配置全局最大运行步数约束的预设全局终止条件;

6、分别控制困难训练环境池与全局训练环境池内的机器人实例执行对应仿真任务,得到在线轨迹样本,并基于在线轨迹样本采用强化学习算法迭代更新机器人运动控制策略。

7、结合第一方面,在一种实施方式中,所述基于预设的并行环境总数,将多个并行环境划分为困难训练环境池与全局训练环境池并统计各候选困难运动片段的目标环境占用量与当前活跃环境数量,确定占用缺额,将空闲并行环境依据所述占用缺额动态分配至所述困难训练环境池或所述全局训练环境池包括:

8、根据预设的并行环境总数与预设公式确定所述困难训练环境池的最大容纳环境数,所述预设公式为:

9、

10、为并行环境总数量,为预设固定困难环境分配比例,为困难训练环境池最大容纳环境数;

11、基于所述困难训练环境池的最大容纳环境数以及并行环境总数将多个并行环境划分为困难训练环境池与全局训练环境池;

12、统计各候选困难运动片段当前对应的活跃环境数量,结合各候选困难运动片段的目标环境占用量计算得到占用缺额;

13、将空闲并行环境优先分配至存在占用缺额的候选困难运动片段以填补缺额,其中,分配至困难训练环境池的环境总量不超过基于预设困难环境分配比例确定的环境数量上限;

14、若无剩余占用缺额,将空闲并行环境归入全局训练环境池。

15、结合第一方面,在一种实施方式中,所述在训练过程中在线更新各运动片段的难度评估指标,基于所述难度评估指标筛选候选困难运动片段包括:

16、在训练每轮采样周期结束后,采用指数移动平均方式在线更新各运动片段失败率作为所述难度评估指标,设置最小失败阈值以过滤随机瞬时失效片段;

17、将失败率高于所述最小失败阈值的运动片段确定为候选困难运动片段,其中,所述候选困难运动片段用于确定困难训练环境池对应的局部排练任务,所述全局训练环境池的采样范围包括全部预设参考运动片段,且所述全部预设参考运动片段包括被确定为候选困难运动片段的运动片段。

18、结合第一方面,在一种实施方式中,所述机器人运动控制策略优化方法还包括:

19、确定局部困难区域,所述局部困难区域包含目标困难运动片段及其时序前序相邻运动片段;

20、设定最小局部训练时长下限,控制困难训练环境池内的机器人实例在对应的局部困难区域内持续执行对应的局部排练任务;

21、监测机器人实例的仿真运行状态与当前时刻正在仿真执行的运动片段位置,在机器人实例满足预设运动跟踪失败条件时,触发所述预设局部终止条件并提前结束当前训练回合;

22、或,在机器人实例累计运行步数达到所述最小局部训练时长下限,且当前参考运动相位已脱离所属局部困难区域时,触发所述预设局部终止条件并结束当前训练回合。

23、结合第一方面,在一种实施方式中,所述机器人运动控制策略优化方法还包括:

24、设定全局单回合最大运行步数;

25、控制全局训练环境池每次从全部预设参考运动片段随机采样,并控制机器人实例完整仿真执行所述全局采样任务;

26、当满足完整遍历所述全局采样任务、运行步数达到最大运行步数、或当前时刻正在仿真执行的运动片段大于预设范围的任一情形时,触发所述预设全局终止条件。

27、结合第一方面,在一种实施方式中,预设局部终止条件或预设全局终止条件触发后还包括:

28、将触发对应终止条件的并行环境置为空闲可分配状态;

29、依据所述占用缺额,将处于所述空闲可分配状态的并行环境动态分配至所述困难训练环境池或所述全局训练环境池,其中,分配至所述困难训练环境池的并行环境重新分配局部排练任务,分配至所述全局训练环境池的并行环境重新随机选取运动片段,从采样片段内部初始相位启动仿真。

30、结合第一方面,在一种实施方式中,所述基于在线轨迹样本采用强化学习算法迭代更新机器人运动控制策略包括:

31、汇总全部在线轨迹样本存入在线轨迹缓冲区;

32、基于在线轨迹缓冲区的在线轨迹样本计算近端策略优化目标,以优化目标最小化为导向,迭代更新网络参数以得到新的机器人运动控制策略。

33、第二方面,本技术实施例提供了一种机器人运动控制策略的优化系统,所述机器人运动控制策略的优化系统包括:

34、更新模块,用于在训练过程中在线更新各运动片段的难度评估指标,基于所述难度评估指标筛选候选困难运动片段;

35、分配模块,用于基于预设的并行环境总数,将多个并行环境划分为困难训练环境池与全局训练环境池并统计各候选困难运动片段的目标环境占用量与当前活跃环境数量,确定占用缺额,将空闲并行环境依据所述占用缺额动态分配至所述困难训练环境池或所述全局训练环境池,其中,为所述困难训练环境池分配局部排练任务,为所述全局训练环境池从全部预设参考运动片段分配全局采样任务;

36、配置模块,用于为所述困难训练环境池配置包含最小局部训练时长约束的预设局部终止条件,为所述全局训练环境池配置全局最大运行步数约束的预设全局终止条件;

37、控制模块,用于分别控制困难训练环境池与全局训练环境池内的机器人实例执行对应仿真任务,得到在线轨迹样本,并基于在线轨迹样本采用强化学习算法迭代更新机器人运动控制策略。

38、第三方面,本技术实施例提供了一种机器人运动控制策略的优化设备,所述机器人运动控制策略的优化设备包括处理器、存储器、以及存储在所述存储器上并可被所述处理器执行的机器人运动控制策略的优化程序,其中所述机器人运动控制策略的优化程序被所述处理器执行时,实现如第一方面所述的机器人运动控制策略的优化方法的步骤。

39、第四方面,本技术实施例提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有机器人运动控制策略的优化程序,其中所述机器人运动控制策略的优化程序被处理器执行时,实现如第一方面所述的机器人运动控制策略的优化方法的步骤。

40、本技术实施例提供的技术方案带来的有益效果包括:

41、通过在训练过程中更新各运动片段的难度评估指标,基于难度评估指标筛选候选困难运动片段;基于预设的并行环境总数,将多个并行环境划分为困难训练环境池与全局训练环境池并统计各候选困难运动片段的目标环境占用量与当前活跃环境数量,确定占用缺额,将空闲并行环境依据占用缺额动态分配至困难训练环境池或全局训练环境池,为困难训练环境池配置包含最小局部训练时长约束的预设局部终止条件,为全局训练环境池配置全局最大运行步数约束的预设全局终止条件;分别控制困难训练环境池与全局训练环境池内的机器人实例执行对应仿真任务,得到在线轨迹样本,并基于在线轨迹样本采用强化学习算法迭代更新机器人运动控制策略,提升了机器人对不同难度动作的跟踪成功率,实现了训练效率与控制精度的双重提升。