一种基于扩散策略与强化学习补偿的四足机器人携臂操作控制方法与流程

摘要: 本发明属于机器人运动控制、具身智能及人工智能,具体是指一种基于扩散策略与强化学习补偿的四足机器人携臂操作控制方法。背景技术:1、携臂四足机器人是将四足移动平台与...
一种基于扩散策略与强化学习补偿的四足机器人携臂操作控制方法与流程

本发明属于机器人运动控制、具身智能及人工智能,具体是指一种基于扩散策略与强化学习补偿的四足机器人携臂操作控制方法。

背景技术:

1、携臂四足机器人是将四足移动平台与机械臂相结合,兼具移动越障与操作能力,并可执行开门、按压按钮、操作开关、旋拧阀门、抓取搬运及喷水灭火等任务的主流机器人之一。在上述的此类任务中,通常要求机器人末端执行器在机身持续运动、足端接触状态变化、地形扰动以及操作反作用力影响下仍保持稳定轨迹。因此,携臂四足机器人不仅需要控制机械臂完成操作,还需要协调腿部支撑、机身位姿与机械臂运动,以补偿外部扰动和操作过程中的动态偏差。

2、扩散策略作为一种生成式模仿学习方法,能够从示教数据中学习多模态操作行为,并生成未来一段动作序列。然而,扩散策略的推理频率通常低于机器人底层控制频率,重复采样可能产生轨迹随机性,相邻轨迹块之间可能出现跳变,若将生成轨迹整段开环执行,容易产生累计误差。现有方案通常由扩散策略直接输出机械臂动作,四足本体与机械臂相互独立控制,难以利用腿部支撑和机身运动补偿末端偏差。若直接由强化学习从零学习完整携臂操作任务,又会面临探索空间大、复杂操作难以收敛、技能复用能力不足等问题。

3、因此,如何将扩散策略的示教轨迹生成能力与全身强化学习的高频闭环控制能力相结合,并对扩散策略生成的轨迹块进行执行前有效性检测、滚动执行和连续衔接,同时利用腿部、机身和机械臂共同补偿轨迹误差、轨迹块跳变及外部扰动,成为携臂四足机器人移动操作控制中亟待解决的问题。

技术实现思路

1、本发明的目的在于克服目前四足机器人不能充分有效地对扩散策略生成的轨迹块进行执行前有效性检测、滚动执行和连续衔接以及不能很好的利用腿部、机身和机械臂共同补偿轨迹误差、轨迹块跳变及外部扰动的缺陷,提供一种基于扩散策略与强化学习补偿的四足机器人携臂操作控制方法。

2、为实现上述目的,本发明采用以下技术方案来实现:一种基于扩散策略与强化学习补偿的四足机器人携臂操作控制方法,包括以下步骤:

3、s1、获取并同步观测信息;

4、s2、将同步后的观测信息输入扩散策略,通过迭代去噪,以第一控制频率生成未来预测时域内的末端动作轨迹块;

5、s3、对所述末端动作轨迹块进行执行前有效性检测,通过检测时,将所述末端动作轨迹块确定为参考轨迹;未通过检测时,则丢弃所述末端动作轨迹块并返回步骤s2,以基于当前观测重新生成;

6、s4、对所述参考轨迹进行坐标转换、时间对齐、轨迹插值和平滑处理,并仅将该参考轨迹中轨迹块前部的预定量动作或预定时间段作为当前执行区间进行滚动执行;

7、s5、构建全身强化学习观测量,并将构建的全身强化学习观测量输入全身强化学习策略,该全身强化学习策略以高于第一控制频率的第二控制频率运行,并联合生成十二个腿部自由度和六个机械臂自由度的控制指令,使腿部支撑、机身运动和机械臂运动共同完成末端参考轨迹跟踪;

8、s6、采集实际执行状态和任务结果,当已执行当前轨迹块前部动作,或轨迹偏差、环境变化达到预设条件时,触发返回步骤s2,以基于最新观测更新后的观测信息重新生成末端动作轨迹块,形成滚动闭环。

9、进一步地,步骤s1所述获取并同步观测信息是指:获取当前及连续多个历史时刻的环境视觉信息、机器人本体状态、腿部与机械臂状态、末端执行器状态以及任务条件,并进行时间同步和坐标统一。

10、所述环境视觉信息包括rgb图像和/或深度信息;所述观测信息还包括目标物体状态、足端接触信息及力或力矩信息中的至少一种。

11、步骤s2中所述的末端动作轨迹块,其包含多个时刻的末端位置和姿态,并还包括夹爪动作、末端速度和任务阶段中的至少一种。

12、步骤s2中所述扩散策略是指基于机器人示教数据进行训练,所述示教数据至少包括环境观测、机器人状态以及与所述环境观测对应的末端动作轨迹。

13、步骤s3中所述的执行前有效性检测包括格式完整性、数值有效性、时间顺序、相邻轨迹点连续性、机械臂可达范围及预设控制边界检查。

14、步骤s5中所述全身强化学习观测量,其包括当前参考轨迹、参考轨迹与实际末端状态的偏差、相邻轨迹块连接偏差、上一周期控制信息、四足本体状态、腿部状态和机械臂状态。

15、步骤s5中所述的全身强化学习策略,其训练目标包括末端轨迹跟踪、机器人稳定性、足端接触可靠性、任务进度和控制平滑性中的至少一种。

16、所述全身强化学习策略配置为:当出现扩散采样误差、相邻轨迹块跳变、机身晃动、地形扰动、目标状态变化或操作反作用力时,通过调整腿部支撑、机身位姿和机械臂关节实施动态补偿。

17、所述的基于机器人示教数据进行训练,其包括训练阶段和推理阶段;其中,训练阶段向真实动作轨迹加入噪声,并训练模型在观测和任务条件约束下逐步去除噪声;推理阶段从噪声动作序列开始,经多次去噪生成满足当前任务条件的未来末端动作轨迹块。

18、与现有技术相比,本发明的有益效果是:

19、(1)本发明通过扩散策略低频生成末端动作轨迹块、全身强化学习策略高频执行的分层架构,兼顾多模态示教操作技能学习与机器人实时闭环控制能力,降低对高频扩散推理的依赖。

20、(2)本发明通过对扩散策略生成的轨迹块进行执行前有效性检测,并在未通过时丢弃并重新生成,避免格式错误、数值异常、时间不连续或超出机械臂可达范围的异常轨迹进入高频控制环,提高控制安全性。

21、(3)本发明通过仅执行轨迹块前部动作并基于最新观测滚动生成后续轨迹,减少整段开环执行产生的累计误差以及相邻轨迹块跳变对控制稳定性的影响。

22、(4)本发明通过全身强化学习策略联合输出十二个腿部自由度和六个机械臂自由度的控制指令,并利用腿部支撑、机身位姿和机械臂运动共同补偿扩散采样误差、轨迹块跳变、机身晃动及操作反作用力,提高强接触和动态移动操作的稳定性,降低从零训练复杂操作任务的难度。

1.一种基于扩散策略与强化学习补偿的四足机器人携臂操作控制方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的一种基于扩散策略与强化学习补偿的四足机器人携臂操作控制方法,其特征在于,步骤s1所述获取并同步观测信息是指:获取当前及连续多个历史时刻的环境视觉信息、机器人本体状态、腿部与机械臂状态、末端执行器状态以及任务条件,并进行时间同步和坐标统一。

3.根据权利要求2所述的一种基于扩散策略与强化学习补偿的四足机器人携臂操作控制方法,其特征在于,所述环境视觉信息包括rgb图像和/或深度信息;所述观测信息还包括目标物体状态、足端接触信息及力或力矩信息中的至少一种。

4.根据权利要求1所述的一种基于扩散策略与强化学习补偿的四足机器人携臂操作控制方法,其特征在于,步骤s2中所述的末端动作轨迹块,其包含多个时刻的末端位置和姿态,并还包括夹爪动作、末端速度和任务阶段中的至少一种。

5.根据权利要求1所述的一种基于扩散策略与强化学习补偿的四足机器人携臂操作控制方法,其特征在于,步骤s2中所述扩散策略是指基于机器人示教数据进行训练,所述示教数据至少包括环境观测、机器人状态以及与所述环境观测对应的末端动作轨迹。

6.根据权利要求1所述的一种基于扩散策略与强化学习补偿的四足机器人携臂操作控制方法,其特征在于,步骤s3中所述的执行前有效性检测包括格式完整性、数值有效性、时间顺序、相邻轨迹点连续性、机械臂可达范围及预设控制边界检查。

7.根据权利要求1所述的一种基于扩散策略与强化学习补偿的四足机器人携臂操作控制方法,其特征在于,步骤s5中所述全身强化学习观测量,其包括当前参考轨迹、参考轨迹与实际末端状态的偏差、相邻轨迹块连接偏差、上一周期控制信息、四足本体状态、腿部状态和机械臂状态。

8.根据权利要求7所述的一种基于扩散策略与强化学习补偿的四足机器人携臂操作控制方法,其特征在于,步骤s5中所述的全身强化学习策略,其训练目标包括末端轨迹跟踪、机器人稳定性、足端接触可靠性、任务进度和控制平滑性中的至少一种。

9.根据权利要求8所述的一种基于扩散策略与强化学习补偿的四足机器人携臂操作控制方法,其特征在于,所述全身强化学习策略配置为:当出现扩散采样误差、相邻轨迹块跳变、机身晃动、地形扰动、目标状态变化或操作反作用力时,通过调整腿部支撑、机身位姿和机械臂关节实施动态补偿。

10.根据权利要求5所述的一种基于扩散策略与强化学习补偿的四足机器人携臂操作控制方法,其特征在于,所述的基于机器人示教数据进行训练,其包括训练阶段和推理阶段;其中,训练阶段向真实动作轨迹加入噪声,并训练模型在观测和任务条件约束下逐步去除噪声;推理阶段从噪声动作序列开始,经多次去噪生成满足当前任务条件的未来末端动作轨迹块。