操作控制方法、装置、产线机器人及存储介质与流程

摘要: 本技术涉及机器人控制,尤其涉及一种操作控制方法、操作控制装置、产线机器人及计算机可读存储介质。背景技术:1、在消费电子、食品、日化等行业的包装产线上,产线机器人...
操作控制方法、装置、产线机器人及存储介质与流程

本技术涉及机器人控制,尤其涉及一种操作控制方法、操作控制装置、产线机器人及计算机可读存储介质。

背景技术:

1、在消费电子、食品、日化等行业的包装产线上,产线机器人需要将来料物品从上游工位抓取,并放入随产线输送装置(如传送带)持续运动的包装容器(如纸盒、托盘、吸塑盘等)中。产线的核心考核指标是节拍与小时产出,因此产线输送装置在作业期间通常不停机,产线机器人必须在物品与容器持续运动的条件下完成取放作业。

技术实现思路

1、本技术实施例提供一种操作控制方法、操作控制装置、产线机器人及计算机可读存储介质,能够在产线输送装置持续运动条件下,兼顾节拍约束与操作精度,实现对动态被操作物的期望操作,提升产线机器人在动态输送场景下的操作鲁棒性与节拍达成率,降低因累积误差导致的操作失败风险。

2、第一方面,本技术提供的操作控制方法,适用于产线机器人,该操作控制方法包括:

3、获取对应同一基准时刻的、产线机器人的机器人本体状态、及其所处产线的图像观测、产线输送装置的基准运动测量数据;

4、获取任务语言指令,并将图像观测、机器人本体状态和任务语言指令输入视觉-语言-动作模型进行前向推理,输出产线机器人在未来n个时间步的动作序列;

5、根据图像观测识别被操作物,并确定被操作物在机器人基座系下的位姿,以位姿中的位置为原点、以产线输送装置的输送方向为第一轴,建立随产线输送装置同步运动的运动坐标系;

6、获取当前的剩余节拍余量,并根据剩余节拍余量确定节拍上界;

7、根据视觉-语言-动作模型进行前向推理的推理时延统计信息确定防饥饿下界;

8、确定对应于位姿的外推误差上界,并根据外推误差上界确定精度上界,以及根据防饥饿下界、精度上界和节拍上界确定动作序列的执行步数;

9、依次对动作序列中的动作执行重定基与操作,包括:

10、获取产线输送装置在执行当前动作时的实时运动测量数据,并根据实时运动测量数据与基准运动测量数据的差值,确定当前动作对应的累积位移;当已执行步数超过执行步数,或累积位移超过预设位移阈值时,丢弃动作序列中尚未执行的剩余动作;否则,将当前动作的平移分量按累积位移沿输送方向进行补偿,得到当前动作对应的重定基动作,并执行重定基动作。

11、第二方面,本技术提供的操作控制装置,适用于产线机器人,该操作控制装置包括:

12、观测获取模块,用于获取对应同一基准时刻的、产线机器人的机器人本体状态、及其所处产线的图像观测、产线输送装置的基准运动测量数据;

13、动作生成模块,用于获取任务语言指令,并将图像观测、机器人本体状态和任务语言指令输入视觉-语言-动作模型进行前向推理,输出产线机器人在未来n个时间步的动作序列;

14、坐标系建立模块,用于根据图像观测识别被操作物,并确定被操作物在机器人基座系下的位姿,以位姿中的位置为原点、以产线输送装置的输送方向为第一轴,建立随产线输送装置同步运动的运动坐标系;

15、步数确定模块,用于获取当前的剩余节拍余量,并根据剩余节拍余量确定节拍上界;根据视觉-语言-动作模型进行前向推理的推理时延统计信息确定防饥饿下界;确定对应于位姿的外推误差上界,并根据外推误差上界确定精度上界,以及根据防饥饿下界、精度上界和节拍上界确定动作序列的执行步数;

16、动作执行模块,用于依次对动作序列中的动作执行重定基与操作,包括:

17、获取产线输送装置在执行当前动作时的实时运动测量数据,并根据实时运动测量数据与基准运动测量数据的差值,确定当前动作对应的累积位移;当已执行步数超过执行步数,或累积位移超过预设位移阈值时,丢弃动作序列中尚未执行的剩余动作;否则,将当前动作的平移分量按累积位移沿输送方向进行补偿,得到当前动作对应的重定基动作,并执行重定基动作。

18、可选地,在一实施例中,在确定对应于位姿的外推误差上界,并根据外推误差上界确定精度上界时,步数确定模块用于:

19、获取产线输送装置的线速度,以及获取图像观测和基准运动测量数据之间的时间同步残差,并根据线速度和时间同步残差获取第一误差项;

20、对于动作序列对应的每一动作序号,根据相邻动作的间隔时长,确定该动作序号对应的外推时长;获取产线输送装置的加速度上界,并根据加速度上界和该动作序号对应的外推时长,确定该动作序号对应的第二误差项;

21、根据第一误差项,各动作序号对应的第二误差项,确定各动作序号关联的对应于位姿的外推误差上界;

22、根据外推误差上界不大于预设精度容差的最大动作序号确定精度上界。

23、可选的,在一实施例中,在将当前动作的平移分量按累积位移沿输送方向进行补偿,得到当前动作对应的重定基动作时,动作执行模块用于:

24、在当前动作以关节空间表示时,将当前动作经正运动学解算至笛卡尔空间;

25、在笛卡尔空间中将当前动作的平移分量按累积位移沿输送方向进行补偿,并将补偿后的当前动作经逆运动学回解至关节空间,得到当前动作对应的重定基动作。

26、可选的,在一实施例中,在将补偿后的当前动作经逆运动学回解至关节空间,得到当前动作对应的重定基动作时,动作执行模块用于:

27、将补偿后的当前动作经逆运动学回解至关节空间,并对回解后的当前动作进行奇异位形和关节软限位校验;

28、若校验通过,则将回解后的当前动作作为重定基动作。

29、可选的,在一实施例中,在根据视觉-语言-动作模型进行前向推理的推理时延统计信息确定防饥饿下界时,步数确定模块用于:

30、计算推理时延统计信息与动作序列的相邻动作的间隔时长之间的比值;

31、根据比值和预设安全裕量步数,确定防饥饿下界。

32、可选的,在一实施例中,在根据防饥饿下界、精度上界和节拍上界确定动作序列的执行步数时,步数确定模块用于:

33、确定出精度上界、节拍上界和动作序列的长度中的最小者;

34、若最小者小于防饥饿下界,则将防饥饿下界确定为动作序列的执行步数,否则将最小者确定为动作序列的执行步数。

35、可选的,在一实施例中,动作执行模块还用于:

36、当防饥饿下界大于精度上界时,向产线输送装置发送降速请求,以请求产线输送装置降低运行的线速度。

37、第三方面,本技术提供的产线机器人,包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序,处理器执行计算机程序时实现本技术提供的操作控制方法。

38、第四方面,本技术提供的计算机可读存储介质,存储有计算机程序,该计算机程序被处理器执行时实现本技术提供的操作控制方法。

39、本技术提供一种操作控制方案,获取对应同一基准时刻的、产线机器人的机器人本体状态、及其所处产线的图像观测、产线输送装置的基准运动测量数据;获取任务语言指令,并将图像观测、机器人本体状态和任务语言指令输入视觉-语言-动作模型进行前向推理,输出产线机器人在未来n个时间步的动作序列;根据图像观测识别被操作物,并确定被操作物在机器人基座系下的位姿,以位姿中的位置为原点、以产线输送装置的输送方向为第一轴,建立随产线输送装置同步运动的运动坐标系;获取当前的剩余节拍余量,并根据剩余节拍余量确定节拍上界;根据视觉-语言-动作模型进行前向推理的推理时延统计信息确定防饥饿下界;确定对应于位姿的外推误差上界,并根据外推误差上界确定精度上界,以及根据防饥饿下界、精度上界和节拍上界确定动作序列的执行步数;依次对动作序列中的动作执行重定基与操作,包括:获取产线输送装置在执行当前动作时的实时运动测量数据,并根据实时运动测量数据与基准运动测量数据的差值,确定当前动作对应的累积位移;当已执行步数超过执行步数,或累积位移超过预设位移阈值时,丢弃动作序列中尚未执行的剩余动作;否则,将当前动作的平移分量按累积位移沿输送方向进行补偿,得到当前动作对应的重定基动作,并执行重定基动作。以此,通过视觉-语言-动作模型与动态坐标系重定基机制的协同,能够在产线输送装置持续运动条件下,兼顾节拍约束与操作精度,实现对动态被操作物的期望操作,提升产线机器人在动态输送场景下的操作鲁棒性与节拍达成率,降低因累积误差导致的操作失败风险。此外,本技术并不修改视觉-语言-动作模型的结构与权重,仅在模型推理与动作执行之间插入重定基与执行步数决策环节,能够完整保留视觉-语言-动作模型由语言指令驱动、多sku换型的泛化能力。