基于视觉语言动作模型与视觉伺服协同的机械臂控制方法、装置、设备及介质

摘要: 本发明涉及机械臂控制,特别涉及基于视觉语言动作模型与视觉伺服协同的机械臂控制方法、装置、设备及介质。背景技术:1、目前,机械臂正从固定程序执行向具身智能操作发展...
基于视觉语言动作模型与视觉伺服协同的机械臂控制方法、装置、设备及介质

本发明涉及机械臂控制,特别涉及基于视觉语言动作模型与视觉伺服协同的机械臂控制方法、装置、设备及介质。

背景技术:

1、目前,机械臂正从固定程序执行向具身智能操作发展,在装配、抓取等任务中,需融合多模态任务理解、主动感知接近、局部精细控制、阶段平滑衔接与安全调节能力。视觉语言动作模型将图像、语言指令和机器人状态统一建模,在语义理解、目标搜索与长程动作规划上优势显著,可引导机械臂从不可观区域主动运动至可观区域,但其对图像特征误差、位姿误差等局部几何信息缺乏显式利用,导致精密对位与插装微调时精度不足、收敛性弱。视觉伺服控制器基于图像特征误差或位姿误差实时计算末端6d速度指令,局部收敛性与工程可实现性好,适用于特征稳定时的精细控制;然而现有伺服控制器参数固定,无法根据目标可见性、任务阶段、机械臂状态及安全边界裕量自适应调节,也难以结合语言目标进行动态优化。

2、但实际操作通常包含目标搜索、主动接近、视角调整、特征稳定提取、精细对位和接触调整等连续阶段,不同阶段对控制方法要求截然不同。现有技术缺乏基于可见性、特征稳定性、图像误差和机械臂状态的多指标阶段判别与平滑切换机制,单一模型或硬切换容易引起阶段误判、控制指令突变、误差发散或安全限位触发。同时,执行中产生的人工接管、速度修正、参数调整、阶段标注等干预信息,以及视觉语言模型输出、伺服指令、误差变化和执行结果,未能回流至训练数据池,难以从失败案例和人工经验中持续学习,限制了新场景、新位姿关系与失败恢复中的适应能力。

3、综上所述,如何实现视觉语言与视觉伺服协同混合控制是目前亟待解决的问题。

技术实现思路

1、有鉴于此,本发明的目的在于提供一种基于视觉语言动作模型与视觉伺服协同的机械臂控制方法、装置、设备及介质,能够根据图像、语言指令、机械臂状态和任务上下文生成候选动作,支持机械臂从目标不可稳定观测区域主动运动至目标可观测区域,并根据任务阶段、视觉误差、机械臂状态和安全边界裕量自适应生成预设视觉伺服控制器参数,在目标进入视野并满足特征稳定提取条件后生成机械臂末端6d速度指令,完成视野内的精细对位、跟踪、插装和局部调整。其具体方案如下:

2、第一方面,本技术提供了一种基于视觉语言动作模型与视觉伺服协同的机械臂控制方法,包括:

3、基于目标任务获取目标机械臂的当前控制周期的输入信息,基于所述输入信息判断所述目标机械臂是否满足预设控制条件;

4、若所述目标机械臂不满足预设控制条件,则判定所述目标机械臂处于视觉语言行动模型主导的第一控制阶段,将所述输入信息输入预设视觉语言动作模型,以生成所述目标机械臂的候选动作信息,基于所述候选动作信息生成机械臂控制指令;

5、若所述目标机械臂满足预设控制条件,则判定所述目标机械臂处于预设视觉伺服控制器主导的第二控制阶段,将所述输入信息输入预设视觉伺服参数生成模型,生成与当前控制状态对应的控制器参数,并基于所述控制器参数通过预设视觉伺服控制器生成机械臂控制指令;

6、控制所述目标机械臂执行所述机械臂控制指令,并获取执行后的反馈观测信息,基于所述反馈观测信息确定新的所述输入信息,并继续执行所述基于所述输入信息判断所述目标机械臂是否满足预设控制条件的步骤,直至完成所述目标任务。

7、可选的,所述输入信息包括当前图像、任务语言指令、机械臂状态、图像特征误差、安全边界裕量以及历史时序信息中的任意一种或几种;所述机械臂状态包括关节位置、关节速度、末端位姿和夹持器状态中的任意一种或几种。

8、可选的,所述基于所述输入信息判断所述目标机械臂是否满足预设控制条件,包括:

9、基于所述输入信息中的当前图像以及任务语言指令判断所述目标任务的任务对象是否位于相机视野内,以得到第一判定结果;

10、基于所述输入信息中的历史检测结果中关键点的检测成功状态和关键点坐标波动,根据所述检测成功状态和关键点坐标波动判断视觉特征是否稳定,以得到第二判定结果;

11、判断所述输入信息中的图像特征误差是否小于预设误差阈值,以得到第三判定结果;

12、根据所述机械臂状态,获取所述目标机械臂的机械臂位姿;

13、若所述第一判定结果、所述第二判定结果、所述第三判定结果均表征判定成功,且所述机械臂位姿在预设允许范围内,则判定所述目标机械臂满足预设控制条件。

14、可选的,所述将所述输入信息输入预设视觉语言动作模型,以生成所述目标机械臂的候选动作信息,包括:

15、将所述输入信息输入所述预设视觉语言动作模型,以输出第一预设数量个所述目标机械臂的连续动作序列;

16、根据预设时间顺序,从所述第一预设数量个所述目标机械臂的连续动作序列中,提取第二预设数量个候选动作信息;

17、其中,所述候选动作信息包括动作块、候选末端动作以及候选关节动作中的任意一种或几种。

18、可选的,所述将所述输入信息输入预设视觉伺服参数生成模型,生成与当前控制状态对应的控制器参数,并基于所述控制器参数通过预设视觉伺服控制器生成机械臂控制指令,包括:

19、将所述输入信息输入预设视觉伺服参数生成模型,利用所述预设视觉伺服参数生成模型的全局关联特征编码模块,将所述输入信息中的当前图像、任务语言指令、机械臂状态、图像特征误差、安全边界裕量分别编码为特征表示;

20、通过预设注意力机制对各个所述特征表示之间的建立对应的关联关系;

21、利用所述预设视觉伺服参数生成模型的参数感知交叉解码模块,根据所述关联关系生成与当前控制状态对应的控制器参数;

22、基于所述控制器参数确定所述目标机械臂的末端6d速度指令;所述末端6d速度指令包括所述目标机械臂的三维平移速度和三维角速度;

23、根据所述末端6d速度指令生成对应的机械臂控制指令。

24、可选的,所述控制所述目标机械臂执行所述机械臂控制指令,并获取执行后的反馈观测信息,基于所述反馈观测信息确定新的所述输入信息,包括:

25、控制所述目标机械臂执行所述机械臂控制指令,并确定新的当前控制周期;

26、获取新的当前控制周期的反馈观测信息;其中,所述反馈观测信息包括新的图像观测、图像特征误差变化、几何误差变化、机械臂状态反馈、安全边界裕量变化、控制阶段信息以及执行结果信息;

27、基于所述反馈观测信息更新历史时序信息和误差变化信息,得到更新后历史时序信息和更新后误差变化信息;

28、根据所述反馈观测信息、所述更新后历史时序信息和所述更新后误差变化信息生成新的输入信息。

29、可选的,所述控制所述目标机械臂执行所述机械臂控制指令的过程中,还包括:

30、接收并解析用户端发送的人工干预指令,以暂停对所述目标机械臂的控制,并将所述目标机械臂、所述预设视觉语言动作模型与所述预设视觉伺服参数生成模型的控制权限移交至所述用户端,以便所述用户端对控制所述目标机械臂执行所述机械臂控制指令的过程进行人工干预;

31、其中,所述人工干预包括修正所述候选动作信息、修正末端6d速度指令、标注控制阶段、标注视觉特征稳定性、标注执行成功结果或标注执行失败结果中的任意一种或几种。

32、第二方面,本技术提供了一种基于视觉语言动作模型与视觉伺服协同的机械臂控制装置,包括:

33、信息判断模块,用于基于目标任务获取目标机械臂的当前控制周期的输入信息,基于所述输入信息判断所述目标机械臂是否满足预设控制条件;

34、第一信息判定模块,用于若所述目标机械臂不满足预设控制条件,则判定所述目标机械臂处于视觉语言行动模型主导的第一控制阶段,将所述输入信息输入预设视觉语言动作模型,以生成所述目标机械臂的候选动作信息,基于所述候选动作信息生成机械臂控制指令;

35、第二信息判定模块,用于若所述目标机械臂满足预设控制条件,则判定所述目标机械臂处于预设视觉伺服控制器主导的第二控制阶段,将所述输入信息输入预设视觉伺服参数生成模型,生成与当前控制状态对应的控制器参数,并基于所述控制器参数通过预设视觉伺服控制器生成机械臂控制指令;

36、任务执行模块,用于控制所述目标机械臂执行所述机械臂控制指令,并获取执行后的反馈观测信息,基于所述反馈观测信息确定新的所述输入信息,并继续执行所述基于所述输入信息判断所述目标机械臂是否满足预设控制条件的步骤,直至完成所述目标任务。

37、第三方面,本技术提供了一种电子设备,包括:

38、存储器,用于保存计算机程序;

39、处理器,用于执行所述计算机程序,以实现如前述的基于视觉语言动作模型与视觉伺服协同的机械臂控制方法。

40、第四方面,本技术提供了一种计算机可读存储介质,用于保存计算机程序;其中,所述计算机程序被处理器执行时实现如前述的基于视觉语言动作模型与视觉伺服协同的机械臂控制方法。

41、综上可知,本技术基于目标任务获取目标机械臂的当前控制周期的输入信息,基于所述输入信息判断所述目标机械臂是否满足预设控制条件;若所述目标机械臂不满足预设控制条件,则判定所述目标机械臂处于视觉语言行动模型主导的第一控制阶段,将所述输入信息输入预设视觉语言动作模型,以生成所述目标机械臂的候选动作信息,基于所述候选动作信息生成机械臂控制指令;若所述目标机械臂满足预设控制条件,则判定所述目标机械臂处于预设视觉伺服控制器主导的第二控制阶段,将所述输入信息输入预设视觉伺服参数生成模型,生成与当前控制状态对应的控制器参数,并基于所述控制器参数通过预设视觉伺服控制器生成机械臂控制指令;控制所述目标机械臂执行所述机械臂控制指令,并获取执行后的反馈观测信息,基于所述反馈观测信息确定新的所述输入信息,并继续执行所述基于所述输入信息判断所述目标机械臂是否满足预设控制条件的步骤,直至完成所述目标任务。由上可知,本技术根据目标机械臂当前控制周期的输入信息判断是否满足到达可执行任务的阶段,若未到达,则利用预设视觉语言动作模型生成候选动作信息并据此生成控制指令;若已到达任务地点,则通过预设视觉伺服参数生成模型生成自适应控制器参数,再经由预设视觉伺服控制器生成控制指令;执行指令后获取反馈观测信息并更新输入,循环执行条件判别与控制切换,直至完成目标任务。这样一来,根据图像、语言指令、机械臂状态和任务上下文生成候选动作,支持机械臂从目标不可稳定观测区域主动运动至目标可观测区域。同时,根据任务阶段、视觉误差、机械臂状态和安全边界裕量自适应生成预设视觉伺服控制器参数。另外,在目标进入视野并满足特征稳定提取条件后生成机械臂末端6d速度指令,完成视野内的精细对位、跟踪、插装和局部调整。