一种基于视觉的协作机器人末端控制方法及系统与流程

摘要: 本发明涉及视觉机器人,尤其涉及一种基于视觉的协作机器人末端控制方法及系统。背景技术:1、基于视觉的机器人具备强大的环境感知与目标识别能力,能够实时获取场景中的二...
一种基于视觉的协作机器人末端控制方法及系统与流程

本发明涉及视觉机器人,尤其涉及一种基于视觉的协作机器人末端控制方法及系统。

背景技术:

1、基于视觉的机器人具备强大的环境感知与目标识别能力,能够实时获取场景中的二维图像与三维空间信息,从而动态规划运动轨迹、识别目标类别与位姿,并在非结构化或半结构化环境中实现自主作业,尤其适用于需要高精度识别与操作的复杂任务场景。

2、然而,传统的基于视觉的机器人控制方法在应用于某些特殊领域时,仍存在复杂材质与形态适应性不足的显著问题。以医疗废弃物处理这一特殊领域为例,医疗废弃物种类繁多,涵盖软硬不同的半透明材质(如玻璃安瓿、塑料输液瓶)、柔性形态(如感染性纱布团、松软敷料)的多种物体。传统视觉算法在处理此类目标时,虽然能够对其进行定位,但是机器人难以准确判断其受力后的形态变化,极易导致夹持点定位失准、抓取力控制不当,进而引发夹持失败、废物散落、物体碎裂、液体飞崩等安全风险。

3、因此,人们需要一种基于视觉的协作机器人末端控制方法,以解决现有

技术实现思路

1、因此,本发明提供一种基于视觉的协作机器人末端控制方法,用以解决现有技术中视觉控制方法在面对复杂材质与形态的物体时,适应性不足的问题。

2、本发明提供了一种基于视觉的协作机器人末端控制方法,包括:

3、获取初始控制数据,初始控制数据用于控制协作机器人末端对目标物体进行预接触;

4、在协作机器人末端和目标物体进行预接触时,持续采集目标物体的视觉数据和协作机器人末端的力学数据;

5、基于视觉数据和力学数据的变化,得到表示目标物体软硬程度的软硬指数;

6、基于软硬指数和初始控制数据,得到用于控制协作机器人末端操作目标物体的实际控制数据。

7、在一个优选的方案中:基于视觉数据和力学数据的变化,得到表示目标物体软硬程度的软硬指数,包括:

8、对视觉数据的变化进行特征提取,得到视觉动态特征;

9、对力学数据的变化进行特征提取,得到力学动态特征;

10、根据视觉动态特征和力学动态特征,基于预设的软硬识别模型,得到软硬指数。

11、在一个优选的方案中:视觉动态特征包括目标物体的点云形变率;力学动态特征包括单机器人的上升时间、峰值力、波动标准差、力突变次数以及多机器人的力响应一致性;软硬识别模型为svm模型。

12、在一个优选的方案中:视觉动态特征包括目标物体的点云形变率;对视觉数据的变化进行特征提取,得到视觉动态特征,包括:

13、根据视觉数据,得到目标物体的轮廓变化率;

14、根据力学数据,得到协作机器人末端的接触力;

15、获取协作机器人末端的位移数据;

16、根据轮廓变化率、接触力和位移数据,得到点云形变率。

17、在一个优选的方案中:根据轮廓变化率、接触力和位移数据,得到点云形变率,包括:

18、根据位移数据、位移数据和接触力的比值、轮廓变化率和位移数据的比值,得到深度特征近似因子;

19、根据轮廓变化率和深度特征近似因子,得到点云形变率。

20、在一个优选的方案中:根据视觉动态特征和力学动态特征,基于预设的软硬识别模型,得到软硬指数,包括:

21、将视觉动态特征和力学动态特征输入至软硬识别模型中,得到软硬识别模型输出的初始的软硬指数;

22、将视觉动态特征和力学动态特征输入至预设的污染识别模型中,并基于污染识别模型修正初始的软硬指数,得到修正后的软硬指数。

23、在一个优选的方案中:污染识别模型包括lstm神经网络层、自注意力神经网络层和全连接层;将视觉动态特征和力学动态特征输入至预设的污染识别模型中,并基于污染识别模型修正初始的软硬指数,得到修正后的软硬指数,包括:

24、拼接视觉动态特征、力学动态特征以及对应的初始的软硬指数,得到输入向量,并汇总多个时刻的输入向量,得到输入矩阵;

25、将输入矩阵输入至lstm神经网络层中,得到lstm神经网络层输出的隐藏状态向量序列;

26、将隐藏状态向量序列输入至自注意力神经网络层中,得到自注意力神经网络层输出的加权聚合向量;

27、将加权聚合向量输入至全连接层中,得到全连接层输出的修正后的软硬指数。

28、本发明还提供一种基于视觉的协作机器人末端控制系统,包括:

29、预接触模块,用于获取初始控制数据,初始控制数据用于控制协作机器人末端对目标物体进行预接触;

30、数据监测模块,用于在协作机器人末端和目标物体进行预接触时,持续采集目标物体的视觉数据和协作机器人末端的力学数据;

31、软硬识别模块,用于基于视觉数据和力学数据的变化,得到表示目标物体软硬程度的软硬指数;

32、精细调整模块,用于基于软硬指数和初始控制数据,得到用于控制协作机器人末端操作目标物体的实际控制数据。

33、本发明还提供一种电子设备,包括:

34、存储器和处理器;

35、存储器用于存储程序,处理器用于在执行所述程序时执行上述任一项基于视觉的协作机器人末端控制方法中的步骤。

36、本发明还提供一种计算机可读存储介质,用于存储计算机可读取的程序或指令,所述程序或指令被处理器执行时,能够实现上述任一项基于视觉的协作机器人末端控制方法中的步骤。

37、采用上述方案的有益效果是:

38、本发明提供一种基于视觉的协作机器人末端控制方法,其先获取用于控制协作机器人末端对目标物体进行预接触的初始控制数据,在协作机器人末端和目标物体进行预接触时,持续采集目标物体的视觉数据和协作机器人末端的力学数据,并基于视觉数据和力学数据的变化,得到表示目标物体软硬程度的软硬指数,最后基于软硬指数和初始控制数据,得到用于控制协作机器人末端操作目标物体的实际控制数据。相比于现有技术,本发明通过“预接触-动态感知-软硬量化-数据修正”的闭环架构,实现了对目标物体材质特性的实时精准感知与自适应控制。具体来说,其通过预接触的方式,通过多源数据融合捕捉目标物体在受力下的动态响应特性,进而量化输出连续的软硬指数,最终动态修正初始控制数据,使实际控制数据能够匹配目标物体的真实物理特性,克服了传统方法对复杂材质仅能定性判断的局限,显著提升了协作机器人在面对复杂材质和形状时的操作安全性、可靠性与控制精度,解决了现有的视觉控制方法在面对复杂材质与形态的物体时,适应性不足的问题。

1.一种基于视觉的协作机器人末端控制方法,其特征在于,包括:

2.根据权利要求1所述的基于视觉的协作机器人末端控制方法,其特征在于,基于视觉数据和力学数据的变化,得到表示目标物体软硬程度的软硬指数,包括:

3.根据权利要求2所述的基于视觉的协作机器人末端控制方法,其特征在于,视觉动态特征包括目标物体的点云形变率;力学动态特征包括单机器人的上升时间、峰值力、波动标准差、力突变次数以及多机器人的力响应一致性;软硬识别模型为svm模型。

4.根据权利要求2所述的基于视觉的协作机器人末端控制方法,其特征在于,视觉动态特征包括目标物体的点云形变率;对视觉数据的变化进行特征提取,得到视觉动态特征,包括:

5.根据权利要求4所述的基于视觉的协作机器人末端控制方法,其特征在于,根据轮廓变化率、接触力和位移数据,得到点云形变率,包括:

6.根据权利要求2所述的基于视觉的协作机器人末端控制方法,其特征在于,根据视觉动态特征和力学动态特征,基于预设的软硬识别模型,得到软硬指数,包括:

7.根据权利要求6所述的基于视觉的协作机器人末端控制方法,其特征在于,污染识别模型包括lstm神经网络层、自注意力神经网络层和全连接层;将视觉动态特征和力学动态特征输入至预设的污染识别模型中,并基于污染识别模型修正初始的软硬指数,得到修正后的软硬指数,包括:

8.一种基于视觉的协作机器人末端控制系统,其特征在于,包括:

9.一种电子设备,其特征在于,包括:

10.一种计算机可读存储介质,其特征在于,用于存储计算机可读取的程序或指令,所述程序或指令被处理器执行时,能够实现权利要求1-7中任一项基于视觉的协作机器人末端控制方法中的步骤。