一种位姿识别网络模型及其位姿识别方法、装置及系统与流程

本申请涉及机器人，尤其涉及一种位姿识别网络模型及其位姿识别方法、装置及系统。

背景技术：

1、在机器人领域，估计物品的6d位姿有非常重要的应用。精确的6d位姿识别可以用于机器人抓取和操纵物品，提高机器人抓取和操纵的成功率。

2、在机器人接触物品的条件下，机器人同时有针对物品的视觉输入和触觉输入，一般的结合视觉和触觉的物品6d位姿识别方法通过融合视觉和触觉信息进行单阶段的物品6d位姿识别，但这种方法通常不够准确，机器人的抓取和操纵成功率不高。

技术实现思路

1、本申请实施例的目的在于提出一种位姿识别网络模型及其位姿识别方法、装置及系统，以提高位姿识别的精度。

2、第一方面，本申请实施例提供一种位姿识别网络模型，包括：

3、第一预处理模块，用于对物体图像进行第一预处理，得到先验位姿token；

4、第二预处理模块，用于对触觉信息进行第二预处理，得到触觉token。

5、第三预处理模块，用于对运动信息进行第三预处理，得到运动token。

6、触觉融合模块，用于对所述触觉token进行自注意力计算，得到触觉自注意力结果；将所述触觉自注意力结果与所述先验位姿token进行交叉注意力计算，得到交叉触觉结果；

7、运动融合模块，用于对所述运动token进行自注意力计算，得到运动自注意力结果；将所述运动自注意力结果与所述先验位姿token进行交叉注意力计算，得到交叉运动结果；

8、信息结合模块，用于结合所述交叉触觉结果和所述交叉运动结果，得到结合结果；

9、第二位姿识别模块，用于将所述结合结果作为位姿预测模型输入，输出得到最终的位姿信息。

10、进一步的，在一个实施例中，所述第一预处理模块包括：

11、第一位姿识别模型，用于基于所述物体图像识别物体的初始位姿；

12、图像嵌入模型，用于以所述初始位姿作为所述图像嵌入模型的输入，输出得到先验位姿嵌入。

13、进一步的，在一个实施例中，所述第二预处理模块包括：

14、特征提取模型，用于将所述触觉信息作为所述特征提取模型的输入，输出得到触觉特征；

15、特征token化网络，用于将所述触觉特征token化，得到所述触觉token。

16、进一步的，在一个实施例中，所述第三预处理模块包括：

17、运动嵌入模型，用于以所述运动信息作为所述运动嵌入模型的输入，输出得到运动信息嵌入；

18、运动分词器，用于以所述运动信息嵌入作为所述运动分词器的输入，输出得到运动token。

19、进一步的，在一个实施例中，所述触觉融合模块包括：

20、触觉自注意力计算模型，用于对所述触觉token进行自注意力计算，得到触觉自注意力结果；

21、触觉交叉注意力计算模型，用于将所述触觉自注意力结果与所述先验位姿token进行交叉注意力计算，得到所述交叉触觉结果；和/或，

22、所述运动融合模块包括：

23、运动自注意力计算模型，用于对所述运动token进行自注意力计算，得到运动自注意力结果；

24、运动交叉注意力计算模型，用于将所述运动自注意力结果与所述先验位姿token进行交叉注意力计算，得到所述交叉运动结果。

25、第二方面，本申请实施例提供一种基于上面所述的位姿识别网络模型的位姿识别方法，应用于机器人系统，所述系统包括：机器人、图像传感器、力/触觉传感器以及控制器；机器人的末端设置末端执行器；力/触觉传感器设置于末端执行器；机器人的运动关节包括编码器，所述方法包括下述步骤：

26、获取基于图像传感器输出的物体图像；

27、获取基于力/触觉传感器输出的触觉信息；

28、获取基于编码器输出的运动信息；

29、将所述物体图像作为所述第一预处理模块的输入；将所述触觉信息作为所述第二预处理模块的输入；将所述运动信息作为所述第三预处理模块的输入，以经所述第二位姿识别模块输出得到所述最终的位姿信息。

30、第三方面，本申请实施例提供一种机器人系统，所述系统包括：机器人、图像传感器、力/触觉传感器以及控制器；机器人的末端设置末端执行器；力/触觉传感器设置于末端执行器；机器人的运动关节包括编码器；

31、所述控制器分别与机器人、图像传感器、力/触觉传感器、编码器通信连接；

32、所述控制器用于实现上面所述的位姿识别方法的步骤。

33、第四方面，本申请实施例提供一种位姿识别装置，所述装置包括：

34、图像获取模块，用于获取基于图像传感器输出的物体图像；

35、触觉获取模块，用于获取基于力/触觉传感器输出的触觉信息；

36、运动获取模块，用于获取基于编码器输出的运动信息；

37、数据输入模块，用于将所述物体图像作为所述第一预处理模块的输入；将所述触觉信息作为所述第二预处理模块的输入；将所述运动信息作为所述第三预处理模块的输入，以经所述第二位姿识别模块输出得到所述最终的位姿信息。

38、第五方面，本申请实施例提供一种控制器，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序时实现上面所述的位姿识别方法的步骤。

39、第六方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上面所述的位姿识别方法的步骤。

40、与现有技术相比，本申请实施例主要有以下有益效果：

41、本申请实施例通过第一预处理模块对物体图像进行第一预处理，得到先验位姿token；通过第二预处理模块对触觉信息进行第二预处理，得到触觉token；通过第三预处理模块对运动信息进行第三预处理，得到运动token；再通过触觉融合模块，将触觉token融合为交叉触觉结果；通过运动融合模块将运动token融合为交叉运动结果；然后通过信息结合模块结合交叉触觉结果和交叉运动结果；最后通过位姿预测模块基于结合结果得到最终的位姿信息，通过上述模块配合，结合视触觉信息，用两阶段的方式进行物体位姿识别，可以提高位姿识别的精度，可以为机器人操纵物体提供更加鲁棒的估计结果，从而提高后续机器人针对物体操作的成功率。

1.一种位姿识别网络模型，其特征在于，所述网络模型包括：

2.根据权利要求1所述的位姿识别网络模型，其特征在于，所述第一预处理模块包括：

3.根据权利要求1或2所述的位姿识别网络模型，其特征在于，所述第二预处理模块包括：

4.根据权利要求1或2所述的位姿识别网络模型，其特征在于，所述第三预处理模块包括：

5.根据权利要求1或2所述的位姿识别网络模型，其特征在于，所述触觉融合模块包括：

6.一种基于权利要求1至5中任一项所述的位姿识别网络模型的位姿识别方法，应用于机器人系统，所述系统包括：机器人、图像传感器、力/触觉传感器以及控制器；机器人的末端设置末端执行器；力/触觉传感器设置于末端执行器；机器人的运动关节包括编码器，其特征在于，所述方法包括下述步骤：

7.一种机器人系统，其特征在于，所述系统包括：机器人、图像传感器、力/触觉传感器以及控制器；机器人的末端设置末端执行器；力/触觉传感器设置于末端执行器；机器人的运动关节包括编码器；

8.一种位姿识别装置，其特征在于，所述装置包括：

9.一种控制器，其特征在于，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序时实现权利要求6所述的位姿识别方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现权利要求6所述的位姿识别方法的步骤。