一种位姿估计、模型训练方法、装置及系统与流程

本申请涉及机器人，尤其涉及一种位姿估计、模型训练方法、装置及系统。

背景技术：

1、在机器人领域，估计物品的6d位姿有非常重要的应用。精确的6d位姿估计可以用于机器人抓取和操纵物品，提高机器人抓取和操纵的成功率。

2、在机器人接触物品的条件下，机器人同时有针对物品的视觉输入和触觉输入，一般的结合视觉和触觉的物品6d位姿估计方法通过融合视觉和触觉信息进行单阶段的物品6d位姿估计，但这种方法通常不够准确，机器人的抓取和操纵成功率不高。

技术实现思路

1、本申请实施例的目的在于提出一种位姿估计、模型训练方法、装置及系统，以提高位姿估计的准确性。

2、第一方面，本申请实施例提供一种位姿估计方法，包括如下技术方案：

3、一种位姿估计方法，应用于机器人系统，所述系统包括：机器人、图像传感器、力传感器和/或触觉传感器以及控制器；所述机器人的末端设置末端执行器；所述力传感器和/或触觉传感器设置于末端执行器；其特征在于，所述方法包括下述步骤：

4、获取物体图像和对应的真实触觉信号；

5、基于所述物体图像识别物体的初始位姿；

6、基于所述初始位姿确定先验区间；

7、在所述先验区间内进行多位姿采样，以得到n个位姿；其中，n为大于等于2的整数；

8、将所述n个位姿中的每个位姿作为预设的触觉生成模型的输入，输出得到对应的触觉合成信号；

9、求取每个位姿对应的所述真实触觉信号和所述触觉合成信号之间的差值，以得到n个差值；

10、以所述n个差值中的最小差值对应的所述位姿作为目标位姿。

11、进一步的，在一个实施例中，基于所述物体图像识别物体的初始位姿包括：

12、以所述物体图像作为初始位姿识别模型的输入，输出得到所述初始位姿。

13、进一步的，在一个实施例中，所述基于所述初始位姿确定先验区间包括：

14、基于所述初始位姿，结合预设参数，求取位姿范围；

15、以所述位姿范围作为所述先验区间。

16、第二方面，本申请实施例提供一种上面所述的位姿估计方法中的所述预设的触觉生成模型的模型训练方法，所述方法包括下述步骤：

17、获取触觉样本和对应的物体位姿样本；

18、以所述物体位姿样本作为所述触觉生成模型的输入，以所述触觉样本作为标签，迭代训练所述触觉生成模型，以得到所述预设的触觉生成模型。

19、进一步的，在一个实施例中，所述获取触觉样本和对应的物体位姿样本之前包括下述步骤：

20、在控制机器人操纵目标物过程中，按照预设频率获取通过触觉传感器输出的触觉信息和通过图像传感器输出的物体图像；

21、基于所述物体图像求取物体位姿；

22、以相同频率下的所述触觉信息和所述物体位姿作为所述触觉样本和对应的物体位姿样本。

23、第三方面，本申请实施例提供一种操作系统，所述系统包括：机器人、图像传感器、力传感器和/或触觉传感器以及控制器；所述机器人的末端设置末端执行器；所述力传感器和/或触觉传感器设置于末端执行器；

24、所述控制器分别与所述机器人、所述图像传感器、以及所述力传感器和/或所述触觉传感器通信连接；

25、所述控制器用于实现上面所述的位姿估计方法和/或上面所述的模型训练方法的步骤。

26、第四方面，本申请实施例提供一种位姿估计装置，所述装置包括：

27、数据获取模块，用于获取物体图像和对应的真实触觉信号；

28、初始识别模块，用于基于所述物体图像识别物体的初始位姿；

29、先验确定模块，用于基于所述初始位姿确定先验区间；

30、位姿采样模块，用于在所述先验区间内进行多位姿采样，以得到n个位姿；其中，n为大于等于2的整数；

31、触觉合成模块，用于将所述n个位姿中的每个位姿作为预设的触觉生成模型的输入，输出得到对应的触觉合成信号；

32、差值求取模块，用于求取每个位姿对应的所述真实触觉信号和所述触觉合成信号之间的差值，以得到n个差值；

33、位姿确定模块，用于以所述n个差值中的最小差值对应的所述位姿作为目标位姿。

34、第五方面，本申请实施例提供一种模型训练装置，所述装置包括：

35、样本获取模块，用于获取触觉样本和对应的物体位姿样本；

36、模型训练模块，用于以所述物体位姿样本作为所述触觉生成模型的输入，以所述触觉样本作为标签，迭代训练所述触觉生成模型，以得到所述预设的触觉生成模型。

37、第六方面，本申请实施例提供一种控制器，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序时实现上面所述的位姿估计和/或模型训练方法的步骤。

38、第七方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上面所述的位姿估计和/或模型训练方法的步骤。

39、与现有技术相比，本申请实施例主要有以下有益效果：

40、本申请实施例基于物体图像识别物体的初始位姿；基于初始位姿确定先验区间；在所述先验区间内进行多位姿采样；将n个位姿中的每个位姿作为预设的触觉生成模型的输入，输出得到对应的触觉合成信号；求取每个位姿对应的所述真实触觉信号和所述触觉合成信号之间的差值；以n个差值中的最小差值对应的位姿作为目标位姿，可以提高6d位姿估计的准确性，可以为机器人抓取和操纵物品提供更加鲁棒的估计结果，从而提高后续机器人针对物体操作的成功率。

1.一种位姿估计方法，应用于机器人系统，所述系统包括：机器人、图像传感器、力传感器和/或触觉传感器以及控制器；所述机器人的末端设置末端执行器；所述力传感器和/或触觉传感器设置于末端执行器；其特征在于，所述方法包括下述步骤：

2.根据权利要求1所述的位姿估计方法，其特征在于，基于所述物体图像识别物体的初始位姿包括：

3.根据权利要求1或2所述的位姿估计方法，其特征在于，所述基于所述初始位姿确定先验区间包括：

4.一种权利要求1至3中任一项所述的位姿估计方法中的所述预设的触觉生成模型的模型训练方法，其特征在于，所述方法包括下述步骤：

5.根据权利要求4所述的预设的触觉生成模型的模型训练方法，其特征在于，所述获取触觉样本和对应的物体位姿样本之前包括下述步骤：

6.一种操作系统，其特征在于，所述系统包括：机器人、图像传感器、力传感器和/或触觉传感器以及控制器；所述机器人的末端设置末端执行器；所述力传感器和/或触觉传感器设置于末端执行器；

7.一种位姿估计装置，其特征在于，所述装置包括：

8.一种模型训练装置，其特征在于，所述装置包括：

9.一种控制器，其特征在于，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序时实现权利要求1至3中任一项所述的位姿估计方法和/或权利要求4或5所述的模型训练方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1至3中任一项所述的位姿估计方法和/或权利要求4或5所述的模型训练方法的步骤。