位姿检测方法、装置、电子设备及存储介质与流程

摘要: 本申请涉及机械手,具体而言,本申请涉及一种位姿检测方法、装置、电子设备、计算机可读存储介质及计算机程序产品。背景技术:1、在机器人感知领域的多目标六自由度位姿检...
位姿检测方法、装置、电子设备及存储介质与流程

本申请涉及机械手,具体而言,本申请涉及一种位姿检测方法、装置、电子设备、计算机可读存储介质及计算机程序产品。

背景技术:

1、在机器人感知领域的多目标六自由度位姿检测中,通常先通过视觉观测对目标表面贴附的可识别标记进行检测与三维重构,获得若干带语义标签的三维观测点,再由基于标记几何约束的对应关系求解位姿。

2、然而,当场景中同时存在多个目标时,困难并不来自单个物体测不准,而来自多个物体的观测之间如何正确归属这一全局数据关联问题。

技术实现思路

1、本申请实施例提供了一种位姿检测方法、装置、电子设备、计算机可读存储介质及计算机程序产品,可以解决现有技术的上述问题。所述技术方案如下:

2、根据本申请实施例的一个方面,提供了一种位姿检测方法,该方法包括:

3、获取视觉传感器采集的当前帧图像,从所述当前帧图像中确定多个观测点;

4、根据预设的模型库以及所述多个观测点,生成多个候选刚体实例,每个候选刚体实例包括对应的布局标识、位姿、所关联的内点集以及权重;所述模型库包括多个布局,每个布局具有对应的布局标识;所述内点集包括至少一个观测点;

5、以所述候选刚体实例为节点,以候选刚体实例之间存在的冲突关系为边构建冲突图,所述冲突关系至少包括:两个候选刚体实例关联同一个观测点,或者两个候选刚体实例对应同一布局标识且位姿差异小于预设阈值;

6、确定所述冲突图的最大权独立集,得到实例集合,所述实例集合中任意两个刚体实例不关联相同的观测点且所有刚体实例的总权重最大;

7、对所述实例集合中的每个刚体实例,根据所述刚体实例关联的内点集与对应的布局进行刚体配准,获得所述刚体实例更新后的位姿。

8、根据本申请实施例的另一个方面,提供了一种位姿检测装置,该装置包括:

9、图像获取模块,游泳获取视觉传感器采集的当前帧图像,从所述当前帧图像中确定多个观测点;

10、候选生成模块,用于根据预设的模型库以及所述多个观测点,生成多个候选刚体实例,每个候选刚体实例包括对应的布局标识、位姿、所关联的内点集以及权重;所述模型库包括多个布局,每个布局具有对应的布局标识;所述内点集包括至少一个观测点;

11、图构建模块,用于以所述候选刚体实例为节点,以候选刚体实例之间存在的冲突关系为边构建冲突图,所述冲突关系至少包括:两个候选刚体实例关联同一个观测点,或者两个候选刚体实例对应同一布局标识且位姿差异小于预设阈值;

12、实例集合模块,用于确定所述冲突图的最大权独立集,得到实例集合,所述实例集合中任意两个刚体实例不关联相同的观测点且所有刚体实例的总权重最大;

13、配置模块,用于对所述实例集合中的每个刚体实例,根据所述刚体实例关联的内点集与对应的布局进行刚体配准,获得所述刚体实例更新后的位姿。

14、根据本申请实施例的另一个方面,提供了一种电子设备,该电子设备包括存储器、处理器及存储在存储器上的计算机程序,处理器执行所述计算机程序以实现上述位姿检测方法。

15、根据本申请实施例的再一个方面,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现上述位姿检测方法。

16、根据本申请实施例的一个方面,提供了一种计算机程序产品,包括计算机程序,计算机程序被处理器执行时实现上述位姿检测方法。

17、本申请实施例提供的技术方案带来的有益效果是:通过获取视觉传感器采集的当前帧图像并确定多个带颜色标签的三维观测点,为后续匹配提供基础数据;基于模型库,将观测点与布局进行耦合匹配,生成多个候选刚体实例,每个实例携带布局标识、初始的六自由度位姿、关联的内点集及权重,从而将无序的观测点转化为具有语义和置信度评估的假设集合;以候选刚体实例为节点,以关联同一观测点或对应同一布局标识且位姿差异小于预设阈值为冲突关系构建冲突图,显式编码了观测点独占与同物多假设的互斥约束;通过求解冲突图的最大权独立集得到实例集合,确保实例集合中任意两个刚体实例不关联相同观测点且总权重最大,实现了全局非序的最优选择,从根本上消除了共享色污染、重复认领和顺序依赖问题;最后对选中的每个实例利用内点集与对应布局进行刚体配准,获得更新后的高精度六自由度位姿。本实施例将多目标位姿检测转化为带权冲突图的全局优化问题,在保证高召回率的同时显著提升了检测精度和鲁棒性,尤其适用于标记颜色复用、多实例紧邻、部分遮挡的复杂场景。

1.一种位姿检测方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述观测点和每个布局的各模型点均包括颜色标签,所述根据预设的模型库以及所述多个观测点,生成多个候选刚体实例,包括:

3.根据权利要求2所述的方法,其特征在于,所述对于每个模型点,在邻域内寻找颜色匹配概率与几何距离联合最优且未被占用的观测点作为内点,包括:

4.根据权利要求2所述的方法,其特征在于,所述根据所述内点集和对应的模型点确定候选刚体实例的权重,包括:

5.根据权利要求1所述的方法,其特征在于,所述以所述候选刚体实例为节点,以候选刚体实例之间存在的冲突关系为边构建冲突图,包括:

6.根据权利要求5所述的方法,其特征在于,所述候选刚体实例还包括对应的视点标识,用于指示候选刚体实例对应的位姿图像的视点;

7.根据权利要求1所述的方法,其特征在于,所述对所述实例集合中的刚体实例进行刚体配准,获得当前帧的各刚体实例更新后的位姿,包括:

8.根据权利要求7所述的方法,其特征在于,所述确定使所有点对的加权几何距离之和最小的位姿,获得刚体实例更新后的位姿,包括:

9.根据权利要求1所述的方法,其特征在于,所述对所述实例集合中的刚体实例进行刚体配准,获得当前帧的各刚体实例的位姿,包括:

10.根据权利要求9所述的方法,其特征在于,还包括:

11.一种位姿检测装置,其特征在于,包括:

12.一种电子设备,包括存储器、处理器及存储在存储器上的计算机程序,其特征在于,所述处理器执行所述计算机程序以实现权利要求1-10任一项所述的位姿检测方法。

13.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1-10任一项所述的位姿检测方法。

14.一种计算机程序产品,包括计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1-10任一项所述的位姿检测方法。