人形机器人视觉定位方法、装置以及相关设备与流程

摘要: 本申请涉及人形机器人视觉定位,特别涉及一种人形机器人视觉定位方法、人形机器人视觉定位装置、电子设备、可读存储介质和计算机程序产品。背景技术:1、在现有人形机器人...
人形机器人视觉定位方法、装置以及相关设备与流程

本申请涉及人形机器人视觉定位,特别涉及一种人形机器人视觉定位方法、人形机器人视觉定位装置、电子设备、可读存储介质和计算机程序产品。

背景技术:

1、在现有人形机器人视觉定位技术中,依赖于单一类型地图(如纯几何特征地图或纯外观描述子地图)的方案存在固有局限。前者虽利于局部精确定位,但全局重定位效率低下;后者支持快速场景检索,却难以提供满足控制精度要求的位姿估计。这一地图表示方法的单一性,导致系统无法同时兼顾高精度定位与快速全局重定位的需求,在人形机器人面临长距离运行、重复纹理环境等实际场景时,定位精度与重定位效率的矛盾成为亟待解决的核心技术问题。

技术实现思路

1、有鉴于此,本申请提供了一种人形机器人视觉定位方法,可以通过融合基于全局描述信息的快速位姿估计与基于几何约束的精确位姿优化,兼顾人形机器人的快速重定位能力与高精度定位需求。

2、本申请提供了如下方案:

3、本发明实施例的第一方面,提供了一种人形机器人视觉定位方法,包括:

4、获取人形机器人的当前帧图像;

5、获取包含环境几何特征信息的第一类地图以及包含环境全局描述信息的第二类地图;

6、基于所述当前帧图像及所述第二类地图,进行基于全局相似性的位姿估计,得到初始位姿信息;

7、基于所述当前帧图像及所述第一类地图的几何约束,对所述初始位姿信息进行位姿优化,以确定所述人形机器人的位姿。

8、在一些实施例中,所述基于所述当前帧图像及所述第二类地图,进行基于全局相似性的位姿估计,得到初始位姿信息,包括:

9、提取所述当前帧图像的全局描述子;

10、计算所述全局描述子与所述第二类地图中多个关键帧的全局描述子之间的相似度;

11、根据所述相似度,从所述第二类地图中检索出至少一个候选关键帧;

12、基于所述至少一个候选关键帧,确定所述初始位姿信息。

13、在一些实施例中,所述基于所述至少一个候选关键帧,确定所述初始位姿信息,包括:

14、控制所述人形机器人进行有向移动,并获取移动后帧图像;

15、提取所述移动后帧图像的描述信息;

16、基于所述当前帧图像及所述移动后帧图像的描述信息,与各候选关键帧关联的描述信息的变化一致性,从所述多个候选关键帧中确定目标关键帧;

17、基于所述目标关键帧确定所述初始位姿信息。

18、在一些实施例中,所述基于所述当前帧图像及所述第一类地图的几何约束,对所述初始位姿信息进行位姿优化,包括:

19、提取所述当前帧图像的局部特征;

20、根据所述人形机器人的运动累积量是否达到预设阈值,周期性地将所述局部特征与所述第一类地图进行匹配,并根据匹配结果对所述人形机器人的位姿进行优化。

21、在一些实施例中,所述根据所述人形机器人的运动累积量是否达到预设阈值,周期性地将所述局部特征与所述第一类地图进行匹配,包括:

22、当所述人形机器人的融合里程计输出的累积位移超过第一阈值或累积旋转超过第二阈值时,触发所述匹配与优化。

23、在一些实施例中,所述提取所述当前帧图像的局部特征,包括:

24、根据所述人形机器人的当前运动状态,动态调整待提取的局部视觉特征点的目标数量。

25、在一些实施例中,所述根据所述人形机器人的当前运动状态,动态调整待提取的局部视觉特征点的目标数量,包括:

26、当所述人形机器人的移动速度低于速度阈值时,降低所述目标数量;

27、当所述人形机器人的角速度高于角速度阈值时,提高所述目标数量。

28、在一些实施例中,所述将所述局部特征与所述第一类地图进行匹配,并根据匹配结果对位姿进行优化的过程中,还包括:

29、计算当前匹配过程的匹配质量评分;

30、根据所述匹配质量评分所属的预设阈值区间,执行对应的定位策略。

31、在一些实施例中,所述根据所述匹配质量评分所属的预设阈值区间,执行对应的定位策略,包括:

32、若所述匹配质量评分高于第一阈值,则接受本次优化后的位姿作为所述人形机器人的位姿;

33、若所述匹配质量评分低于所述第一阈值但高于第二阈值,则依赖里程计预测位姿作为所述人形机器人的位姿;

34、若所述匹配质量评分低于所述第二阈值,则触发对所述人形机器人当前位置的约束搜索以重新确定其位姿。

35、在一些实施例中,所述触发对所述人形机器人当前位置的约束搜索以重新确定其位姿,包括:

36、根据里程计误差模型,预测所述人形机器人当前位置的不确定范围;

37、将位姿搜索限制在所述不确定范围内进行,以获得最优位姿作为所述人形机器人的位姿。

38、本发明实施例的第二方面,提供了一种人形机器人视觉定位装置,所述装置包括:

39、图像获取模块,用于获取人形机器人的当前帧图像;

40、地图获取模块,用于获取包含环境几何特征信息的第一类地图以及包含环境全局描述信息的第二类地图;

41、全局位姿估计模块,用于基于所述当前帧图像及所述第二类地图,进行基于全局相似性的位姿估计,得到初始位姿信息;

42、几何位姿优化模块,用于基于所述当前帧图像及所述第一类地图的几何约束,对所述初始位姿信息进行位姿优化,以确定所述人形机器人的位姿。

43、本发明实施例的第三方面,提供了一种电子设备,包括:

44、一个或多个处理器;以及

45、与所述一个或多个处理器关联的存储器,所述存储器用于存储程序指令,所述程序指令在被所述一个或多个处理器读取执行时,执行第一方面中任一项所述的方法的步骤。

46、本发明实施例的第四方面,提供了一种可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现第一方面中任一项所述的方法的步骤。

47、本发明实施例的第五方面,提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行第一方面中任一项所述的方法的步骤。

48、根据本申请提供的具体实施例,本申请公开了以下技术效果:

49、针对现有技术中单一地图表示方法无法兼顾高精度定位与快速全局重定位的问题,本发明通过构建并协同利用包含环境几何特征信息的第一类地图和包含环境全局描述信息的第二类地图,基于第二类地图进行快速全局位姿估计以得到初始位姿,再基于第一类地图提供的几何约束对该初始位姿进行精细优化。从而,将全局描述信息的大范围快速检索能力与局部几何特征的高精度约束能力相结合,在系统层面有效调和了定位精度与重定位效率之间的矛盾,实现了既能在全局范围内快速、鲁棒地恢复或初始化位姿,又能进行高精度、稳定的连续位姿跟踪的技术效果。

1.一种人形机器人视觉定位方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述基于所述当前帧图像及所述第二类地图,进行基于全局相似性的位姿估计,得到初始位姿信息,包括:

3.根据权利要求2所述的方法,其特征在于,所述基于所述至少一个候选关键帧,确定所述初始位姿信息,包括:

4.根据权利要求1所述的方法,其特征在于,所述基于所述当前帧图像及所述第一类地图的几何约束,对所述初始位姿信息进行位姿优化,包括:

5.根据权利要求4所述的方法,其特征在于,所述根据所述人形机器人的运动累积量是否达到预设阈值,周期性地将所述局部特征与所述第一类地图进行匹配,包括:

6.根据权利要求4所述的方法,其特征在于,所述提取所述当前帧图像的局部特征,包括:

7.根据权利要求6所述的方法,其特征在于,所述根据所述人形机器人的当前运动状态,动态调整待提取的局部视觉特征点的目标数量,包括:

8.根据权利要求4所述的方法,其特征在于,所述将所述局部特征与所述第一类地图进行匹配,并根据匹配结果对位姿进行优化的过程中,还包括:

9.根据权利要求8所述的方法,其特征在于,所述根据所述匹配质量评分所属的预设阈值区间,执行对应的定位策略,包括:

10.根据权利要求9所述的方法,其特征在于,所述触发对所述人形机器人当前位置的约束搜索以重新确定其位姿,包括:

11.一种人形机器人视觉定位装置,其特征在于,所述装置包括:

12.一种电子设备,其特征在于,包括:

13.一种可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现权利要求1至10中任一项所述的方法的步骤。

14.一种计算机程序产品,包括计算机程序,其特征在于,该计算机程序被处理器执行权利要求1至10中任一项所述的方法的步骤。