位姿确定方法、装置及电子设备与流程

摘要: 本技术涉及计算机视觉,具体而言,本技术涉及一种位姿确定方法、装置及电子设备。背景技术:1、在无标定靶场、非结构化环境下对刚体进行六自由度位姿追踪时,通常需要在目...
位姿确定方法、装置及电子设备与流程

本技术涉及计算机视觉,具体而言,本技术涉及一种位姿确定方法、装置及电子设备。

背景技术:

1、在无标定靶场、非结构化环境下对刚体进行六自由度位姿追踪时,通常需要在目标对象表面设置多个可供识别的标记,并通过多目相机获取包含这些标记的图像,进而利用这些图像实现位姿确定以及追踪。

2、为达成上述目标,相关技术中一类方案采用外观基本无差异的反光标记点,在完成多相机标定后通过三角测量获得标记点的空间位置,并主要依靠标记点空间分布的几何唯一性进行身份判定;另一类方案采用内部写入编码信息的平面图案标记,通过检测和解码图案直接获得标记身份。前一类方案的标记身份判定基本完全依赖空间几何关系,当标记数量较多或仅能观测到部分标记时,候选对应组合的搜索规模会明显增大,并可能在遮挡或多目标场景下出现标记身份互换;后一类方案虽然可直接通过编码确定身份,但通常要求标记图案保持平整且整体可见,在曲面、异型表面或局部遮挡条件下适应能力受限。

3、上述情形使得相关技术在面对外观重复且部分遮挡的标记时,容易出现候选对应关系规模过大和身份误匹配的问题,进而影响后续刚体变换求解的稳定性与准确性。因此,在无标定靶场景下,如何在降低候选对应关系搜索规模的同时抑制身份混淆,仍是实现可靠刚体六自由度位姿追踪所亟待解决的技术问题。

技术实现思路

1、为了解决上述技术问题,本技术提出了一种位姿确定方法、装置及电子设备。

2、根据本技术实施例的第一方面,提供了目标对象的位姿确定方法,所述方法包括:

3、获取多目摄像装置拍摄目标对象得到的多目图像;其中,所述目标对象的表面贴附多个图形标记;

4、针对所述多目图像,基于同一所述图形标记在不同视角图像中的目标约束,确定观测标记在以所述多目摄像装置为坐标原点的第一坐标系下的第一位置信息;其中,所述观测标记为出现在所述多目图像中的图形标记;所述目标约束包括:观测属性值一致、像素行一致、视差处于目标工作距离区间中的至少一项;

5、在所述目标布局模型中确定与所述观测标记具有相同观测属性值的候选图形标记;其中,所述目标布局模型记录所述目标对象上各所述图形标记,在以所述目标对象为坐标原点的第二坐标系下的第二位置信息及观测属性值;

6、生成多种对应关系假设,并以所述目标布局模型中所述图形标记之间的刚体关系为筛选依据,确定目标对应关系;所述对应关系假设包括所述观测标记与所述候选图形标记的对应关系;

7、根据所述目标对应关系,确定由所述第二坐标系至所述第一坐标系的刚体变换,并根据刚体变换结果确定所述目标对象的位姿。

8、可选地,每种对应关系假设包括:第一部分观测标记与所述候选图形标记一一对应的对应关系;

9、以所述目标布局模型中所述图形标记之间的刚体关系为筛选依据,确定目标对应关系,包括:

10、分别计算每种对应关系假设下,指示所述刚体关系的位姿假设;

11、针对每个所述位姿假设,基于所述位姿假设,验证除所述第一部分观测标记之外的第二部分观测标记与所述候选图形标记的一致性情况,所述一致性情况包括:存在吻合的候选图形标记的吻合数量;

12、将目标位姿假设下,所述观测标记与所述候选图形标记一一对应的对应关系,确定为所述目标对应关系;其中,所述目标位姿假设为对应吻合数量超过数量阈值的位姿假设。

13、可选地,分别计算每种对应关系假设下,指示所述刚体关系的位姿假设之后,所述方法还包括:

14、分别针对每个所述位姿假设执行以下步骤:

15、将第一向量按所述位姿假设变换至所述第一坐标系,得到第二向量;所述第一向量包括:所述目标布局模型存在共面的图形标记时,所述共面的图形标记所拟合平面的法向向量;

16、在所述第二向量的方向背离所述多目摄像装置的情况下,禁止针对所述位姿假设验证所述第二部分观测标记与所述候选图形标记的一致性情况。

17、可选地,所述第一部分观测标记的数量小于观测标记上限;其中,所述观测标记上限基于所述观测标记的总量动态确定,且小于所述观测标记的总量。

18、可选地,所述方法还包括:

19、分别针对每种所述对应关系假设执行以下步骤:

20、在所述对应关系假设中所述第一部分观测标记的标记数量小于观测标记下限的情况下,禁止针对所述对应关系假设计算所述位姿假设。

21、可选地,根据刚体变换结果确定所述目标对象的位姿,包括:

22、将刚体变换结果,确定为所述目标对象的初始位姿;

23、将所述目标布局模型中各图形标记按所述初始位姿投影至目标多目图像中,并以位置偏差最小化为目标,调整所述初始位姿,得到精化后的位姿;其中,所述位置偏差包括投影位置与所述目标多目图像中图形标记的实际位置之间的偏差;

24、将所述精化后的位姿,确定为所述目标对象的位姿。

25、可选地,根据刚体变换结果确定所述目标对象的位姿之后,所述方法还包括:

26、确定多个观测标记对;

27、针对每个所述观测标记对,基于所述第一位置信息计算得到观测标记间距,并基于所述目标布局模型计算目标图形标记之间的图形标记间距;其中,所述目标图形标记包括:按照所述目标对应关系确定的,所述观测标记对在所述目标布局模型中对应的图形标记;

28、针对每个所述观测标记对,判断所述观测标记间距和所述图形标记间距之间的间距偏差,是否符合处于预设间距区间;

29、在目标类型观测标记对占据所有观测标记对的比例超过目标比例的情况下,输出所述目标对象的位姿;

30、在目标类型观测标记对占据所有观测标记对的比例未超过目标比例的情况下,禁止输出所述目标对象的位姿;

31、其中,所述目标类型观测标记对包括:处于预设间距区间的间距偏差对应的所述观测标记对。

32、可选地,每个观测标记对包括具有相同观测属性值的两个观测标记。

33、可选地,所述多目图像为连续的多帧多目图像;根据刚体变换结果确定所述目标对象的位姿之后,所述方法还包括:

34、当目标位姿变化量小于预设静止变化量阈值时,对基于当前帧多目图像确定的位姿进行时序平滑处理,将平滑处理后的位姿确定为所述目标对象的位姿;

35、其中,所述目标位姿变化量包括:基于相邻帧多目图像所确定的位姿之间的变化量。

36、可选地,所述目标布局模型通过以下步骤得到:

37、获取多组注册图像;其中,所述多组注册图像包括:贴附有所述多个图形标记的所述目标对象相对于所述多目摄像装置转动过程中,被拍摄的多个视角下的图像;

38、针对每组所述注册图像,基于同一图形标记在每组所述注册图像中的所述目标约束,确定注册标记在所述第一坐标系下的第三位置信息;所述注册标记为出现在所述注册图像中的图形标记;

39、将各组所述注册图像下的所述第三位置信息按所述刚体关系相互对齐并融合,得到观测集合;

40、根据所述观测集合建立所述第二坐标系,并确定各所述图形标记在所述第二坐标系下的第二位置及观测属性值,得到所述目标布局模型。

41、可选地,所述观测属性值为观测属性下的属性值,所述观测属性包括颜色属性、尺寸属性中的至少一项。

42、可选地,在所述观测属性值为颜色属性下的属性值的情况下,所述针对所述多目图像,基于同一所述图形标记在不同视角图像中的目标约束,确定观测标记在以所述多目摄像装置为坐标原点的第一坐标系下的第一位置信息之前,所述方法还包括:

43、针对每个所述多目图像,确定每个图形标记的颜色以及亚像素级的像面位置;

44、所述目标约束中的观测属性值一致,基于所述图形标记的颜色确定;

45、所述目标约束中的像素行一致和视差处于目标工作距离区间,基于所述亚像素级的像面位置确定。

46、可选地,针对每个所述多目图像,确定每个图形标记的颜色以及亚像素级的像面位置之前,所述方法还包括:

47、针对所述多目图像中同一时刻拍摄的不同视角图像,进行去畸变与行对齐校正处理。

48、可选地,所述图形标记的颜色在色相-亮度分离或色相-饱和度分离的色彩空间中确定。

49、可选地,确定所述亚像素级的像面位置,包括:

50、按照所述图形标记的颜色从所述多目图像中截取候选团块;

51、从所述候选团块中选择符合尺寸约束和形状约束的目标团块;

52、以所述目标团块内各像素的颜色纯度作为权重求取加权中心,得到所述像面位置。

53、可选地,针对所述多目图像,基于同一所述图形标记在不同视角图像中的目标约束,确定观测标记在以所述多目摄像装置为坐标原点的第一坐标系下的第一位置信息,包括:

54、针对所述多目图像中的不同视角图像,确定符合所述目标约束的图形标记匹配情况;

55、基于所述图形标记匹配情况,在同一观测属性内构建整体匹配代价,求取使所述整体匹配代价最小的全局匹配方案,并按照所述全局匹配方案指示的匹配关系,确定所述不同视角图像中对应同一观测标记的图像内容;

56、针对所述不同视角图像,根据其中对应同一观测标记的图像内容的位置信息,确定所述观测标记在第一坐标系下的第一位置信息。

57、可选地,所述目标对象的数量为至少两个,且不同所述目标对象对应有各自的所述目标布局模型。

58、可选地,所述多个图形标记按照不规则布局方式贴附到所述目标对象表面。

59、根据本技术实施例的第二方面,提供了一种目标对象的位姿确定装置,所述装置包括:

60、图像获取模块,用于获取多目摄像装置拍摄目标对象得到的多目图像;其中,所述目标对象的表面贴附多个图形标记;

61、位置确定模块,用于针对所述多目图像,基于同一所述图形标记在不同视角图像中的目标约束,确定观测标记在以所述多目摄像装置为坐标原点的第一坐标系下的第一位置信息;其中,所述观测标记为出现在所述多目图像中的图形标记;所述目标约束包括:观测属性值一致、像素行一致、视差处于目标工作距离区间中的至少一项;

62、候选确定模块,用于在所述目标布局模型中确定与所述观测标记具有相同观测属性值的候选图形标记;其中,所述目标布局模型记录所述目标对象上各所述图形标记,在以所述目标对象为坐标原点的第二坐标系下的第二位置信息及观测属性值;

63、关系确定模块,用于生成多种对应关系假设,并以所述目标布局模型中所述图形标记之间的刚体关系为筛选依据,确定目标对应关系;所述对应关系假设包括所述观测标记与所述候选图形标记的对应关系;

64、位姿确定模块,用于根据所述目标对应关系,确定由所述第二坐标系至所述第一坐标系的刚体变换,并根据刚体变换结果确定所述目标对象的位姿。

65、根据本技术实施例的第三方面,提供了一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行程序时实现本技术实施例第一方面所述的方法。

66、根据本技术实施例的第四方面,提供了一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器执行时实现如本技术实施例第一方面所述的方法。

67、根据本技术实施例的第五方面,提供了一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现如本技术实施例第一方面所述的方法。

68、本技术实施例提供的技术方案带来的有益效果是:

69、本技术实施例中,先按观测属性值在目标布局模型中确定与观测标记具有相同观测属性值的候选图形标记,再以目标布局模型中图形标记之间的刚体关系对多种对应关系假设进行筛选并确定目标对应关系,将身份判定拆分为外观属性粗分类和刚体关系细确认两个层次。由此,减少了观测标记与图形标记之间可能对应组合的搜索规模,并减少了外观相同标记重复出现和部分遮挡条件下的身份混淆情况发生,从而在无需图形标记携带内部编码的情况下,仍能根据由第二坐标系至第一坐标系的刚体变换确定目标对象的位姿。

70、本技术实施例附加的方面和优点将在下面的描述中部分给出,这些将从下面的描述中变得明显,或通过本技术的实践了解到。