基于增强参考图像库的视觉重定位方法、系统及装置与流程

摘要: 本发明涉及计算机视觉,具体是一种基于增强参考图像库的视觉重定位方法、系统及装置。背景技术:1、视觉重定位是室内导航、增强现实等应用的核心技术,常规方案包括离线建...
基于增强参考图像库的视觉重定位方法、系统及装置与流程

本发明涉及计算机视觉,具体是一种基于增强参考图像库的视觉重定位方法、系统及装置。

背景技术:

1、视觉重定位是室内导航、增强现实等应用的核心技术,常规方案包括离线建图与在线定位两个阶段:离线阶段对现场采集的图像序列进行三维重建,选取关键帧,提取局部特征描述子并关联场景三维点,并提取全局描述子构建检索索引;在线阶段提取查询图像的全局描述子,在主特征地图库中检索相似关键帧,再通过局部特征匹配建立二维-三维对应,求解相机位姿。上述级联范式是本领域成熟的通用技术路线。

2、然而,该范式高度依赖查询图像与建图帧处于相近的光照与视角:主特征地图库建成即固化,夜间、逆光、特殊视角等条件下难以检索到正确关键帧,只能整体重新建图补强,周期长、算力成本高,运营经验无法转化为定位能力;人工补图若采用不同描述子模型,则与主库特征空间脱节,无法纳入同一检索体系;室内视觉相似区域众多,海量关键帧中的匿名稀疏检索易误命中且缺乏确认手段;检索路径单一,难样本召回不足,运行数据缺乏统计,阈值只能凭经验设定;增强能力亦难以部署至资源受限的端侧设备离线使用。

3、因此,如何在不重建主库的前提下,基于真实参考图在线构建与主库处于同一描述子空间的增强参考图像库,按增强优先、稀疏兜底的两级检索实现薄弱场景下快速而准确的重定位,并支持命中统计、阈值调优与端侧离线部署,成为亟待解决的技术问题。

技术实现思路

1、本发明的目的在于提供一种基于增强参考图像库的视觉重定位方法、系统及装置,它实现了历史难匹配场景的快速精准重定位,降低了计算开销与误匹配率,提升了视觉重定位的覆盖率、准确率与实时性。

2、本发明为实现上述目的,通过以下技术方案实现:

3、一方面,本发明提供一种基于增强参考图像库的视觉重定位方法,包括:

4、获取预先构建的主参考图像库,主参考图像库记录有对场景图像序列进行三维重建得到的若干关键帧、各关键帧的全局描述子、局部特征描述子以及各关键帧中局部特征点与场景三维点的关联关系;

5、响应于针对场景内定位失败点位的参考图上传操作,获取参考图像,采用与主参考图像库一致的全局描述子模型提取参考图像的全局描述子,生成绑定到经上传操作指定的正确关键帧的增强记录,写入与主参考图像库分离存储的增强参考图像库;

6、接收查询图像,采用与主参考图像库一致的全局描述子模型提取查询图像的全局描述子,在增强参考图像库中检索与查询图像全局描述子相似度最高的增强记录;

7、在最高全局描述子相似度达到预设阈值的情况下,将命中增强记录绑定的正确关键帧确定为目标关键帧,将查询图像的局部特征描述子与目标关键帧的局部特征描述子进行匹配,并依据查询图像局部特征点与目标关键帧场景三维点之间的关联关系建立二维-三维对应关系,根据所述二维-三维对应关系求解查询图像的相机位姿;

8、在最高全局描述子相似度未达到预设阈值的情况下,基于主参考图像库的全局描述子对查询图像执行检索定位,得到查询图像的相机位姿。

9、优选的,生成增强记录包括:

10、在参考图像为单通道灰度图像且全局描述子模型面向多通道图像的情况下,将参考图像沿通道维度扩展为多通道图像后再提取全局描述子;

11、对提取到的全局描述子进行归一化处理;

12、为增强记录写入全局描述子模型标识与全局描述子维度,在全局描述子维度与主参考图像库当前使用的全局描述子维度不一致时拒绝参考图像入库;

13、增强记录的新增与删除在视觉重定位的运行期在线执行,执行期间主参考图像库保持不变,且仅对增强参考图像库的索引进行重建。

14、优选的,参考图像从历史失败查询图像和人工采集的真实场景图像中获取,历史失败查询图像为在定位失败点位处定位失败时保存的查询图像;

15、每条增强记录还标记有用于表征参考图像成像条件的来源分类标签。

16、优选的,将查询图像的局部特征描述子与目标关键帧的局部特征描述子进行匹配,依据匹配结果以及目标关键帧局部特征点与场景三维点的关联关系建立二维-三维对应关系,根据所述二维-三维对应关系求解查询图像的相机位姿,包括:

17、按照各关键帧在场景图像序列中的时序顺序,以目标关键帧为中心,分别选取其之前及之后各个时序邻居帧,与目标关键帧共同构成直达候选帧集合;为非负整数,表示每一侧扩展的时序邻居帧数,前后各n帧与目标关键帧合计帧;序号越界时按序列首尾截断并去重,候选帧实际数量不超过,时仅包含目标关键帧;

18、将查询图像的局部特征描述子分别与目标关键帧及各时序邻居帧的局部特征描述子进行匹配,并依据各局部特征点与对应场景三维点的关联关系建立二维-三维对应关系;

19、聚合目标关键帧和各时序邻居帧分别建立的二维-三维对应关系,统一求解查询图像的相机位姿。

20、优选的,针对每次接收的查询图像,按照定位结果记录对应的定位模式,定位模式包括增强直达成功、增强直达失败、稀疏回退和失败;

21、将记录的定位模式写入预定长度的环形队列,直达成功率的分母为增强直达触发次数,依据增强直达成功次数与增强直达触发次数之比统计直达成功率,并依据直达成功率调整预设阈值。

22、优选的,在将查询图像的局部特征描述子与目标关键帧的局部特征描述子进行匹配,并依据目标关键帧局部特征点与场景三维点的关联关系建立二维-三维对应关系之后,若二维-三维对应关系的数量低于数量下限,或据此求解位姿时的内点数量低于内点下限、重投影误差超过误差上限,则判定本次定位为增强直达失败,并继续基于主参考图像库的全局描述子对查询图像执行检索、局部特征匹配及位姿求解。

23、优选的,基于主参考图像库对查询图像执行检索定位包括:

24、提取查询图像的全局描述子,在主参考图像库的全局描述子索引中检索全局描述子相似度靠前的k个候选关键帧,k为正整数,表示主库检索返回的候选关键帧数量;

25、将查询图像的局部特征描述子与各候选关键帧的局部特征描述子进行匹配,并依据候选关键帧局部特征点与场景三维点的关联关系建立二维-三维对应关系,依据内点数量和重投影误差筛选匹配成功的候选关键帧;

26、基于匹配成功的候选关键帧的二维-三维对应关系求解查询图像的相机位姿。

27、优选的,将主参考图像库与增强参考图像库打包为单文件便携库并下发至端侧设备,端侧设备加载单文件便携库后,为增强参考图像库中增强记录的全局描述子构建近似最近邻索引,并利用查询图像的全局描述子离线执行增强记录的检索;命中后利用局部特征描述子执行直达匹配和位姿求解;未命中或增强直达失败时,基于主参考图像库的全局描述子检索候选关键帧,再进行局部特征匹配和位姿求解。

28、另一方面,本发明还提供一种基于增强参考图像库的视觉重定位系统,用于实现如上述的视觉重定位方法,包括:

29、库管理模块,用于响应于针对场景内定位失败点位的参考图上传操作,获取参考图像,采用与预先构建的主参考图像库一致的全局描述子模型提取参考图像的全局描述子,生成绑定到经上传操作指定的正确关键帧的增强记录,写入与主参考图像库分离存储的增强参考图像库;主参考图像库记录有对场景图像序列进行三维重建得到的若干个关键帧、各关键帧的全局描述子和局部特征描述子以及局部特征点与场景三维点的关联关系;

30、定位模块,用于接收查询图像,采用与主参考图像库一致的全局描述子模型提取查询图像的全局描述子,在增强参考图像库中检索与查询图像全局描述子相似度最高的增强记录;在最高全局描述子相似度达到预设阈值的情况下,将命中增强记录绑定的正确关键帧确定为目标关键帧,将查询图像的局部特征描述子与目标关键帧的局部特征描述子进行匹配,并依据局部特征点与场景三维点的关联关系建立二维-三维对应关系,根据所述二维-三维对应关系求解查询图像的相机位姿;在最高全局描述子相似度未达到预设阈值的情况下,基于主参考图像库的全局描述子对查询图像执行检索定位。

31、另一方面,本发明还提供一种视觉重定位装置,包括服务端和端侧定位装置;所述服务端用于将预先构建的主参考图像库与在线维护的增强参考图像库打包为单文件便携库并下发给所述端侧定位装置;

32、所述端侧定位装置用于加载单文件便携库,为其中增强参考图像库内增强记录的全局描述子构建近似最近邻索引,并在离线状态下接收查询图像,采用与主参考图像库一致的全局描述子模型提取查询图像的全局描述子,在增强参考图像库中检索;在最高全局描述子相似度达到预设阈值时,依据命中增强记录绑定的正确关键帧,利用局部特征描述子匹配及局部特征点与场景三维点的关联关系建立二维-三维对应关系,求解查询图像的相机位姿。

33、对比现有技术,本发明的有益效果在于:

34、1、本发明通过以与主库一致的描述子模型对运营人员上传的真实参考图提取描述子并绑定关键帧,构建与主库分离、可在线增删的增强参考图像库,使补图与建图特征处于同一检索空间,无需重建主库即可将运营经验转化为定位能力,显著降低补强的周期与算力成本。

35、2、本发明通过增强优先、稀疏兜底的两级检索,命中判定通过时跳过主库海量关键帧的候选检索,直达绑定的目标关键帧执行匹配与位姿求解,既大幅降低难匹配场景下的检索计算量,又以人工点位指认与相似度阈值抑制视觉歧义误命中,未命中时自动回退稀疏路径,最坏行为不劣化。

36、3、本发明通过将候选帧扩展至命中关键帧及其时序邻居并跨帧聚合二维-三维对应,提高对应数量与分布均匀性,提升位姿求解的成功率与精度,额外代价仅为少量帧的线性匹配开销。

37、4、本发明通过按增强直达、直达失败、稀疏回退、失败等模式统计定位结果,输出直达触发次数、直达成功率与总体贡献率,使增强命中阈值可依统计数据在线调优,形成可度量、可持续改进的运营闭环。

38、5、本发明通过将增强描述子表随主库一并导出为单文件便携定位库,端侧加载后按需建索引、离线执行同一套检索逻辑,实现服务端与端侧机制同构,使资源受限设备离线即享增强定位能力。