一种深度浮点描述子与词袋视觉后端兼容的定位建图方法及系统

摘要: 本发明属于移动机器人视觉同步定位与建图,具体涉及一种深度浮点描述子与词袋视觉后端兼容的定位建图方法及系统。背景技术:1、随着人工智能的发展,同时定位与建图技术是...
一种深度浮点描述子与词袋视觉后端兼容的定位建图方法及系统

本发明属于移动机器人视觉同步定位与建图,具体涉及一种深度浮点描述子与词袋视觉后端兼容的定位建图方法及系统。

背景技术:

1、随着人工智能的发展,同时定位与建图技术是移动机器人实现自主导航的关键技术之一。根据图像处理方式可划分为特征点法与直接法。以orb-slam2、orb-slam3为代表的特征点法系统,凭借多线程架构与位姿图优化能力,在定位精度与鲁棒性方面达到了行业领先水平。该类系统采用orb手工特征,例如在《orb: an efficient alternative to siftor surf》中提出,orb特征为每帧图像生成32字节二值描述子,并依托dbow2词袋模型生成特征向量索引(mfeatvec),用于加速帧间匹配与回环检测。

2、然而,orb-slam2/3在架构上深度耦合于二值描述子:dbow2仅接受cv_8u类型输入,无法处理superpoint等深度网络输出的浮点描述子(cv_32f);描述子距离函数采用汉明距离,而浮点描述子间应采用l2欧氏距离,二者量纲不同;当词袋计算被旁路时,依赖mfeatvec的跟踪与建图模块将无法运行。superpoint等深度特征在弱纹理与低光照场景中鲁棒性优于orb手工特征,但现有技术尚无方案能在不修改dbow2底层结构的前提下实现浮点描述子与词袋后端的兼容。因此,亟需一种轻量级的兼容方法,打通深度浮点描述子与词袋视觉后端之间的数据类型壁垒。

技术实现思路

1、本发明的目的是为了解决现有在不修改dbow2底层结构的前提下无法实现浮点描述子与词袋后端的兼容的问题,而提供一种深度浮点描述子与词袋视觉 后端兼容的定位建图方法及系统。

2、为了解决上述技术问题,本发明采用的技术方案为:

3、一种深度浮点描述子与词袋视觉后端兼容的定位建图方法,包括如下步骤:

4、s1、通过深度特征提取模块处理图像,输出图像关键点与浮点型描述子;

5、s2、调用词袋计算保护模块判断浮点型描述子的数据类型,若为浮点型,则跳过词袋向量计算,并将特征向量索引mfeatvec置空;

6、s3、在跟踪阶段,当所述特征向量索引为空时,基于浮点描述子间的l2欧氏距离对当前帧与参考关键帧的描述子执行暴力最近邻匹配并结合比率测试,建立帧间对应关系;

7、s4、在三角化建图阶段,当所述特征向量索引为空时,基于极线约束与所述l2欧氏距离执行互最近邻暴力匹配,生成三角化匹配对;

8、s5、将浮点描述子之间的所述l2欧氏距离按预设缩放系数取整,映射为与汉明距离兼容的整数距离;

9、s6、将所述帧间匹配结果与三角化匹配对输入几何优化后端,所述几何优化后端基于所述整数距离执行局部建图、回环检测与位姿图优化,输出相机位姿与稀疏三维地图。

10、通过词袋计算保护、多阶段条件匹配回退、描述子距离量纲统一的适配方案,在不改动原有词袋后端核心架构与底层结构的前提下,实现了深度浮点描述子与成熟词袋视觉后端的无缝兼容,解决了直接替换浮点描述子引发的系统崩溃、跟踪中断、建图停滞与阈值失效等工程问题,又借助深度特征的表征优势提升了弱纹理场景下的建图密度与运行稳定性,大幅降低了深度特征在现有框架中的集成门槛与改造成本。

11、步骤s1包括:

12、s11:将输入灰度图缩放至 预设推理分辨率;

13、s12:通过自监督关键点检测网络执行前向推理,得到检测器 logits与描述子特征图;

14、s13:对所述检测器logits依次完成 softmax 归一化、剔除 dustbin 通道与像素重排,生成全分辨率响应热图;

15、s14:对所述全分辨率响应热图执行非极大值抑制,并以 预设阈值提取关键点坐标,

16、s15:在所述描述子特征图上对关键点进行双线性插值采样并 l2 归一化,得到所述浮点型描述子。

17、通过标准化的图像缩放、网络推理与后处理流程,做到保障关键点定位精度与描述子度量一致性,输出稳定的 256 维浮点描述子,相比传统手工 orb 特征在弱纹理、低对比度区域具有更高的特征检出密度与区分度。

18、步骤s3包括:

19、s31:读取当前帧与参考关键帧的特征向量索引,并判断所述参考关键帧的特征向量索引是否为空;

20、s32:若为空,则对两帧全部关键点描述子执行 l2 暴力最近邻搜索,记录每个查询描述子的最小距离 d1 与次小距离 d2,计算比值 ratio = d1/d2;

21、s33:当 ratio 小于阈值时接受该匹配对,接受该匹配对;

22、在步骤s33中,所述比率测试的阈值为0.9;

23、s34:将内点匹配对输入 pnp 位姿估计,完成参考关键帧跟踪。

24、通过特征向量索引是否为空作为回退触发信号,无需修改 dbow2 词袋库底层即可规避浮点描述子输入引发的内存越界问题,同时采用 l2 欧氏距离暴力匹配结合比率测试的方案适配浮点描述子的数值特性,保障了位姿估计的匹配精度。

25、步骤s4包括:

26、s41:模块读取当前关键帧与共视关键帧的特征向量索引,并判断是否为空;

27、s42:若为空,则依据基础矩阵计算极线约束,在极线邻域内对描述子计算 l2 距离;

28、s43:再执行互最近邻一致性检验;

29、s44:当匹配对的l2 距离小于阈值时,将该匹配对输出供 三角化新建地图点;

30、在步骤s44中,所述互最近邻匹配的l2距离接受阈值为0.85。

31、通过在词袋索引不可用的浮点描述子场景下,极线约束缩小匹配搜索范围,避免了局部建图停滞与地图点增量中断问题,极线邻域 l2 距离计算与互最近邻一致性检验双重过滤误匹配,提升了三角化匹配新建地图点的几何精度。

32、步骤s5包括:

33、s51:接收待比较的两个描述子向量a与b;

34、s52:当描述子类型为浮点型时,计算二者的l2欧氏距离d=‖ab‖2,其中d的取值范围为0至2;

35、s53:按公式d=round(d×k)得到整数距离d,其中k为缩放系数;

36、s54:当描述子类型为二值型时,按汉明距离计算并返回;

37、在步骤s5中,所述预设缩放系数为100,将l2距离的取值范围0到2线性映射为0到200范围内的整数距离,与汉明距离量程保持量纲兼容。

38、通过缩放系数将浮点 l2 距离线性映射为与汉明距离量程兼容的整数距离,使上层基于整数距离的阈值筛选、地图点关联等逻辑直接复用,同时保留二值描述子的汉明距离原生计算路径,通过类型判断实现同一距离接口的自适应处理。

39、所述系统初始化步骤包括:

40、当跟踪状态为未初始化时,对连续两帧图像分别执行所述步骤s1的深度特征提取;对两帧描述子执行l2互最近邻暴力匹配,距离接受阈值为1.2;构造匹配向量,其长度等于第一帧关键点数量,每一元素为第二帧中的匹配索引或-1;将匹配结果输入两视图位姿恢复模块完成初始化。

41、通过l2 互最近邻暴力匹配适配浮点描述子的度量特性,合理的距离阈值保障了初始化两帧特征匹配的准确性,提升了两视图位姿恢复的成功率,同时严格对齐匹配向量长度与第一帧关键点数量,从数据结构层面避免了容器尺寸不匹配引发的堆内存越界闪退,且匹配结果直接对接原有位姿恢复接口,无需重构初始化核心算法即可实现深度浮点描述子的兼容。

42、一种深度浮点描述子与词袋视觉后端兼容的定位建图系统,其包括:

43、深度特征提取模块,用于深度神经网络对输入图像提取关键点及浮点型描述子;

44、词袋计算保护模块,用于判断描述子数据类型,当描述子为浮点型时跳过词袋向量计算并使特征向量索引置空;

45、跟踪阶段条件匹配回退模块,用于在跟踪阶段当特征向量索引为空时,采用l2欧式距离暴力匹配结合比率测试完成当前帧与参考关键帧的特征点对应;

46、三角化建图阶段条件匹配回退模块,用于在局部建图阶段当特征向量索引为空时,采用极线约束下与l2欧式距离的互最近邻一致性检验;

47、描述子距离量纲统一模块,用于将浮点描述子间的l2距离按预设缩放系数取整,映射为与汉明距离量程兼容的整数距离;

48、几何优化后端,用于接收帧间匹配结果与三角化匹配对输入几何优化后端并执行局部建图、回环检测与位姿图优化,输出相机位姿与稀疏三维地图。

49、与现有技术相比,本发明有如下技术效果:

50、(1)在兼容性方面,本发明通过词袋计算保护、跟踪阶段 searchbybow 回退、三角化阶段 searchfortriangulation 回退及描述子距离量纲统一四处协同修复,在不改动局部建图、回环检测与位姿图优化后端的前提下,将 256 维浮点描述子无缝嵌入成熟词袋框架,解决了直接替换导致的崩溃与性能退化问题,显著降低了深度特征的工程集成门槛。

51、(2)在地图重建质量与稳定性方面,深度浮点描述子在弱纹理区域具有更高的响应密度。tum fr1_xyz 仿真验证表明,地图点数较 orb 基线提升 169.4%,关键帧数提升40.2%;ate 标准差仅 0.012 cm,约为基线 0.153 cm 的十二分之一,三次运行结果高度一致,体现出深度特征表征的内在稳定性。

52、(3)在实时性方面,superpoint 以 onnx 格式经 opencv dnn 在 cpu 上推理,单帧约 40 ms,系统整体达到 23.6 fps,满足典型视觉不低于 10 hz 的实时处理要求,便于在算力受限平台部署。

53、(4)在扩展性方面,几何优化后端模块的接口与线程结构保持不变,便于后续接入惯性融合、多地图管理等扩展能力;图像话题接口与标准数据集发布节点兼容,验证环境可完整复现。

54、(5)在向后兼容方面,词袋保护模块对 cv_8u 描述子仍执行原有 bow 计算路径,descriptordistance 对二值描述子仍返回汉明距离,系统可在深度特征与手工特征之间灵活切换。