具备自适应关键帧选取功能的视觉SLAM系统及其构建方法

本发明涉及计算机视觉领域，具体来说涉及视觉slam领域，更具体地说，涉及一种具备自适应关键帧选取功能的视觉slam系统及其构建方法。

背景技术：

1、视觉slam是利用相机图像序列实时估计相机六自由度位姿（包含三轴平移和三轴旋转）并同步构建环境三维地图的核心技术。现代视觉slam系统通常由前端跟踪模块和后端优化模块两大核心组件构成。前端跟踪模块负责逐帧估计相机运动增量；后端优化模块通过全局束调整（bundle adjustment,ba）联合优化所有关键帧的位姿和三维点云，消除累计漂移。

2、在前端跟踪与后端优化之间，关键帧选取策略起着承上启下的关键作用。关键帧是指从连续高帧率视频流中精选出的代表性帧，它们作为ba优化的约束节点，其选取质量直接决定了slam系统的定位精度、运行鲁棒性和计算资源利用效率。

3、为了筛选高效且高质量的关键帧，从而实现相机位姿估计以及三维地图重建，学术界和工业界围绕关键帧选取策略开展了大量研究。目前业界已形成三条主流技术路线，路线一，以orb-slam系列为代表的手工特征匹配驱动方法，依靠特征点匹配数量、跟踪地图点占比、时间间隔等多条件固定阈值完成关键帧判定；路线二，以,droid-slam为代表的深度学习端到端方法，依托密集光流与帧间共视位移完成跟踪与基础关键帧管理，采用固定光流位移阈值做插入判断；路线三，以及以mast3r-slam为代表的基于三维重建先验的稠密slam方法，借助transformer主干输出稠密三维点图与匹配特征实现跟踪重建，关键帧选取仍采用固定匹配率阈值。尽管三类方法在特征表达与几何建模层面不断迭代优化，但普遍存在结构性局限：关键帧插入判定阈值全程固定不变，缺乏对像素级跨视图可匹配质量的直接感知能力；部分自适应改进方法仅基于视差基线、imu惯性信息等外在几何/传感信号做阈值调节，并未从根本上利用场景纹理本身的内在匹配可靠性信息，在低纹理墙面、重复纹理与光照剧变等挑战性场景中易出现关键帧分布失衡问题，即优质纹理区域产生大量冗余关键帧拖累实时性能，弱纹理区域则关键帧插入不足、几何约束匮乏，造成相机位姿漂移甚至跟踪失效。

4、综上所述，现有的视觉slam系统筛选关键帧时无法根据当前观测场景的特征质量进行动态自适应调整，导致复杂弱纹理场景下关键帧插入不充分、位姿约束退化，引发定位漂移甚至跟踪失效，同时在优质场景易产生冗余关键帧，计算开销大。同时，现有系统缺乏像素级匹配可靠性的主动量化能力，仅依赖后置匹配统计量评估场景质量，评估精度有限；且束调整优化对所有匹配像素采用均等权重，无法抑制低可靠噪声匹配对位姿求解的干扰，最终限制了视觉slam系统的定位精度、鲁棒性与建图质量。

5、需要说明的是：本背景技术仅用于介绍本发明的相关信息，以便于帮助理解本发明的技术方案，但并不意味着相关信息必然是现有技术。相关信息与本发明方案一同提交和公开，在没有证据表明相关信息已在本发明的申请日以前公开的情况下，相关信息不应被视为现有技术。

技术实现思路

1、因此，本发明的目的在于克服上述现有技术的缺陷，提供一种具备自适应关键帧选取功能的视觉slam系统及其构建方法。

2、本发明的目的是通过以下技术方案实现的：

3、根据本发明的第一方面，提供一种具备自适应关键帧选取功能的视觉slam系统，用于基于从目标环境中采集的rgb图像序列构建该目标环境的稠密点云地图，所述系统包括：数据预处理模块，用于为图像序列中的每个原始rgb图像配置一个参考rgb图像，以构建多个rgb图像对；视觉编码模块，用于将数据预处理模块构建的每个rgb图像对中的两个rgb图像分别编码为特征向量以得到多个特征向量对；前端模块，用于对每个rgb图像对中的每个rgb图像的特征向量进行特征解码以获取每个rgb图像对中的每个rgb图像的可匹配性分数图与像素级几何信息，并基于每个rgb图像对中所有rgb图像的可匹配性分数图与像素级几何信息预测该rgb图像对的有效像素匹配对、每个rgb图像的相机位姿与每个rgb图像的三维点图，以及，基于每个rgb图像对的可匹配性分数图确定该rgb图像对的关键帧判断阈值，若该rgb图像对的有效像素匹配对大于该rgb图像对关键帧判断阈值，则将该rgb图像对中的原始rgb图像选为关键帧；后端优化模块，用于基于前端模块选择的所有关键帧以及每个关键帧的像素几何信息、预测的相机位姿与预测的三维点图构建稠密三维地图。

4、该方案至少能够实现以下有益技术效果：

5、本发明搭建了完整的稠密视觉slam模块化架构，摒弃传统固定阈值选帧方式，依托像素级可匹配性分数动态调节关键帧判定阈值。可自适应适配不同场景特征质量，既保障复杂场景跟踪稳定性与定位精度，又能抑制优质场景关键帧冗余，有效平衡系统鲁棒性与计算效率，提升稠密三维建图质量。

6、优选的，所述视觉编码单元包括两个共享权重的图像编码器，两个图像编码器分别对rgb图像对中的两个rgb图像进行特征编码以得到两个特征张量。

7、该方案至少能够实现以下有益技术效果：

8、本发明采用权重共享双编码器进行特征编码，统一两帧图像的特征空间，有效降低跨帧特征匹配误差。同时精简网络参数、降低运算开销，为后续场景质量评估、三维几何解码、帧间精准匹配提供稳定可靠的特征支撑。

9、优选的，所述前端模块包括可匹配预测头、3d解码器与前端跟踪器，所述可匹配预测头与3d解码器构成两条并行的特征解码分支，其中：所述可匹配预测头用于分别对每个rgb图像对中的每个rgb图像的特征向量进行特征解码以获取每个rgb图像对中的每个rgb图像的可匹配性分数图，其中，一个rgb图像的可匹配性分数图包含该rgb图像中每个像素点的可匹配性分数，每个像素点的可匹配性分数指示了该像素点包含的环境信息的复杂程度；所述3d解码器采用交叉注意力机制对每个rgb图像对中的每个rgb图像的特征向量进行双向信息交互与特征解码以输出每个rgb图像对中的每个rgb图像的像素级几何信息，其中，一个rgb图像对的像素级几何信息包括该rgb图像中每个像素点的三维点云坐标、特征描述子、几何置信度与描述子置信度；所述前端跟踪器用于基于可匹配预测头获取可匹配性分数图与像素级几何信息确定每个rgb图像对的有效像素匹配对、每个rgb图像的相机位姿与每个rgb图像的三维点图，以及，基于每个rgb图像对的可匹配性分数图确定该rgb图像对的关键帧判断阈值，若该rgb图像对的有效像素匹配对大于该rgb图像对关键帧判断阈值，则将该rgb图像对中的原始rgb图像选为关键帧。

10、该方案至少能够实现以下有益技术效果：

11、本发明采用双并行解码分支结构，同步实现三维几何信息解算与像素级可匹配性预测，完成场景质量前置量化评估，弥补了传统方法仅依靠后置匹配统计量评估场景的缺陷，为自适应关键帧调度和加权位姿优化提供精准有效的先验数据。

12、优选的，每个像素点的可匹配性分数的取值范围为，其中，可匹配性分数越高，表示该像素点对应的环境信息越复杂。

13、该方案至少能够实现以下有益技术效果：本发明将像素可匹配性分数限定在0至1区间，标准化像素匹配可靠性量化尺度，适配后续帧级质量统计、动态阈值调节与像素权重计算，规避数值尺度紊乱问题，保障系统自适应调控与优化过程稳定可靠。

14、优选的，所述前端跟踪器通过如下方式确定每个图像对中原始rgb图像的相机位姿：基于该图像对中每个rgb图像中每个像素点的三维点云坐标与特征描述子构建该图像对的有效匹配像素对；基于构建的有效匹配像素对与该图像对中每个rgb图像可匹配性分数图，通过如下方式评估每个有效匹配像素对的原始匹配质量：

15、

16、其中，表示第个有效匹配像素对的原始匹配质量，与表示第个有效匹配像素对中的两个像素点，为原始rgb图像中的像素点，为参考rgb图像中的像素点，表示原始rgb图像的可匹配性分数图中的可匹配性分数，依次表示参考rgb图像的可匹配性分数图中的可匹配性分数，为预设的正数；对该图像对的每个有效匹配像素对的原始匹配质量进行归一化处理以得到每个有效匹配像素对的最终匹配质量；以所有有效匹配像素对最终匹配质量为约束，采用如下方式构建当前帧的全局位姿：

17、

18、

19、其中，表示预测的原始rgb图像的相机位姿，表示参考rgb图像的相机位姿,表示第个有效匹配像素对的几何残差，表示预设的第个有效匹配像素对的权重，表示基于像素级几何信息确定的基础信息权重，与表示第个有效匹配像素对中的两个像素点的三维点云坐标，与表示第个有效匹配像素对中的两个像素点的几何置信度，表示单位矩阵。

20、该方案至少能够实现以下有益技术效果：

21、本发明结合双向可匹配性分数计算匹配原始质量，融合多维度像素几何置信度构建差异化优化权重，依托加权残差约束求解相机位姿。有效压低低质量匹配噪声的干扰，强化高可靠匹配的约束作用，显著提升复杂场景下位姿估计的精准度与稳定性。

22、优选的，所述归一化处理为：

23、

24、其中，表示第个有效匹配像素对的最终匹配质量，表示第个有效匹配像素对的原始匹配质量，与依次表示将所有有效匹配像素对的匹配质量升序排序后预设低分位与预设高分位的原始匹配质量，表示预设的正数，表示归一化函数。

25、该方案至少能够实现以下有益技术效果：

26、本发明通过高低分位归一化方式对匹配质量做尺度统一处理，剔除极端离群匹配样本的干扰，将匹配质量规整至0至1有效区间。实现不同场景下匹配质量的公平量化，保证像素加权优化的合理性与稳定性，适配各类复杂场景的位姿求解需求。

27、优选的，通过如下方式确定关键帧判断阈值：

28、

29、

30、其中，为预设的基础阈值，为预设的参考质量水平，为预设的调节系数，为预设的上界，表示调整后的判断阈值，表示帧级质量统计量，表示有像素数量，表示待评估的rgb图像中的质量分数。

31、该方案至少能够实现以下有益技术效果：

32、本发明基于帧级可匹配质量统计量动态调制关键帧判定阈值，场景质量差时放宽阈值、及时插入关键帧保障跟踪约束，场景质量优时收紧阈值、抑制冗余关键帧。实现关键帧选取的全场景自适应调控，兼顾系统跟踪鲁棒性与实时运算效率。

33、根据本发明的第二方面，提出一种具备自适应关键帧选取功能的视觉slam系统的构建方法，所述方法包括：s1、获取数据集，所述数据集包括多个样本，其中，每个样本包括参考关键帧rgb图像与待评估rgb图像，以及每个rgb图像的真实三维点图、每个rgb图像的真实相机位姿、参考关键帧rgb图像与待评估的rgb图像间的所有有效像素匹配对；s2、获取如本发明第一方面所述的视觉slam系统；s3、基于s1中获取的数据集，以参考关键帧rgb图像与待评估rgb图像组成的图像对为输入，以预测的rgb图像的真实三维点图、每个rgb图像的真实相机位姿、参考关键帧rgb图像与待评估的rgb图像间的所有有效像素匹配对为输出，并采用预设的损失函数将视觉slam系统训练至收敛，其中，在训练过程中，冻结数据预处理模块与后端优化模块的参数，仅调整视觉编码模块与前端模块的参数。

34、优选的，所述预设的损失函数为：

35、

36、其中，表示可匹配性监督损失，为可匹配性预测头输出的可匹配性图与真实可匹配性图间的损失，表示重投影损失，为像素点三维点云坐标经投影后得到的像素坐标与该像素点的真实像素坐标间的损失，表示极线约束损失，表示深度损失，表示三维点云损失，表示3d解码器输出的三维点云坐标与真实三维点云坐标间的损失，表示描述子匹配约束损失，为3d解码器输出的像素点的描述子与真实描述子间的损失，为可匹配性分布校准项，、、、、、与均为预设的损失权重。

37、与现有技术相比，本发明的优点在于：

38、本发明针对现有视觉slam系统关键帧选取阈值固定、无法主动评估场景特征质量、束优化缺乏像素级差异化加权的缺陷，提出一种质量感知自适应关键帧调度与可匹配性加权稠密slam方案。本发明在三维解码架构中增设可匹配性预测分支，实现像素级跨视角匹配可靠性的主动量化评估，克服了传统方法依赖后置匹配统计量、场景评估滞后的问题。本发明依据帧级特征质量动态调整关键帧筛选阈值，在低纹理、光照剧变等复杂场景下及时补充关键帧，保障跟踪约束充足，避免位姿漂移与跟踪失效；在优质场景下抑制冗余关键帧，降低后端计算开销，兼顾系统鲁棒性与实时性。同时，本发明结合双向可匹配性分数与几何置信度构建像素级加权机制，通过分位归一化统一质量尺度，在束优化中压制低可靠噪声匹配干扰，强化有效几何约束，提升位姿求解精度与稳定性。综上，本发明有效弥补了传统slam自适应能力差、优化精度有限的不足，显著提升了复杂场景下系统的跟踪稳定性、定位精度与稠密三维建图质量。