基于元学习候选关键帧筛选的视觉同步定位与建图方法与流程

本发明属于计算机视觉与移动机器人导航，具体涉及一种基于元学习候选关键帧筛选的视觉同步定位与建图方法。

背景技术：

1、视觉同步定位与建图是利用相机连续采集环境图像，在估计相机位置和姿态的同时构建环境地图的技术，广泛应用于移动机器人、无人机和视觉导航设备。在视觉同步定位与建图系统运行过程中，通常从连续图像帧中选择部分图像帧作为关键帧，然后将已经生成的关键帧作为历史关键帧保存至关键帧数据库。在处理新的当前关键帧时，从关键帧数据库中检索与当前关键帧在视觉外观上相似的历史关键帧，以获得候选关键帧。现有视觉同步定位与建图系统通常采用视觉词袋方法进行候选关键帧检索，通过比较当前关键帧与历史关键帧的视觉词袋表示，可以获得视觉外观相似的历史关键帧。但是，视觉词袋方法主要依据图像视觉外观进行比较，当环境中存在重复纹理、结构相似区域、光照变化或者观察视角变化时，不同空间位置的关键帧之间也可能具有较高的视觉相似度，从而使检索得到的候选关键帧中包含不具有有效空间对应关系的历史关键帧。

2、为进一步确认当前关键帧与候选关键帧之间的几何关系，视觉同步定位与建图系统通常还需要对候选关键帧执行特征描述子匹配、几何变换估计和地图点投影匹配等几何一致性验证处理。当视觉词袋检索得到的候选关键帧数量较多，或者其中包含较多视觉外观相似但几何关系不成立的历史关键帧时，需要对多个候选关键帧重复执行上述几何一致性验证处理，增加了视觉同步定位与建图系统的计算量，同时还降低了回环检测和多地图融合的处理效率。

技术实现思路

1、本发明的目的在于提出一种基于元学习候选关键帧筛选的视觉同步定位与建图方法，利用多个视觉场景或多个视觉数据序列构建元学习任务，预先离线训练关键帧关系判别模型；再利用训练好的关键帧关系判别模型对候选关键帧进行筛选，并根据几何一致性验证结果建立回环约束或多地图融合约束，以减少不必要的候选关系验证计算，提高回环检测和多地图融合的处理效率。

2、为了实现上述目的，本发明采用如下技术方案：

3、基于元学习候选关键帧筛选的视觉同步定位与建图方法，包括如下步骤：

4、步骤1. 从多个视觉场景或多个视觉数据序列的历史运行结果中获取历史关键帧，对历史关键帧预处理，得到训练关键帧对特征及对应关系标签；

5、步骤2. 搭建关键帧关系判别模型，并采用模型无关元学习方法根据训练关键帧对特征及对应关系标签进行离线训练；其中关键帧关系判别模型用于对训练关键帧对特征进行处理，输出对应训练关键帧对的关系置信度；

6、步骤3. 获取相机连续采集的图像帧，根据关键帧插入判定条件确定当前关键帧；

7、计算当前关键帧与各历史关键帧之间的视觉相似度，并构建当前关键帧对应的候选关键帧集合；

8、构建当前关键帧与候选关键帧之间的关键帧对特征，并输入训练完成的关键帧关系判别模型，得到当前关键帧与候选关键帧之间的关系置信度；

9、步骤4. 根据所述关系置信度对候选关键帧进行筛选，保留关系置信度不低于预设关系判定阈值的候选关键帧，形成置信候选关键帧集合；

10、步骤5. 对当前关键帧与置信候选关键帧集合中的候选关键帧进行orb特征匹配和几何一致性验证，并建立回环约束或多地图融合约束；然后更新关键帧位姿和地图点坐标，得到优化后的相机位姿估计结果和地图。

11、此外，在上述基于元学习候选关键帧筛选的视觉同步定位与建图方法的基础上，本发明还提出了一种与之对应的基于元学习候选关键帧筛选的视觉同步定位与建图系统，其采用如下技术方案：

12、基于元学习候选关键帧筛选的视觉同步定位与建图系统，包括如下模块：

13、预处理模块，用于从多个视觉场景或多个视觉数据序列的历史运行结果中获取历史关键帧，对历史关键帧预处理，得到训练关键帧对特征及对应关系标签；

14、模型训练模块，用于搭建关键帧关系判别模型，并采用模型无关元学习方法根据训练关键帧对特征及对应关系标签进行离线训练；其中关键帧关系判别模型用于对训练关键帧对特征进行处理，输出对应训练关键帧对的关系置信度；

15、候选检索与关系置信度计算模块，用于获取相机连续采集的图像帧，根据关键帧插入判定条件确定当前关键帧；

16、计算当前关键帧与各历史关键帧之间的视觉相似度，并构建当前关键帧对应的候选关键帧集合；

17、构建当前关键帧与候选关键帧之间的关键帧对特征，并输入训练完成的关键帧关系判别模型，得到当前关键帧与候选关键帧之间的关系置信度；

18、候选关键帧筛选模块，用于根据所述关系置信度对候选关键帧进行筛选，保留关系置信度不低于预设关系判定阈值的候选关键帧，形成置信候选关键帧集合；

19、几何一致性验证及回环校正与多地图融合模块，用于对当前关键帧与置信候选关键帧集合中的候选关键帧进行orb特征匹配和几何一致性验证，并建立回环约束或多地图融合约束；然后更新关键帧位姿和地图点坐标，得到优化后的相机位姿估计结果和地图。

20、本发明具有如下优点：

21、如上所述，本发明提出了一种基于元学习候选关键帧筛选的视觉同步定位与建图方法。该方法在视觉词袋候选检索与后续几何一致性验证之间设计了基于关键帧关系判别模型的关系置信度筛选过程，通过训练完成的关键帧关系判别模型计算当前关键帧与候选关键帧集合中历史关键帧之间的关系置信度，并根据关系判定阈值对候选关键帧集合进行进一步筛选，从而减少了进入后续orb特征匹配和几何一致性验证过程的历史关键帧数量，减少了不必要的特征匹配、几何变换估计和投影匹配处理，降低了候选关系验证过程的计算量。同时，本发明采用模型无关元学习方法对关键帧关系判别模型进行离线训练，通过由训练关键帧对构成的多个元学习任务对共享模型参数进行训练，得到训练完成的固定模型参数。在线运行过程中，所述固定模型参数保持不变，仅执行模型前向计算，不进行模型参数更新，从而避免了在线反向传播和模型参数更新所产生的额外计算过程。此外，本发明将关键帧关系判别模型输出的关系置信度用于候选关键帧筛选，对于筛选后保留的历史关键帧仍进一步进行orb特征匹配和几何一致性验证，并根据几何一致性验证结果建立回环约束或多地图融合约束，在减少进入后续几何验证过程的候选关键帧数量的同时，保留了基于几何关系进行回环确认和多地图融合确认的处理过程。综上，本发明能够减少候选关键帧关系验证过程中的不必要计算，降低后续orb特征匹配和几何一致性验证的计算量，提高视觉同步定位与建图过程中回环检测和多地图融合的处理效率。

1.一种基于元学习候选关键帧筛选的视觉同步定位与建图方法，其特征在于，包括如下步骤：

2.根据权利要求1所述的基于元学习候选关键帧筛选的视觉同步定位与建图方法，其特征在于，所述步骤1中，预处理包括：

3.根据权利要求2所述的基于元学习候选关键帧筛选的视觉同步定位与建图方法，其特征在于，所述步骤2中，关键帧关系判别模型包括输入层、隐藏层和输出层；

4.根据权利要求3所述的基于元学习候选关键帧筛选的视觉同步定位与建图方法，其特征在于，所述步骤2中，采用模型无关元学习方法训练关键帧关系判别模型；

5.根据权利要求4所述的基于元学习候选关键帧筛选的视觉同步定位与建图方法，其特征在于，所述步骤3具体为：

6.根据权利要求5所述的基于元学习候选关键帧筛选的视觉同步定位与建图方法，其特征在于，所述步骤4具体为：

7.根据权利要求6所述的基于元学习候选关键帧筛选的视觉同步定位与建图方法，其特征在于，所述步骤5具体为：

8.根据权利要求7所述的基于元学习候选关键帧筛选的视觉同步定位与建图方法，其特征在于，所述步骤5.7具体为：

9.一种基于元学习候选关键帧筛选的视觉同步定位与建图系统，其特征在于，包括如下模块：