基于光流跟踪和特征匹配的回环检测及视觉SLAM方法与流程

技术特征：
1.一种基于光流跟踪和特征匹配的回环检测及视觉slam方法，其特征在于步骤如下：步骤1：双目相机采集图像，对图像做预处理；步骤2：在相邻帧之间，点特征采用lk光流法跟踪匹配，线特征采用描述子的方式匹配；步骤3：基于相邻帧之间点线特征的重投影误差构建代价函数f1，对当前帧的位姿进行优化调整；步骤4：判断当前帧是否为关键帧，如果是，则执行步骤5；如果不是，则设定前一关键帧为当前帧的参考关键帧，然后跳转至步骤9；步骤5：提取当前帧的orb点特征，并计算brief描述子；步骤6：在局部关键帧之间，点线特征均采用描述子的方式匹配；步骤7：基于局部关键帧之间点线特征的重投影误差构建代价函数f2，再次优化调整位姿；步骤8：回环检测，调整全局位姿；步骤9：输出全部图像帧的位姿。2.根据权利要求1所述的一种基于光流跟踪和特征匹配的回环检测及视觉slam方法，其特征在于所述步骤1中的图像预处理方法为：首先将图像转换为灰度图像，然后利用自适应直方图均衡算法对图像做增强处理。3.根据权利要求1所述的一种基于光流跟踪和特征匹配的回环检测及视觉slam方法，其特征在于所述步骤2中，包括如下步骤：步骤2.1：采用lk光流法，由当前帧的左目图像跟踪前一帧的左目图像，进行点特征的跟踪匹配；步骤2.2：筛选并补充orb点特征；步骤2.3：采用lsd线特征提取算法以及lbd线特征描述算法，在当前帧的左、右目图像之间提取线特征并计算线特征描述子；步骤2.4：相邻帧的左目图像之间通过lbd描述子匹配的方式进行线特征匹配。4.根据权利要求1所述的一种基于光流跟踪和特征匹配的回环检测及视觉slam方法，其特征在于所述步骤3中，包括如下步骤：步骤3.1：根据相邻帧之间点线特征的数据关联关系，由光束平差法构建基于点线特征重投影误差的代价函数f1；步骤3.2：采用高斯牛顿法求解f1，对当前帧的位姿进行优化调整。5.根据权利要求1所述的一种基于光流跟踪和特征匹配的回环检测及视觉slam方法，其特征在于所述步骤4中，判断当前帧是否为关键帧具体为：关键帧同时满足了以下条件：1)与上一个关键帧之间至少含有20个图像帧；2)至少成功追踪到了50个点特征和15条线特征；3)与上一个关键帧之间的共视点、线特征信息少于75％。6.根据权利要求1所述的一种基于光流跟踪和特征匹配的回环检测及视觉slam方法，其特征在于所述步骤6中，包括了如下步骤：步骤6.1：当前帧的左、右目图像之间的点特征通过brief描述子匹配的方式，进行双目立体匹配；
步骤6.2：局部关键帧的左目图像之间的点、线特征均分别通过brief、lbd描述子匹配的方式，进行双目立体匹配。7.根据权利要求1所述的一种基于光流跟踪和特征匹配的回环检测及视觉slam方法，其特征在于所述步骤7中，包括了如下步骤：步骤7.1：根据局部关键帧之间点线特征的数据关联关系，由光束平差法构建基于点线特征重投影误差的代价函数f2；步骤7.2：采用高斯牛顿法求解f2，对局部关键帧的位姿进行优化调整。8.根据权利要求1所述的一种基于光流跟踪和特征匹配的回环检测及视觉slam方法，其特征在于所述步骤8中，包括了如下步骤：步骤8.1：利用全局特征算子对图像进行结构校验，选取回环候选帧；步骤8.2：利用局部特征算子比较图像之间的相似性，验证回环候选帧是否是真回环。

技术总结
本发明涉及一种基于光流跟踪和特征匹配的回环检测及视觉SLAM方法，属于机器人定位与导航技术领域。本发明设计了基于光流跟踪和特征匹配的视觉SLAM算法框架，该框架分别对视觉里程计、回环检测等模块进行了优化设计。在视觉里程计模块，将LK光流法引入到基于点线特征的数据关联中，设计了基于光流跟踪和点线特征匹配的视觉里程计算法，提高了算法的快速性；在回环检测模块，将图像信息的全局特征算子和局部特征算子相结合，设计了基于点线特征的回环检测算法，提高了算法的准确性。最后开展了算法的实现工作和实验对比研究，该实验在室内EuRoC数据集上进行，实验结果表明本文算法相较于ORB


技术研发人员：李慧平 宋晓 施阳 张卓
受保护的技术使用者：西北工业大学
技术研发日：2021.09.16
技术公布日：2022/1/3