融合深度视觉信息的单线激光雷达回环检测方法及系统与流程

技术特征：
1.一种融合深度视觉信息的单线激光雷达回环检测方法，其特征在于：通过激光数据进行机器人的运动估计，构建出原始的占据栅格地图；回环检测部分利用到视觉数据，并使用激光数据和视觉数据进行回环验证，融合二者进行回环校正，最后通过图优化方式考虑全局额约束来求解优化构建最终的校正地图。2.根据权利要求1所述的融合深度视觉信息的单线激光雷达回环检测方法，其特征在于：所述的激光雷达建图采用单线激光雷达，基于单线激光雷达进行前端配准，包括激光帧构建、插入子图、求解优化位姿、最后将激光帧中的点云投影到子图，并插入到子图的占据栅格地图中。3.根据权利要求1所述的融合深度视觉信息的单线激光雷达回环检测方法，其特征在于：融合视觉与激光的回环检测流程中，将来自相机和激光传感器的数据进行关联，并构建成关键帧，然后利用关键帧中的视觉数据进行回环检测；当检测到回环以后，利用视觉和激光数据进行回环的验证；若回环通过了验证，则接受该回环，以用于后续校正。4.根据权利要求3所述的融合深度视觉信息的单线激光雷达回环检测方法，其特征在于：实现过程包括如下步骤，s1.构建关键帧；s2.使用图像的单词向量搜索回环候选帧并检验；s3.使用图像的全局描述子对回环候选帧进行排序，根据分数从大到小排序回环候选帧；s4.依次对每个回环候选帧检查连续一致性，以减少误检率；s5.使用激光数据和视觉地图点进一步验证回环。5.根据权利要求4所述的融合深度视觉信息的单线激光雷达回环检测方法，其特征在于：构建关键帧时，进行激光雷达和相机坐标系变换的求解、视觉帧的构建、视觉3d地图点构建，获得关联的激光帧、视觉帧以及子图，且视觉帧中的特征点被构建为具有空间信息的3d地图点，然后生成融合关键帧。6.根据权利要求4所述的融合深度视觉信息的单线激光雷达回环检测方法，其特征在于：所述使用激光数据和视觉地图点进一步验证回环，实现方式为首先检验激光数据来验证回环，使用快速相关性扫描匹配，设激光雷达放在地图的每个栅格上，点云与地图重合程度最高的位置就是激光雷达的真实位姿，按此原理检测当前帧所对应的激光点云与回环候选帧对应的子图之间的匹配度，若匹配度大于相应的阈值，则接受该回环候选帧，否则丢弃该回环帧；然后使用视觉地图点进一步验证回环，将回环候选帧所对应的子图中的3d地图点重投影到当前帧中来通过视觉地图点验证回环，基于投影点的坐标，在搜索空间中寻找最近且距离小于相应距离阈值的匹配特征点，若匹配特征点对数小于设定的相应阈值，则丢弃该回环帧，否则接受该回环帧。7.一种融合深度视觉信息的单线激光雷达回环检测系统，其特征在于：用于实现如权利要求1-6任一项所述的一种融合深度视觉信息的单线激光雷达回环检测方法。8.根据权利要求6所述融合深度视觉信息的单线激光雷达回环检测系统，其特征在于：包括处理器和存储器，存储器用于存储程序指令，处理器用于调用存储器中的存储指令执行如权利要求1-6任一项所述的一种融合深度视觉信息的单线激光雷达回环检测方法。
9.根据权利要求6所述融合深度视觉信息的单线激光雷达回环检测系统，其特征在于：包括可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序执行时，实现如权利要求1-6任一项所述的一种融合深度视觉信息的单线激光雷达回环检测方法。

技术总结
本发明提供一种融合深度视觉信息的单线激光雷达回环检测方法及系统，其特征在于：通过激光数据进行机器人的运动估计，构建出原始的占据栅格地图；回环检测部分利用到视觉数据，并使用激光数据和视觉数据进行回环验证，融合二者进行回环校正，最后通过图优化方式考虑全局额约束来求解优化构建最终的校正地图。本发明结合视觉获得的丰富纹理信息与激光雷达提供的更精准的环境结构信息，联合激光点云和视觉特征点进行回环的验证，基于帧到局部地图的方式进行激光点云匹配，以减少单线激光雷达稀疏点云带来的计算误差。同时，也使用局部地图中的视觉地图点重投影匹配方法来进一步确保回环的准确性。确保回环的准确性。确保回环的准确性。


技术研发人员：郭迟 左文炜 潘艳玥
受保护的技术使用者：中山赛伯坦智能科技有限公司
技术研发日：2023.03.09
技术公布日：2023/8/8