回环检测方法、装置、计算机设备及存储介质与流程
本技术涉及同步定位与建图,具体而言,涉及一种回环检测方法、装置、计算机设备及存储介质。
背景技术:
1、当前机器人三维3d同时定位与建图(simultaneous localization and mapping,slam)系统已广泛应用于自动驾驶、无人系统和机器人等领域,而回环检测作为其中的关键模块之一,是实现全局一致高精度地图构建的核心技术,其基本目标是识别机器人是否重新到达曾经访问过的地点,从而对累积误差进行校正,提高定位与建图精度。
2、在早期研究中,回环检测多依赖卡尔曼滤波方法或基于里程计的一致性判断,但这类方法难以应对长时间运行中的误差累积问题。随着研究发展,基于外观的回环检测逐渐成为主流,典型方法是利用视觉或激光数据构建特征描述进行场景匹配,从而为后端图优化提供约束,但上述回环检测仍面临诸多挑战,例如光照变化、视角差异、动态物体干扰以及环境重复结构等,这些因素会显著影响匹配的准确性。因此,实现不同场景下的精确回环检测技术,仍具有一定挑战。
技术实现思路
1、有鉴于此,本技术提供一种回环检测方法、装置、计算机设备及存储介质。
2、第一方面,本技术实施例提供了一种回环检测方法,包括:
3、获取机器人在移动过程中实时采集的当前图像数据和当前帧点云数据;
4、确定所述当前图像数据对应的视觉词袋向量和全局特征信息,并将所述全局特征信息存储至全局特征数据库、所述视觉词袋向量存储至视觉词袋数据库;
5、在确定所述当前帧点云数据属于关键帧时,将所述当前帧点云数据更新至关键帧点云列表,从所述关键帧点云列表中确定所述当前图像数据匹配的目标点云数据,其中所述目标点云数据和所述当前图像数据构成当前数据对;
6、利用所述当前图像数据的特征数据,确定多个历史数据对中是否存在与所述当前图像数据匹配的回环候选数据对;其中所述特征数据包括以下至少一种:视觉词袋向量、全局特征信息;
7、若存在,则基于所述当前图像数据和/或所述目标点云数据,确定环境复杂度指标,并确定所述环境复杂度指标匹配的聚合帧数;
8、利用所述聚合帧数个第一点云数据,构建历史点云子地图,以及利用所述聚合帧数个第二点云数据,构建当前点云子地图;其中所述第一点云数据包括所述回环候选数据对中的关键点云数据、以及所述关键点云数据前的第一历史点云数据;所述第二点云数据包括所述目标点云数据和所述目标点云数据前的第二历史点云数据;
9、基于所述历史点云子地图和所述当前点云子地图进行配准,确定配准结果;在配准结果指示配准成功时,确定执行回环处理流程。
10、一种可选的实施方式中,所述确定所述当前图像数据对应的视觉词袋向量和全局特征信息,包括:
11、将所述当前图像数据的数据格式转换为灰度格式,并对转换后的当前图像数据进行去畸变处理,生成处理后图像数据;
12、根据所述处理后图像数据,生成多种尺寸比例的金字塔图像;
13、对所述金字塔图像中各图像进行快速fast角点特征检测与描述子计算,确定所述当前图像数据包括的角点、以及各角点对应的描述子特征;
14、根据所述各角点对应描述子特征、以及设置的视觉词典,生成所述当前图像数据对应的视觉词袋向量;
15、对所述当前图像数据包括的角点进行筛选,基于筛选后的角点对应的描述子特征,生成所述当前图像数据对应的全局特征信息。
16、一种可选的实施方式中,所述对所述金字塔图像中各图像进行快速fast角点特征检测与描述子计算,确定所述当前图像数据包括的角点、以及各角点对应的描述子特征,包括:
17、针对所述金字塔图像中每个图像,遍历所述图像中每个像素点,将所述像素点作为待处理像素点执行下述步骤:
18、以所述待处理像素点为中心构建的采样邻域,确定所述采样邻域的边界上以所述待处理像素点为基准、多个目标方位上的候选像素点的像素信息,与待处理像素点的像素信息之间的第一像素偏差;并确定所述第一像素偏差的绝对值大于第一像素阈值的第一像素点数量;
19、若所述第一像素点数量大于设置的第一数量阈值,则判断所述采样邻域的边界上的多个候选像素点是否满足以下筛选条件:至少连续n个候选像素点的像素信息均大于待处理像素点的像素信息、且像素信息之间的第二像素偏差大于设置的第二像素阈值;或者,至少连续n个候选像素点的像素信息均小于待处理像素点的像素信息、且像素信息之间的第二像素偏差大于设置的第二像素阈值;
20、若满足,则确定所述待处理像素点属于候选角点;
21、在所述图像中各像素点均遍历之后,对所述图像包括的多个候选角点进行非极大值抑制处理,得到所述图像包括的角点,并生成每个所述角点对应的描述子特征;
22、将所述金字塔图像中各图像分别对应的角点和描述子特征,确定为所述当前图像数据包括的角点、以及各角点对应的描述子特征。
23、一种可选的实施方式中,所述利用所述当前图像数据的特征数据,确定多个历史数据对中是否存在与所述当前图像数据匹配的回环候选数据对,包括:
24、根据所述当前图像数据的视觉词袋向量,以及视觉词袋数据库中存储的历史数据对中历史图像数据的视觉词袋向量,确定是否存在词袋匹配得分大于设置的第一匹配阈值的候选历史图像数据;
25、若存在,则针对每个候选历史图像数据,基于所述当前图像数据的全局特征信息,以及所述全局特征数据库中存储的所述候选历史图像数据的全局特征信息,确定特征匹配得分;
26、若所述特征匹配得分大于设置的第二匹配阈值,则确定所述当前图像数据关联的目标点云数据的时间戳、与所述候选历史图像数据关联的历史点云数据的时间戳之间的时间差值;
27、若所述时间差值大于设置的时差阈值,则确定包括所述候选历史图像数据的历史数据对属于回环候选数据对。
28、一种可选的实施方式中,所述基于所述历史点云子地图和所述当前点云子地图进行配准,确定配准结果,包括:
29、对所述历史点云子地图和所述当前点云子地图进行配准,确定变换矩阵、内点率和配准得分;
30、根据所述变换矩阵,对所述历史点云子地图进行转换处理,生成处理后的历史点云子地图;
31、根据所述处理后的历史点云子地图和所述当前点云子地图,确定重叠率和法向一致性指标;
32、根据所述内点率、所述配准得分、所述重叠率和所述法向一致性指标,确定融合置信度分值;
33、在所述融合置信度分值指示为高置信度时,确定配准结果为配准成功;
34、在所述融合置信度分值指示为中置信度时,确定配准结果为待确认;
35、在所述融合置信度分值指示为低置信度时,确定配准结果为配准失败。
36、一种可选的实施方式中,在配准结果指示配准成功之后,所述方法还包括:
37、继续获取机器人采集的图像数据和点云数据;
38、利用采集的图像数据和点云数据,判断该帧数据是否满足以下校验条件:检测到的区域与所述回环候选数据对指示的历史区域为同一区域,且确定的配准结果为高置信度或中置信度;
39、若连续多帧数据均满足校验条件,则确定所述回环候选数据对的复核结果为复核通过;
40、所述确定执行回环处理流程,包括:
41、在复核通过之后,确定执行回环处理流程。
42、一种可选的实施方式中,在基于所述历史点云子地图和所述当前点云子地图进行配准之前,还包括:
43、确定所述历史点云子地图对应的第一全局描述子,以及所述当前点云子地图对应的第二全局描述子;
44、根据所述第一全局描述子和所述第二全局描述子,确定描述子距离;
45、所述基于所述历史点云子地图和所述当前点云子地图进行配准,确定配准结果,包括:
46、在所述描述子距离小于设置的距离阈值时,基于所述历史点云子地图和所述当前点云子地图进行配准,确定配准结果。
47、第二方面,本技术实施例还提供一种回环检测装置,包括:
48、获取模块,用于获取机器人在移动过程中实时采集的当前图像数据和当前帧点云数据;
49、第一确定模块,用于确定所述当前图像数据对应的视觉词袋向量和全局特征信息,并将所述全局特征信息存储至全局特征数据库、所述视觉词袋向量存储至视觉词袋数据库;
50、第二确定模块,用于在确定所述当前帧点云数据属于关键帧时,将所述当前帧点云数据更新至关键帧点云列表,从所述关键帧点云列表中确定所述当前图像数据匹配的目标点云数据,其中所述目标点云数据和所述当前图像数据构成当前数据对;
51、第三确定模块,用于利用所述当前图像数据的特征数据,确定多个历史数据对中是否存在与所述当前图像数据匹配的回环候选数据对;其中所述特征数据包括以下至少一种:视觉词袋向量、全局特征信息;
52、第四确定模块,用于若存在,则基于当前图像数据和/或所述目标点云数据,确定环境复杂度指标,并确定所述环境复杂度指标匹配的聚合帧数;
53、构建模块,用于利用所述聚合帧数个第一点云数据,构建历史点云子地图,以及利用所述聚合帧数个第二点云数据,构建当前点云子地图;其中所述第一点云数据包括所述回环候选数据对中的关键点云数据、以及所述关键点云数据前的第一历史点云数据;所述第二点云数据包括所述目标点云数据和所述目标点云数据前的第二历史点云数据;
54、第五确定模块,用于基于所述历史点云子地图和所述当前点云子地图进行配准,确定配准结果;并在配准结果指示配准成功时,确定执行回环处理流程。
55、本技术提供了一种计算机可读存储介质,所述存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述回环检测方法。
56、本技术提供了一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现上述回环检测方法。
57、本技术提供的回环检测方法、装置、计算机设备及存储介质,通过确定当前图像数据对应的视觉词袋向量和全局特征信息,以便利用当前图像数据的特征数据比如全局特征信息和/或视觉词袋向量,确定多个历史数据对中是否存在与当前图像数据匹配的回环候选数据对,实现回环检测的初筛选。在确定存在回环候选数据对时,通过确定环境复杂度指标,以确定构建点云子地图所使用的点云数据帧数,比如结构清晰区域可以确定聚合帧数较小,以利用较少的点云数据进行点云子地图构建,提高构建效率,而在几何退化区域可以确定聚合帧数较大,以利用选取较多的点云数据进行点云子地图构建,以增强鲁棒性,保障子地图的精度,实现了子地图尺度的自适应调整。
58、进一步的,本技术中以子地图替代相关技术中单帧点云配准,利用多帧几何冗余能够获得更稳定的相对变换。且由于子地图通过多帧叠加提高了点云密度,过滤了动态噪点,故本技术使用子地图进行配准,可以使得配准结果更加可靠,提高了回环检测的准确性。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com