一种基础模型增强的动态视觉SLAM方法及相关设备
本技术属于动态视觉slam,具体涉及一种基础模型增强的动态视觉slam方法及相关设备。
背景技术:
1、视觉slam(simultaneous localization and mapping,同步定位与地图构建)用于根据图像数据估计载体位姿并构建环境地图,广泛应用于机器人导航、增强现实、无人系统和智能感知等场景。在实际应用中,待处理场景通常并非完全静态,人员、车辆、动物或其他可移动目标会在图像中形成动态区域,使视觉slam系统提取到的特征点受到动态目标干扰。
2、现有动态视觉slam方法通常在视觉slam前端引入目标检测、语义分割或运动一致性判断等处理,对可能属于动态目标的区域进行识别,并在位姿估计前对相关区域或特征进行过滤。该类方法能够在一定程度上降低动态目标对定位和建图的影响,但其处理结果往往依赖单帧检测或分割输出。当检测结果或分割结果存在误检、漏检、边界不准确或跨帧抖动时,动态区域过滤容易出现两类问题:一方面,真实动态区域未被充分过滤,仍可能参与视觉slam系统的特征提取和位姿估计;另一方面,静态背景区域被误判为动态区域并被过滤,导致可用视觉信息减少。
3、随着开放词汇检测模型和实例分割基础模型的发展,其可以在较少类别限制下识别和分割图像中的目标对象,但基础模型输出本身并不必然适合直接作为动态视觉slam前端的过滤依据。若仅根据基础模型的单帧输出直接执行动态区域过滤,仍可能将基础模型的不稳定输出传递至视觉slam处理过程,影响轨迹估计和地图结果的稳定性。因此,需要对基础模型输出进行任务相关性、可靠性和跨帧状态判断,使动态区域过滤更适配视觉slam前端处理需求。
技术实现思路
1、本技术的目的在于提供一种基础模型增强的动态视觉slam方法及相关设备,以克服现有技术主要依赖单帧检测或分割结果进行动态区域过滤,导致误检、漏检或跨帧抖动被传递至视觉slam前端并影响轨迹与地图结果稳定性的技术问题。
2、为了实现上述目的,本技术采用以下技术方案予以实现:
3、第一方面,本技术提供一种基础模型增强的动态视觉slam方法,包括:
4、获取待处理场景的当前帧rgb-d图像数据;
5、基于开放词汇检测基础模型从所述当前帧rgb-d图像数据中确定候选目标区域,并基于实例分割基础模型和所述当前帧rgb-d图像数据对所述候选目标区域进行实例分割和深度一致性处理,得到候选实例;
6、根据所述候选实例的类别信息、图像分布信息和深度差异信息确定任务相关性评分,根据所述开放词汇检测基础模型的检测结果和所述实例分割基础模型的分割结果确定基础模型可靠性评分,并根据所述候选实例与历史实例轨迹的关联状态确定跨帧运动状态;
7、根据所述任务相关性评分、所述基础模型可靠性评分和所述跨帧运动状态对所述候选实例进行门控筛选,确定待过滤动态实例;
8、对所述待过滤动态实例在所述当前帧rgb-d图像数据中的对应区域进行一致性过滤,并将过滤后的rgb-d图像数据输入视觉slam系统,输出基础模型增强后的轨迹与地图结果。
9、在一种实施例中,所述基于开放词汇检测基础模型从所述当前帧rgb-d图像数据中确定候选目标区域,包括:
10、根据预设动态目标类别确定动态目标提示词集合;
11、将所述动态目标提示词集合和所述当前帧rgb-d图像数据中的彩色图像输入至所述开放词汇检测基础模型,得到初始候选目标区域以及所述初始候选目标区域对应的类别信息和检测置信度;
12、根据所述类别信息和所述检测置信度对所述初始候选目标区域进行筛选,得到所述候选目标区域。
13、在一种实施例中,所述基于实例分割基础模型和所述当前帧rgb-d图像数据对所述候选目标区域进行实例分割和深度一致性处理,得到候选实例,包括:
14、将所述候选目标区域作为分割提示输入所述实例分割基础模型,得到候选实例掩膜;
15、基于所述当前帧rgb-d图像数据中的深度图像,确定所述候选实例掩膜对应的前景深度区域和局部背景深度区域;
16、根据所述前景深度区域和所述局部背景深度区域之间的深度差异,对所述候选实例掩膜进行保留、缩减或剔除处理;
17、根据未被剔除的候选实例掩膜和所述候选目标区域确定所述候选实例。
18、在一种实施例中,所述根据所述候选实例的类别信息、图像分布信息和深度差异信息确定任务相关性评分,包括:
19、根据所述开放词汇检测基础模型的检测结果确定所述候选实例的类别信息;
20、根据所述候选实例在所述当前帧rgb-d图像数据中的区域面积、区域面积占比和区域中心位置中的至少一项确定所述图像分布信息;
21、根据所述候选实例对应区域的深度分布与邻近区域的深度分布之间的差异确定所述深度差异信息;
22、根据所述类别信息、所述图像分布信息和所述深度差异信息确定所述任务相关性评分。
23、在一种实施例中,所述根据所述开放词汇检测基础模型的检测结果和所述实例分割基础模型的分割结果确定基础模型可靠性评分,包括:
24、根据所述开放词汇检测基础模型输出的检测置信度确定检测可靠性分量;
25、根据所述实例分割基础模型输出的分割质量、分割区域面积、分割区域紧致性和分割区域边界接触程度中的至少两项确定分割可靠性分量;
26、根据所述检测可靠性分量和所述分割可靠性分量确定所述基础模型可靠性评分。
27、在一种实施例中,所述根据所述候选实例与历史实例轨迹的关联状态确定跨帧运动状态,包括:
28、根据所述候选实例与所述历史实例轨迹之间的区域重叠程度、外观相似度、深度相似度和位移连续性中的至少两项,将所述候选实例与所述历史实例轨迹进行关联;
29、根据所述候选实例与关联的历史实例轨迹之间的中心位置变化和深度变化中的至少一项,以及所述关联的历史实例轨迹的轨迹命中次数、累计位移和最大位移中的至少一项,确定所述候选实例的跨帧运动状态。
30、在一种实施例中,所述根据所述任务相关性评分、所述基础模型可靠性评分和所述跨帧运动状态对所述候选实例进行门控筛选,确定待过滤动态实例,包括:
31、当所述任务相关性评分低于预设任务相关性阈值时,不将对应的候选实例确定为所述待过滤动态实例;
32、当所述基础模型可靠性评分低于预设可靠性阈值时,不将对应的候选实例确定为所述待过滤动态实例;
33、当所述跨帧运动状态满足预设静态保护条件时,不将对应的候选实例确定为所述待过滤动态实例;
34、当所述任务相关性评分不低于所述预设任务相关性阈值、所述基础模型可靠性评分不低于所述预设可靠性阈值、所述跨帧运动状态满足预设动态过滤条件且不满足所述预设静态保护条件时,将对应的候选实例确定为所述待过滤动态实例。
35、第二方面,本技术提供一种基础模型增强的动态视觉slam系统,包括:
36、数据获取模块,用于获取待处理场景的当前帧rgb-d图像数据;
37、候选实例生成模块,用于基于开放词汇检测基础模型从所述当前帧rgb-d图像数据中确定候选目标区域,并基于实例分割基础模型和所述当前帧rgb-d图像数据对所述候选目标区域进行实例分割和深度一致性处理,得到候选实例;
38、评分门控模块,用于根据所述候选实例的类别信息、图像分布信息和深度差异信息确定任务相关性评分,根据所述开放词汇检测基础模型的检测结果和所述实例分割基础模型的分割结果确定基础模型可靠性评分,并根据所述候选实例与历史实例轨迹的关联状态确定跨帧运动状态,根据所述任务相关性评分、所述基础模型可靠性评分和所述跨帧运动状态对所述候选实例进行门控筛选,确定待过滤动态实例;
39、视觉slam输出模块,用于对所述待过滤动态实例在所述当前帧rgb-d图像数据中的对应区域进行一致性过滤,并将过滤后的rgb-d图像数据输入视觉slam系统,输出基础模型增强后的轨迹与地图结果。
40、第三方面,本技术提供一种计算机设备,包括处理器和计算机可读存储介质;
41、所述处理器适于执行计算机程序;
42、所述计算机可读存储介质中存储有计算机程序,所述计算机程序被所述处理器执行时,实现如第一方面任一实施例所述的基础模型增强的动态视觉slam方法。
43、第四方面,本技术提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序适于被处理器加载并执行如第一方面任一实施例所述的基础模型增强的动态视觉slam方法。
44、与现有技术相比,本技术具有以下有益效果:
45、第一方面,本技术提供了一种基础模型增强的动态视觉slam方法。本技术通过基于开放词汇检测基础模型和实例分割基础模型得到候选实例,并根据候选实例的任务相关性评分、基础模型可靠性评分和跨帧运动状态进行门控筛选,使基础模型输出在进入视觉slam系统前经过任务适配、可靠性判断和跨帧状态约束,从而减少因单帧检测或分割结果误检、漏检或抖动导致的动态区域误过滤或漏过滤,提高动态场景下轨迹与地图结果的稳定性。
46、第二方面,本技术提供了一种基础模型增强的动态视觉slam系统。该系统通过数据获取模块、候选实例生成模块、评分门控模块和视觉slam输出模块实现上述方法中的候选实例生成、评分与状态确定、门控筛选以及一致性过滤输出路径,使基础模型增强的动态视觉slam处理链路能够通过对应模块实现,便于模块化部署和稳定执行。
47、第三方面,本技术提供了一种计算机设备。该计算机设备通过处理器执行计算机程序实现上述基础模型增强的动态视觉slam方法中的数据获取、候选实例生成、门控筛选、一致性过滤和轨迹与地图结果输出,使动态视觉slam的数据处理和结果输出能够在该计算机设备中完成。
48、第四方面,本技术提供了一种计算机可读存储介质。该计算机可读存储介质用于存储实现上述基础模型增强的动态视觉slam方法的计算机程序,使上述方法能够通过程序加载和执行的方式实现,便于在计算机设备中调用和运行。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com