基于语义候选与多几何一致性校验的动态场景视觉SLAM方法及系统

摘要: 本发明属于同步定位与建图,具体涉及基于语义候选与多几何一致性校验的动态场景视觉slam方法及系统。背景技术:1、同步定位与建图(slam)是移动机器人、无人驾驶...
基于语义候选与多几何一致性校验的动态场景视觉SLAM方法及系统

本发明属于同步定位与建图,具体涉及基于语义候选与多几何一致性校验的动态场景视觉slam方法及系统。

背景技术:

1、同步定位与建图(slam)是移动机器人、无人驾驶和智能导航系统中的关键基础技术。传统视觉slam方法通常建立在“场景刚性、环境静态”的假设之上,通过连续图像帧中的特征匹配、位姿估计、局部建图和全局优化实现相机轨迹恢复与环境地图构建。orb-slam3作为经典开源视觉slam系统,支持单目、双目、rgb-d等配置,在静态或弱动态环境下具有较高精度和实时性。然而,在真实应用场景中,行人、车辆、可移动物体等动态目标普遍存在,动态特征点会破坏静态场景假设,导致错误匹配、位姿漂移、局部地图污染和稠密点云残影等问题。因此,如何在动态场景中准确识别并抑制动态特征,同时尽可能保留有效静态约束,是动态视觉slam研究的重要问题。

2、目前动态视觉slam主流研究主要可以分为三类。

3、第一类是基于几何一致性的动态点检测方法。该类方法通常利用极线约束、重投影误差、多视图几何、光流一致性或深度残差判断特征点是否符合静态运动模型。其优点是不依赖具体物体类别,理论上能够发现未知动态目标;缺点是对初始位姿、匹配质量、场景纹理和背景静态点数量较敏感,在大面积动态遮挡或快速运动场景下容易出现误判。dynaslam在orb-slam2基础上结合多视图几何和深度学习检测动态物体,并进一步进行背景修复,验证了动态目标剔除对slam精度和静态地图质量的重要意义。

4、第二类是基于语义信息的动态特征剔除方法。这类方法利用目标检测、语义分割或实例分割网络识别图像中的人、车辆等先验动态类别,再剔除相关区域内的特征点。ds-slam将语义分割与运动一致性检测结合,用于改善动态环境下的视觉slam鲁棒性。近年来,随着yolo系列目标检测模型的发展,实时目标检测在动态slam中的应用更加广泛。这类方法实时性好、工程部署方便,但单纯依赖语义先验也存在明显不足:一方面,语义类别只能表示“可能动态”,不能证明目标当前正在运动;另一方面,候选框内往往包含背景静态区域,直接硬剔除会造成静态特征损失,尤其在sitting等弱动态场景中可能降低定位精度。

5、第三类是语义与几何融合的动态slam方法。该类方法通常先利用语义网络获取潜在动态区域,再结合几何约束、深度信息、运动一致性或后端优化进一步判断动态状态。dynaslam ii将实例语义分割、orb特征和多目标跟踪结合,并在ba(bundle adjustment,光束平差法)中联合优化静态结构、动态物体和相机轨迹,体现了从“剔除动态点”向“理解动态场景”的发展趋势。rds-slam进一步将目标检测、跟踪预测和语义八叉树地图融合,用于实时动态场景语义建图。panoptic-slam基于orb-slam3和全景分割进行动态目标过滤,强调单纯深度学习方法对未知动态物体仍存在局限,因此需要更强的场景理解与几何判别机制。这些研究说明,语义信息能够提供动态先验,而几何一致性能够提供运动证据,二者融合是提升动态场景视觉slam鲁棒性的有效方向。

6、现有纯语义动态slam方法虽然能够快速定位潜在动态目标,但容易将动态类别区域中的静态背景点一并剔除;纯几何方法虽具有类别无关性,但在复杂动态遮挡和弱纹理环境中稳定性不足。部分现有融合方法仍可能存在语义误检、检测框内静态特征误删、几何模型受背景匹配质量影响等问题。

技术实现思路

1、本发明旨在解决现有技术的不足,提供了如下方案:

2、一种基于语义候选与多几何一致性校验的动态场景视觉slam方法,包括以下步骤:

3、获取同步的rgb图像和深度图像,根据所述rgb图像进行orb特征提取与帧间匹配,并利用yolo26n目标检测模型检测潜在的动态目标区域;

4、根据所述动态目标区域,将检测框内的orb特征标记为语义候选点,将检测框外的匹配特征作为背景匹配点;

5、根据所述背景匹配点估计基础矩阵和临时相对位姿,建立当前帧的背景静态运动模型;

6、根据所述基础矩阵和所述临时相对位姿,对所述语义候选点进行验证,并根据验证结果更新所述语义候选点的状态,保留符合所述背景静态运动模型的特征,剔除具有充分动态证据的特征;

7、将筛选得到的有效静态特征输入orb-slam3跟踪、局部地图管理、关键帧管理、局部建图和回环检测模块,完成稠密点云重建。

8、优选的,得到所述动态目标区域的方法包括:

9、将yolo26n目标检测模型部署为tensorrt推理引擎;

10、设置检测置信度阈值为0.55,采用yolo26n的端到端nms-free推理路径;

11、在orb-slam3跟踪线程中调用所述tensorrt推理引擎对当前rgb图像进行实时检测,根据检测结果获取潜在的所述动态目标区域。

12、优选的,对所述语义候选点进行验证的方法包括:从极线一致性、重投影一致性和rgb-d深度残差一致性三个方面对所述语义候选点进行验证。

13、优选的,从所述极线一致性方面进行验证的方法包括:

14、获取上一帧与当前帧匹配特征点的齐次像素坐标和:

15、

16、

17、其中,

u和

v分别表示特征点在图像平面中的横纵像素坐标,

t表示矩阵转置;

18、根据基础矩阵f,构建静态匹配点的极线约束:

19、;

20、采用sampson距离衡量第

i个语义候选匹配点对极线约束的偏离程度:

21、

22、其中,表示sampson距离,表示上一帧特征点在当前帧中对应的极线,表示当前帧特征点在上一帧中对应的极线;和分别表示对应极线齐次向量的前两个分量;

23、设定极线一致性判别阈值,若则判定语义候选点满足极线一致性,若则认为存在较明显的极线约束偏离。

24、优选的,从所述重投影一致性方面进行验证的方法包括:

25、在rgb-d模式下,根据上一帧中第

i个语义候选特征的有效深度恢复其在上一帧相机坐标系下的三维坐标;

26、根据所述临时相对位姿,将上一帧中的语义候选三维点变换到当前帧相机坐标系:

27、

28、其中,表示当前帧相机坐标系下的三维坐标,表示上一帧相机坐标系到当前帧相机坐标系的旋转矩阵,表示上一帧相机坐标系到当前帧相机坐标系的平移向量;

29、根据相机内参矩阵和投影函数,得到该三维点在当前帧图像平面上的预测像素位置:

30、

31、其中,表示预测像素位置,表示由齐次图像坐标转换为二维像素坐标的投影;

32、获取第i个语义候选特征在当前帧中的实际二维观测像素坐标,并计算重投影误差:

33、

34、其中,表示重投影误差,表示二维欧氏范数;

35、设定重投影一致性判定阈值,若则判定该语义候选点满足重投影一致性。

36、优选的,从所述rgb-d深度残差一致性方面进行验证的方法包括:

37、根据所述临时相对位姿,将第

i个语义候选特征对应的三维点变换至当前帧相机坐标系,并取变换后三维点的z方向分量作为预测深度;

38、获取深度图中该语义候选特征位置的实际测量深度,计算深度残差:

39、

40、其中,表示深度残差;

41、确定第

i个语义候选特征点的深度残差一致性阈值:

42、

43、其中,表示深度残差一致性阈值;

44、若则判定该语义候选点满足深度残差一致性。

45、优选的,更新所述语义候选点的状态的方法包括:

46、分别定义所述极线一致性、所述重投影一致性和所述深度残差一致性的判定结果;

47、对于无效证据不直接赋值为0,而将其记为不可用状态;

48、根据有效几何证据数量和不满足静态几何约束的有效证据数量对语义候选特征点状态进行更新:

49、

50、其中,表示第

i个语义候选特征点经多几何一致性校验后的状态,表示静态,表示动态,表示不确定;

51、将判定为静态的语义候选点恢复为静态特征并参与后续相机位姿估计和地图构建;

52、将判定为动态的特征从后续跟踪、位姿估计和地图更新过程中剔除;

53、将判定为不确定的特征暂不作为可靠静态约束参与当前帧位姿估计。

54、优选的,进行所述稠密点云重建的方法包括:

55、将恢复为静态特征且未被判定为动态的所述语义候选点与所述背景匹配点中的有效静态特征共同输入orb-slam3跟踪、局部地图管理、关键帧管理、局部建图和回环检测模块中,得到相机轨迹和关键帧位姿;

56、根据所述关键帧位姿和rgb-d关键帧数据完成稠密点云重建。

57、本发明还提供了一种基于语义候选与多几何一致性校验的动态场景视觉slam系统,所述系统上述的方法,包括:目标区域检测模块、特征标记模块、模型构建模块、特征处理模块和图像重建模块;

58、所述目标区域检测模块用于获取同步的rgb图像和深度图像,根据所述rgb图像进行orb特征提取与帧间匹配,并利用yolo26n目标检测模型检测潜在的动态目标区域;

59、所述特征标记模块根据所述动态目标区域,将检测框内的orb特征标记为语义候选点,将检测框外的匹配特征作为背景匹配点;

60、所述模型构建模块根据所述背景匹配点估计基础矩阵和临时相对位姿,建立当前帧的背景静态运动模型;

61、所述特征处理模块根据所述基础矩阵和所述临时相对位姿,对所述语义候选点进行验证,并根据验证结果更新所述语义候选点的状态,保留符合所述背景静态运动模型的特征,剔除具有充分动态证据的特征;

62、所述图像重建模块用于将筛选得到的有效静态特征输入orb-slam3跟踪、局部地图管理、关键帧管理、局部建图和回环检测模块,完成稠密点云重建。

63、与现有技术相比,本发明的有益效果为:

64、本发明不再将检测框内特征直接视为动态点,而是利用背景匹配点建立临时静态运动模型,并综合极线一致性、重投影一致性和rgb-d深度残差一致性对候选特征进行再次验证,从而在抑制动态特征干扰的同时保留检测区域内符合静态运动模型的有效特征。

65、tum rgb-d数据集实验表明,本发明在walking_xyz、walking_halfsphere和walking_rpy强动态序列上的ate rmse较原生orb-slam3分别降低98.38%、95.78%和89.48%,rpe rmse分别降低94.07%、89.23%和81.62%。yolo26n纯语义方法相比,加入多几何一致性校验后,3组动态序列的ate rmse分别进一步降低5.03%、20.71%和61.51%,其中walking_rpy序列改善最为明显,表明多几何一致性校验能够在强旋转与动态目标干扰并存的场景中提供更加可靠的特征筛选结果。在sitting_xyz弱动态序列中,完整方法的atermse仍高于原生orb-slam3,但相较yolo26n纯语义方法已明显降低,表明语义硬剔除造成的静态特征损失得到一定缓解。稠密点云结果进一步显示,经过动态特征约束后,动态目标附近的局部点云重影有所减弱,静态场景结构的空间一致性和可辨识性得到改善。该结果从视觉层面对前述轨迹精度实验形成补充,说明降低动态特征对位姿估计的干扰有助于改善后续rgb-d点云融合与地图构建效果。