一种里程计中动态特征剔除处理方法及系统与流程

摘要: 本发明属于人机交互、计算机视觉、虚拟/增强现实的,具体地涉及一种里程计中动态特征剔除处理方法及系统。背景技术:1、基于特征法的视觉惯性里程计(vio,visua...
一种里程计中动态特征剔除处理方法及系统与流程

本发明属于人机交互、计算机视觉、虚拟/增强现实的,具体地涉及一种里程计中动态特征剔除处理方法及系统。

背景技术:

1、基于特征法的视觉惯性里程计(vio,visual-inertial odometry)系统中的动态特征点剔除模块,通常采用传统的ransac(随机采样一致性,random sample consensus)加对极几何约束作为核心动态检测手段。现有技术通常采用固定的像素阈值来判定内外点,然而,在现实场景中,远处的物体(如墙壁、远处的建筑)和近处的物体(如桌面、手持物体)在相机运动相同的物理距离时,其像素位移差异巨大。如果阈值设置过紧,远处受噪声影响的静态特征会被大量误删,导致定位漂移;如果阈值设置过宽,近处运动的动态物体(如行走的人)因其像素位移大反而被判定为静态内点,导致严重的定位误差。

2、同时对极约束仅能检测到偏离极线的运动。当一个三维点恰好沿着极线方向移动时,其在两帧图像中的投影始终严格满足对极约束。传统方法无法识别此类“沿极线运动”的物体(如迎面驶来的车辆、横向平移的障碍物),会将这些危险的动态特征点作为静态路标点引入地图构建,破坏系统的环境一致性。

3、在纯旋转下,所有点无论动静都满足同一个基础矩阵,传统方法完全失效;在低视差下,深度估计的误差会导致对极距离计算极不稳定,传统方法缺乏有效的应对策略,无法保证系统在极端运动模式下的鲁棒性。

技术实现思路

1、为了解决上述技术问题,本发明提出一种里程计中动态特征剔除处理方法及系统,采用尺度自适应对极距离阈值替代固定阈值,利用imu(惯性测量单元,inertialmeasurement unit)预积分主动识别退化场景并切换策略,通过三角化深度一致性检验解决沿极线运动盲区,利用区域膨胀形成“检测→剔除→屏蔽”闭环,最终实现动态环境下高精度、高鲁棒性的里程计定位。

2、第一方面,本发明提供以下技术方案,一种里程计中动态特征剔除处理方法,包括:

3、s1、对输入图像进行多尺度特征提取与帧间特征匹配,得到前后两帧图像特征的初始匹配点;

4、s2、基于基础矩阵计算初始匹配点的对称对极距离,采用尺度自适应对极距离阈值进行判定,以得到标记为疑似动态的特征点;

5、s3、对已建立三维地图点的特征,根据预测深度与观测深度的深度比进行判定,以识别沿极线运动的特征点;

6、s4、对每个特征点在滑动窗口内的多帧判定结果进行融合,得到综合动态得分,根据所述综合动态得分确定动态点、静态点和未决点;

7、s5、将图像划分为粗粒度网格,统计每个网格内动态特征点占该网格总特征点的比例,根据所述比例标记动态区域,并对动态区域执行形态学膨胀,形成动态区域掩码;

8、s6、将检验得到的静态特征交付给前端定位系统,并用所述动态区域掩码指导后续特征提取与匹配。

9、相比现有技术,本发明的有益效果为:本发明采用尺度自适应对极距离阈值而非固定阈值方法,解决了固定阈值在远近特征上表现不一致的问题;利用imu预积分计算帧间旋转和平移,主动识别“纯旋转”和“低视差”等退化场景,在纯旋转时跳过失效的对极检验,在低视差时自动放宽阈值,保证系统在极端运动模式下仍能保持逻辑自洽和鲁棒运行;采用三角化深度一致性检验和反向跟踪检查方法,有效解决极线约束运动盲区;区域膨胀将稀疏标签转化为稠密掩码,从源头阻止新动态特征进入系统,形成完整的“检测→剔除→屏蔽”闭环;将多条互补的几何检验构成递进漏斗,每多通过一层静态置信度递增,比任何单一准则方法都更稳健;在ransac估算基础矩阵时优先从图像边缘区域采样点,利用ar(增强现实,augmented reality)场景中边缘多为静态背景的先验知识,提高了基础矩阵估算的收敛速度和准确性。

10、较佳的,所述对输入图像进行多尺度特征提取与帧间特征匹配,得到前后两帧图像特征的初始匹配点的步骤包括:

11、将图像均匀划分为13×13个网格,对每个网格图像进行特征提取,并保证每个网格的特征点数量大于20个;

12、对输入图像构建多尺度图像金字塔,在不同金字塔层级中完成关键点检测与二进制描述子提取,同时记录每一个有效特征点对应的金字塔层级信息;

13、采用暴力匹配或k邻近匹配算法中的一种,对相邻帧的特征描述子进行遍历匹配;

14、通过记录特征点金字塔层级参数,为后续动态特征甄别和异常匹配对滤除提供尺度依据,以得到前后两帧图像特征初始匹配点:像素级对应关系和。

15、较佳的,所述基于基础矩阵计算匹配点的对称对极距离,采用尺度自适应对极距离阈值进行判定,以得到标记为疑似动态的特征点的步骤包括:

16、采用ransac加归一化8点法,并结合边缘优先采样的空间先验,ransac在随机采样8组匹配点时,优先从图像边缘区域采样;对候选基础矩阵,将满足当前模型估计的匹配点作为内点,利用内点数最多的候选基础矩阵作为最终估计的基础矩阵;用所有内点通过dlt重新计算基础矩阵,再通过svd强制秩为2;当历史连续n帧动态点比例大于40%时,采用分级ransac:第一轮采用宽松阈值8像素剔除明显外点,第二轮采用严格阈值3像素在粗筛后的内点上精算基础矩阵;

17、对于一对来自静态世界的特征匹配点和,为基础矩阵,满足对极约束,对称对极距离定义为:

18、;

19、式中,和分别表示向量的和分量,和分别表示向量的和分量;

20、根据特征点的金字塔层级信息计算尺度自适应对极距离阈值,其中,为基准阈值,为特征被提取时的图像金字塔层级,当前后两帧的特征匹配点、分别处于不同金字塔层级时,,分别为特征匹配点、的金字塔层级;

21、当所述对称对极距离超过尺度自适应对极距离阈值时,该匹配点对无法由单一刚体场景变换解释,该特征点被标记为疑似动态;

22、通过imu帧间预积分计算帧间旋转量和帧间平移量,根据以下条件进行策略切换:

23、当且时,判定为纯旋转运动,不执行步骤s2,所有匹配点直接放行至步骤s3;

24、当时,判定为低视差,仍执行步骤s2,但收紧描述子匹配的距离阈值为正常阈值的0.5倍;

25、当时,判定为正常运动,按标准流程执行步骤s2。

26、较佳的,所述根据预测深度与观测深度的深度比进行判定,以识别沿极线运动的特征点的步骤包括:

27、将已纳入地图的所述三维点的世界坐标,通过上一帧优化位姿加imu预积分增量变换到当前帧坐标系,取其沿光轴方向的深度分量作为预测深度;

28、在当前帧通过该三维点与上一帧的新匹配关系重新三角化,取三角化结果在当前帧光轴方向的深度作为观测深度;

29、定义深度比,根据预测距离确定自适应一致性阈值,当时标记为疑似动态;

30、对于新特征点,在当前帧寻找匹配并尝试从当前帧反向投影回上一帧;同时采用三视图几何约束,使用第帧、第帧和第帧进行约束检验。

31、较佳的,所述对每个特征点在滑动窗口内的多帧判定结果进行融合,得到综合动态得分,根据所述综合动态得分确定动态点、静态点和未决点的步骤包括:

32、步骤s2标记为疑似动态时赋予第一投票权重,步骤s2未标记为疑似动态时赋予第一投票权重;步骤s3标记为疑似动态时赋予第二投票权重,步骤s3未标记为疑似动态时赋予投票权重;

33、对每帧图像每个特征点计算当前帧的综合动态得分;

34、对每个特征点维护包含帧的得分窗口,窗口内取均值,当时判定为动态点,当时判定为静态点,否则判定为未决点;

35、当未决点不参与定位优化且连续处于未决状态超过10帧时,将该特征点标记为动态并剔除该特征点。

36、较佳的,所述将图像划分为粗粒度网格,统计每个网格内动态特征点占该网格总特征点的比例,根据所述比例标记动态区域,并对动态区域执行形态学膨胀,形成动态区域掩码的步骤包括:

37、将图像划分为13×13个粗粒度的网格单元,统计每个网格单元内动态特征点占该网格单元总特征点的比例,将比例大于50%的网格单元标记为动态区域,对动态区域的网格单元执行3×3膨胀,使一个动态网格单元覆盖其8邻域,形成动态区域掩码;

38、利用所述动态区域掩码控制特征提取器和特征匹配器:在动态区域网格单元内后续5帧中停止提取新的特征点,并在动态区域网格单元内后续5帧中停止进行特征匹配搜索。

39、较佳的,所述将检验得到的静态特征交付给前端定位系统,并用所述动态区域掩码指导后续特征提取与匹配的步骤包括:

40、将检验得到的静态特征交付给定位系统进行位姿解算,并统计最终的动态特征占所有特征点数的比例;

41、利用所述动态区域掩码,在后续帧的特征提取阶段跳过动态区域内的特征点提取,在特征匹配阶段跳过动态区域内的特征匹配搜索。

42、第二方面,本发明提供以下技术方案,一种里程计中动态特征剔除处理系统,所述系统包括:

43、匹配模块,用于对输入图像进行多尺度特征提取与帧间特征匹配,得到前后两帧图像特征的初始匹配点;

44、第一判定模块,用于基于基础矩阵计算初始匹配点的对称对极距离,采用尺度自适应对极距离阈值进行判定,以得到标记为疑似动态的特征点;

45、第二判定模块,用于对已建立三维地图点的特征,根据预测深度与观测深度的深度比进行判定,以识别沿极线运动的特征点;

46、融合模块,用于对每个特征点在滑动窗口内的多帧判定结果进行融合,得到综合动态得分,根据所述综合动态得分确定动态点、静态点和未决点;

47、处理模块,用于将图像划分为粗粒度网格,统计每个网格内动态特征点占该网格总特征点的比例,根据所述比例标记动态区域,并对动态区域执行形态学膨胀,形成动态区域掩码;

48、交付模块,用于将检验得到的静态特征交付给前端定位系统,并用所述动态区域掩码指导后续特征提取与匹配。

49、第三方面,本发明提供以下技术方案,一种计算机,包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如上述的里程计中动态特征剔除处理方法。

50、第四方面,本发明提供以下技术方案,一种存储介质,所述存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如上述的里程计中动态特征剔除处理方法。