基于动态频率约束的鲁棒三维高斯溅射SLAM系统

摘要: 本发明属于计算机视觉,尤其涉及一种基于动态频率约束的鲁棒三维高斯溅射slam系统。背景技术:1、同步定位与建图(slam)是机器人与增强现实领域的一项关键技术,...
基于动态频率约束的鲁棒三维高斯溅射SLAM系统

本发明属于计算机视觉,尤其涉及一种基于动态频率约束的鲁棒三维高斯溅射slam系统。

背景技术:

1、同步定位与建图(slam)是机器人与增强现实领域的一项关键技术,旨在让设备在未知环境中实时构建三维地图并同时确定自身的位置与姿态。近年来,基于三维高斯溅射(3dgs)的slam方法因其能生成高质量、逼真的三维场景而备受关注。该方法通过大量带有颜色和不透明度属性的三维高斯基元来表达场景,通过优化这些高斯基元的参数来实现对真实世界的精细建模。 现有的三维高斯溅射slam方法在进行实时重建时,通常采用固定的屏幕空间膨胀机制进行渲染,并主要依赖渲染误差的梯度信息来指导高斯基元的分裂与增殖。在地图更新与位姿追踪并行执行时,往往依赖于gpu的并行计算能力,并通过常规的内存管理手段来处理高斯基元的动态增减。然而固定的渲染机制在相机远近尺度发生剧烈变化时,容易在渲染图像中产生摩尔纹和锯齿等高频伪影。仅依赖梯度幅值进行高斯基元分裂,使得系统对传感器噪声和运动模糊异常敏感,容易诱导大量无效的微小高斯基元在场景中增殖。此外,在移动端等计算资源受限的设备上,高并发的地图更新操作与底层数据流之间的异步冲突,时常会导致显存管理失败,引发系统运行不稳定。

技术实现思路

1、本发明的目的在于:为了解决移动端长序列运行时因异步冲突导致的显存溢出与系统崩溃的问题,而提出的一种基于动态频率约束的鲁棒三维高斯溅射slam系统。

2、为了实现上述目的,本发明采用了如下技术方案:

3、一种基于动态频率约束的鲁棒三维高斯溅射slam系统,包括:数据采集模块,用于获取rgb-d相机采集的当前帧图像数据与初始化的三维高斯基元地图;

4、频域映射模块,用于对所述当前帧图像数据进行像素级二维频域响应分解,生成屏幕空间局部频率分布图;

5、滤波渲染模块,用于对所述屏幕空间局部频率分布图进行自适应低通滤波处理,得到滤波后的渲染颜色数据与渲染深度数据;

6、相位评估模块,用于利用所述滤波后的渲染颜色数据与所述渲染深度数据构建联合残差,并基于所述联合残差进行相位一致性评估,生成分裂相位一致性得分;

7、分裂控制模块,用于基于所述分裂相位一致性得分与所述屏幕空间局部频率分布图动态约束高斯基元的分裂操作;

8、同步更新模块,用于基于行-帧非对称双缓存机制逐行执行高斯基元的分裂与修剪,并联合优化相机位姿与高斯基元参数。

9、一种基于动态频率约束的鲁棒三维高斯溅射slam系统的控制方法,具体包括以下步骤:

10、s1、获取rgb-d相机采集的当前帧图像数据与初始化的三维高斯基元地图,并对所述当前帧图像数据进行像素级二维频域响应分解,生成屏幕空间局部频率分布图;

11、s2、对所述屏幕空间局部频率分布图进行自适应低通滤波处理,得到滤波后的渲染颜色数据与渲染深度数据;

12、s3、利用所述滤波后的渲染颜色数据与所述渲染深度数据构建联合残差,并基于所述联合残差进行相位一致性评估,生成分裂相位一致性得分。

13、作为上述技术方案的进一步描述:

14、所述s1中,所述获取rgb-d相机采集的当前帧图像数据与初始化的三维高斯基元地图的步骤包括:通过rgb-d相机采集实时彩色图像与深度图像,并对所述深度图像进行深度反投影,生成初始的高斯基元集合,每个高斯基元包含空间位置、协方差矩阵、颜色向量与不透明度参数;对所述初始的高斯基元集合进行空间索引构建,生成所述三维高斯基元地图。

15、作为上述技术方案的进一步描述:

16、所述对所述当前帧图像数据进行像素级二维频域响应分解,生成屏幕空间局部频率分布图的步骤包括:将所述当前帧图像数据中的每个像素映射至所述三维高斯基元地图中对应的投影区域,并对所述投影区域内每个高斯基元的空间频率响应进行傅里叶级数展开,生成每个高斯基元的频域响应函数;对所述频域响应函数进行像素内叠加,得到每个像素覆盖的多个高斯频域响应的合成频谱,并依据所述合成频谱提取局部最高频率成分,生成所述屏幕空间局部频率分布图。

17、作为上述技术方案的进一步描述:

18、所述s2中,所述对所述屏幕空间局部频率分布图进行自适应低通滤波处理,得到滤波后的渲染颜色数据与渲染深度数据的步骤包括:根据所述屏幕空间局部频率分布图中每个像素对应的局部最高频率成分,动态计算该像素的自适应滤波半径,其中局部最高频率越高则自适应滤波半径越小;利用所述自适应滤波半径对每个像素的原始渲染颜色与原始渲染深度分别进行频域截断滤波,得到所述滤波后的渲染颜色数据与所述渲染深度数据;对所述滤波后的渲染颜色数据与所述渲染深度数据执行不透明度面积衰减补偿,保证渲染能量守恒。

19、作为上述技术方案的进一步描述:

20、所述s3中,所述利用所述滤波后的渲染颜色数据与所述渲染深度数据构建联合残差,并基于所述联合残差进行相位一致性评估,生成分裂相位一致性得分的步骤包括:将所述滤波后的渲染颜色数据与所述滤波后的渲染深度数据分别与真实测量值相减,生成颜色残差图与深度残差图;对所述颜色残差图与所述深度残差图进行加权融合,生成联合残差图;对所述联合残差图中的每个像素进行局部相位对齐程度计算,得到每个像素的相位一致性值,并依据所述相位一致性值生成所述分裂相位一致性得分。

21、作为上述技术方案的进一步描述:

22、还包括:获取所述分裂相位一致性得分以及所述屏幕空间局部频率分布图,并基于所述分裂相位一致性得分判断每个高斯基元是否满足分裂相位条件;当满足所述分裂相位条件时,进一步依据所述屏幕空间局部频率分布图判断该高斯基元的当前物理半径是否低于动态频率下界;若低于所述动态频率下界,则禁止该高斯基元的分裂操作,否则允许执行基于梯度幅值的标准分裂。

23、作为上述技术方案的进一步描述:

24、所述基于所述分裂相位一致性得分判断每个高斯基元是否满足分裂相位条件的步骤包括:将每个高斯基元投影至所述屏幕空间局部频率分布图,得到投影区域;计算所述投影区域内所有像素的所述分裂相位一致性得分的平均值,生成该高斯基元的局部相位一致均值;当所述局部相位一致均值高于通过分析所述分裂相位一致性得分图的全局统计特征而动态设定的噪声自适应阈值时,判定满足所述分裂相位条件。

25、作为上述技术方案的进一步描述:

26、所述进一步依据所述屏幕空间局部频率分布图判断该高斯基元的当前物理半径是否低于动态频率下界的步骤包括:提取该高斯基元在所述屏幕空间局部频率分布图上的最大采样率,所述最大采样率为该高斯基元投影区域内的像素数量与视场角比例的乘积;依据奈奎斯特准则将所述最大采样率转换为物理半径下界,并当该高斯基元的当前物理半径小于所述物理半径下界时,认定所述当前物理半径低于所述动态频率下界。

27、作为上述技术方案的进一步描述:

28、还包括以下步骤:获取所述联合残差以及所述三维高斯基元地图,并利用所述联合残差对当前帧的相机位姿与所述三维高斯基元地图中的高斯基元参数进行联合梯度计算,生成梯度数据;采用行-帧非对称双缓存机制,逐行对所述梯度数据对应的投影区域内的高斯基元执行分裂与修剪操作,生成更新后的高斯基元集合;将所述更新后的高斯基元集合与所述相机位姿作为下一帧的输入,实现闭环迭代优化。

29、综上所述,由于采用了上述技术方案,本发明的有益效果是:

30、本发明通过像素级二维频域响应分解与自适应滤波,本发明在消除多尺度渲染混叠的同时提升了位姿追踪的稳定性与精度,基于相位一致性评估与动态频率约束的双重验证机制,本发明显著提高了三维几何重建的准确性,有效抑制了噪声引发的地图退化,采用行-帧非对称双缓存机制进行地图更新,本发明从根本上解决了移动端长序列运行时因异步冲突导致的显存溢出与系统崩溃问题。