面向动态RGB-D场景的实例级语义4D高斯溅射SLAM方法及系统与流程

摘要: 本技术涉及计算机视觉、机器人同步定位与建图以及三维场景重建,尤其涉及一种面向动态rgb-d场景的实例级语义4d高斯溅射slam方法及系统。背景技术:1、动态rg...
面向动态RGB-D场景的实例级语义4D高斯溅射SLAM方法及系统与流程

本技术涉及计算机视觉、机器人同步定位与建图以及三维场景重建,尤其涉及一种面向动态rgb-d场景的实例级语义4d高斯溅射slam方法及系统。

背景技术:

1、动态rgb-d场景中的同步定位与建图(slam)仍然是计算机视觉和机器人领域的一项基础性问题,在机器人导航、增强现实与虚拟现实、自动驾驶以及场景理解等方面具有广泛应用。一个实用的slam系统需要在物体持续运动、遮挡和外观变化的条件下,准确估计相机位姿,同时保持一致的场景表征。这一要求对于真实世界环境尤为重要,因为独立运动的物体已不再是罕见的干扰因素,而是观测场景中的常见组成部分。尽管静态重建和神经渲染已经取得了显著进展,动态内容仍会给相机跟踪和场景建图带来严重歧义,因为图像变化既可能由相机运动引起,也可能由物体运动引起。

2、三维高斯溅射(3d高斯溅射)已成为一种高效且具有表现力的新视角合成与稠密场景重建表示方法。其中,显式高斯基元和可微分光栅化能够实现高质量渲染、高效优化,并具备实时渲染潜力。受这些优势的启发,高斯slam方法被提出,用于从连续rgb-d或单目观测中联合优化相机位姿和高斯属性。然而,现有大多数高斯slam方法都建立在静态场景假设之上,或依赖于在位姿估计过程中移除动态区域。该策略在某些情况下能够提高跟踪鲁棒性,但同时也会将动态对象从地图中剔除,阻碍系统理解场景的时序演化。

3、现有先进方法已经将运动掩码、语义先验和形变场引入高斯 slam,以实现动态场景建模。这些方法通常将观测像素或高斯基元划分为静态和动态两类,随后将动态区域作为异常值进行抑制,或利用通用形变场对时序变化进行建模。尽管这些方法具有一定效果,但仍存在以下局限性:

4、第一,尽管不同语义类别具有不同的运动模式,高斯基元通常仍采用相同的运动先验进行建模。这种统一策略限制了形变场学习类别相关运动特征的能力,容易导致短期过拟合,并造成时间上稳定的对象结构重建不稳定。

5、第二,动态区域主要在像素层面进行处理,难以在时间维度上保持对象级一致性。当多个动态对象同时存在,或某个对象改变其运动状态时,逐像素动态线索无法可靠地描述哪个对象正在运动、该对象是否已被放置,或它何时再次变为活动状态。

技术实现思路

1、本技术提供了一种面向动态rgb-d场景的实例级语义4d高斯溅射slam方法及系统,以至少在一定程度上解决相关技术中的技术问题之一。本技术的技术方案如下:

2、第一方面,本技术实施例提出了一种面向动态rgb-d场景的实例级语义4d高斯溅射slam方法,包括:

3、基于获取的动态rgb-d图像序列,得到逐帧观测,对逐帧观测进行对象感知预处理,得到每帧观测的实例掩码、实例id到对象类别的映射结果、对象前景掩码和静态背景掩码以及序列级事件记录;

4、基于第一帧观测和静态背景掩码,得到当前帧的静态高斯集合以及当前最新高斯地图;

5、逐个将第一帧除外的观测作为当前帧进行迭代处理,所述迭代处理包括:

6、基于当前帧之前的最新高斯地图、上一帧观测的位姿和当前帧的静态背景掩码,得到当前帧的跟踪位姿、渲染结果、可见高斯集合以及事件子集;

7、基于当前帧的可见高斯集合与关键帧判断条件,判断当前帧是否为关键帧,若否,返回处理下一帧;若是,将当前帧插入局部关键帧窗口并剔除该窗口中符合剔除条件的旧帧,若当前帧为关键帧且为预设动态起始关键帧,基于当前帧观测和对象前景掩码得到包括多个动态高斯的对象相关动态高斯集合;

8、基于当前帧的跟踪位姿、实例掩码、实例id到对象类别的映射结果,得到动态高斯在当前帧相关的实例id和语义类别;

9、基于当前帧的事件子集、对象集合、动态高斯在当前帧相关的实例id,得到事件目标实例及其关联的动态高斯子集以及该子集中各动态高斯更新后的可形变状态;

10、基于上一帧的观测证据和不透明度logit,得到动态高斯更新后的观测证据和有效不透明度,基于动态高斯的中心和当前帧时刻,通过形变模型对动态高斯的多个空间属性的形变残差进行预测,得到变形后的动态高斯的空间属性;

11、获取局部关键帧窗口内各关键帧的单帧总损失,基于该单帧总损失对窗口位姿、高斯地图和形变模型参数进行联合优化,得到联合优化后的窗口位姿、高斯地图和形变模型参数;

12、基于生命周期状态更新规则对动态高斯的生命周期状态进行更新,基于更新后的生命周期状态对联合优化后的高斯地图进行更新,得到生命周期维护后的高斯地图。

13、第二方面,本技术实施例提出了一种面向动态rgb-d场景的实例级语义4d高斯溅射slam系统,包括:

14、感知模块,用于基于获取的动态rgb-d图像序列,得到逐帧观测,对逐帧观测进行对象感知预处理,得到每帧观测的实例掩码、实例id到对象类别的映射结果、对象前景掩码和静态背景掩码以及序列级事件记录;

15、地图初始化模块,用于基于第一帧观测和静态背景掩码,得到当前帧的静态高斯集合以及当前最新高斯地图;

16、迭代处理模块,用于逐个将第一帧除外的观测作为当前帧进行迭代处理,所述迭代处理模块包括:

17、跟踪维护单元,用于基于当前帧之前的最新高斯地图、上一帧观测的位姿和当前帧的静态背景掩码,得到当前帧的跟踪位姿、渲染结果、可见高斯集合以及事件子集;

18、关键帧判定单元,用于基于当前帧的可见高斯集合与关键帧判断条件,判断当前帧是否为关键帧,若否,返回处理下一帧;若是,将当前帧插入局部关键帧窗口并剔除该窗口中符合剔除条件的旧帧,若当前帧为关键帧且为预设动态起始关键帧,基于当前帧观测和对象前景掩码得到包括多个动态高斯的对象相关动态高斯集合;

19、实例关联单元,用于基于当前帧的跟踪位姿、实例掩码、实例id到对象类别的映射结果,得到动态高斯在当前帧相关的实例id和语义类别;

20、形变状态更新单元,用于基于当前帧的事件子集、对象集合、动态高斯在当前帧相关的实例id,得到事件目标实例及其关联的动态高斯子集以及该子集中各动态高斯更新后的可形变状态;

21、空间属性更新单元,用于基于上一帧的观测证据和不透明度logit,得到动态高斯更新后的观测证据和有效不透明度,基于动态高斯的中心和当前帧时刻,通过形变模型对动态高斯的多个空间属性的形变残差进行预测,得到变形后的动态高斯的空间属性;

22、联合优化单元,用于获取局部关键帧窗口内各关键帧的单帧总损失,基于该单帧总损失对窗口位姿、高斯地图和形变模型参数进行联合优化,得到联合优化后的窗口位姿、高斯地图和形变模型参数;

23、生命周期维护单元,用于基于生命周期状态更新规则对动态高斯的生命周期状态进行更新,基于更新后的生命周期状态对联合优化后的高斯地图进行更新,得到生命周期维护后的高斯地图。

24、第三方面,本技术实施例提出了一种电子设备,包括:处理器,以及与所述处理器通信连接的存储器;所述存储器存储计算机执行指令;所述处理器执行所述存储器存储的计算机执行指令,以实现第一方面所述的方法。

25、第四方面,本技术实施例提出了一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机执行指令,所述计算机执行指令被处理器执行时用于实现第一方面所述的方法。

26、第五方面,本技术实施例提出了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现第一方面所述的方法。

27、本技术具有如下优点和有益效果:

28、本技术通过对象感知预处理、实例级语义关联、事件引导状态建模、类别自适应残差形变以及置信度加权联合优化,实现动态环境中相机位姿估计、动态对象建模和高斯地图更新,能够在存在物体运动、遮挡、放置与重新激活等复杂状态变化的场景中,提高动态高斯在不确定观测条件下的优化鲁棒性和实例级三维重建的一致性,能够有效提高相机位姿精度,在动态rgb-d场景中实现鲁棒定位和高质量重建;尤其适用于机器人导航、增强现实、场景理解和动态环境数字孪生等应用。

29、本技术附加的方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本技术的实践了解到。