基于结构化多级学习的三维高斯基元理解

摘要: 本发明涉及一种基于结构化多级学习的三维高斯基元理解方法,属于人工智能。背景技术:1、3d高斯泼溅(3dgs)因其高保真渲染能力和对精细几何与外观细节的保留能力,...
基于结构化多级学习的三维高斯基元理解

本发明涉及一种基于结构化多级学习的三维高斯基元理解方法,属于人工智能。

背景技术:

1、3d高斯泼溅(3dgs)因其高保真渲染能力和对精细几何与外观细节的保留能力,已成为场景重建与表征的主流范式。与传统点云、网格或体素不同,3dgs将场景或物体表示为各向异性高斯图元的集合,每个图元携带位置、尺度、旋转、不透明度及球谐系数等异构属性。随着3dgs被广泛用作现代重建流程中的持续中间输出(如机器人建图、数字孪生、增强现实等),下游感知模块需要在原始的3d高斯表征上直接进行物体识别与语义推理,而非将其转换成点云或依赖图像特征投影。

2、现有技术主要沿两个方向进行尝试,但均存在不足:

3、方向一,基于2d特征投影方法:将二维基础模型(如clip、sam)的特征投影到高斯空间,将每个高斯图元作为图像级语义的容器;这类方法虽在开放词汇任务中有效,但二维特征并非针对三维高斯图元优化,投影过程中会引入歧义与尺度不一致,且所得表征与高斯本身的几何、多属性结构未完全对齐;

4、方向二,将高斯视为增强点云方法:简单拼接高斯属性(位置、尺度、旋转、不透明度等)并输入为点云设计的网络(如pointnet、dgcnn);该类方法能捕获全局结构,但直接将异构属性坍缩为单一特征向量,忽略了各向异性和多属性本质,容易稀释细粒度局部线索。

5、因此,有必要对现有的三维高斯图元识别方法进行更为深入的研究,以解决上述问题。

技术实现思路

1、为了克服上述问题,进行了深入研究,提出了一种基于结构化多级学习的三维高斯基元理解方法,包括以下步骤:

2、s1、获取目标物体或场景的3d高斯图元集合;

3、s2、对所述高斯图元集合执行多层级采样,生成从全局到局部逐步缩小的层级化子集;

4、s3、将各层级子集的图元聚合获得识别特征;

5、s4、将识别特征输入分类头,输出物体识别结果。

6、在一个优选的实施方式中,高斯图元集合中每个图元通过参数化的中心位置、尺度、旋转四元数、不透明度和球谐系数表示。

7、在一个优选的实施方式中,s2中,包括以下子步骤:

8、s21、对高斯集合进行全局采样,获取全局层子集,将其作为第一层级子集;

9、s22、在物体空间中设置虚拟相机并使其朝向坐标原点,通过逐步缩小相机视场角获取一系列嵌套的视锥区域,每一视锥内包含的高斯图元构成一个候选子集;

10、s23、分别在每个视锥候选子集内进行采样,直至视锥内的图元数量达到预设,得到第二层级至第l层级子集,层级越高视场越小。

11、在一个优选的实施方式中,在s22或s21之前,还具有子步骤s20、对归一化后的图元施加小规模移动,以确保不同区域的局部高斯图元都能被采样到。

12、在一个优选的实施方式中,s3中包括以下子步骤:

13、s31、在每个层级内,将图元高斯属性划分为位置属性与辅助属性;

14、s32、设置编码器,基于位置属性,通过与相邻图元的差值进行编码,获得该图元的轮廓信息编码;

15、基于辅助属性,通过直接聚合自身及邻域图元的辅助属性进行编码,获得该图元的辅助信息编码;

16、将轮廓信息编码与辅助信息编码拼接编码获得该图元的高斯特征;

17、s33、从第2层级开始,重复以下过程,直至第l层,获得识别特征:

18、将当前层级的高斯特征与前一层级对应空间的高斯特征相关联,实现特征对齐;

19、将对齐后的特征与当前层级高斯特征相融合,作为当前层新的高斯特征。

20、在一个优选的实施方式中,s31中,所述辅助属性为除中心位置属性外的其余属性。

21、在一个优选的实施方式中,s33中,所述将当前层级的高斯特征与前一层级对应空间的高斯特征相关联,包括以下子步骤:

22、s3311、通过对齐中心附近的图元建立层级间的空间对应关系;

23、s3312、对前一层级的高斯特征进行重采样,使其数量与当前层级中对应区域的图元数量匹配。

24、在一个优选的实施方式中,s33中,所述将对齐后的特征与当前层级高斯特征相融合,包括以下子步骤:

25、s3321、在当前层对齐区域内,通过复制特征并添加随机扰动使当前层与下一层中图元数一致,然后利用knn分组和均值插值将下一层图元的高斯特征扩散至当前层级,获得当前层级的传播特征;

26、s3322、将当前层级的传播特征与当前层级的高斯特征拼接融合,作为当前层新的高斯特征。

27、本发明还提供了一种电子设备,包括:

28、至少一个处理器;以及与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行上述方法中任一项所述的方法。

29、本发明还提供一种存储有计算机指令的计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行上述任一项所述的方法。

30、本发明所具有的有益效果包括:

31、(1)发明直接以原生3d高斯图元为输入,无需任何二维投影或点云转换,保留了图元固有的各向异性与多属性信息;

32、(2)过多层级高斯采样,从全局到局部逐步缩小视场,在固定采样预算下显著提升了对突起、纹理等精细结构的覆盖,避免了均匀采样导致的局部细节遗漏;

33、(3)通过区分位置与辅助属性的不同作用,并通过空间对齐与传播机制将细粒度细节逐层嵌入全局表征,实现了全局结构与局部细节的协调统一;

34、(4)在低参数量情况下获得了高识别准确率。

1.一种基于结构化多级学习的三维高斯基元理解方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的基于结构化多级学习的三维高斯基元理解方法,其特征在于,

3.根据权利要求1所述的基于结构化多级学习的三维高斯基元理解方法,其特征在于,

4.根据权利要求3所述的基于结构化多级学习的三维高斯基元理解方法,其特征在于,

5.根据权利要求1所述的基于结构化多级学习的三维高斯基元理解方法,其特征在于,

6.根据权利要求5所述的基于结构化多级学习的三维高斯基元理解方法,其特征在于,

7.根据权利要求5所述的基于结构化多级学习的三维高斯基元理解方法,其特征在于,

8.根据权利要求5所述的基于结构化多级学习的三维高斯基元理解方法,其特征在于,

9.一种电子设备,包括:

10.一种存储有计算机指令的计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行根据权利要求1-8中任一项所述的方法。