基于结构化多级学习的三维高斯基元理解
本发明涉及一种基于结构化多级学习的三维高斯基元理解方法,属于人工智能。
背景技术:
1、3d高斯泼溅(3dgs)因其高保真渲染能力和对精细几何与外观细节的保留能力,已成为场景重建与表征的主流范式。与传统点云、网格或体素不同,3dgs将场景或物体表示为各向异性高斯图元的集合,每个图元携带位置、尺度、旋转、不透明度及球谐系数等异构属性。随着3dgs被广泛用作现代重建流程中的持续中间输出(如机器人建图、数字孪生、增强现实等),下游感知模块需要在原始的3d高斯表征上直接进行物体识别与语义推理,而非将其转换成点云或依赖图像特征投影。
2、现有技术主要沿两个方向进行尝试,但均存在不足:
3、方向一,基于2d特征投影方法:将二维基础模型(如clip、sam)的特征投影到高斯空间,将每个高斯图元作为图像级语义的容器;这类方法虽在开放词汇任务中有效,但二维特征并非针对三维高斯图元优化,投影过程中会引入歧义与尺度不一致,且所得表征与高斯本身的几何、多属性结构未完全对齐;
4、方向二,将高斯视为增强点云方法:简单拼接高斯属性(位置、尺度、旋转、不透明度等)并输入为点云设计的网络(如pointnet、dgcnn);该类方法能捕获全局结构,但直接将异构属性坍缩为单一特征向量,忽略了各向异性和多属性本质,容易稀释细粒度局部线索。
5、因此,有必要对现有的三维高斯图元识别方法进行更为深入的研究,以解决上述问题。
技术实现思路
1、为了克服上述问题,进行了深入研究,提出了一种基于结构化多级学习的三维高斯基元理解方法,包括以下步骤:
2、s1、获取目标物体或场景的3d高斯图元集合;
3、s2、对所述高斯图元集合执行多层级采样,生成从全局到局部逐步缩小的层级化子集;
4、s3、将各层级子集的图元聚合获得识别特征;
5、s4、将识别特征输入分类头,输出物体识别结果。
6、在一个优选的实施方式中,高斯图元集合中每个图元通过参数化的中心位置、尺度、旋转四元数、不透明度和球谐系数表示。
7、在一个优选的实施方式中,s2中,包括以下子步骤:
8、s21、对高斯集合进行全局采样,获取全局层子集,将其作为第一层级子集;
9、s22、在物体空间中设置虚拟相机并使其朝向坐标原点,通过逐步缩小相机视场角获取一系列嵌套的视锥区域,每一视锥内包含的高斯图元构成一个候选子集;
10、s23、分别在每个视锥候选子集内进行采样,直至视锥内的图元数量达到预设,得到第二层级至第l层级子集,层级越高视场越小。
11、在一个优选的实施方式中,在s22或s21之前,还具有子步骤s20、对归一化后的图元施加小规模移动,以确保不同区域的局部高斯图元都能被采样到。
12、在一个优选的实施方式中,s3中包括以下子步骤:
13、s31、在每个层级内,将图元高斯属性划分为位置属性与辅助属性;
14、s32、设置编码器,基于位置属性,通过与相邻图元的差值进行编码,获得该图元的轮廓信息编码;
15、基于辅助属性,通过直接聚合自身及邻域图元的辅助属性进行编码,获得该图元的辅助信息编码;
16、将轮廓信息编码与辅助信息编码拼接编码获得该图元的高斯特征;
17、s33、从第2层级开始,重复以下过程,直至第l层,获得识别特征:
18、将当前层级的高斯特征与前一层级对应空间的高斯特征相关联,实现特征对齐;
19、将对齐后的特征与当前层级高斯特征相融合,作为当前层新的高斯特征。
20、在一个优选的实施方式中,s31中,所述辅助属性为除中心位置属性外的其余属性。
21、在一个优选的实施方式中,s33中,所述将当前层级的高斯特征与前一层级对应空间的高斯特征相关联,包括以下子步骤:
22、s3311、通过对齐中心附近的图元建立层级间的空间对应关系;
23、s3312、对前一层级的高斯特征进行重采样,使其数量与当前层级中对应区域的图元数量匹配。
24、在一个优选的实施方式中,s33中,所述将对齐后的特征与当前层级高斯特征相融合,包括以下子步骤:
25、s3321、在当前层对齐区域内,通过复制特征并添加随机扰动使当前层与下一层中图元数一致,然后利用knn分组和均值插值将下一层图元的高斯特征扩散至当前层级,获得当前层级的传播特征;
26、s3322、将当前层级的传播特征与当前层级的高斯特征拼接融合,作为当前层新的高斯特征。
27、本发明还提供了一种电子设备,包括:
28、至少一个处理器;以及与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行上述方法中任一项所述的方法。
29、本发明还提供一种存储有计算机指令的计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行上述任一项所述的方法。
30、本发明所具有的有益效果包括:
31、(1)发明直接以原生3d高斯图元为输入,无需任何二维投影或点云转换,保留了图元固有的各向异性与多属性信息;
32、(2)过多层级高斯采样,从全局到局部逐步缩小视场,在固定采样预算下显著提升了对突起、纹理等精细结构的覆盖,避免了均匀采样导致的局部细节遗漏;
33、(3)通过区分位置与辅助属性的不同作用,并通过空间对齐与传播机制将细粒度细节逐层嵌入全局表征,实现了全局结构与局部细节的协调统一;
34、(4)在低参数量情况下获得了高识别准确率。
1.一种基于结构化多级学习的三维高斯基元理解方法,其特征在于,包括以下步骤:
2.根据权利要求1所述的基于结构化多级学习的三维高斯基元理解方法,其特征在于,
3.根据权利要求1所述的基于结构化多级学习的三维高斯基元理解方法,其特征在于,
4.根据权利要求3所述的基于结构化多级学习的三维高斯基元理解方法,其特征在于,
5.根据权利要求1所述的基于结构化多级学习的三维高斯基元理解方法,其特征在于,
6.根据权利要求5所述的基于结构化多级学习的三维高斯基元理解方法,其特征在于,
7.根据权利要求5所述的基于结构化多级学习的三维高斯基元理解方法,其特征在于,
8.根据权利要求5所述的基于结构化多级学习的三维高斯基元理解方法,其特征在于,
9.一种电子设备,包括:
10.一种存储有计算机指令的计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行根据权利要求1-8中任一项所述的方法。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com