一种面向空间感知的高斯泼溅层级自主切换方法及系统与流程

本发明涉及三维场景渲染、三维重建、计算机视觉、虚拟现实，尤其是一种面向空间感知的高斯泼溅层级自主切换方法及系统。

背景技术：

1、三维场景实时渲染与新视点合成技术是虚拟现实、增强现实、三维重建、数字孪生、自动驾驶仿真等领域的核心基础技术。相较于传统nerf类隐式渲染方法存在训练推理效率低、难以满足实时渲染需求的缺陷，3d高斯泼溅（3d gaussian splatting, 3dgs）作为一种新型显式三维场景表征技术，凭借高效的光栅化渲染流程、高精度细节还原能力与快速场景重建优势，已成为当前三维视觉渲染领域的主流研究与应用方向。该技术通过海量三维高斯椭球基元拟合场景几何结构与纹理色彩，可实现高质量新视点渲染。

2、然而，现有原生3d高斯泼溅技术存在固有技术缺陷，严重制约其在大场景、动态视点、多硬件平台场景的规模化应用。在大尺度三维场景渲染过程中，会产生海量低像素贡献、远距离、被完全遮挡的冗余高斯基元，持续占用高额显存资源与gpu算力，极易引发显存溢出、渲染帧率骤降等问题，无法实现渲染性能与画面质量的动态平衡。静态固定的渲染模式难以适配相机静止观测、低速漫游、高速扫视等不同工况。

技术实现思路

1、针对现有技术的不足，本发明提供一种面向空间感知的高斯泼溅层级自主切换方法及系统，旨在克服现有3d高斯泼溅的技术缺陷。

2、第一方面，本发明提供一种面向空间感知的高斯泼溅层级自主切换方法，包括：

3、对三维场景稠密高斯基元进行空间八叉树稀疏划分与语义聚类融合，构建包含基础层级、精细层级、超精细层级的层级划分结果，并为各层级高斯基元生成空间语义掩码；

4、实时采集渲染相机内外参及运动参数，以提取当前高斯基元的空间静态特征和时间动态特征，并将所述空间静态特征和时间动态特征拼接为感知特征矩阵；

5、基于所述感知特征矩阵计算高斯基元的实时层级综合得分，并基于所述实时层级综合得分对高斯基元进行渲染层级划分；

6、对不同渲染层级的高斯基元构建相应的渲染管线，并基于所述空间静态特征筛选无效冗余高斯基元，对于所述无效冗余高斯基元进行临时屏蔽处理，并对已屏蔽无效冗余高斯基元的可视状态进行实时更新处理；

7、基于切换前后的高斯基元的原始渲染参数对发生层级切换的目标高斯基元的渲染参数进行平滑过渡处理。

8、第二方面，本发明提供一种面向空间感知的高斯泼溅层级自主切换系统，包括：

9、高斯基元层级划分模块，用于对三维场景稠密高斯基元进行空间八叉树稀疏划分与语义聚类融合，构建包含基础层级、精细层级、超精细层级的层级划分结果，并为各层级高斯基元生成空间语义掩码；

10、感知特征提取模块，用于实时采集渲染相机内外参及运动参数，以提取当前高斯基元的空间静态特征和时间动态特征，并将所述空间静态特征和时间动态特征拼接为感知特征矩阵；

11、渲染层级划分模块，用于基于所述感知特征矩阵计算高斯基元的实时层级综合得分，并基于所述实时层级综合得分对高斯基元进行渲染层级划分；

12、渲染执行模块，用于对不同渲染层级的高斯基元构建相应的渲染管线，并基于所述空间静态特征筛选无效冗余高斯基元，对于所述无效冗余高斯基元进行临时屏蔽处理，并对已屏蔽无效冗余高斯基元的可视状态进行实时更新处理；

13、渲染平滑过渡模块，用于基于切换前后的高斯基元的原始渲染参数对发生层级切换的目标高斯基元的渲染参数进行平滑过渡处理。

14、第三方面，本发明提供一种电子设备，包括：

15、至少一个处理器；

16、以及与所述至少一个处理器通信连接的存储器；

17、其中，所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被至少一个处理器执行时实现所述面向空间感知的高斯泼溅层级自主切换方法。

18、本发明的有益技术效果为：

19、1、本发明通过八叉树对稠密高斯基元进行疏划分，并基于语义聚类融合将高斯基元划分不同层级，实现重点区域高精度保留；通过对不同层级的高斯基元不同层级的渲染，提高细节渲染精度，同时通过平滑过渡处理实现帧间层级切换，有效解决现有技术层级突变导致的画面闪烁、边缘跳变、细节断层等渲染伪影，大幅提升三维漫游视觉体验。

20、2、本发明融合空间静态特征和时间动态特征，适应相机静止、低速漫游、高速扫视工况。

21、3、本发明仅对冗余基元进行临时显存屏蔽，视点变化后可快速恢复渲染，在降低算力消耗的同时，彻底避免场景细节永久性丢失的问题。

22、4、本发明平滑过渡处理，层级切换精准度更高，兼顾静态细节精度与动态渲染流畅度。

1.一种面向空间感知的高斯泼溅层级自主切换方法，其特征在于，包括：

2.根据权利要求1所述的切换方法，其特征在于，对三维场景稠密高斯基元进行空间八叉树稀疏划分与语义聚类融合，构建包含基础层级、精细层级、超精细层级的层级划分结果，并为各层级高斯基元生成空间语义掩码，包括：

3.根据权利要求2所述的切换方法，其特征在于，针对所述子体素单元的高斯基元空间坐标构建协方差矩阵并特征分解，得到分解特征值，并基于分解特征值求解子体素单元的场景几何曲率，并基于高斯椭球协方差矩阵求解高斯基元的等效空间尺度，并对场景几何曲率和基元等效空间尺度进行归一化处理，得到归一化处理的场景几何曲率和基元等效空间尺度。

4.根据权利要求1所述的切换方法，其特征在于，实时采集渲染相机内外参及运动参数，以提取当前高斯基元的空间静态特征和时间动态特征，并将空间静态特征和时间动态特征拼接为感知特征矩阵，包括：

5.根据权利要求4所述的切换方法，其特征在于，基于所述感知特征矩阵计算高斯基元的实时层级综合得分，并基于所述实时层级综合得分对高斯基元进行渲染层级划分，包括：

6.根据权利要求5所述的切换方法，其特征在于，对不同渲染层级的高斯基元构建相应的渲染管线，并基于所述空间静态特征筛选无效冗余高斯基元，对于所述无效冗余高斯基元进行临时屏蔽处理，并对已屏蔽无效冗余高斯基元的可视状态进行实时更新处理，包括：

7.根据权利要求6所述的切换方法，其特征在于，结合相机与当前高斯基元的距离、高斯基元屏幕投影像素直径、高斯基元的局部遮挡率逐帧筛选无效冗余高斯基元，包括：

8.根据权利要求6所述的切换方法，其特征在于，基于切换前后的高斯基元的原始渲染参数对发生层级切换的目标高斯基元的渲染参数进行平滑过渡处理，包括：

9.一种面向空间感知的高斯泼溅层级自主切换系统，其特征在于，包括：

10.一种电子设备，其特征在于，包括：