一种三维模型处理方法及车辆与流程

本技术涉及数据处理，尤其涉及一种三维模型处理方法及车辆。

背景技术：

1、三维高斯泼溅（3d gaussian splatting, 3dgs）是一种通过海量三维高斯点云表征场景几何结构、颜色及空间分布的三维场景重建与渲染技术。训练完成的三维高斯泼溅模型通常包含数十万至数百万个三维高斯点，其中存在大量对最终渲染画质无增益的冗余高斯点，导致模型体积庞大、渲染延迟高、算力消耗大，难以适配低算力设备的实时部署需求。

2、针对上述问题，目前的解决方案一般为单次全局高斯剪枝，即通过统一阈值筛选并剔除低贡献高斯点，以实现模型压缩。然而，单次剪枝在剔除冗余高斯点的同时，会不可避免地同步剔除部分对渲染质量有贡献的高斯点，导致压缩后的模型渲染质量出现明显下降，无法兼顾高压缩率与高保真度。

技术实现思路

1、鉴于上述问题，本技术提供了一种三维模型处理方法及车辆，以实现在实现高压缩率的同时，提升渲染保真度的目的。具体方案如下：

2、本技术第一方面提供一种三维模型处理方法，包括：

3、通过对当前高斯点集进行可见性判定，确定出不可见高斯点；

4、将所述不可见高斯点的渲染重要性分数置为零，并确定所述当前高斯点集中除所述不可见高斯点之外的其他高斯点的渲染重要性分数；

5、基于所述当前高斯点集中各高斯点的所述渲染重要性分数，对所述当前高斯点集执行粗采样剪枝处理，剔除部分高斯点，得到第一高斯点集；

6、利用所述第一高斯点集渲染场景深度图，并从所述场景深度图中提取细节区域，依据所述细节区域，从所述粗采样剪枝处理中被剔除的高斯点中选取至少一个高斯点，添加至所述第一高斯点集，得到第二高斯点集；

7、对所述第二高斯点集执行精细化剪枝处理，得到目标高斯点集。

8、在一种可能的实现中，所述基于所述当前高斯点集中各高斯点的所述渲染重要性分数，对所述当前高斯点集执行粗采样剪枝处理，剔除部分高斯点，得到第一高斯点集，包括：

9、基于所述当前高斯点集中各高斯点的所述渲染重要性分数，确定各所述高斯点的采样保留概率；

10、基于所述当前高斯点集，确定场景采样因子，所述场景采样因子表征粗采样剪枝处理的采样比例；

11、统计所述当前高斯点集中渲染重要性分数非零的有效高斯点数量；

12、根据所述有效高斯点数量与所述当前高斯点集中高斯点总数量的比值，确定有效高斯占比；

13、基于所述当前高斯点集中高斯点总数量、所述场景采样因子和所述有效高斯占比，确定采样数量；

14、依据所述采样保留概率和所述采样数量，从所述当前高斯点集中选取待保留的高斯点，剔除未被选取的高斯点，得到所述第一高斯点集。

15、在一种可能的实现中，所述基于所述当前高斯点集，确定场景采样因子，包括：

16、对所述当前高斯点集渲染得到的图像，提取纹理特征和/或深度图统计特征；

17、根据所述纹理特征和/或深度图统计特征，确定所述当前高斯点集对应的目标场景类型；

18、从预设的场景类型与采样因子的对应关系中，确定与所述目标场景类型对应的场景采样因子。

19、在一种可能的实现中，所述从所述场景深度图中提取细节区域，包括：

20、确定所述场景深度图中各像素邻域的深度梯度值；

21、将所述深度梯度值超过自适应深度梯度阈值的区域判定为几何边界区域；

22、对所述深度梯度值低于所述自适应深度梯度阈值的平坦区域，采用边缘检测算子进行纹理边缘提取，得到纹理边缘区域；

23、将所述几何边界区域和所述纹理边缘区域中的至少一项，作为所述细节区域。

24、在一种可能的实现中，所述依据所述细节区域，从所述粗采样剪枝处理中被剔除的高斯点中选取至少一个高斯点，添加至所述第一高斯点集，得到第二高斯点集，包括：

25、将所述几何边界区域和所述纹理边缘区域中的至少一项反投影至三维空间，得到三维特征曲面；

26、从所述粗采样剪枝处理中被剔除的高斯点中，选取高斯中心位于所述三维特征曲面的预设邻域范围内的候选高斯点；

27、从所述候选高斯点中，选择满足预设尺度条件和/或预设各向异性条件的高斯点，作为待回填高斯点；

28、从所述待回填高斯点中，按所述渲染重要性分数降序选取预设数量的高斯点，添加至所述第一高斯点集。

29、在一种可能的实现中，所述对所述第二高斯点集执行精细化剪枝处理，得到目标高斯点集，包括:

30、对所述第二高斯点集进行可见性判定，将不可见高斯点的渲染重要性分数置为零，并确定其余高斯点的渲染重要性分数；

31、将所述第二高斯点集中各高斯点按所述渲染重要性分数从小到大排序，得到有序序列；

32、确定所述有序序列的累积分布和，并基于所述累积分布和与第二高斯点集中所有高斯点的渲染重要性分数之和的比值，确定累积占比；

33、基于所述当前高斯点集，确定全局保留阈值；

34、在所述有序序列中，确定使所述累积占比首次超过所述全局保留阈值的最小索引位置；

35、保留所述有序序列中所述最小索引位置之后的所有高斯点，得到所述目标高斯点集。

36、在一种可能的实现中，所述利用所述第一高斯点集渲染场景深度图之前，还包括：

37、对于所述第一高斯点集中的各高斯点，基于该高斯点的邻近高斯点的低阶球谐系数进行插值计算，将插值结果作为该高斯点的低阶球谐系数，并将其高阶球谐系数进行归零重置；

38、将所述第一高斯点集中的各高斯点的不透明度参数设置为根据目标场景类型确定的基准值；

39、其中，所述目标场景类型基于对所述当前高斯点集渲染得到的图像的纹理特征和/或深度图统计特征进行分类得到。

40、在一种可能的实现中，在所述将插值结果作为该高斯点的低阶球谐系数，并将该高斯点的高阶球谐系数归零重置，以及将该高斯点的不透明度参数设置为根据目标场景类型确定的基准值之后，还包括：

41、在第一迭代训练优化阶段，冻结所述高阶球谐系数，更新所述低阶球谐系数以及所述高斯点的位置参数和尺度参数，直至满足预设的几何收敛条件；

42、在所述几何收敛条件满足后，进入第二迭代训练优化阶段，解冻并更新所述高阶球谐系数，并继续更新所述低阶球谐系数。

43、在一种可能的实现中，所述在第一迭代训练优化阶段，冻结所述高阶球谐系数，更新所述低阶球谐系数以及所述高斯点的位置参数和尺度参数，直至满足预设的几何收敛条件，包括：

44、在第一迭代训练优化阶段，冻结所述高阶球谐系数，基于第一学习率，更新所述低阶球谐系数，以及基于第二学习率更新所述高斯点的位置参数和尺度参数，直至满足预设的几何收敛条件；

45、所述在所述几何收敛条件满足后，进入第二迭代训练优化阶段，解冻并更新所述高阶球谐系数，并继续更新所述低阶球谐系数，包括：

46、所述在所述几何收敛条件满足后，进入第二迭代训练优化阶段，解冻并基于第三学习率更新所述高阶球谐系数，并继续更新所述低阶球谐系数；所述第三学习率低于所述第一学习率，且所述第三学习率的初始值为零，并在所述第二迭代训练优化阶段中从零开始逐步增长。

47、在本技术另一方面提供一种车辆，包括：

48、图像采集设备，用于采集车辆周围环境的图像数据；

49、车载处理器，用于执行如上述任一项所述的三维模型处理方法，以对基于所述图像数据构建的三维高斯泼溅模型进行剪枝压缩，得到目标高斯点集，并基于所述目标高斯点集渲染场景画面；

50、车载显示设备，用于呈现所述场景画面。

51、在本技术中，在执行粗采样剪枝处理之前，先对当前高斯点集进行全局可见性判定，将判定为不可见的高斯点的渲染重要性分数置为零，并在此基础上确定其余高斯点的渲染重要性分数。由于不可见高斯点的渲染重要性分数为零，其在后续基于重要性分数的采样或筛选中被剔除的概率显著增大，从而有助于减少不可见高斯点在剪枝后模型中的残留，降低无效存储与计算开销。并且，可以确保后续基于渲染重要性分数的剪枝操作不会因不可见高斯点的存在而产生决策偏差，使剪枝决策更加可靠。

52、在此基础上，基于各高斯点的渲染重要性分数执行粗采样剪枝处理，以较低的筛选代价快速剔除大量冗余高斯点，实现模型体积的初步大幅缩减。随后，利用粗剪后保留的第一高斯点集渲染场景深度图，从深度图中自动识别并提取几何边界、纹理边缘等细节区域，并依据这些细节区域从被剔除的高斯点中选取空间位置相匹配的关键高斯点进行回填补偿。最后，在细节已得到补偿修复的基础上，执行精细化剪枝处理，对残余的少量低贡献高斯点进行精确剔除，实现模型体积的极致压缩，且精细化剪枝后不重置高斯参数，完整保留前期训练形成的场景纹理与色彩特征，避免二次失真。

53、通过上述流程的协同配合，本方法在剪枝流程的起始阶段即通过可见性约束将不可见高斯点的渲染重要性分数置为零，为后续剪枝中优先清除这部分对渲染无贡献的存储与计算冗余奠定了基础，减少了不可见高斯点与可见高斯点混合参与重要性评估对筛选结果造成的干扰。在此基础上，通过粗剪—深度补偿—精剪的差异化流程，将追求高压缩率与保留关键细节这两个原本相互矛盾的目标在时间顺序和功能模块上进行了解耦，使得在实现高压缩率的同时，有效保留了场景的几何边界和细微纹理信息，有利于提升渲染保真度。