基于分层分块与先验约束的大场景3DGS离线训练建模方法与流程

本发明涉及三维重建与数字孪生，尤其涉及基于分层分块与先验约束的大场景3dgs离线训练建模方法。

背景技术：

1、大场景3dgs离线训练建模是数字孪生与三维重建领域的核心技术之一，其建模结果直接影响后续场景展示精度、更新维护效率以及数字孪生应用可靠性。在大场景3dgs建模过程中，通常需要结合原始影像数据、原始点云数据、深度数据及新增影像数据，对不同场景区域进行高斯模型训练与更新，并根据建模结果构建对应的三维场景模型。随着城市园区、工业厂区、大范围地形等场景规模的不断扩大以及场景动态变化频率的增加，大场景3dgs离线训练建模逐渐由全场景整体训练向分块训练与增量更新方向发展。

2、例如在申请公开号为cn119180911a的中国专利申请中公开了一种基于3dgs的大场景三维重建、更新和编辑方法，该方法通过将大场景划分为多个区块进行分块训练和渲染加载，并对场景变化区域进行更新处理。但是，现有的大场景3dgs增量建模方法通常根据新增影像数据与原始模型之间的差异确定场景变化区域，并对变化区域对应的高斯模型进行增量训练更新，未考虑不同空间块之间的遮挡传播关系，即上游场景块的变化可能导致下游场景块的影像观测产生差异，而该差异并非由下游场景块自身变化引起，若直接基于观测差异对下游场景块进行更新，会将遮挡传播造成的伪变化误判为自身变化，导致无效更新和模型错误；同时，不同场景变化具有不同的持续特征，即部分变化由车辆停放、临时遮挡等因素引起，在后续采集过程中可能恢复至原始场景状态，而部分变化由建筑改造、设备更换等因素引起，会长期保持并改变目标三维场景结构，若对不同持续特征的场景变化采用相同更新方式，容易将临时变化固化至三维模型中，或因长期变化更新不及时导致模型与实际场景不一致。

3、以上现有技术存在如下问题：现有大场景3dgs离线训练建模方法未将不同空间块之间的遮挡传播关系纳入更新判断考量，缺少对遮挡造成的伪变化与场景自身真实变化的区分手段；同时，现有方法未将场景变化的持续特征差异纳入更新策略考量，缺少根据场景变化持续特征调整分块高斯模型更新需求的机制；亦未建立基于遮挡传播归因及场景变化持续特征的差异化更新决策机制，导致大场景3dgs增量建模过程中存在无效更新、模型错误以及长期维护效率低下的问题，难以满足大场景3dgs离线训练建模的更新准确性和长期维护效率要求。

技术实现思路

1、为了解决现有大场景3dgs离线训练建模方法未考虑不同空间块之间的遮挡传播关系，缺少对遮挡造成的伪变化与场景自身真实变化的区分手段，以及未将场景变化的持续特征差异纳入更新策略考量的问题，本发明提供了基于分层分块与先验约束的大场景3dgs离线训练建模方法。

2、本发明解决其技术问题所采用的技术方案是：基于分层分块与先验约束的大场景3dgs离线训练建模方法，包括：

3、s1：获取原始影像数据、原始点云数据、深度数据及新增影像数据，基于morton空间分层分块架构对目标三维场景进行空间划分，建立各场景块对应的空间坐标索引，并基于原始点云数据和深度数据构建几何先验约束场；

4、s2：基于cpu-ssd-gpu三级异步数据调度流水线加载各场景块对应的训练数据，结合几何先验约束场对各场景块进行高斯初始化，得到各场景块对应的分块高斯模型；

5、s3：对于发生场景变化的场景块，根据新增影像数据相对于各场景块对应的分块高斯模型产生的观测差异，确定对应的变化观测信息；

6、s4：根据变化观测信息，分析上游变化来源对目标场景块产生的变化传播影响，确定观测差异中的遮挡传播影响量，并去除遮挡传播影响量，将剩余差异确定为有效场景变化信息；

7、s5：根据有效场景变化信息在连续采集过程中的变化情况，确定场景变化稳定特征，并根据场景变化稳定特征确定分块高斯模型更新方式；

8、s6：根据分块高斯模型更新方式对对应场景块的分块高斯模型执行更新操作，将更新后的分块高斯模型按照空间坐标索引进行分层存储，形成分层分块高斯场景库。

9、其中优选的，所述基于morton空间分层分块架构对目标三维场景进行空间划分，建立各场景块对应的空间坐标索引，并基于原始点云数据和深度数据构建几何先验约束场，包括：

10、s11：根据目标三维场景对应的空间范围确定三维空间划分区域，根据原始点云数据中各点云的空间位置分布确定目标三维场景的空间分布特征，根据目标三维场景的空间分布特征对三维空间划分区域进行多层级递归划分，获取不同层级对应的空间子区域，并根据各空间子区域的三维坐标位置计算对应的morton编码；

11、s12：根据各空间子区域对应的morton编码生成场景块编号，将场景块编号、morton编码以及对应空间子区域的空间边界坐标进行一一对应存储，建立各场景块对应的空间坐标索引；

12、s13：根据原始点云数据获取各场景块内点云数量、点云空间分布位置以及点云间距信息，根据深度数据获取各场景块内不同空间位置对应的深度值变化量，将点云数量、点云空间分布位置及点云间距信息与对应深度值变化量共同作为各场景块对应的几何约束参数，根据各场景块对应的几何约束参数构建几何先验约束场。

13、其中优选的，所述基于cpu-ssd-gpu三级异步数据调度流水线加载各场景块对应的训练数据，结合几何先验约束场对各场景块进行高斯初始化，得到各场景块对应的分块高斯模型，包括：

14、s21：根据当前训练任务对应的空间位置坐标，在空间坐标索引中查询各场景块对应的空间边界坐标，并将空间位置坐标位于对应空间边界范围内的场景块确定为待训练场景块；

15、s22：根据待训练场景块对应的场景块编号，从ssd存储区域读取对应场景块的原始影像数据、原始点云数据以及深度数据，并通过cpu-ssd-gpu三级异步数据调度流水线将读取后的训练数据加载至gpu计算区域；

16、s23：根据待训练场景块对应的空间边界坐标，对原始点云数据中的点云坐标进行空间范围判断，将位于待训练场景块空间边界范围内的点云数据转换为初始高斯点；

17、s24：根据几何先验约束场中待训练场景块对应的几何约束参数，对初始高斯点对应的空间位置、形态大小以及空间分布方向进行调整，使初始高斯点与待训练场景块对应空间结构相匹配，得到各场景块对应的分块高斯模型。

18、其中优选的，所述对于发生场景变化的场景块，根据新增影像数据相对于各场景块对应的分块高斯模型产生的观测差异，确定对应的变化观测信息，包括：

19、s31：根据空间坐标索引获取发生场景变化的场景块对应的分块高斯模型，利用分块高斯模型对新增影像数据进行渲染，得到新增影像数据对应场景块的模型观测数据；

20、s32：将新增影像数据中各像素位置对应的像素值与模型观测数据中对应像素位置对应的像素值的差值绝对值作为像素差异值；

21、s33：将各像素位置对应的像素差异值的累加结果作为对应场景块的观测差异，并将观测差异、像素差异值以及对应场景块的空间坐标索引作为变化观测信息。

22、其中优选的，所述根据变化观测信息，分析上游变化来源对目标场景块产生的变化传播影响，确定观测差异中的遮挡传播影响量，并去除遮挡传播影响量，将剩余差异确定为有效场景变化信息，包括：

23、s41：根据变化观测信息，获取目标场景块对应的空间坐标索引，沿新增影像数据的观察射线方向搜索目标场景块上游的相邻场景块，将搜索到的相邻场景块确定为潜在变化来源场景块；

24、s42：根据潜在变化来源场景块对应的分块高斯模型变化情况，确定潜在变化来源场景块沿观察射线方向产生的深度排序变化量及累积透射变化量，将深度排序变化量与累积透射变化量的乘积结果作为遮挡传播影响量；

25、s43：将变化观测信息中的观测差异与遮挡传播影响量的差值作为有效场景变化信息。

26、其中优选的，所述根据有效场景变化信息在连续采集过程中的变化情况，确定场景变化稳定特征，并根据场景变化稳定特征确定分块高斯模型更新方式，包括：

27、s51：根据有效场景变化信息在连续采集过程中的数值变化趋势，确定有效场景变化信息对应的变化持续度量和变化恢复度量，其中变化持续度量为有效场景变化信息在连续采集过程中持续偏离零值的累积程度，变化恢复度量为有效场景变化信息在连续采集过程中向零值回归的变化程度；

28、s52：将变化持续度量与变化恢复度量进行比较，当变化恢复度量大于变化持续度量时确定场景变化稳定特征为临时变化稳定特征，当变化持续度量大于变化恢复度量时确定场景变化稳定特征为长期变化稳定特征；

29、s53：根据场景变化稳定特征确定分块高斯模型更新方式，临时变化稳定特征对应的更新方式为轻量级参数微调，长期变化稳定特征对应的更新方式为全量增量训练更新。

30、其中优选的，所述根据分块高斯模型更新方式对对应场景块的分块高斯模型执行更新操作，将更新后的分块高斯模型按照空间坐标索引进行分层存储，形成分层分块高斯场景库，包括：

31、s61：根据分块高斯模型更新方式确定对应场景块的更新操作类型，对于轻量级参数微调方式，冻结分块高斯模型中空间位置参数和形态大小参数，仅更新颜色参数和不透明度参数；对于全量增量训练更新方式，对分块高斯模型的所有参数进行重新训练优化；

32、s62：根据更新操作类型对对应场景块的分块高斯模型执行更新操作，得到更新后的分块高斯模型；

33、s63：根据空间坐标索引确定更新后的分块高斯模型对应的存储层级，将更新后的分块高斯模型按照存储层级分别存储至对应存储区域，形成分层分块高斯场景库。

34、另一方面，本发明提供基于分层分块与先验约束的大场景3dgs离线训练建模系统，包括：

35、数据获取与预处理模块，用于获取原始影像数据、原始点云数据、深度数据及新增影像数据，基于morton空间分层分块架构对目标三维场景进行空间划分，建立各场景块对应的空间坐标索引，并基于原始点云数据和深度数据构建几何先验约束场；

36、分块训练模块，用于基于cpu-ssd-gpu三级异步数据调度流水线加载各场景块对应的训练数据，结合几何先验约束场对各场景块进行高斯初始化，得到各场景块对应的分块高斯模型；

37、变化检测与分析模块，用于根据新增影像数据相对于分块高斯模型的观测差异确定变化观测信息，分析上游变化来源对目标场景块产生的变化传播影响，确定遮挡传播影响量并去除遮挡传播影响量，确定有效场景变化信息；

38、更新决策与执行模块，用于根据有效场景变化信息确定场景变化稳定特征及分块高斯模型更新方式，根据分块高斯模型更新方式对对应场景块的分块高斯模型执行更新操作；

39、分层存储模块，用于将更新后的分块高斯模型按照空间坐标索引进行分层存储，形成分层分块高斯场景库。

40、另一方面，本发明提供一种电子设备，包括处理器和存储器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序时实现上述基于分层分块与先验约束的大场景3dgs离线训练建模方法。

41、本发明的有益效果是，本发明通过morton空间分层分块架构对目标三维场景进行空间划分并构建几何先验约束场，结合几何先验约束场进行高斯初始化得到分块高斯模型，克服了现有大场景3dgs全场景训练显存占用高、训练成本高的问题；通过分析上游变化来源对目标场景块产生的遮挡传播影响并去除遮挡传播影响量，确定有效场景变化信息，解决了将遮挡传播造成的伪变化误判为自身变化导致无效更新和模型错误的问题；通过根据有效场景变化信息在连续采集过程中的变化情况确定场景变化稳定特征，并根据场景变化稳定特征确定分块高斯模型更新方式，实现了对临时变化与长期变化的差异化更新，解决了临时变化被错误保留或长期变化未及时更新的问题；通过根据分块高斯模型更新方式执行更新操作并分层存储，有效提高了大场景3dgs离线训练建模的更新准确性和长期维护效率。