一种基于4D高斯的动态三维场景轻量化重建方法及系统与流程

本发明涉及三维场景重建，具体涉及一种基于4d高斯的动态三维场景轻量化重建方法及系统。

背景技术：

1、动态三维场景重建是计算机视觉和三维重建领域的重要研究方向，可应用于数字孪生、虚拟现实、机器人感知及智能监控等领域。动态场景不仅包含空间结构和外观信息，还具有随时间变化的运动、遮挡及形变特征，对重建效率、时空一致性和资源开销提出了较高要求。

2、现有神经辐射场（neural radiance fields，nerf）方法主要利用隐式体场和密集射线采样表示场景，在处理动态场景时通常需要对较大范围的模型参数进行迭代优化，计算量较大，且难以根据局部变化实施细粒度更新。点云或网格方法在表示连续动态过程时，通常需要存储多个时间状态或频繁调整几何结构和拓扑关系，容易增加存储及更新开销，并可能影响动态场景的时空连续性。

3、现有四维高斯重建方法能够利用高斯基元表示场景的时间演化，但部分方法依赖固定的时空分解结构或统一形变网络，需要持续维护和优化相应的时变参数，仍存在计算及存储开销较大的问题。此外，现有采集过程与模型重建过程通常相互独立，采集参数难以根据模型状态和场景变化进行调整，容易产生冗余观测数据，并增加带宽、算力及存储资源消耗。

4、因此，现有技术仍难以在保证动态三维场景重建质量和时空一致性的同时，兼顾模型更新的实时性及计算、通信和存储资源开销。

技术实现思路

1、本发明的目的在于，提供一种基于4d高斯的动态三维场景轻量化重建方法及系统，以解决现有动态三维场景重建过程中模型更新和时序状态维护的计算及存储开销较大、数据采集与模型重建缺乏协同，以及在带宽、算力和延迟受限条件下难以兼顾重建质量、时空一致性与在线处理效率的问题。

2、为了实现上述目的，本发明提供一种基于4d高斯的动态三维场景轻量化重建方法，包括：

3、获取连续观测数据及系统资源状态数据，利用4d高斯模型按照所述连续观测数据对应的采集条件生成第一模型预测图像，根据所述连续观测数据与第一模型预测图像生成二维变化置信图；

4、通过相机投影关系将所述二维变化置信图中的变化区域关联至所述4d高斯模型中的高斯基元，得到候选高斯集合，根据候选高斯的变化关联权重及模型内部状态信息确定候选高斯优先级；

5、根据所述候选高斯优先级及系统资源状态数据生成候选采集动作，依据候选采集动作的信息增益和资源成本确定并执行目标采集动作，获得新观测数据；

6、利用所述4d高斯模型按照所述目标采集动作对应的采集条件，生成与所述新观测数据对应的第二模型预测图像，根据所述新观测数据中的观测图像与第二模型预测图像的差异及所述模型内部状态信息确定门控状态数据；

7、依据所述门控状态数据更新动态候选高斯参数并冻结稳定候选高斯参数，得到更新后的4d高斯模型，并基于更新后的4d高斯模型生成动态三维场景重建结果。

8、作为上述技术方案的进一步改进，所述二维变化置信图的生成包括：从所述连续观测数据中确定相邻的前一观测图像和当前观测图像，对所述前一观测图像与当前观测图像进行帧间差分和光流计算，分别得到帧间差分图和光流变化图；将所述当前观测图像与第一模型预测图像进行比较，得到局部重投影残差图；对所述帧间差分图、光流变化图及局部重投影残差图进行加权融合，得到二维变化置信图，并根据所述二维变化置信图确定以像素位置变化强度表征的变化区域。

9、作为上述技术方案的进一步改进，所述候选高斯集合的获取包括：根据所述变化区域的像素位置、相机内参、相机位姿及从所述4d高斯模型获取的渲染深度，将所述变化区域反投影至三维空间，得到三维空间变化区域；利用针对所述高斯基元建立的空间索引，查询所述三维空间变化区域覆盖的高斯基元，得到初选高斯集合；根据相机内外参将所述初选高斯集合中各高斯基元的中心位置投影至图像平面，并根据各高斯基元的空间尺度确定对应的投影覆盖区域；根据所述投影覆盖区域与变化区域的重叠比例以及投影位置对应的变化置信度，确定各高斯基元的变化关联权重；筛选变化关联权重大于预设关联阈值的高斯基元，由筛选出的各高斯基元组成候选高斯集合。

10、作为上述技术方案的进一步改进，所述模型内部状态信息包括模型不确定性、渲染误差、参数时变程度及相对于历史稳定状态的分布偏移程度；对所述变化关联权重及模型内部状态信息进行加权融合，得到候选高斯优先级；根据候选高斯在各采集视角下的投影面积、观察方向夹角、距离及遮挡情况确定视角可见性收益；根据所述候选高斯优先级、系统资源状态数据及视角可见性收益生成候选采集动作，每一候选采集动作包括采集视角、相机位姿、图像分辨率、采样帧率及曝光参数。

11、作为上述技术方案的进一步改进，所述目标采集动作的确定包括：根据视角可见性收益确定候选采集动作下各候选高斯的可观测概率，将所述可观测概率、候选高斯优先级及预期不确定性下降量的乘积累加，得到候选采集动作的信息增益；所述预期不确定性下降量为采集前模型不确定性与预计采集后模型不确定性之差；根据候选采集动作的数据量、上传带宽、网络延迟、边缘和云端处理开销、数据存储量及采集处理时延，确定网络成本、计算成本、存储成本和时间成本，并加权得到资源成本；根据系统资源状态数据确定带宽、算力及延迟约束，在所述约束下，将信息增益与资源成本的比值最大的候选采集动作确定为目标采集动作。

12、作为上述技术方案的进一步改进，所述门控状态数据的确定包括：根据所述目标采集动作对应的相机内外参，将候选高斯投影至所述新观测数据中的观测图像，确定各候选高斯的投影区域；根据所述投影区域内观测图像与第二模型预测图像的像素差异确定预测渲染残差，根据候选高斯在所述观测图像中的实际贡献与在第二模型预测图像中的预测渲染贡献之间的差异确定贡献度偏差，并根据光流幅值和帧间差分能量确定局部运动强度；将所述预测渲染残差、贡献度偏差及局部运动强度加权得到初级评分，筛选初级评分大于第一阈值的候选高斯组成候选子集；根据所述候选子集中各候选高斯的参数时变统计量、可见性变化、分布偏移程度及多视角预测残差一致性得到高级评分；将高级评分大于第二阈值的候选高斯所对应的状态特征向量输入变化预测器，确定门控状态数据。

13、作为上述技术方案的进一步改进，所述更新动态候选高斯参数并冻结稳定候选高斯参数包括：将用于计算初级评分和高级评分的各特征量与候选高斯的当前参数、历史门控状态及更新时间组合并归一化，得到所述状态特征向量；将所述状态特征向量输入轻量级多层感知机，经全连接映射和sigmoid激活得到0至1的软门控值；在所述变化预测器的训练阶段，以不小于最小门控下限的软门控值缩放渲染损失对候选高斯参数的更新梯度；在动态三维场景重建的部署阶段，将所述软门控值与门控阈值比较得到二值门控值，将所述二值门控值为1和0的候选高斯分别确定为动态候选高斯和稳定候选高斯，分别更新和冻结对应参数；所述门控状态数据包括软门控值和二值门控值。

14、作为上述技术方案的进一步改进，所述更新动态候选高斯参数还包括：根据动态候选高斯的历史参数变化量构建时序变化矩阵，对所述时序变化矩阵进行低秩分解得到空间变化基，以所述空间变化基与低维时间系数的组合表示各时刻参数变化量；使空间相邻且运动模式相似的动态候选高斯共享局部空间变化基，并分别维护低维时间系数；将历史时间系数序列输入时序预测器，得到下一时刻的预测时间系数，根据所述预测时间系数生成预测高斯参数；确定所述预测时间系数与基于新观测图像得到的下一时刻实际时间系数之间的预测误差；当所述预测误差不大于预测误差阈值时，采用所述预测时间系数更新动态候选高斯参数，否则根据新观测图像优化低维时间系数，并利用优化后的低维时间系数更新动态候选高斯参数及所述时序预测器。

15、作为上述技术方案的进一步改进，还包括：根据高斯基元的位置、尺度、不透明度、历史更新频率及渲染贡献度，将高斯基元划分为粗层和细层；对未冻结的粗层高斯低频更新并快速渲染，得到粗层渲染图像；若所述粗层渲染图像与新观测图像的残差超过层级阈值，激活并更新误差贡献较大的细层高斯，否则保持细层冻结；

16、针对在预设时段内二值门控值持续为0的高斯，周期性合并其中空间邻近且属性相似的高斯，并删除其中渲染贡献度低于剪枝阈值的高斯；累计冻结区域的观测与渲染残差，若累计误差超过唤醒阈值，将对应二值门控值置为1，恢复低维时间系数的维护并进行局部更新；

17、根据新观测图像和更新后的4d高斯模型更新渲染误差、模型不确定性、门控状态数据及历史时间状态数据，反馈用于确定下一轮候选采集动作。

18、本发明还提供一种基于4d高斯的动态三维场景轻量化重建系统，包括：

19、数据获取与变化检测模块，用于获取连续观测数据及系统资源状态数据，利用4d高斯模型按照所述连续观测数据对应的采集条件生成第一模型预测图像，并根据所述连续观测数据与第一模型预测图像生成二维变化置信图；

20、关联排序模块，用于通过相机投影关系将所述二维变化置信图中的变化区域关联至所述4d高斯模型中的高斯基元，得到候选高斯集合，并根据候选高斯的变化关联权重及模型内部状态信息确定候选高斯优先级；

21、采集决策与执行模块，用于根据所述候选高斯优先级及系统资源状态数据生成候选采集动作，依据候选采集动作的信息增益和资源成本确定并执行目标采集动作，获得新观测数据；

22、门控判定模块，用于利用所述4d高斯模型按照所述目标采集动作对应的采集条件，生成与所述新观测数据对应的第二模型预测图像，并根据所述新观测数据中的观测图像与第二模型预测图像的差异及所述模型内部状态信息确定门控状态数据；

23、模型更新与重建模块，用于依据所述门控状态数据更新动态候选高斯参数并冻结稳定候选高斯参数，得到更新后的4d高斯模型，并基于更新后的4d高斯模型生成动态三维场景重建结果。

24、本发明提供的动态三维场景轻量化重建方法及系统具有以下有益效果：

25、（1）通过对连续观测数据与模型预测图像进行比较生成二维变化置信图，将变化区域关联至高斯基元并确定候选高斯优先级，能够将场景变化检测结果落实至对应的高斯基元，减少对无变化区域的无效分析，提高模型更新对象定位的准确性。

26、（2）通过结合候选高斯优先级、系统资源状态、视角可见性收益、信息增益及资源成本确定目标采集动作，使采集视角、相机位姿、图像分辨率及采样帧率等采集参数与模型更新需求和可用资源相匹配，从而减少冗余数据采集及传输，降低通信与处理开销。

27、（3）通过观测图像与模型预测图像之间的差异以及模型内部状态信息确定门控状态数据，并利用软门控值调节参数更新梯度、利用二值门控值控制候选高斯参数的更新或冻结，能够减少参与更新的高斯基元数量及梯度计算量，提高动态三维场景的在线更新效率，同时保持稳定区域的模型参数。

28、（4）通过低秩分解和局部空间变化基共享方式表示动态候选高斯的时序参数变化，并利用时间系数预测、粗细分层更新、合并、剪枝及冻结区域唤醒机制，能够减少完整时序参数的重复存储和更新，在降低计算及存储开销的同时，保持动态区域的细节表达能力和时间连续性。

29、（5）通过更新渲染误差、模型不确定性、门控状态数据及历史时间状态数据，并将更新结果反馈至下一轮候选采集动作的确定过程，形成采集、判定、模型更新与反馈相衔接的闭环处理流程，有利于提高动态三维场景长期重建过程的稳定性及对带宽、算力和延迟受限环境的适应能力。