三维高斯泼溅超分辨率方法、装置、计算机设备及存储介质

本技术涉及图像处理，具体涉及一种三维高斯泼溅超分辨率方法、装置、计算机设备及存储介质。

背景技术：

1、随着三维重建与沉浸式应用（如虚拟现实、增强现实）的快速发展，三维场景的高质量表示与渲染变得至关重要。三维高斯泼溅（3d gaussian splatting，3dgs）作为一种新兴的三维重建技术，能够以显式的高斯原语表示场景，实现高保真度的实时渲染。然而，在实际应用场景中，由于设备性能或存储带宽受限，往往只能获取到低分辨率的输入图像，这导致三维高斯泼溅重建结果缺乏高频细节，出现过度平滑和模糊的现象。

2、为恢复高分辨率的精细三维场景，现有主流做法通常采用级联范式：先利用二维图像超分辨率或视频超分辨率模型对低分辨率输入进行上采样，再以超分辨率结果作为监督信号来优化三维高斯参数。然而，这种方法存在跨视角不一致，产生纹理闪烁和几何漂移、3dgs优化过拟合到虚假的噪声信号上，严重损害重建保真度和多视角一致性等问题。

技术实现思路

1、有鉴于此，本技术提出了一种三维高斯泼溅超分辨率方法、装置、计算机设备及存储介质，以解决如何在含噪声低分辨率输入条件下，实现高质量、高一致性的三维高斯超分辨率重建的问题。

2、本技术第一方面实施例提出了一种三维高斯泼溅超分辨率方法，所述方法包括：

3、获取初始三维重建模型，从所述初始三维重建模型中提取三维高斯点云；所述初始三维重建模型是基于第一图像训练得到的；所述第一图像的分辨率小于预设分辨率，且含噪声；

4、将超分辨率重建过程分解为多个去噪阶段，基于所述三维高斯点云进行高斯参数优化，每个去噪阶段包含固定次数的迭代，采用统一的跨阶段训练策略，使迭代次数在不同去噪阶段间累计，每个去噪阶段继承上一去噪阶段结束时的学习率和参数状态；

5、在每个去噪阶段的每次迭代中，从所述三维高斯点云渲染得到第二图像和第三图像，利用图像超分辨率扩散模型对所述第二图像进行上采样生成目标图像；所述第三图像的分辨率大于所述第二图像的分辨率；

6、根据所述第二图像以及所述第三图像计算小波域损失；

7、基于所述第三图像与所述目标图像计算渲染损失，将所述渲染损失与所述小波域损失加权求和得到总损失函数，根据所述总损失函数优化所述三维高斯点云的参数，得到更新后的三维高斯点云用于下一迭代步骤。

8、本技术实施例将超分辨率重建过程分解为多个去噪阶段并采用跨阶段累计训练策略，实现了从粗到精的渐进式场景学习，早期阶段以较高学习率快速丢弃噪声，后期阶段以较低学习率进行精细微调，有效缓解了早期噪声对后续优化的干扰。在每个去噪阶段的每次迭代中，利用图像超分辨率扩散模型对渲染的低分辨率图像进行上采样生成高分辨率目标图像，能够利用强大的二维扩散先验生成丰富细腻的高频纹理。根据第二图像和第三图像计算小波域损失，通过将图像从空间域变换到小波域，显式分离低频结构信息和高频噪声成分，仅对可靠的低频结构进行约束，避免模型被迫拟合高频噪声，保证重建结果的结构准确性和多视角一致性。基于第三图像与目标图像计算渲染损失，并与小波域损失联合优化，能够在恢复高频纹理细节的同时有效抑制噪声干扰，使最终重建结果兼具细节丰富度和结构真实性。

9、在本技术实施例中，根据所述第二图像以及所述第三图像计算小波域损失，包括：

10、对所述第三图像进行空间下采样得到下采样图像，所述下采样图像的分辨率与所述第二图像的分辨率相同；

11、分别对所述下采样图像和所述第二图像进行二维离散小波变换，将空间域信号分解为不同频率子带，从所述不同频率子带中提取低频子带；所述低频子带用于表征图像的整体结构信息；

12、基于两个低频子带计算像素级绝对误差损失以及结构相似性损失，并将所述像素级绝对误差损失以及所述结构相似性损失进行加权求和得到小波域损失。

13、本技术实施例分别对下采样图像和第二图像进行二维离散小波变换并提取低频子带，将空间域信号分解为不同频率成分，显式隔离表征整体结构信息的低频子带，丢弃含有高频噪声的细节子带。基于两个低频子带计算像素级绝对误差损失和结构相似性损失，从像素数值和感知结构两个维度约束低频结构的一致性，使三维高斯模型从原始低分辨率输入中准确学习全局场景布局，而不被强迫拟合高频噪声，有效提升重建结果的结构准确性和跨视角一致性。

14、在本技术实施例中，利用图像超分辨率扩散模型对所述第二图像进行上采样生成目标图像，包括：

15、将所述第二图像通过编码器映射至潜空间，提取潜在特征表示；

16、以所述潜在特征表示作为条件，在所述潜空间中执行去噪采样；

17、将去噪后的潜在特征表示通过解码器映射回像素空间，生成初始目标图像；

18、根据所述初始目标图像以及所述第二图像生成目标图像。

19、在本技术实施例中，根据所述初始目标图像以及所述第二图像生成目标图像，包括：

20、将所述第二图像放大至目标分辨率，得到所述第二图像的上采样版本；所述目标分辨率为所述初始目标图像的分辨率；

21、将所述上采样版本以及所述初始目标图像按照预设缩放因子进行加权融合，得到目标图像。

22、本技术实施例通过将第二图像放大至目标分辨率得到上采样版本，该版本保留了第二图像的底层结构信息，作为结构锚定防止生成结果偏离真实场景布局。将上采样版本与初始目标图像按照预设缩放因子进行加权融合，以较低权重引入扩散模型生成的丰富细节，同时以较高权重保留原始渲染的结构真实性，有效抑制扩散模型固有随机性所引入的虚假细节和幻觉纹理，使最终目标图像兼具细节丰富度和结构可信度，减少优化震荡，提升训练稳定性。

23、在本技术实施例中，所述三维高斯点云由多个三维高斯基元组成，每个基元包含位置、协方差、颜色和不透明度；所述方法还包括：

24、预先设定所述三维高斯基元的总数量预算上限；

25、在超分辨率重建过程中，根据所述总数量预算上限，通过自适应的稠密化操作和剪枝操作控制所述三维高斯点云的基元数量。

26、在本技术实施例中，所述超分辨率重建过程分解为五个去噪阶段，第一个去噪阶段执行剪枝操作，不执行稠密化操作；所述剪枝操作包括删除经激活后不透明度低于第一阈值的基元；从第二个去噪阶段开始执行稠密化操作和剪枝操作，以逐步精炼场景几何结构。

27、在本技术实施例中，将所述渲染损失与所述小波域损失加权求和得到总损失函数，包括：

28、

29、其中，表示总损失，表示渲染损失，表示小波域损失，表示平衡系数。

30、本技术第二方面的实施例提供了一种三维高斯泼溅超分辨率装置，包括：

31、数据获取模块，用于获取初始三维重建模型，从所述初始三维重建模型中提取三维高斯点云；所述初始三维重建模型是基于第一图像训练得到的；所述第一图像的分辨率小于预设分辨率，且含噪声；

32、去噪模块，用于将超分辨率重建过程分解为多个去噪阶段，基于所述三维高斯点云进行高斯参数优化，每个去噪阶段包含固定次数的迭代，采用统一的跨阶段训练策略，使迭代次数在不同去噪阶段间累计，每个去噪阶段继承上一去噪阶段结束时的学习率和参数状态；

33、目标图像生成模块，用于在每个去噪阶段的每次迭代中，从所述三维高斯点云渲染得到第二图像和第三图像，利用图像超分辨率扩散模型对所述第二图像进行上采样生成目标图像；所述第三图像的分辨率大于所述第二图像的分辨率；

34、小波域损失计算模块，用于根据所述第二图像以及所述第三图像计算小波域损失；

35、参数优化模块，用于基于所述第三图像与所述目标图像计算渲染损失，将所述渲染损失与所述小波域损失加权求和得到总损失函数，根据所述总损失函数优化所述三维高斯点云的参数，得到更新后的三维高斯点云用于下一迭代步骤。

36、本技术第三方面的实施例提供了一种计算机设备，该计算机设备包括存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行上述第一方面所述的三维高斯泼溅超分辨率方法。

37、本技术第四方面的实施例提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机指令，所述计算机指令用于使计算机执行上述第一方面所述的三维高斯泼溅超分辨率方法。

38、本技术附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变的明显，或通过本技术的实践了解到。