一种融合三维高斯泼溅与符号距离场的置信度蒸馏方法与流程

本发明涉及计算机视觉与计算机图形学，具体涉及一种融合三维高斯泼溅与符号距离场的三维场景重建方法及装置，适用于物体以及开放场景的高质量重建。

背景技术：

1、随着数字经济的快速发展，三维数字内容在数字孪生、虚拟现实、增强现实等国家前沿新兴产业中的需求日益增长。高精度三维场景重建技术作为上述应用的基础支撑，其自主可控的技术突破对于推动我国新一代信息技术产业发展具有重要意义。

2、在现有的三维场景重建方案中，基于三维高斯泼溅的显式表示方法以其高效的渲染性能和清晰的场景表达而受到广泛关注。该方法将场景表示为各向异性高斯基元，通过可微光栅化管线实现实时渲染，近年来在重建质量与效率方面取得了显著进展。然而，这类离散表示方法在处理复杂场景时存在固有缺陷：由于各高斯基元独立优化且缺乏全局几何约束，外观重建中的镜面高光等强视角相关效应容易被误判为几何起伏，导致表面重建引入大量伪影与噪声。传统方法仅依赖预训练的离线法向量估计器提供几何监督，但此类监督信号本身存在偏差且无法感知场景特性，难以有效区分外观变化与真实的几何结构。

3、此外，现有的将符号距离场隐式表示与三维高斯泼溅相结合的方法虽然在理论上具备了隐式几何抗干扰与显式渲染高效率的双重优势，但在几何先验传递过程中缺乏有效的选择性调控机制。具体而言，符号距离分支向高斯分支传递几何监督时，对所有像素区域采用均一的处理策略，未考虑不同区域对外观监督与几何监督的敏感度差异。这种全局均一的蒸馏方式，使得外观重建主导的区域被迫接受不适当的几何约束，既限制了外观重建的表达能力，也削弱了符号距离场分支本应发挥的抗干扰优势。

4、综上所述，现有技术尚未形成一套针对高斯泼溅与符号距离场融合的有效几何蒸馏机制，难以在保持外观重建质量的前提下充分利用符号距离场分支的抗干扰几何重建优势，导致镜面高光等强视角相关效应下的几何重建准确度不足。因此，亟需一种能够感知重建质量差异、自适应调制几何监督传递的置信度蒸馏方案。

技术实现思路

1、本发明所采用的技术方案是：一种融合三维高斯泼溅与符号距离场的置信度蒸馏方法，包括以下步骤：

2、s1、构建双分支场景表示，包括基于三维高斯泼溅的高斯分支和基于符号距离场的隐式分支；

3、s2、通过所述高斯分支渲染场景法向量图及深度图的初始几何信息，并通过所述隐式分支渲染场景的隐式几何信息，同时生成所述高斯分支的置信度图和所述隐式分支的置信度图；

4、 s3、采用两阶段置信度调制机制，将所述隐式分支的几何先验蒸馏至所述高斯分支：

5、 s31、第一阶段、利用预训练的法向量估计器提供的先验法向量图作为几何监督，并利用所述高斯分支生成的置信度图调制监督掩码，对所述高斯分支进行训练；

6、 s32、第二阶段，在满足预设条件后，切换至以所述隐式分支渲染的法向量图作为几何监督，并利用所述高斯分支与所述隐式分支的置信度图共同调制监督掩码，继续对所述高斯分支进行训练；

7、 s4、获得经所述隐式分支几何先验蒸馏后的高斯分支所输出的法向量图。

8、进一步的，步骤s2中置信度图的生成包括：

9、 s21、高斯分支置信度图生成：将所述高斯分支中的每一个高斯基元赋予一个可学习的显著性属性，将所述显著性属性纳入可微光栅化管线中，随后通过alpha混合渲染得到所述高斯分支的置信度图；其中，所述置信度图中像素值越高，表征该像素位置处高斯分支的重建效果置信度越低。

10、所述高斯分支置信度图的渲染公式为：

11、

12、其中为第个高斯基元的显著性属性，为渲染过程中第个高斯的alpha混合权重，通过上述公式可以得到高斯分支的置信度图，

13、s22、隐式分支置信度图生成：设置一置信度网络，该置信度网络与所述隐式分支中的辐射度网络共享输入单参数独立；对于每条像素射线，所述置信度网络预测其上各采样点的置信度值；将该置信度值沿射线进行体积渲染，获得所述隐式分支的置信度图，

14、所述隐式分支置信度图的体积渲染公式为：

15、

16、其中为第个采样点的置信度值，和为进行体积渲染过程中的alpha值与采样间隔。通过上述步骤，置信度信息被无缝嵌入到高斯分支以及符号距离场隐式分支的渲染过程中，参与渲染过程的同时可以实现实时优化。相较于现有技术通过离线方法预测结果，上述步骤得到的置信度结果及具有更平滑且更高细粒度的优化结果。

17、进一步的，步骤s21中显著性属性通过以下损失函数进行优化：构建二元目标图，二元目标图标识出辐射度损失梯度幅度小于预定第一阈值、且几何损失梯度幅度大于预定第二阈值的像素区域；以所述二元目标作为监督信号，对置信度图进行优化。

18、所述显著性属性的优化损失函数为：

19、

20、

21、其中为所述二元监督目标，与分别表示辐射度损失对高斯基元的均值的梯度及几何损失对高斯基元的旋转属性的梯度，与为预定第一与第二阈值。

22、进一步的，步骤s22中置信度网络通过以下损失函数进行优化：根据隐式分支渲染颜色与真值颜色的差异，构建外观误差项；根据射线上的alpha权重分布计算香农熵，构建几何不确定性项；以所述外观误差项与所述几何不确定性项作为联合监督信号，对所述隐式分支的置信度图进行优化。

23、外观误差项的定义为：

24、

25、其中为所述隐式分支中使用的真值图像中所采样的像素值。过程中统一使用归一化的图像值，因此。

26、几何不确定性项的定义为：

27、

28、其中表示该条光线上归一化后的alpha权重值。

29、所述置信度网络的优化损失函数为：

30、

31、其中为损失函数预定权重值。通过上述步骤，高斯分支与符号距离场隐式分支中的置信度属性被精细优化并且精准指向目标像素区域，指向高斯渲染结果中外观损失小且几何损失大，即需要进行额外几何监督的区域；指向外观损失小和几何香农熵低，即可以提供高精度几何监督的区域。与现有技术相比，上述设置为置信度属性设置独立且可信的优化路径，保证高斯基元与隐式分支在训练过程中可以自适应地完成置信度属性的优化，并将其纳入到场景重建过程中以提高其重建精度。

32、进一步的，步骤s3中预定条件为训练迭代次数达到预定阈值；在第一阶段s31中，利用高斯分支的置信度图与真值掩码进行逐元素乘法，得到调制后的监督掩码；在所述第二阶段s32中，利用所述高斯分支的置信度图、所述符号距离场的隐式分支的置信度图与真值掩码进行逐元素乘法，得到调制后的联合监督掩码。

33、所述两阶段监督切换策略的公式表示为：

34、

35、其中和为上述置信度监督过程中使用的法向量监督与掩码。

36、经蒸馏后的高斯分支综合了自身高效渲染、离线卷积神经网络稳定初始监督及符号距离场准确几何重建三者的优势，在保持外观重建质量的同时显著提升了表面几何的准确性，实现了高保真、高效率的场景外观和几何联合重建。

37、相对于现有技术，本发明的优点如下：

38、1.本方案提出的置信度机制实现了几何监督信号的自适应、选择性监督。现有方法多采用统一的监督权重来完成几何结果的监督，在优化过程中未考虑不同像素区域敏感度的同时且易引入监督噪声。本发明通过为高斯基元与符号距离场分支分别引入独立的置信度渲染与监督机制，利用渲染置信度图及属性让高斯分支关注外观重建合理但几何重建失效这类重建质量不对等的像素区域，进而提高场景的重建质量。

39、2.两阶段的蒸馏策略兼顾训练稳定性和重建精度。本发明在训练初期与后期针对优化需求的不同采用了不同的蒸馏策略，在训练初期，高斯基元与隐式两个分支的几何渲染结果尚未收敛，因此会因几何偏差为高斯分支引入错误监督，进而导致训练不稳定，因此第一阶段中，本发明使用的先验法向图由在大规模数据集上预训练的离线卷积神经网络生成，具有较好的泛化性与稳定性。训练后期，优化任务重心转移为渲染结果的精细化调整，因此第二阶段使用的法向图源于隐式分支的渲染结果，在该阶段，两个分支重建法向图均已优于第一阶段中使用的先验法向图，因此只需要将隐式分支优于高斯分支通过我们提出的置信度机制蒸馏至高斯分支即可。

40、3.本方案提出的置信度机制具有综合多来源几何监督的优势。本发明通过提出的置信度蒸馏方法最终综合了包括离线卷积神经网络预测法向量结果、隐式分支连续符号距离场渲染法向量结果、高斯基元分支渲染法向量结果三种来源几何监督的优势，通过置信度机制实现了三者的优势互补。经实验验证，在复杂光照条件下的场景中，本发明在外观与几何重建与渲染方面具有显著提升。

41、4.本方案提出的置信度蒸馏机制不显著增加推理阶段的计算开销。本发明中使用的置信度网络、显著度属性以及符号距离场分支仅参与训练过程中的损失计算与梯度回传，在推理渲染阶段仅使用高斯分支。在训练阶段完成后，高斯分支已内化了来自隐式分支的几何先验，其推理阶段的渲染管线和标准三维高斯泼溅完全一致，且显著度属性也不需要继续进行优化，因此仅需执行

42、5.一次前向光栅化即可得到高保真度的渲染结果和高精度的重建结果，保持了三维高斯泼溅实时渲染的核心优势。

43、下表1给出了在blendermvs以及dtu两个公开基准数据集上本方案与现有技术的实验结果对比。现有技术包括sugar、gaussiansurfels、gsdf、probesdf，实验对比指标包括外观渲染质量指标峰值信噪比（psnr）、结构相似性（ssim）以及几何重建指标倒角距离（cd）。

44、其中blendermvs数据集侧重于多视角室外以及真实场景的多视角图像，dtu数据集则是在实验室复杂光照环境下捕获的实验数据，两者侧重方面不同但都对提出方法的拟合能力以及鲁棒性提出了较高的要求，本方案所提出的融合三维高斯泼溅与符号距离场的置信度蒸馏方法在上述两个数据集上的实验结果充分证明了其有效性。

45、表 1融合三维高斯泼溅与符号距离场的置信度蒸馏方法在blendermvs与dtu数据集上与现有方法的实验结果对比

46、