一种面向退化图像的三维高斯飞溅优化方法及系统与流程

本发明属于计算机视觉与三维重建，具体涉及一种面向退化图像的三维高斯飞溅优化方法及系统，用于在低质量输入图像条件下实现高效、稳定的三维重建与新视点合成。

背景技术：

1、基于图像的三维重建与新视点合成技术，旨在从有限数量的二维图像中恢复场景的三维结构，并生成任意新视角下的图像，是计算机视觉领域的研究热点。该技术在智能驾驶、虚拟现实、机器人导航等领域具有广泛应用前景。

2、近年来，以神经辐射场（neural radiance fields, nerf）为代表的隐式场景表示方法取得了显著进展，能够生成高质量的逼真图像。然而，nerf类方法通常需要密集的视角采样和大量的体积渲染计算，导致训练和推理速度缓慢，难以满足实时性要求。

3、为解决上述效率问题，三维高斯飞溅（3d gaussian splatting, 3dgs）方法被提出并迅速成为该领域的研究重点。3dgs采用显式的三维高斯椭球作为场景的基本表示单元，通过将三维高斯元投影到二维图像平面并采用基于深度的α-blending渲染，能够实现高质量的新视点合成，同时其基于光栅化的渲染管线相比nerf的体积渲染在速度上提升了两个数量级以上，具备实时或近实时的渲染能力。

4、然而，现有3dgs方法的优异性能高度依赖于输入图像的质量。在理想的实验条件下，3dgs确实能够重建出精细的三维模型，但在实际应用场景中，受限于拍摄设备性能、复杂多变的成像环境以及采集条件，获取的多视角图像普遍存在多种退化现象，例如自动驾驶场景中的雨、雪、雾天气，水下机器人作业时的颜色衰减与对比度下降，以及手持设备拍摄中的低照度噪声和运动模糊。

5、现有3dgs方法在处理上述退化图像时，暴露出以下显著的技术缺陷：

6、第一，原始3dgs的损失函数主要依赖于渲染图像与输入图像之间的像素级误差，在退化图像条件下，噪声、模糊等干扰会被误认为是需要拟合的真实高频细节，导致模型在优化初期就陷入“学习退化”的局部最优解，梯度方向震荡，参数更新缓慢，训练效率极低。

7、第二，退化图像中高频信息的缺失或扭曲会严重干扰3dgs的自适应密度控制机制，产生大量细碎漂浮伪影，且不同视角下退化程度的不一致会破坏多视角几何一致性约束，导致局部纹理破碎、边缘重影等视觉缺陷。

8、第三，退化图像中物体在不同距离下的有效纹理信息被不均匀地削弱，使得模型对相机距离和视角变化极为敏感，当新视点与训练视点存在较大尺度差异时，渲染结果出现严重锯齿或过度模糊现象。

技术实现思路

1、鉴于上述问题，本技术提供了一种面向退化图像的三维高斯飞溅优化方法及系统，用于解决上述背景技术中涉及的技术问题。

2、为实现上述目的，第一方面，本技术提供了一种面向退化图像的三维高斯飞溅优化方法，包括以下步骤：

3、获取多视角退化图像及对应的相机参数；

4、基于所述多视角退化图像初始化三维高斯分布参数，所述三维高斯分布参数包括位置参数、协方差矩阵参数、不透明度参数和颜色参数；

5、在训练迭代过程中，将当前三维高斯分布渲染得到的渲染图像与输入图像分别输入至预训练的视觉特征提取网络，提取各自的语义特征图，基于所述语义特征图之间的相似度构建感知一致性损失；

6、在屏幕空间渲染阶段，将三维高斯分布投影为二维高斯分布，并根据当前渲染尺度对所述二维高斯分布的协方差矩阵进行低通滤波修正；

7、将所述感知一致性损失与像素级重建损失进行加权融合，构建总损失函数，利用所述总损失函数更新所述三维高斯分布参数；

8、迭代执行上述训练步骤直至满足收敛条件，输入目标视角的相机参数，利用优化后的三维高斯分布渲染生成该目标视角下的二维图像。

9、区别于现有技术，本技术的技术方案通过在训练过程中引入基于预训练视觉特征提取网络的感知一致性损失，引导模型关注场景的整体结构和语义信息而非退化的像素细节，有效抑制了模型对噪声、模糊等退化特征的过拟合，使得优化过程在训练早期即可获得稳定的梯度方向，显著加快了收敛速度；同时通过在屏幕空间渲染阶段对二维高斯投影进行尺度相关的低通滤波修正，有效抑制了混叠伪影和边缘抖动现象。上述手段的综合运用，使得本方法在噪声、模糊、雨雾、水下散射等多种退化场景下均能实现稳定、高效的三维重建与新视点合成，渲染图像清晰、自然、无结构性伪影，且整个过程仅增加少量计算开销，保持了三维高斯飞溅方法原有的实时渲染优势。

10、作为本发明的一种实施方式，所述视觉特征提取网络为clip图像编码器，所述感知一致性损失采用余弦相似度度量所述渲染图像与所述输入图像在clip特征空间中的一致性，具体为：

11、；

12、其中，为所述渲染图像，为所述输入图像，为clip图像编码器提取并经过l2归一化后的特征向量，为余弦相似度函数。

13、作为本发明的一种实施方式，所述将三维高斯分布投影为二维高斯分布，具体为：

14、基于当前视角的投影变换矩阵和雅可比矩阵，计算屏幕空间中的二维协方差矩阵，其中为三维高斯分布的三维协方差矩阵；

15、所述低通滤波修正通过以下方式实现：

16、；

17、其中，为修正后的协方差矩阵，为与当前渲染尺度相关的滤波参数，为单位矩阵。

18、作为本发明的一种实施方式，所述滤波参数根据当前渲染图像的分辨率确定：

19、；

20、其中，和分别为当前渲染图像的高度和宽度，为预设常数。

21、作为本发明的一种实施方式，所述总损失函数为：

22、；

23、其中，为所述像素级重建损失，为所述感知一致性损失，为感知一致性损失的权重系数。

24、作为本发明的一种实施方式，所述像素级重建损失由损失与结构相似性损失加权构成：

25、；

26、其中，为像素级损失，为结构相似性损失，为结构相似性损失的权重系数。

27、作为本发明的一种实施方式，所述基于所述多视角退化图像初始化三维高斯分布参数，具体包括：

28、采用运动恢复结构方法从所述多视角退化图像中生成稀疏点云；

29、以所述稀疏点云中的每个三维点为均值，初始化一组三维高斯分布；

30、每个三维高斯分布的位置参数初始化为对应三维点的坐标，协方差矩阵初始化为各向同性矩阵，不透明度初始化为预设值，颜色参数初始化为零。

31、作为本发明的一种实施方式，所述在屏幕空间渲染阶段，将三维高斯分布投影为二维高斯分布后，还包括：

32、按照深度递增顺序，对与目标像素重叠的所有二维高斯分布进行加权累积，得到所述目标像素的最终颜色值。

33、为实现上述目的，第二方面，本技术提供了一种面向退化图像的三维高斯飞溅优化系统，包括：

34、数据获取模块，用于获取多视角退化图像及对应的相机参数；

35、初始化模块，用于基于所述多视角退化图像初始化三维高斯分布参数；

36、感知一致性约束模块，包括预训练的视觉特征提取网络，用于提取渲染图像与输入图像的语义特征并计算感知一致性损失；

37、滤波渲染模块，用于在屏幕空间中将三维高斯分布投影为二维高斯分布，并根据当前渲染尺度对所述二维高斯分布的协方差矩阵进行低通滤波修正，执行颜色累积渲染；

38、自适应密度控制模块，用于根据优化过程中的梯度幅度和不透明度值，对三维高斯分布执行分裂、克隆或剔除操作；

39、联合优化模块，用于将所述感知一致性损失与像素级重建损失加权融合构建总损失函数，并通过反向传播更新所述三维高斯分布参数；

40、新视角渲染模块，用于根据目标视角的相机参数，通过优化后的三维高斯分布渲染生成目标视角下的二维图像。

41、区别于现有技术，本技术的技术方案通过数据获取模块、初始化模块、感知一致性约束模块、滤波渲染模块、自适应密度控制模块、联合优化模块和新视角渲染模块的协同工作，实现了对上述方法各步骤的系统化支撑。其中感知一致性约束模块使得系统能够抵抗退化图像的干扰，滤波渲染模块保证了渲染结果的视觉稳定性，自适应密度控制模块使得三维高斯分布的密度能够在优化过程中根据场景复杂度自适应调整，联合优化模块整合多层级监督信号实现端到端优化，各模块共同构成了一套完整的、在退化图像条件下依然能够稳定高效运行的3dgs优化系统，具有良好的工程实用性和部署便利性。

42、作为本发明的一种实施方式，所述感知一致性约束模块中，所述视觉特征提取网络为clip图像编码器，所述感知一致性损失采用余弦相似度度量所述渲染图像与所述输入图像在clip特征空间中的一致性；所述滤波渲染模块中，所述低通滤波修正通过以下方式实现：

43、；

44、其中，为所述二维高斯分布的原始协方差矩阵，为修正后的协方差矩阵，为与当前渲染分辨率相关的滤波参数，为单位矩阵。

45、上述 技术实现要素： 相关记载仅是本技术技术方案的概述，为了让本领域普通技术人员能够更清楚地了解本技术的技术方案，进而可以依据说明书的文字及附图记载的内容予以实施，并且为了让本技术的上述目的及其它目的、特征和优点能够更易于理解，以下结合本技术的具体实施方式及附图进行说明。