一种用于透明物体重建的镜面抑制3D高斯泼溅方法

本发明涉及场景重建领域，尤其涉及一种用于透明物体重建的镜面抑制3d高斯泼溅方法。

背景技术：

1、三维重建是计算机视觉领域的核心技术之一，其目标是从二维图像中恢复场景或物体的三维几何结构。传统三维重建方法主要包括运动恢复结构（structure frommotion, sfm）和多视角立体视觉（multi-view stereo, mvs），通过提取图像特征点、进行特征匹配并基于光度一致性假设估计深度信息，最终生成三维点云或网格模型。近年来，神经渲染方法如神经辐射场（neural radiance fields, nerf）通过隐式表示和体积渲染实现了高质量的新视角合成，而三维高斯溅射（3d gaussian splatting, 3dgs）作为一种新兴的显式场景表示方法，通过分布大量各向异性高斯基元并采用可微分溅射渲染，在保持高渲染质量的同时显著提升了渲染效率，被广泛应用于新视角合成、场景重建和数字孪生等领域。

2、然而，现有三维重建方法主要针对不透明朗伯表面设计，在透明物体重建任务中面临严峻挑战。透明物体（如玻璃、亚克力、透镜等）在成像过程中呈现复杂的光传输现象，包括折射、反射、透射以及强烈的视角相关高光。这些效应严重违反了光度一致性假设——即同一空间点在不同视点下的像素颜色应保持一致。因此，基于该假设的传统mvs方法无法稳定估计透明场景的深度信息，导致重建结果中出现几何漂移、大面积孔洞或碎片化结构。基于隐式表示的nerf类方法虽然能够一定程度上建模复杂光学现象，但其对非朗伯外观变化仍然敏感，在强透明性和高光干扰下常常产生漂浮伪影、表面扭曲或完全失败。新兴的3dgs方法虽然在渲染效率上具有优势，但其优化过程依赖原始rgb监督，容易将高光或折射背景误判为几何结构，导致高斯基元错误分布在物体内部或背景区域。现有针对透明物体的改进方法，如nerf-tho和glassgaussian，要么不输出显式几何，要么缺乏有效的几何监督，无法实现高精度、完整的透明物体三维重建。

技术实现思路

1、本发明旨在解决现有技术中透明物体三维重建面临的三大技术难题：

2、其一，复杂光传输效应导致的光度一致性假设失效，使得传统方法难以提取几何一致的信息；

3、其二，视角相关高光干扰严重污染原始rgb监督信号，导致优化过程将高光伪影误判为真实几何结构，产生漂浮物和表面扭曲；

4、其三，现有基于高斯的方法缺乏有效的几何约束机制，高斯基元在稀疏监督下容易过度扩散或形成针状畸形分布，无法收敛至物理有意义的表面。

5、因此，如何将几何一致的漫反射信号与视角依赖的高光干扰有效解耦，并引入强几何先验约束高斯基元的空间分布，成为实现高质量透明物体重建的关键。

6、具体而言，本发明提供的一种用于透明物体重建的镜面抑制3d高斯泼溅方法，方法包括以下步骤：

7、s1、采集待重建透明物体的多视图图像序列，作为输入图像集；

8、s2、将所述输入图像集输入至高光感知分解模块，对每幅图像进行漫反射-高光分解，并预测逐像素的几何可靠性置信度图，得到漫反射图像、高光图像和置信度图；

9、s3、基于步骤s2得到的漫反射图像和置信度图，利用高光高斯优化模块grm对初始化的3d高斯基元集合执行高光高斯优化操作，该操作仅更新高斯基元的几何相关参数，同时完全冻结球谐颜色系数，得到几何优化的高斯基元集；

10、s4、利用基于符号距离场的几何感知正则化模块，对步骤s3得到的几何优化的高斯基元集施加表面约束，引导高斯基元的空间分布朝向零水平集，并通过最小化几何感知正则化损失函数来优化高斯基元参数，得到正则化后的高斯基元集；

11、s5、利用所述正则化后的高斯基元集进行可微分高斯溅射渲染，输出透明物体的三维重建模型。

12、一种存储介质，所述存储介质存储指令及数据用于实现一种用于透明物体重建的镜面抑制3d高斯泼溅方法。

13、一种用于透明物体重建的镜面抑制3d高斯泼溅设备，包括：处理器及所述存储介质；所述处理器加载并执行所述存储介质中的指令及数据用于实现一种用于透明物体重建的镜面抑制3d高斯泼溅方法。

14、本发明提供的有益效果是：通过三个协同模块实现突破：高光感知分解模块（sdm）采用多尺度结构偏置编码器将输入图像分解为漫反射分量、高光分量和像素级几何置信度图，从源头抑制高光干扰；高光高斯优化模块（sgr）利用置信度加权更新选择性地优化高斯基元的几何参数，同时完全冻结球谐颜色系数，防止高光污染外观表示；几何感知正则化模块（grm）引入基于符号距离场的表面约束，通过eikonal正则化引导高斯基元朝向零水平集，消除漂浮伪影并增强表面连续性。实验表明，本发明在合成数据集和真实数据集上均显著优于现有最先进的隐式和显式方法，在渲染质量（psnr提高约10%，lpips降低约15%）和几何精度（倒角距离降低约25%，f1分数提升约10%）方面取得了最佳性能，为工业检测、机器人抓取、自动化制造和数字孪生等场景提供了高精度、高鲁棒性的透明物体三维重建解决方案。

1.一种用于透明物体重建的镜面抑制3d高斯泼溅方法，其特征在于：包括以下步骤：

2.如权利要求1所述的一种用于透明物体重建的镜面抑制3d高斯泼溅方法，其特征在于，步骤s2中所述高光感知分解模块具体包括以下子步骤：

3.如权利要求1所述的一种用于透明物体重建的镜面抑制3d高斯泼溅方法，其特征在于：步骤s3中所述高光高斯优化模块执行的高光高斯优化操作具体包括：

4.如权利要求1所述的一种用于透明物体重建的镜面抑制3d高斯泼溅方法，其特征在于，步骤s4中所述几何感知正则化模块的具体实现方式包括：

5.如权利要求1所述的一种用于透明物体重建的镜面抑制3d高斯泼溅方法，其特征在于,方法采用端到端训练，总损失函数为：

6.如权利要求1所述的一种用于透明物体重建的镜面抑制3d高斯泼溅方法，其特征在于，所述初始化的3d高斯基元集合的获取方式为：对输入图像集进行运动恢复结构重建，生成稀疏点云，并将每个稀疏点初始化为一个高斯基元，每个高斯基元的参数包括位置、协方差矩阵、不透明度和球谐颜色系数，其中协方差矩阵分解为，为旋转矩阵，为缩放矩阵。

7.如权利要求1所述的一种用于透明物体重建的镜面抑制3d高斯泼溅方法，其特征在于，步骤s5中所述输出透明物体的三维重建模型的具体方式为：利用正则化后的高斯基元集，通过marching cubes算法从符号距离场零水平集中提取表面网格，生成水密的三维几何模型。

8.根据权利要求1所述一种用于透明物体重建的镜面抑制3d高斯泼溅方法，其特征在于，方法还包括一个数据预处理步骤s1.5：对采集的多视图图像进行去畸变、颜色校正和尺寸归一化处理，并利用colmap估计每幅图像的相机位姿，得到带相机参数的输入图像集。

9.一种存储介质，其特征在于：所述存储介质存储指令及数据用于实现权利要求1~8任一项所述的一种用于透明物体重建的镜面抑制3d高斯泼溅方法。

10.一种用于透明物体重建的镜面抑制3d高斯泼溅设备，其特征在于：包括：处理器及存储介质；所述处理器加载并执行存储介质中的指令及数据用于实现权利要求1~8任一项所述的一种用于透明物体重建的镜面抑制3d高斯泼溅方法。