一种基于高斯泼溅的双目散斑场景重建方法

本发明涉及计算机视觉与三维重建，尤其是涉及一种基于高斯泼溅的双目散斑场景重建方法。

背景技术：

1、在机器人、测绘、三维扫描、3d打印等多个重要领域中，双目散斑场景重建方法因具有主动投射纹理、非接触测量和较高重建精度等优点，已得到广泛商业应用。该方法通常通过散斑投影增强目标表面纹理，并利用左右相机视差关系恢复三维点云。

2、然而，现有双目散斑结构光方法高度依赖左右相机共视区域和散斑图像质量。当目标表面受到外部环境光干扰时会导致散斑对比度下降，以及受到遮挡、反光、弱纹理区域时，双目匹配容易失败，导致点云出现空洞、断裂和局部结构缺失。传统点云补全方法多依赖插值、滤波、曲面拟合或网格修补，难以充分利用多视角图像中的轮廓、灰度和外观信息，容易造成边界不准确和细节丢失。

3、近年来，三维高斯泼溅等可微三维表示方法能够利用多视角图像监督优化场景表达，在三维重建和新视角渲染中表现出较大潜力。但现有方法通常依赖较完整的初始点云和稳定的图像外观信息。当初始点云存在由双目匹配失败造成的空洞时，高斯模型容易继承原始点云的几何缺陷，难以有效补全缺失区域。同时，在双目散斑结构光场景中，散斑图像主要提供几何约束，多视角灰度图像主要提供外观信息，二者成像条件不同，若直接混合优化，容易造成几何重建与外观渲染相互干扰。因此，如何结合双目散斑初始点云、多视角散斑图像和多视角灰度图像，实现点云补全、几何精度保持和高质量灰度渲染，是本领域亟待解决的问题。

技术实现思路

1、本发明的目的是提供一种基于高斯泼溅的双目散斑场景重建方法，以解决现有双目散斑结构光三维场景重建方法在复杂实际环境光场景下容易出现点云空洞、局部结构缺失以及渲染表达质量不足的问题。

2、为实现上述目的，一方面，本发明提供了一种基于高斯泼溅的双目散斑场景重建方法，包括以下步骤：

3、s1、采集双目散斑结构光数据，并生成初始点云；

4、s2、将得到的初始点云转换为三维高斯集合，初始化对应的三维高斯基元，并对高斯基元进行编码；

5、s3、采用可微高斯泼溅方法在各视角下渲染散斑图像，并与真实散斑图像进行比较，构建联合优化目标对高斯基元进行优化，补充双目匹配失败区域的三维结构；

6、s4、为每个高斯基元建立与散斑外观相独立、在多视角间共享的灰度外观参数，利用多视角灰度图像对灰度外观参数进行优化，得到补全后的三维场景重建与渲染结果。

7、优选的，s1具体包括：

8、s11、对数据采集系统中左右相机及投影单元进行标定，获得相机内参、外参、畸变参数以及双目基线关系，采集目标场景在多视角下的散斑图像和灰度图像及其位姿；

9、s12、基于预先标定得到的双目内参、外参和畸变参数，对左右散斑图像进行极线矫正与双目匹配，得到每一视角下的局部深度图或者点云；

10、s13、通过多视角位姿估计与点云配准方法，将不同视角下的局部点云融合为初始三维点云。

11、优选的，初始化对应的三维高斯基元具体包括：

12、对初始点云中的第个三维点，第个视角下的第个高斯基元表示为：

13、；

14、其中，表示高斯基元的中心位置，表示尺度参数，表示旋转参数，三者共同描述高斯基元的空间几何分布，表示不透明度，用于控制高斯基元对渲染结果的贡献权重，表示第个高斯基元在第个视角下的散斑颜色参数。

15、优选的，对高斯基元编码采用几何参数多视角共享、散斑颜色参数逐视角独立的编码方式，其中，、、和在不同视角下共享，各视角分别设置并优化对应的散斑外观参数。

16、优选的，s3具体包括：

17、s31、采用可微高斯泼溅方法在各视角下渲染散斑图像，并与对应的真实散斑图像进行比较，综合散斑图像重建、深度分布、表面法向、多视角局部相关性及高斯位置稳定性，得到联合优化目标：

18、；

19、其中，表示散斑图像重建损失，表示深度畸变正则项，表示表面法向一致性损失，表示局部相关一致性损失，表示高斯参考位置保持损失，表示散斑图像重建损失的权重，表示深度畸变正则项权重，表示表面法向一致性损失权重，表示局部相关一致性损失权重，表示高斯参考位置保持损失权重；

20、其中，位置保持损失表示为：

21、；

22、；

23、其中，表示静态高斯的初始测量位置，表示为动态高斯生成时的位置，表示高斯基元数量，表示候选高斯、表示静态高斯基元集合，即由初始点云直接初始化得到的高斯基元集合；表示动态高斯基元集合，即在优化过程中通过高斯致密化新增得到的高斯基元集合；表示第 i 个高斯基元的参考位置；

24、s32、将初始点云生成的高斯定义为静态高斯，将优化过程中通过致密化新增的高斯定义为动态高斯，对于静态高斯，以其初始测量位置作为参考位置，对于动态高斯，以其生成时的位置作为参考位置；

25、s33、对真实散斑图像中具有有效观测但未被初始高斯覆盖的区域，选取投影至该区域的候选高斯，根据散斑图像重建误差、高斯位置梯度及多视角可见信息判断是否执行致密化；

26、s34、致密化条件满足后，通过克隆或分裂生成新的动态高斯，并在联合优化目标约束下更新其位置、尺度、旋转、不透明度及逐视角散斑外观参数，从而补充双目匹配失败区域的三维结构。

27、优选的，致密化条件概括为：

28、；

29、其中，表示第个视角下的像素是否属于具有有效散斑观测但未被初始高斯覆盖的区域；表示散斑重建误差；表示候选高斯位置梯度大小；表示高斯的有效可见次数；表示散斑重建误差阈值；表示高斯位置梯度阈值；表示有效可见次数阈值。

30、优选的，s4具体包括：

31、s41、固定高斯基元的中心位置、尺度、旋转及不透明度，为每个高斯基元建立与散斑外观相独立、在多视角间共享的灰度外观参数，第个视角下的灰度渲染结果表示为：

32、；

33、其中，表示固定几何参数计算的渲染权重，表示第个高斯基元在所有视角下共享的灰度外观参数，表示高斯基元数量；

34、s42、利用步骤s11采集的多视角灰度图像共同优化灰度外观参数，其优化过程表示为：

35、；

36、其中，为多视角共享的灰度外观参数集合，为第个视角下的真实灰度图像，为灰度图像重建损失，为视角数量，为固定几何参数，表示第个视角下渲染得到的灰度图像。

37、优选的，优化灰度外观参数的过程中不更新高斯基元的中心位置、尺度、旋转及不透明度。

38、因此，本发明采用上述结构的一种基于高斯泼溅的双目散斑场景重建方法，具有以下有益效果：

39、（1）提高点云完整性：本发明利用多视角散斑图像监督三维高斯优化，并通过高斯致密化生成新增补全高斯，能够对双目散斑匹配失败、遮挡或环境光干扰导致的点云空洞进行补全。

40、（2）保持主体区域几何精度：本发明将初始点云对应的高斯作为静态高斯，并施加几何锚定约束，使其在优化过程中保持在初始测量位置附近，从而避免主体区域发生明显几何漂移。

41、（3）提升灰度外观渲染质量：本发明在散斑图像监督下完成几何补全后，进一步固定高斯几何参数，并利用多视角灰度图像单独优化灰度外观参数，从而实现散斑几何重建与灰度外观渲染的解耦，获得更稳定、清晰的灰度渲染结果。

42、下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。