一种稀疏视图的三维重建方法与流程

本发明属于计算机视觉领域，具体涉及一种稀疏视图的三维重建方法。

背景技术：

1、三维重建技术已取得显著进展，但其通常需要密集采集的多视图数据及准确的初始化的相机姿态；然而，这一要求限制了其广泛应用。传统三维重建方法通过模块化流程分解任务，涉及多阶段复杂映射；如基于3d高斯泼溅的密集重建需依赖sfm预处理，其流程包括关键点提取、匹配、场景图构建及增量式重建。然而结构运动(sfm)和3d高斯溅射(3dgs)均需密集多视图图像以支持特征匹配和高斯点稠密化，然而在稀疏视图场景下，常因特征匹配不足而产生累积误差。神经辐射场(nerf)通过mlp建模场景，但训练与推理速度受限，同样也且过分依赖于预计算的相机姿态和密集视角数据。

2、因此亟需一种稀疏视图下实现高质量的三维重建方法，避免传统方法中对密集视角和精确相机姿态的依赖。

技术实现思路

1、为了解决上述技术问题，本发明提供一种稀疏视图的三维重建方法，该方法包括：

2、s1获取目标场景内的多幅不同视图的原始图像，得到原始图像集；并将原始图像集中所有的原始图像两两组合，得到多组初级原始图像对；

3、s2获取训练后的密集立体模型，并依次将每组初级原始图像对输入训练后的密集立体模型中，估算每组初级原始图像对的两幅局部三维点云图和两幅置信度图，得到局部三维点云图集和置信度图集；

4、s3基于置信度图集，将每幅原始影像中心点对应为一个节点，将每组初级原始图像对对应的两个节点间构建一条边，将每组初级原始图像对对应的平均置信度转换为每条边的权重值，构建连通图；

5、s4利用kruskal算法生成所述连通图的优化子图，基于优化子图选择权重值最小的边集对应的所有初级原始图像对，得到高级原始图像对集；

6、s5依次获取每组高级原始图像对对应的每组成对姿态和缩放因子，并基于每组成对姿态和缩放因子将对应的每个局部三维点云图集依次转换到全局坐标系下，生成全局三维点云图；

7、s6基于每组高级原始图像对对应的局部三维点云图和像素坐标的对应关系计算平均焦距，基于平均焦距生成相机内外参数；

8、s7将全局三维点云图作为3d高斯溅射模型的显式初始场景，基于相机内外参数优化3d高斯属性参数，实现目标场景的重建。

9、具体地，步骤s2中所述密集立体模型包括两个相同的子模型；其中，每个子模型包括vit编码器、含交叉注意力机制的transformer解码器和回归头。

10、具体地，步骤s2中所述获取训练后的密集立体模型的具体方法包括：

11、获取多组初级样本图像对，并对每组初级样本图像对进行增强处理，得到多组高级样本图像对；

12、通过多视角重建法生成每组高级样本图像对的两幅点云图真实图以及对应的两组有效像素集；

13、采用croco预训练模型的权重初始化密集立体模型的初始参数，再依次将每组高级样本图像对输入密集立体模型中，估算每组高级样本图像对的两幅点云图预测图和置信度预测图；

14、构建第一损失函数，依次计算两幅点云图预测图与两幅点云图真实图的空间距离，生成距离损失值；构建第二损失函数，基于置信度预测图，依次计算每组有效像素集中所有有效像素的置信度加权回归损失值；

15、根据距离损失值和置信度加权回归损失值迭代更新模型，直至模型收敛，生成训练后的密集立体模型。

16、具体地，步骤s6进一步包括：

17、s61基于每组高级原始图像对对应的局部三维点云图和像素坐标的对应关系，通过weiszfeld算法最小化误差，计算每台相机的的焦距，并计算平均焦距；

18、s62基于每组高级样本图像对的两幅点云图预测图和置信度预测图，通过奇异值分解法求解生成全局相对位姿；

19、s63基于全局相对对位姿和平均焦距生成绝对位姿，生成相机内外参数。

20、具体地，步骤s7中所述3d高斯溅射模型包括包括高斯点云图分布转换单元、可微分高斯光栅化单元和解耦外观建模单元。

21、具体地，步骤s7进一步包括：

22、s71将全局三维点云图作为3d高斯溅射的显式初始场景，利用高斯点云图分布转换单元将全局三维点云图转换为3d高斯点云图分布，再转换为3d高斯图像；

23、s72基于相机内外参数，利用可微分高斯光栅化单元将3d高斯图像块投影并渲染到2d图像平面上，得到预测图像；

24、s73基于预测图像，采用解耦外观建模单元生成变换映射，并根据变换映射对预测图像进行外观优化，得到初级渲染图像；

25、s74构建第三损失函数，基于第三损失函数对初级渲染图像进行迭代更新，优化3d高斯属性参数，直至损失函数趋于稳定，得到高级渲染图像；

26、s75利用高级渲染图像的几何信息重建生成稠密场景，实现目标场景的重建。

27、具体地，步骤s74中所述3d高斯属性参数包括中心点、协方差矩阵、颜色信息和不透明度。

28、与现有技术相比，本发明的有益效果为：

29、(1)本发明通过将稀疏视图图像两两组合为图像对，利用密集立体模型直接预测像素级3d点云图图，保留更多细节信息，在仅需2～5张稀疏图像输入时仍能实现三维重建任务；

30、(2)本发明通过构建连通图和采用kruskal算法，过滤掉低置信度对减少计算复杂度，并通过调整每组图像对的点云图、变换矩阵和缩放因子，将独立的相对姿态转换为全局一致的姿态；使得所有点云图与世界坐标系中的点云图对齐，实现了全局一致性；

31、(3)本发明通过将3d高斯溅射和端到端的密集立体模型结合，能够在高效地从稀疏和无姿态的图像中重建出高质量的3d场景，实现目标场景的重建。

1.一种稀疏视图的三维重建方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，步骤s2中所述密集立体模型包括两个相同的子模型；其中，每个子模型包括vit编码器、含交叉注意力机制的transformer解码器和回归头。

3.根据权利要求1所述的方法，其特征在于，步骤s2中所述获取训练后的密集立体模型的具体方法包括：

4.根据权利要求1所述的方法，其特征在于，步骤s6进一步包括：

5.根据权利要求1所述的方法，其特征在于，步骤s7中所述3d高斯溅射模型包括包括高斯点云图分布转换单元、可微分高斯光栅化单元和解耦外观建模单元。

6.根据权利要求5所述的方法，其特征在于，步骤s7进一步包括：

7.根据权利要求5所述的方法，其特征在于，步骤s74中所述3d高斯属性参数包括中心点、协方差矩阵、颜色信息和不透明度。