一种基于几何先验与张量结构先验的稀疏视角三维场景重建方法、系统、设备及介质与流程

本发明属于计算机视觉、三维重建与新视图合成，具体涉及一种基于几何先验与张量结构先验的稀疏视角三维场景重建方法、系统、设备及介质。

背景技术：

1、三维场景重建旨在根据多视角图像恢复场景的几何结构与外观信息，并生成任意视角下的高质量图像，在虚拟现实、增强现实、数字孪生、自动驾驶、机器人感知以及影视制作等领域具有广泛应用价值。近年来，三维高斯泼溅（3d gaussian splatting，3dgs）技术由于兼具高质量渲染效果和实时渲染能力，逐渐成为新视图合成领域的重要研究方向。

2、现有三维高斯泼溅方法通常利用结构光束法（structure from motion，sfm）从多视角图像中恢复相机参数及稀疏点云，并基于所述稀疏点云初始化高斯模型，随后通过优化高斯的位置、尺度、旋转、颜色及不透明度等参数实现三维场景重建。然而，该类方法通常依赖大量输入视角以保证场景覆盖完整性和重建精度。当输入视角数量受限时，由于观测信息不足，容易导致场景几何结构恢复不完整、未观测区域缺失以及重建结果泛化能力下降等问题。

3、为解决上述问题，现有技术主要采用增加先验信息或引入正则化约束的方法提高稀疏视角条件下的重建质量。例如，部分方法利用额外生成的图像、深度信息或预训练模型提供辅助监督，以补充场景结构信息；另一部分方法通过神经网络隐式表示、特征约束或随机失活机制抑制过拟合现象，提高模型泛化能力。

4、但是，现有技术仍存在以下不足：一方面，传统sfm初始化得到的点云在稀疏视角条件下往往过于稀疏，难以为未观测区域提供可靠的几何先验，导致重建场景出现结构破碎、孔洞以及伪影等问题；另一方面，现有正则化方法大多通过隐式方式约束特征空间，缺乏对场景结构信息的显式建模，难以有效利用高斯之间的空间相关性和结构连续性。此外，随着高斯数量不断增加，模型容易出现过拟合现象，从而降低重建结果的几何一致性和视觉真实性。

5、因此，如何在稀疏视角条件下充分利用场景几何先验信息，增强高斯特征之间的结构关联性和空间连续性，抑制模型过拟合，并提高三维场景重建质量和渲染效率，成为本领域技术人员亟待解决的技术问题。

技术实现思路

1、本发明针对现有稀疏视角三维场景重建方法存在场景几何结构恢复不完整、未观测区域重建质量差、模型容易过拟合以及重建结果泛化能力不足的技术问题，提供一种基于几何先验与张量结构先验的稀疏视角三维场景重建方法、系统、设备及介质，该方法能够增强高斯特征之间的结构关联性和空间连续性，抑制模型过拟合，并提高三维场景重建质量和渲染效率。

2、为了实现上述目的，本发明采用以下技术方案予以实现：

3、第一方面，本发明提出一种基于几何先验与张量结构先验的稀疏视角三维场景重建方法，包括以下步骤：

4、获取目标视角的相机参数；

5、在目标视角的相机参数下，采用三维高斯泼溅光栅化渲染管线将优化后的高斯场景表示渲染为目标视角图像，从而完成三维场景的重建；

6、其中，优化后的高斯场景表示为根据损失函数优化三维高斯泼溅场景表示的参数和低秩张量因子后得到的。

7、进一步的，优化后的高斯场景表示具体通过以下过程得到：

8、获取待重建场景的稀疏视角图像；

9、将稀疏视角图像输入vggt模型，进行稠密几何先验，获得场景几何先验信息；

10、根据场景几何先验信息构建初始高斯点云；

11、将初始高斯点云的几何属性和外观属性映射至张量表示空间，构建场景特征张量；

12、对场景特征张量进行向量-矩阵分解，获得表征场景几何信息和外观信息的低秩张量因子；

13、采用总变分正则化约束低秩张量因子；

14、联合优化初始高斯点云的参数和总变分正则化约束后的低秩张量因子，获得优化后的高斯场景表示。

15、进一步的，根据场景几何先验信息构建初始高斯点云，包括：

16、根据场景几何先验信息中场景点云中各点的空间位置初始化高斯中心位置；

17、根据场景几何先验信息中点云局部邻域信息初始化高斯尺度参数；

18、根据场景几何先验信息中场景外观信息初始化高斯颜色参数及不透明度参数；

19、根据初始化后的高斯参数包括高斯中心位置、高斯尺度参数、高斯颜色参数及不透明度参数，构建包含位置、尺度、旋转、颜色和不透明度属性的初始高斯点云。

20、进一步的，将初始高斯点云的几何属性和外观属性映射至张量表示空间，构建场景特征张量，包括：

21、将初始高斯点云映射至三维规则网格空间；

22、在三维规则网格空间，根据初始高斯点云的几何属性和外观属性，构建几何特征张量和外观特征张量；

23、将几何特征张量和外观特征张量，采用加权累积方式，生成场景特征张量。

24、进一步的，对场景特征张量进行向量-矩阵分解，获得表征场景几何信息和外观信息的低秩张量因子，包括：

25、对场景特征张量沿空间坐标轴方向构建多个向量因子；

26、对场景特征张量在与空间坐标轴对应的正交平面上构建多个矩阵因子；

27、多个向量因子和多个矩阵因子构成表征场景几何信息和外观信息的低秩张量因子。

28、进一步的，采用总变分正则化约束低秩张量因子，包括：

29、通过向量因子与矩阵因子的外积，重建场景特征张量；

30、对场景特征张量施加总变分正则化约束。

31、进一步的，联合优化初始高斯点云的参数和总变分正则化约束后低秩张量因子，获得优化后的高斯场景表示，包括：

32、通过光栅化渲染初始高斯点云，得到渲染图像；

33、根据渲染图像与待重建场景的稀疏视角图像之间的重建损失更新高斯点云参数；

34、根据重建损失和总变分正则化损失更新低秩张量因子；

35、通过迭代优化，获得优化后的高斯场景表示；

36、其中，重建损失包括l1损失和结构相似性损失。

37、第二方面，本发明提出一种基于几何先验与张量结构先验的稀疏视角三维场景重建系统，包括：

38、相机参数获取模块，用于获取目标视角的相机参数；

39、渲染模块，用于在目标视角的相机参数下，采用三维高斯泼溅光栅化渲染管线将优化后的高斯场景表示渲染为目标视角图像，从而完成三维场景的重建；

40、其中，优化后的高斯场景表示为根据损失函数优化三维高斯泼溅场景表示的参数和低秩张量因子后得到的。

41、第三方面，本发明提出一种电子设备，包括存储器、处理器以及存储于所述存储器中并能够在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述基于几何先验与张量结构先验的稀疏视角三维场景重建方法。

42、第四方面，本发明提出一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时实现上述基于几何先验与张量结构先验的稀疏视角三维场景重建方法。

43、与现有技术相比，本发明具有以下有益效果：

44、本发明基于三维高斯光栅化方法实现实时渲染，在保证重建质量的同时提高渲染效率，具有良好的工程应用价值。本发明通过联合优化初始高斯点云的参数与低秩张量因子，实现显式高斯表示与隐式张量表示之间的协同优化，有利于提升三维场景重建质量和新视角合成效果。

45、进一步的，本发明利用预训练三维基础模型获取场景几何先验信息，并基于几何先验构建初始高斯点云，从而能够在稀疏视角条件下为未观测区域提供合理的结构信息，提高场景几何结构恢复的完整性。并且充分利用场景几何先验和张量结构先验信息，能够有效抑制稀疏视角条件下的过拟合现象，提高场景几何结构恢复精度和未观测区域重建质量，增强重建结果的几何一致性，并提高三维场景重建与渲染效率。

46、进一步的，本发明通过将高斯点云的几何属性和外观属性映射至张量表示空间，并利用向量-矩阵分解获得表征场景几何信息和外观信息的低秩张量因子，从而能够显式建模高斯特征之间的结构关联关系，抑制模型过拟合，提高重建结果的泛化能力。

47、进一步的，本发明通过对张量因子施加总变分正则化约束，增强张量特征的空间连续性和局部相关性，从而提高未观测区域的重建质量以及场景结构的一致性。

48、本发明还提出一种基于几何先验与张量结构先验的稀疏视角三维场景重建系统、电子设备以及计算机可读存储介质，具备上述方法的全部优点。