三维高斯模型的优化方法、装置、存储介质及电子设备与流程

摘要: 本申请涉及图像处理,具体涉及一种三维高斯模型的优化方法、装置、存储介质及电子设备。背景技术:1、随着体育赛事数字化,利用三维(three-dimensional...
三维高斯模型的优化方法、装置、存储介质及电子设备与流程

本申请涉及图像处理,具体涉及一种三维高斯模型的优化方法、装置、存储介质及电子设备。

背景技术:

1、随着体育赛事数字化,利用三维(three-dimensional,3d)重建技术为观众提供自由视角、沉浸式回放等创新观赛体验,已成为视频平台发展的重要方向。特别是在篮球等赛事直播中,如何从多视角图像中实时生成高保真、轻量化的三维模型,以满足移动端的高效渲染需求,是实现沉浸式视频应用的关键。

2、目前,通常通过多视角相机采集图像,并利用运动恢复结构工具(如colmap)计算相机参数并生成稀疏点云。随后,直接将该稀疏点云初始化为三维高斯分布,再同时优化高斯点的几何属性与外观属性,最终通过体渲染技术合成新视角图像。

3、然而,这种联合优化策略容易导致几何优化与外观优化目标冲突,尤其在球场木地板、球员纯色球衣等弱纹理区域,重建效果往往模糊失真。

技术实现思路

1、有鉴于此,本申请提供了一种三维高斯模型的优化方法、装置、存储介质及电子设备,主要目的在于改善目前联合优化策略容易导致几何优化与外观优化目标冲突,导致一些弱纹理区域的重建效果往往模糊失真的技术问题。

2、第一方面,本申请提供了一种三维高斯模型的优化方法,包括:

3、获取目标区域的多视角图片;

4、基于所述多视角图片,生成所述目标区域对应的深度图;

5、基于所述深度图,生成第一采样密度的点云;

6、基于所述第一采样密度的点云,确定初始三维高斯模型;

7、在所述初始三维高斯模型中的高斯点的几何属性保持不变的情况下,对所述高斯点的外观属性进行优化,得到目标三维高斯模型,其中,所述目标三维高斯模型用于渲染生成目标视角的图片。

8、第二方面,本申请提供了一种三维高斯模型的优化装置,包括:

9、获取模块,被配置为获取目标区域的多视角图片;

10、第一生成模块,被配置为基于所述多视角图片,生成所述目标区域对应的深度图;

11、第二生成模块,被配置为基于所述深度图,生成第一采样密度的点云;

12、确定模块,被配置为基于所述第一采样密度的点云,确定初始三维高斯模型;

13、优化模块,被配置为在所述初始三维高斯模型中的高斯点的几何属性保持不变的情况下,对所述高斯点的外观属性进行优化,得到目标三维高斯模型,其中,所述目标三维高斯模型用于渲染生成目标视角的图片。

14、第三方面,本申请提供了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现第一方面所述的方法。

15、第四方面,本申请提供了一种电子设备,包括存储介质、处理器及存储在存储介质上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现第一方面所述的方法。

16、第五方面,本申请提供了一种计算机程序产品,其上存储有计算机程序,计算机程序被处理器执行时实现第一方面的方法。

17、借由上述技术方案,本申请提供的一种三维高斯模型的优化方法、装置、存储介质及电子设备,首先获取目标区域的多视角图片;基于多视角图片,生成目标区域对应的深度图;基于深度图,生成第一采样密度的点云;基于第一采样密度的点云,确定初始三维高斯模型;在初始三维高斯模型中的高斯点的几何属性保持不变的情况下,对高斯点的外观属性进行优化,得到目标三维高斯模型,其中,目标三维高斯模型用于渲染生成目标视角的图片。与目前现有技术相比,本申请在确定初始三维高斯模型后,保持高斯点的几何属性不变,仅对高斯点的外观属性进行定向优化,从而避免了在优化过程中因几何结构漂移而引发的渲染伪影,显著提升了弱纹理区域的重建清晰度与几何一致性,在保证几何结构稳定的前提下实现了模型快速收敛与高质量渲染,进而提升了目标视角图片的生成质量与视觉还原度。

18、上述说明仅是本申请技术方案的概述,为了能够更清楚了解本申请的技术手段,而可依照说明书的内容予以实施,并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂,以下特举本申请的具体实施方式。

1.一种三维高斯模型的优化方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述基于所述第一采样密度的点云,确定初始三维高斯模型,包括:

3.根据权利要求2所述的方法,其特征在于,所述对所述至少两种不同分辨率的点云分别进行高斯初始化处理,得到多个高斯点,包括:

4.根据权利要求1所述的方法,其特征在于,所述基于所述多视角图片,生成所述目标区域对应的深度图,包括:

5.根据权利要求1所述的方法,其特征在于,所述几何属性包括所述高斯点的数量和空间位置中的至少一种,所述外观属性包括所述高斯点的颜色、体积、旋转度和不透明度中的至少一种;

6.根据权利要求1至5中任一项所述的方法,其特征在于,在对所述高斯点的外观属性进行优化,得到目标三维高斯模型之后,所述方法还包括:

7.一种三维高斯模型的优化装置,其特征在于,包括:

8.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法。

9.一种电子设备,包括存储介质、处理器及存储在存储介质上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的方法。

10.一种计算机程序产品,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法。