一种模型训练方法、三维场景渲染方法及相关设备与流程

摘要: 本技术实施例涉及计算机视觉领域,尤其涉及一种模型训练方法、三维场景渲染方法及相关设备。背景技术:1、三维(3-dimensional,3d)高斯喷溅(gauss...
一种模型训练方法、三维场景渲染方法及相关设备与流程

本技术实施例涉及计算机视觉领域,尤其涉及一种模型训练方法、三维场景渲染方法及相关设备。

背景技术:

1、三维(3-dimensional,3d)高斯喷溅(gaussian splatting,gs)作为一种最新的渲染技术,已经在单一物体和小场景下取得良好的渲染效果。gs模型中的3d高斯球在训练过程中会不断分裂,训练完成后可以投影到相机位于对应焦距上的成像平面,经过渲染后得到相机拍摄的图像。

2、然而,面对城市级别的航拍等大规模场景,因为高斯球的分裂不可控,很容易丢失细小的物体和高频纹理。基于八叉树的3dgs(octree gs)逐层级(分辨率)地构建神经高斯(neural gaussian,anchor)。在训练中,当视角距离场景较远时,先构建低分辨率的神经高斯来表征场景的粗略轮廓,视角靠近时分裂出高一层级的神经高斯来补全丢失的细节信息。但是如果场景中的细小物体因微小的渲染误差被中间某个层级忽略,其位置上没有神经高斯的分布,在之后的训练中将永远无法分裂出更高分辨率的神经高斯,因此模型无法恢复这些细小物体和高频纹理,导致渲染结果出现伪影和针刺。

技术实现思路

1、本技术提供一种模型训练方法、三维场景渲染方法及相关设备,用于在模型训练时跨层级的分裂神经高斯,从而更好的恢复渲染图像中的细小物体和高频纹理。

2、有鉴于此,本技术第一方面提供一种模型训练方法,该方法包括:获取第一场景的第一相机参数和与第一相机参数对应的第一图像数据,然后基于第一相机参数和第一图像数据,按n种不同分辨率从低到高的顺序依次对第一模型中的多个高斯球进行训练,以输出第二模型;其中,在第m种分辨率下的训练过程中,按预设频率迭代更新第一模型中用于生成多个高斯球的神经高斯,其中一次更新的步骤包括:基于第一神经高斯生成第二神经高斯,其中第一神经高斯为在第1种至第m种分辨率下迭代更新得到的,第二神经高斯用于第m种至第n种分辨率下的迭代更新,因第二高斯神经可以从更低分辨率下训练得到的第一神经高斯分裂而来,随着训练分辨率的提升,场景中的细小物体对应的位置就可以分裂产生更多的神经高斯来构建和渲染图像,从而减小渲染结果出现伪影和针刺的概率。

3、本技术中,第一场景为三维场景,第一相机参数包括相机的内参(焦距、畸变)和外参(位置、姿态),第一图像数据中包括多个图像数据,多个图像数据中的每个图像数据为一张图像,第一相机参数包括多个相机参数,第一图像数据中的一个图像数据与第一相机参数中的一个相机参数对应。

4、可选的,第一场景为城市级别的航拍大规模场景。在获取第一图像数据和第一相机参数时,可以使用相机获取一个图像数据,并记录与该图像数据对应的相机参数,然后将该图像数据和对应的相机参数进行绑定存储,并按照该方法继续获取第一场景下的其他图像数据和相机参数,最后得到完整的第一相机参数和第一图像数据作为训练样本。

5、本技术中,第一模型为三维高斯喷溅模型,第一模型中包括多个神经高斯,神经高斯为一个空间中关于特征点的集合,每个特征点中包含了该特征点当前的位置坐标,以及一个特征向量,该特征向量经过多层感知机的运算可以得到多个3d高斯球的位置、不透明度、尺度、旋转和颜色信息,即一个神经高斯可以生成多个高斯球(高斯椭球),即第一模型中也包括多个由神经高斯生成的高斯球。给定一个相机参数后,多个高斯球会投影到相机位于该相机参数对应焦距上的成像平面,经过体渲染后得到与该相机参数对应的图像数据。

6、本技术中,在训练第一模型时,按n种不同分辨率从低到高的顺序依次训练,即在最低分辨率下对第一模型完成训练后,输出新的第一模型,在高一层级的分辨率下对新的第一模型进行训练,直至在最高层级的分辨率下完成训练,输出最终的第二模型。在第m种分辨率下的训练过程中,会按预设频率迭代更新第一模型中用于生成多个高斯球的神经高斯,其中一次更新的步骤包括:基于第一神经高斯生成第二神经高斯,第一神经高斯为在第1种至第m种分辨率下迭代更新得到的,m为大于2且小于或等于n的整数,第二神经高斯用于第m种至第n种分辨率下的迭代更新。

7、本技术中,在一个分辨率下训练第一模型的过程中,除了会基于训练样本对第一模型中的多个高斯球进行迭代训练,更新多个高斯球中用于生成图像数据的参数,还会迭代更新第一模型中的神经高斯,例如在第m种分辨率下的训练过程中,基于第一神经高斯生成第二神经高斯,其中第一神经高斯为在第1种至第m种分辨率下迭代更新得到的,即第一神经高斯包括在此次更新之前所有存在的神经高斯,第二神经高斯可以基于在所有分辨率下生成的神经高斯来生成,即使场景中的细小物体被中间某个层级忽略,也可以基于更低分辨率的层级中的神经高斯来生成第二神经高斯,使得第二神经高斯对应的位置包括第一场景中的细小物体的位置,该第二神经高斯生成的高斯球就可以用来构建和渲染该细小物体,从而更好的恢复渲染图像中的细小物体和高频纹理。

8、本技术中,n为大于2的整数,即至少基于三种分辨率来训练第一模型。例如在第2种分辨率中忽略了细小物体,没有在该细小物体对应的位置生成神经高斯,也可以在第3种分辨率的更新中,基于第1种分辨率下生成的第一神经高斯来生成第二神经高斯,当该第一神经高斯对应的位置是该细小物体附近的位置,第二神经高斯对应的位置就可以为该细小物体的位置。

9、可选的,基于第一神经高斯生成的第二神经高斯中,第二神经高斯的参数为常量初始化,即除不透明度用0.1初始化,其他参数除特征向量外都为零初始化,而第二神经高斯的32维特征向量是从第一神经高斯继承得到的,因此生成第二神经高斯的过程也可以理解为由第一神经高斯分裂得到第二神经高斯。

10、可选的,预设频率基于第一模型的训练步数来确定,例如第一模型的总训练步数为3万,那么预设频率为每完成100次训练迭代,更新一次神经高斯,再例如第一模型的总训练步数为6万,那么预设频率为每完成200次训练迭代,更新一次神经高斯。

11、该第一方面,在模型训练的过程中迭代更新神经高斯,高分辨率下生成的高斯神经可以是从任意分辨率下生成的神经高斯分裂而来的,随着训练分辨率的提升,场景中的细小物体对应的位置就可以分裂产生更多的神经高斯来构建和渲染图像,从而减小渲染结果出现伪影和针刺的概率。

12、在第一方面的一种可能的实现方式中,上述步骤:基于第一神经高斯生成第二神经高斯包括:从第一神经高斯生成的第一高斯球中筛选出第二高斯球;若第一神经高斯未覆盖第二高斯球对应的体素中心,生成第二神经高斯,第二神经高斯覆盖第二高斯球对应的体素中心。

13、该种可能的实现方式中,从第一神经高斯分裂出第二神经高斯的方式为在不存在神经高斯的位置分裂出新的神经高斯,从而更好的捕获三维场景中缺少的细节信息,提升模型的渲染效果。

14、在第一方面的一种可能的实现方式中,上述步骤:从第一神经高斯生成的第一高斯球中筛选出第二高斯球包括:获取第m种分辨率下的梯度阈值;从第一高斯球中筛选出第二高斯球,第二高斯球为第一高斯球中梯度值大于梯度阈值的高斯球。

15、该种可能的实现方式中,梯度是渲染误差对神经高斯参数的导数,梯度值越大说明该部分的渲染效果不佳,因此在梯度值高的高斯球对应的位置上生成神经高斯,从而更好的捕获三维场景中缺少的细节信息,进一步提升模型的渲染效果。

16、在第一方面的一种可能的实现方式中,梯度阈值的值与m的值呈负相关。

17、该种可能的实现方式中,梯度阈值随分辨率的提高而降低,进一步增加模型对细小物体的敏感度,从而进一步提高模型对细小物体和精细纹理的渲染效果。

18、在第一方面的一种可能的实现方式中,该方法还包括:获取第m种分辨率下的不透明度阈值;上述步骤:基于第一神经高斯生成第二神经高斯之后,该方法还包括:从第二神经高斯中,删除不透明度值小于不透明度阈值的神经高斯。

19、该种可能的实现方式中,不透明度值越小说明该部分越透明,对体渲染的贡献越小,因此,删除这些不重要的神经高斯以减小存储和计算负载,提升模型的渲染效果和渲染效率。

20、在第一方面的一种可能的实现方式中,上述步骤:获取第一场景的第一相机参数和第一图像数据之后,该方法还包括:基于第一图像数据生成第一场景的稀疏点云;基于稀疏点云初始化第一模型中的神经高斯。

21、该种可能的实现方式中,第一模型中的神经高斯是基于稀疏点云初始化的,提升了方案的可实现性。

22、在第一方面的一种可能的实现方式中,第一场景为对原始场景进行划分得到的,第一图像数据与第一场景的边界盒相交,该方法还包括:输出多个第二模型,多个第二模型中的一个第二模型与原始场景中的一个场景对应;删除多个第二模型中的背景神经高斯,并合并多个第二模型中的前景神经高斯,以得到第三模型,背景神经高斯生成的高斯球与第一场景的边界盒不存在相交区域,前景神经高斯生成的高斯球与第一场景的边界盒存在相交区域。

23、该种可能的实现方式中,在针对大规模的场景建模时,将场景划分后分别训练,提升了模型的训练效率。

24、在第一方面的一种可能的实现方式中,n为小于7的整数。

25、该种可能的实现方式中,将模型按照3-6种不同分辨率进行训练,从而得到渲染效果最佳的模型,提升了方案的可实现性。

26、本技术第二方面提供一种三维场景渲染方法,该方法包括:获取第二场景的第二相机参数,第二场景为三维场景;将第二相机参数输入至第二模型,以得到第二场景中的第二图像数据,第二模型为按n种不同分辨率从低到高的顺序依次对第一模型中的多个高斯球进行训练得到的,第二模型包括第三神经高斯和基于第三神经高斯生成的第四神经高斯;其中,第三神经高斯为第一模型在第p种分辨率下训练生成的,第四神经高斯为第一模型在第q种分辨率下训练生成的,n为大于2的整数,p为小于或等于n的整数,q为大于p+1且小于或等于n的整数。

27、本技术第三方面提供一种模型训练方法,该方法包括:获取第一场景的第一相机参数和第一图像数据,第一场景为三维场景,第一图像数据中的一个图像数据与第一相机参数中的一个相机参数对应;基于第一相机参数和第一图像数据,按n种不同分辨率从低到高的顺序依次对第一模型中的多个高斯球进行训练,以输出第二模型,n为大于1的整数;其中,在第m种分辨率下的训练过程中,按预设频率迭代更新第一模型中用于生成多个高斯球的神经高斯,其中一次更新的步骤包括:获取第m种分辨率下的梯度阈值,梯度阈值的值与m的值呈负相关;从第一神经高斯生成的第一高斯球中筛选出第二高斯球,第二高斯球为第一高斯球中梯度值大于梯度阈值的高斯球,第一神经高斯为在第1种至第m种分辨率下迭代更新得到的,m为大于1且小于或等于n的整数;若第一神经高斯未覆盖第二高斯球对应的体素中心,生成第二神经高斯,第二神经高斯覆盖第二高斯球对应的体素中心,第二神经高斯用于第m种至第n种分辨率下的迭代更新。

28、该第三方面,相比本技术第一方面提供的模型训练方法,不需要满足跨层级的生成神经高斯,而是基于随分辨率衰减的梯度阈值来更新神经高斯。梯度是渲染误差对神经高斯参数的导数,梯度值越大说明该部分的渲染效果不佳,因此在梯度值高的高斯球对应的位置上生成神经高斯,从而更好的捕获三维场景中缺少的细节信息,进一步提升模型的渲染效果。此外,梯度阈值随分辨率的提高而降低,从而进一步增加模型对细小物体的敏感度,从而进一步提高模型对细小物体和精细纹理的渲染效果。

29、可选的,n为大于2的整数时,该模型训练方法也实现了跨层级的生成神经高斯。即在至少3种分辨率的训练中,第3种分辨率下迭代更新出的神经高斯,可以是由第1种分辨下生成的神经高斯分裂得到的,从而减小渲染结果出现伪影和针刺的概率,此时本技术第三方面提供的模型训练方法所实现的效果可以参阅前述第一方面的描述。

30、在第三方面的一种可能的实现方式中,该方法还包括:获取第m种分辨率下的不透明度阈值;上述步骤:生成第二神经高斯之后,该方法还包括:从第二神经高斯中,删除不透明度值小于不透明度阈值的神经高斯。

31、在第三方面的一种可能的实现方式中,上述步骤:获取第一场景的第一相机参数和第一图像数据之后,该方法还包括:基于第一图像数据生成第一场景的稀疏点云;基于稀疏点云初始化第一模型中的神经高斯。

32、在第三方面的一种可能的实现方式中,第一场景为对原始场景进行划分得到的,第一图像数据与第一场景的边界盒相交,该方法还包括:输出多个第二模型,多个第二模型中的一个第二模型与原始场景中的一个场景对应;删除多个第二模型中的背景神经高斯,并合并多个第二模型中的前景神经高斯,以得到第三模型,背景神经高斯生成的高斯球与第一场景的边界盒不存在相交区域,前景神经高斯生成的高斯球与第一场景的边界盒存在相交区域。

33、在第三方面的一种可能的实现方式中,n为小于7的整数。

34、本技术第四方面提供一种模型训练装置,该装置包括获取单元和训练单元。

35、其中,获取单元用于获取第一场景的第一相机参数和第一图像数据,第一场景为三维场景,第一图像数据中的一个图像数据与第一相机参数中的一个相机参数对应;训练单元用于基于第一相机参数和第一图像数据,按n种不同分辨率从低到高的顺序依次对第一模型中的多个高斯球进行训练,以输出第二模型,n为大于2的整数;其中,在第m种分辨率下的训练过程中,训练单元具体用于按预设频率迭代更新第一模型中用于生成多个高斯球的神经高斯,其中一次更新的步骤包括:基于第一神经高斯生成第二神经高斯,第一神经高斯为在第1种至第m种分辨率下迭代更新得到的,m为大于2且小于或等于n的整数,第二神经高斯用于第m种至第n种分辨率下的迭代更新。

36、其中,第四方面或第四方面任一可选实施方式所实现的效果可以参阅前述第一方面或者第一方面任一可选实施方式的描述,以下不再赘述。

37、在第四方面的一种可能的实现方式中,训练单元具体用于从第一神经高斯生成的第一高斯球中筛选出第二高斯球;若第一神经高斯未覆盖第二高斯球对应的体素中心,生成第二神经高斯,第二神经高斯覆盖第二高斯球对应的体素中心。

38、在第四方面的一种可能的实现方式中,训练单元具体用于获取第m种分辨率下的梯度阈值;从第一高斯球中筛选出第二高斯球,第二高斯球为第一高斯球中梯度值大于梯度阈值的高斯球。

39、在第四方面的一种可能的实现方式中,梯度阈值的值与m的值呈负相关。

40、在第四方面的一种可能的实现方式中,获取单元还用于获取第m种分辨率下的不透明度阈值;训练单元具体用于从第二神经高斯中,删除不透明度值小于不透明度阈值的神经高斯。

41、在第四方面的一种可能的实现方式中,训练单元还用于基于第一图像数据生成第一场景的稀疏点云;基于稀疏点云初始化第一模型中的神经高斯。

42、在第四方面的一种可能的实现方式中,第一场景为对原始场景进行划分得到的,第一图像数据与第一场景的边界盒相交,训练单元还用于输出多个第二模型,多个第二模型中的一个第二模型与原始场景中的一个场景对应;删除多个第二模型中的背景神经高斯,并合并多个第二模型中的前景神经高斯,以得到第三模型,背景神经高斯生成的高斯球与第一场景的边界盒不存在相交区域,前景神经高斯生成的高斯球与第一场景的边界盒存在相交区域。

43、在第四方面的一种可能的实现方式中,n为小于7的整数。

44、本技术第五方面提供一种三维场景渲染装置,该装置包括获取单元和处理单元。

45、其中,获取单元用于获取第二场景的第二相机参数,第二场景为三维场景;处理单元用于将第二相机参数输入至第二模型,以得到第二场景中的第二图像数据,第二模型为按n种不同分辨率从低到高的顺序依次对第一模型中的多个高斯球进行训练得到的,第二模型包括第三神经高斯和基于第三神经高斯生成的第四神经高斯;其中,第三神经高斯为第一模型在第p种分辨率下训练生成的,第四神经高斯为第一模型在第q种分辨率下训练生成的,n为大于2的整数,p为小于或等于n的整数,q为大于p+1且小于或等于n的整数。

46、其中,第五方面所实现的效果可以参阅前述第二方面的描述,以下不再赘述。

47、本技术第六方面提供一种模型训练装置,该装置包括获取单元和训练单元。

48、其中,获取单元用于获取第一场景的第一相机参数和第一图像数据,第一场景为三维场景,第一图像数据中的一个图像数据与第一相机参数中的一个相机参数对应;训练单元用于基于第一相机参数和第一图像数据,按n种不同分辨率从低到高的顺序依次对第一模型中的多个高斯球进行训练,以输出第二模型,n为大于1的整数;其中,在第m种分辨率下的训练过程中,训练单元具体用于按预设频率迭代更新第一模型中用于生成多个高斯球的神经高斯,其中一次更新的步骤包括:获取第m种分辨率下的梯度阈值,梯度阈值的值与m的值呈负相关;从第一神经高斯生成的第一高斯球中筛选出第二高斯球,第二高斯球为第一高斯球中梯度值大于梯度阈值的高斯球,第一神经高斯为在第1种至第m种分辨率下迭代更新得到的,m为大于1且小于或等于n的整数;若第一神经高斯未覆盖第二高斯球对应的体素中心,生成第二神经高斯,第二神经高斯覆盖第二高斯球对应的体素中心,第二神经高斯用于第m种至第n种分辨率下的迭代更新。

49、其中,第六方面或第六方面任一可选实施方式所实现的效果可以参阅前述第三方面或者第三方面任一可选实施方式的描述,以下不再赘述。

50、在第六方面的一种可能的实现方式中,获取单元还用于获取第m种分辨率下的不透明度阈值;训练单元具体用于从第二神经高斯中,删除不透明度值小于不透明度阈值的神经高斯。

51、在第六方面的一种可能的实现方式中,训练单元还用于基于第一图像数据生成第一场景的稀疏点云;基于稀疏点云初始化第一模型中的神经高斯。

52、在第六方面的一种可能的实现方式中,第一场景为对原始场景进行划分得到的,第一图像数据与第一场景的边界盒相交,训练单元还用于输出多个第二模型,多个第二模型中的一个第二模型与原始场景中的一个场景对应;删除多个第二模型中的背景神经高斯,并合并多个第二模型中的前景神经高斯,以得到第三模型,背景神经高斯生成的高斯球与第一场景的边界盒不存在相交区域,前景神经高斯生成的高斯球与第一场景的边界盒存在相交区域。

53、在第六方面的一种可能的实现方式中,n为小于7的整数。

54、本技术第七方面提供一种模型训练装置,包括:处理器和存储器,其中,处理器和存储器通过线路互联,处理器调用存储器中的程序代码用于执行如上述第一方面或第一方面中任一可选实施方式中与处理相关的功能。可选地,该数据量化装置可以是芯片。

55、本技术第八方面提供一种电子设备,包括:处理器和存储器,其中,处理器和存储器通过线路互联,处理器调用存储器中的程序代码用于执行如上述第二方面或第二方面中任一可选实施方式中与处理相关的功能。可选地,该数据量化装置可以是芯片。

56、本技术第九方面提供一种模型训练装置,包括:处理器和存储器,其中,处理器和存储器通过线路互联,处理器调用存储器中的程序代码用于执行如上述第三方面或第三方面中任一可选实施方式中与处理相关的功能。可选地,该数据量化装置可以是芯片。

57、本技术第十方面提供了一种数字处理芯片或者芯片,芯片包括处理单元和通信接口,处理单元通过通信接口获取程序指令,程序指令被处理单元执行,处理单元用于执行如上述第一方面或第一方面中任一可选实施方式中与处理相关的功能。

58、本技术第十一方面提供了一种数字处理芯片或者芯片,芯片包括处理单元和通信接口,处理单元通过通信接口获取程序指令,程序指令被处理单元执行,处理单元用于执行如上述第二方面或第二方面中任一可选实施方式中与处理相关的功能。

59、本技术第十二方面提供了一种数字处理芯片或者芯片,芯片包括处理单元和通信接口,处理单元通过通信接口获取程序指令,程序指令被处理单元执行,处理单元用于执行如上述第三方面或第三方面中任一可选实施方式中与处理相关的功能。

60、本技术第十三方面提供了一种计算机可读存储介质,包括指令,当其在计算机上运行时,使得计算机执行上述第一方面或第一方面中任一可选实施方式中的方法。

61、本技术第十四方面提供了一种计算机可读存储介质,包括指令,当其在计算机上运行时,使得计算机执行上述第二方面或第二方面中任一可选实施方式中的方法。

62、本技术第十五方面提供了一种计算机可读存储介质,包括指令,当其在计算机上运行时,使得计算机执行上述第三方面或第三方面中任一可选实施方式中的方法。

63、本技术第十六方面提供了一种包含计算机程序/指令的计算机程序产品,当其被处理器执行时,使得处理器执行上述第一方面或第一方面中的任一可选实施方式中的方法。

64、本技术第十七方面提供了一种包含计算机程序/指令的计算机程序产品,当其被处理器执行时,使得处理器执行上述第二方面或第二方面中的任一可选实施方式中的方法。

65、本技术第十八方面提供了一种包含计算机程序/指令的计算机程序产品,当其被处理器执行时,使得处理器执行上述第三方面或第三方面中的任一可选实施方式中的方法。