三维场景风格迁移方法、装置、计算机设备及介质与流程

摘要: 本申请实施例涉及三维场景处理,尤其涉及一种三维场景风格迁移方法、装置、计算机设备及介质。背景技术:1、随着自动驾驶、虚拟现实以及数字孪生等应用对高质量三维场景数...
三维场景风格迁移方法、装置、计算机设备及介质与流程

本申请实施例涉及三维场景处理,尤其涉及一种三维场景风格迁移方法、装置、计算机设备及介质。

背景技术:

1、随着自动驾驶、虚拟现实以及数字孪生等应用对高质量三维场景数据需求的持续增长,三维场景风格化技术受到越来越多的关注。三维高斯溅射是一种基于显式三维高斯点云的可微分渲染技术,其通过将场景表示为大量三维高斯椭球体的集合,并利用可微分光栅化渲染器将高斯点投影至二维图像平面,能够实现高效的场景重建和新视角合成,是目前三维场景风格迁移任务中常用的一类可微分三维场景表示。

2、在现有的三维场景风格迁移方法中,通常先利用多视角图像对三维场景进行可微分三维场景表示重建,例如进行三维高斯溅射重建,得到初始三维场景表示;随后对重建结果进行可微分渲染,获得新视角的渲染图像;再采用风格化算法对渲染图像进行风格化处理,生成风格化渲染图像;最后以风格化渲染图像作为监督信号,通过可微分渲染管线对三维场景表示的各项参数进行迭代优化,使三维场景逐步呈现目标风格特征。

3、然而,现有的三维场景风格迁移方法在实际应用中存在一些不足。一方面,现有流程采用先渲染、再风格迁移、再监督三维场景表示优化的处理顺序,渲染过程本身引入的误差会传播至后续的风格迁移环节,风格迁移模型在处理渲染瑕疵时可能产生不可预料的伪影,这些伪影又会被作为监督信号进一步误导三维场景表示的参数优化,从而形成误差的正反馈循环,导致最终生成的三维场景质量下降。另一方面,现有方法在优化过程中往往对三维场景表示的的全部参数进行调整,而风格迁移监督信号通常仅包含颜色和纹理信息,缺少对空间几何的显式约束,使得对空间相关参数的优化缺乏依据,容易导致三维场景中空间基元的位置和形状发生漂移,破坏原始场景的物体边界和三维空间结构,造成几何失真。

技术实现思路

1、本申请针对上述不足或缺点,提供了一种三维场景风格迁移方法、装置、计算机设备及介质。

2、本申请根据第一方面提供了一种三维场景风格迁移方法,该方法包括:获取原始场景的多视角图像,以及获取目标风格条件;根据多视角图像和目标风格条件执行风格迁移处理,得到风格化二维图像集;获取原始场景的可微分三维场景表示,可微分三维场景表示包括多个三维基元,各三维基元包括外观参数和几何参数;对可微分三维场景表示执行可微分渲染处理,得到渲染图像集;根据渲染图像集和风格化二维图像集之间的差异对可微分三维场景表示执行参数优化处理,得到风格化三维场景;其中,在参数优化处理中仅更新各三维基元的外观参数,并固定各三维基元的几何参数。

3、本申请根据第二方面提供了一种三维场景风格迁移装置,该装置包括:

4、第一获取模块,用于获取原始场景的多视角图像,以及获取目标风格条件;

5、风格迁移模块,用于根据多视角图像和目标风格条件执行风格迁移处理,得到风格化二维图像集;

6、第二获取模块,用于获取原始场景的可微分三维场景表示,可微分三维场景表示包括多个三维基元,各三维基元包括外观参数和几何参数;

7、可微分渲染模块,用于对可微分三维场景表示执行可微分渲染处理,得到渲染图像集;

8、参数优化模块,用于根据渲染图像集和风格化二维图像集之间的差异对可微分三维场景表示执行参数优化处理,得到风格化三维场景;其中,在参数优化处理中仅更新各三维基元的外观参数,并固定各三维基元的几何参数。

9、本申请根据第三方面提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现上述实施例中的三维场景风格迁移方法。

10、本申请根据第四方面提供了一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,该处理器执行计算机程序时实现上述实施例中的三维场景风格迁移方法。

11、本申请可以消除三维场景风格迁移过程中的误差累积,并在保持原始场景几何结构的前提下实现风格化三维场景重构。其中,本申请首先通过获取原始场景的多视角图像和目标风格条件,并对多视角图像直接执行风格迁移处理得到风格化二维图像集,可以保证风格迁移处理的输入始终为无渲染瑕疵的原始图像,避免渲染误差向风格迁移环节传播,从根本上消除误差的正反馈循环;其次,通过获取包括多个三维基元的可微分三维场景表示,并对可微分三维场景表示执行可微分渲染处理得到渲染图像集,可以根据渲染图像集与风格化二维图像集之间的差异执行参数优化处理,驱动三维场景逐步呈现目标风格的颜色、光照和纹理特征;最后,通过在参数优化处理中仅更新各三维基元的外观参数并固定各三维基元的几何参数,可以利用初始化获得的真实场景几何结构天然保持三维空间结构,杜绝几何漂移,并且无需依赖额外的几何对齐损失函数。综上,本申请能够在消除误差累积的同时保证风格化三维场景的几何一致性。

1.一种三维场景风格迁移方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述可微分三维场景表示为三维高斯溅射表示,所述三维基元为三维高斯点,所述外观参数为所述三维高斯点的颜色参数,所述几何参数包括所述三维高斯点的空间位置参数、协方差参数和透明度参数。

3.根据权利要求2所述的方法,其特征在于,获取所述原始场景的三维高斯溅射表示,包括:

4.根据权利要求3所述的方法,其特征在于,所述三维几何信息包括lidar点云数据;所述相机参数包括相机内外参数;所述获取所述原始场景的三维几何信息和相机参数,根据所述三维几何信息和所述相机参数初始化多个三维高斯点的空间位置参数、协方差参数和透明度参数,得到所述三维高斯溅射表示,包括:

5.根据权利要求1所述的方法,其特征在于,所述风格迁移处理由领域专用风格迁移模型执行,所述领域专用风格迁移模型通过以下方式获取:

6.根据权利要求5所述的方法,其特征在于,所述方法还包括:

7.根据权利要求2所述的方法,其特征在于,所述根据所述渲染图像集和所述风格化二维图像集之间的差异对所述三维高斯溅射表示执行参数优化处理,包括:

8.一种三维场景风格迁移装置,其特征在于,所述装置包括:

9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7中任一项所述方法。

10.一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法。