纹理空间结构化的物理材质三维高斯生成方法

本发明涉及计算机图形学与人工智能领域，具体涉及一种将三维高斯泼溅表征通过球面映射进行纹理空间结构化编码、联合生成基于物理渲染（physically basedrendering，缩写为pbr）材质参数的三维物体生成方法。

背景技术：

1、近年来，三维内容生成成为计算机图形学与人工智能交叉领域的研究热点。高质量三维内容的自动化生成对于降低游戏开发、影视制作、虚拟现实内容创作的人力成本具有重要的产业价值。然而，传统的三维资产制作流程依赖建模软件（如blender、maya、3dsmax）进行手工建模、纹理空间展开、纹理绘制和材质编辑，单个高质量三维资产从概念设计到最终可渲染需数小时至数日，难以满足大规模、高效率三维内容生产的需求。

2、在基于二维扩散模型先验的三维生成方面，以dreamfusion为代表的分数蒸馏采样方法开创了利用预训练二维扩散模型作为先验驱动三维表征优化的技术范式。该方法从一个随机初始化的三维表征出发，在每次迭代中从随机相机视角渲染二维图像，将渲染图像输入二维扩散模型计算梯度，通过反向传播逐步优化三维表征的参数，最终生成与文本描述对齐的三维模型。然而，由于二维扩散模型不具备三维感知能力，对同一物体在不同视角下的生成结果缺乏几何一致性约束，导致在优化过程中不同视角的梯度监督相互矛盾，例如生成的人脸或动物模型同时具有多个正面，即“多面问题”。此外，分数蒸馏采样方法需要对三维表征进行大量迭代优化，每次迭代涉及多次扩散模型前向推理，生成效率极低。

3、在基于多视图扩散模型的生成方法方面，以mvdream为代表，通过在大规模二维图像数据集和三维资产渲染的多视图数据集上联合训练扩散模型，使模型同时具备二维图像生成的通用能力和三维感知的视角一致性，从而能够根据文本提示直接生成一组在几何上一致的多视图图像。但mvdream的输出本质上仍然是二维图像集合，不包含三维几何结构和材质信息，生成的多视图图像仍需通过后续的三维重建方法（如神经辐射场或三维高斯泼溅）进行三维化处理。

4、在三维高斯泼溅表征及其快速重建方面，以lgm为代表的方法将多视图扩散模型与三维高斯泼溅重建相结合，通过前馈网络实现从多视图图像到三维高斯泼溅的快速映射，将三维生成时间从数十分钟压缩至秒级。然三维高斯泼溅本身是一种非结构化的三维高斯泼溅表征，由数百万个独立的高斯椭球体以无序点云的形式构成。每个高斯基元的完整属性集合包含位置向量、旋转四元数、尺度向量、球谐颜色系数向量和不透明度标量等异构属性，这些基元在三维空间中呈散射分布，彼此之间不存在拓扑连接，缺乏固有的二维参数化坐标。这种非结构化特性导致生成的三维高斯泼溅模型无法直接映射为标准的纹理贴图，进而无法导入基于纹理贴图的现代图形渲染管线（如unity、unreal engine），也无法与现有的二维纹理编辑工具（如adobe photoshop、substance painter）进行交互操作。

5、在基于物理渲染材质生成方面，几何生成与材质生成在两个独立过程中进行优化，彼此之间缺乏语义信息的传递，导致材质贴图与几何结构之间容易出现语义不对齐。以gaussianeditor为代表的方法编辑操作直接在三维点云空间中进行，编辑过程需要对高斯基元的完整属性集合进行重新优化，单次编辑耗时数分钟至数十分钟。三维高斯泼溅的编辑效率和灵活性远低于二维图像编辑。

技术实现思路

1、本发明目的在于克服现有技术中诸如三维内容生成技术中三维高斯泼溅表征非结构化、几何与材质生成相分离、三维编辑需重新优化且无法利用二维编辑工具的三个层次的技术缺陷。

2、本发明所提供的纹理空间结构化的物理材质三维高斯生成方法，包括以下步骤：步骤s1，计算三维高斯泼溅表征中每个高斯基元对应的二维纹理坐标，将所述高斯基元的完整属性集合映射为多通道纹理图上的像素值；

3、步骤s2，将文本提示词和/或单张参考图像作为条件输入，结合多视图相机位姿编码，注入速度场网络，从高斯噪声采样得到多视图联合潜变量；

4、步骤s3，将所述多视图联合潜变量解码为多视图rgb图像、多视图深度图和多视图法线图；

5、步骤s4，将所述多视图rgb图像、多视图深度图和多视图法线图反投影至三维空间形成三维特征体积，通过球面投影将所述三维特征体积汇聚至纹理空间形成纹理特征图；

6、步骤s5，将所述纹理特征图回归为纹理空间高斯几何属性图和纹理空间基于物理渲染材质参数图；

7、步骤s6，从所述纹理空间高斯几何属性图和纹理空间基于物理渲染材质参数图中提取待编辑通道作为二维图像，将所述二维图像输入预训练的二维扩散编辑模型进行编辑，将编辑结果回写至纹理图对应通道并施加物理约束后处理，通过逆向映射更新三维高斯基元集合。

8、进一步的，所述步骤s1中，通过球面坐标映射计算所述高斯基元对应的二维纹理坐标，具体为：

9、对第个高斯基元的中心位置向量，计算其球面坐标：

10、

11、

12、

13、其中，为第个高斯基元在三维空间中的中心位置向量，、、分别为该向量的三个分量；为向量的欧几里得范数；为第个高斯基元中心到坐标原点的径向距离；为第个高斯基元中心的天顶角；为第个高斯基元中心的方位角；

14、然后计算纹理坐标：

15、

16、其中，为第个高斯基元映射到纹理图后的水平纹理坐标，为第个高斯基元映射到纹理图后的垂直纹理坐标。

17、进一步的，所述步骤s1中，将高斯基元的完整属性集合经编码函数映射为多通道纹理图上的像素值，具体为：

18、定义编码函数，将第个高斯基元的完整属性集合映射为维度为的编码向量：

19、其中，为第个高斯基元的完整属性集合；为该基元在三维空间中的中心位置向量；为该基元旋转方向的单位四元数表示；为该基元在三个轴向上的尺度向量；为该基元的球谐颜色系数向量，为球谐系数的总数，其中为球谐阶数；为该基元的不透明度标量；表示对尺度向量的每一个分量取自然对数；为对不透明度取对数几率变换；为编码向量的总通道数，等于、、、及不透明度变换项的维度之和；

20、然后按照纹理坐标将编码向量写入纹理图的对应像素位置：

21、

22、其中，为纹理图的总列数，为纹理图的总行数，为结构化纹理图张量；和分别表示将归一化纹理坐标映射到像素整数坐标后对应的列索引和行索引。

23、进一步的，步骤s2中所述的速度场网络为rectified flow速度场网络，通过以下训练目标优化：

24、

25、其中，为期望算子；为时间变量；为采样的真实潜码；为高斯噪声向量，为零向量，为单位矩阵；为前向插值轨迹；为条件嵌入向量；为参数为的速度场网络在给定中间潜状态、时间和条件下输出的预测速度向量；为欧几里得范数的平方；

26、在采样阶段，从高斯噪声出发，通过求解以下常微分方程进行数值积分获得最终潜变量：

27、采用步欧拉法对上述常微分方程进行离散化近似求解。

28、进一步的，所述步骤s3具体为将多视图联合潜变量通过输出解码器同时解码为多视图rgb图像、深度图、法线图：

29、对于第个视角，输出解码器将最终潜变量映射为组合输出张量，并按通道维度分解为六个分量：

30、

31、其中，为预设的多视图透视图数；为视角索引编号；为第个视角对应的最终潜变量；为输出解码器；为第个视角预测的rgb彩色图像，和分别为输出图像的高度和宽度；为第个视角预测的深度图；为第个视角预测的表面法线图；为第个视角预测的漫反射贴图；为第个视角预测的粗糙度贴；为第个视角预测的金属度贴图。

32、进一步的，所述步骤s4中，利用相机参数将多视图rgb图像、深度图和法线图反投影至三维空间形成三维特征体积，具体包括：

33、对于第个视图中坐标为的像素，利用该视图的相机内参矩阵和预测的深度图，计算该像素对应的三维空间点坐标：

34、

35、其中，为第个视角相机的旋转矩阵；为旋转矩阵的转置矩阵；为内参矩阵的逆矩阵；为像素的齐次图像坐标；为深度图在像素处预测的深度标量值；为第个视角相机的平移向量；为计算得到的三维空间点坐标；

36、将所有视角反投影得到的三维特征点通过三维稀疏卷积网络汇总为统一的三维特征体积。

37、进一步的，所述步骤s4中通过球面投影将三维特征体积汇聚至纹理空间形成纹理特征图，具体包括：

38、对于三维特征体积中的每一个特征点，按照其空间坐标计算球面坐标和纹理坐标，并通过汇聚操作填充至纹理特征图：

39、

40、其中，为纹理特征图张量；为纹理坐标；为三维特征体积在空间点处的特征向量；为从三维空间点到纹理坐标的投影函数；为汇聚函数。

41、进一步的，所述步骤s5中，将纹理特征图通过预测头网络同时回归为纹理空间高斯几何属性图和纹理空间基于物理渲染材质参数图，具体包括：

42、预测头网络对每个纹理坐标同时输出高斯几何属性和基于物理渲染材质参数：

43、

44、其中，为预测头网络；为纹理坐标；为纹理特征图在坐标处的特征向量；为该纹理坐标对应的高斯基元中心位置向量；为该高斯基元的旋转四元数；为高斯基元的球谐颜色系数向量，为球谐系数总数；为高斯基元的不透明度标量；为纹理坐标对应的漫反射颜色；为纹理坐标对应的粗糙度值；为该纹理坐标对应的金属度值；

45、高斯几何属性图包含位置通道、四元数通道、尺度通道、球谐颜色系数通道和不透明度通道；高斯基于物理渲染材质参数图包含漫反射通道、粗糙度通道和金属度通道。

46、进一步的，所述步骤s6中，将待编辑通道作为二维图像输入预训练的二维扩散编辑模型进行编辑，具体包括：

47、从纹理空间高斯几何属性图和/或纹理空间基于物理渲染材质参数图中提取待编辑通道作为二维图像：

48、其中，为结构化纹理图张量，当编辑几何属性时，当编辑材质属性时；为待编辑通道的索引编号；和分别为纹理图的高度和宽度；为待编辑图像的通道数，当编辑单通道属性时，当编辑三通道属性时；为提取的待编辑二维图像；

49、通过交互式分割模型生成编辑掩码图；当且仅当像素位于待编辑区域内时，；否则，；将待编辑图像、编辑掩码图和文本提示词条件输入二维扩散修复模型：

50、

51、或输入指令驱动编辑模型：

52、

53、其中，为预训练的stable diffusion inpainting模型；为预训练的instructpix2pix模型；为文本提示词条件；为自然语言编辑指令；为编辑后输出的二维图像。

54、进一步的，所述步骤s6中的物理约束后处理包括：

55、对粗糙度通道和金属度通道执行范围裁剪，将所有像素值约束至区间：

56、

57、其中，为编辑后的粗糙度通道张量，为编辑后的金属度通道张量；

58、对法线图通道执行单位向量重归一化：

59、其中，为编辑后的法线图张量；为纹理坐标处的法线向量；为该法线向量的欧几里得范数；

60、在编辑区域边界执行羽化融合：

61、

62、其中，为原始纹理图张量；为编辑后纹理图张量；为经过边界羽化处理后的软掩码矩阵；为羽化融合后的纹理图张量。

63、本发明提供的方法通过构建从三维高斯空间到二维纹理空间的确定性映射将非结构化高斯属性编码为规则的多通道纹理图，通过rectified flow框架在统一潜空间中联合生成多视图rgb图像、深度图及基于物理渲染材质参数图，并通过前馈网络解码为纹理空间结构化的三维高斯表征，从而实现几何结构与基于物理渲染材质的端到端联合生成，同时利用纹理空间的结构化特性实现基于二维扩散模型的训练无关三维编辑。