一种基于跨模态扩散模型的草图三维模型生成方法及系统

本发明涉及三维模型生成领域，具体涉及一种基于跨模态扩散模型的草图三维模型生成方法及系统。

背景技术：

1、三维模型生成技术是计算机视觉与计算机图形学领域的重要研究方向，在虚拟现实、工业设计、数字内容创作等领域具有广泛应用。传统三维建模通常依赖人工建模方式完成，不仅对专业技能要求较高，而且建模过程耗时较长，难以满足高效建模需求。

2、随着深度学习技术的发展，从二维输入数据自动生成三维模型逐渐成为研究热点。其中，单视图图像或草图驱动的三维重建方法因其输入便捷、应用灵活而受到广泛关注。相比自然图像，草图具有表达简洁、语义明确的特点，能够以较低的成本传递物体的结构信息，因此在设计建模场景中具有重要应用价值。然而，现有基于草图或单视图的三维生成方法仍存在如下问题：现有方法通常仅将草图作为二维图像输入，主要依赖像素级特征进行建模，忽略了草图中隐含的笔画结构和几何约束信息，导致生成结果在局部细节和结构表达方面存在不足；二维草图与三维形状在数据表示形式上存在显著差异，跨模态之间缺乏有效的特征对齐机制，使得模型难以同时兼顾全局语义一致性与局部几何精度；现有方法多采用单一模态作为条件输入，缺乏多模态信息的协同建模能力，导致生成结果在复杂结构和细节区域容易出现形变或信息缺失；部分方法直接在点云、体素或网格空间进行生成，存在计算复杂度高、训练不稳定等问题，难以实现高质量与高效率的统一。

3、近年来，生成模型得到了快速发展，主要包括生成对抗网络（gan）、变分自编码器（vae）以及基于扩散过程的生成模型等。其中，扩散模型通过逐步去噪的方式学习数据分布，具有生成质量高、训练稳定性好的优点，在图像生成领域取得了显著效果。然而，现有扩散模型在三维生成任务中仍面临跨模态信息融合不足的问题，尤其是在草图与结构化几何信息协同建模方面仍存在较大提升空间。

4、因此，如何在扩散生成框架下，有效融合草图图像的全局语义信息与矢量形式的局部几何信息，实现高质量三维形状生成，成为当前亟需解决的关键技术问题。

技术实现思路

1、本发明为克服现有技术中三维模型生成方法中存在的跨模态信息利用不足、局部几何细节表达能力有限以及生成结果结构一致性较差等问题，为此本发明提出了一种基于跨模态扩散模型的草图三维模型生成方法及系统，为解决上述技术问题本发明是通过以下技术方案实现的：

2、方案一、本发明提出了一种基于跨模态扩散模型的草图三维模型生成方法，所述方法包括以下步骤：

3、步骤1、获取三维模型数据集，基于所述三维模型数据集构建对应的草图与矢量数据；

4、步骤2、采用向量量化自编码模型对三维模型数据集进行潜在表示学习，即通过编码器将输入三维形状映射至潜在空间，并通过量化操作获得离散表示，并利用解码器进行重建；

5、步骤3、对步骤1所构建的草图图像与矢量数据，分别进行特征提取，对于草图图像，通过图像编码器提取全局语义特征；对于矢量数据，将其表示为绘制参数序列，并通过序列编码器进行建模，获得包含局部几何信息的特征表示；

6、步骤4、在步骤2中所述的潜在空间中构建扩散生成模型，在前向过程中，通过逐步向潜在变量中加入高斯噪声，使其逐渐逼近标准分布；在反向过程中，通过去噪网络逐步恢复潜在表示，实现三维模型生成；

7、步骤5、在所述扩散生成模型中引入跨模态注意力机制，将草图特征与矢量特征分别作为键和值进行注意力计算，并对两种模态特征进行融合，得到统一的特征表示；

8、步骤6、在完成扩散去噪后，将最终得到的潜在表示输入解码器进行三维重建，生成目标三维模型。

9、进一步的，提供一种优选实施方式，步骤1中基于所述三维模型数据集构建对应的草图与矢量数据的方法为：

10、步骤1.1、从三维模型数据集中选取多个类别的三维模型作为基础数据；

11、步骤1.2、通过多视角渲染方式获取对应的二维图像，并利用边缘检测算法提取草图轮廓；

12、步骤1.3、将草图图像转换为标准化输入格式，并对像素值进行归一化处理，使其满足如下形式：

13、

14、步骤1.4、将处理后的草图图像进一步转换为矢量序列表示，通过提取笔画路径与控制点参数构建结构化序列数据；

15、步骤1.5、并在输入数据中加入随机噪声扰动，其形式如下：

16、。

17、进一步的，提供一种优选实施方式，步骤2中通过通过编码器将输入三维形状映射至潜在空间，并通过量化操作获得离散表示，并利用解码器进行重建的方法为：

18、步骤2.1、将三维形状表示为规则体素数据或隐式距离场表示，用于统一输入形式；

19、步骤2.2、通过编码器将输入三维形状映射为潜在特征表示：

20、

21、步骤2.3、通过向量量化操作，将连续潜在特征映射至离散码本空间，从而构建结构化潜在表示；

22、步骤2.4、通过解码器对离散潜在表示进行重建，得到重建结果：

23、

24、步骤2.5、通过最小化重建误差约束潜在空间学习过程，用于使潜在表示能够有效表达三维形状的结构特征。

25、进一步的，提供一种优选实施方式，步骤3中对步骤1所构建的草图图像与矢量数据，分别进行特征提取的方法为：

26、步骤3.1、将草图图像输入图像编码器，提取其全局语义特征表示；

27、步骤3.2、将矢量数据表示为绘制参数序列，其形式为：

28、

29、其中，表示绘制命令，表示坐标参数；

30、步骤3.3、通过嵌入层将序列映射至高维特征空间，并输入序列编码器进行建模；

31、步骤3.4、利用多层自注意力结构对序列进行特征提取，用于捕捉笔画级几何关系；

32、步骤3.5、将草图特征与矢量特征映射至统一潜在空间。

33、进一步的，提供一种优选实施方式，步骤4中所述的构建扩散生成模型的方法为：

34、步骤4.1、在前向过程中对潜在表示逐步加入高斯噪声，使其逐渐逼近标准分布，其形式为：

35、

36、步骤4.2、在反向过程中，通过去噪网络逐步恢复潜在表示；

37、步骤4.3、将时间步信息与条件信息共同输入去噪网络；

38、步骤4.4、通过学习噪声预测函数，使扩散生成模型能够逐步还原目标潜在表示；

39、步骤4.5、通过最小化预测噪声与真实噪声之间的误差，实现模型训练优化。

40、进一步的，提供一种优选实施方式，步骤5中将草图特征与矢量特征分别作为键和值进行注意力计算，并对两种模态特征进行融合，得到统一的特征表示的方法为：

41、步骤5.1、以潜在表示作为查询向量，将草图特征作为键和值进行注意力计算；

42、步骤5.2、以潜在表示作为查询向量，将矢量特征作为键和值进行注意力计算；

43、步骤5.3、通过注意力机制实现不同模态之间的特征对齐，其计算形式为：

44、

45、步骤5.4、将两种模态的特征进行融合，得到统一表示：

46、。

47、进一步的，提供一种优选实施方式，步骤6中将最终得到的潜在表示输入解码器进行三维重建，生成目标三维模型的方法为：

48、步骤6.1、将去噪后的潜在表示输入解码器进行三维重建；

49、步骤6.2、将潜在表示映射回三维空间，生成目标三维模型：

50、。

51、方案二、一种基于跨模态扩散模型的草图三维模型生成系统，所述系统包括：

52、三维数据集构建与预处理模块，用于获取三维模型数据集，基于所述三维模型数据集构建对应的草图与矢量数据；

53、三维形状潜在空间构建模块，用于采用向量量化自编码模型对三维模型数据集进行潜在表示学习，即通过编码器将输入三维形状映射至潜在空间，并通过量化操作获得离散表示，并利用解码器进行重建；

54、跨模态特征编码模块，用于对三维数据集构建与预处理模块所构建的草图图像与矢量数据，分别进行特征提取，对于草图图像，通过图像编码器提取全局语义特征；对于矢量数据，将其表示为绘制参数序列，并通过序列编码器进行建模，获得包含局部几何信息的特征表示；

55、扩散生成模型构建模块，用于在三维形状潜在空间构建模块中所述的潜在空间中构建扩散生成模型，在前向过程中，通过逐步向潜在变量中加入高斯噪声，使其逐渐逼近标准分布；在反向过程中，通过去噪网络逐步恢复潜在表示，实现三维模型生成；

56、跨模态特征融合模块，用于在所述扩散生成模型中引入跨模态注意力机制，将草图特征与矢量特征分别作为键和值进行注意力计算，并对两种模态特征进行融合，得到统一的特征表示；

57、三维模型生成模块，用于在完成扩散去噪后，将最终得到的潜在表示输入解码器进行三维重建，生成目标三维模型。

58、方案三、一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现方案一所述的方法的步骤。

59、方案四、一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，当所述处理器运行所述存储器存储的计算机程序时，所述处理器执行方案一所述的方法。

60、本发明的有益之处在于：

61、本发明所述的一种基于跨模态扩散模型的草图三维模型生成方法及系统，通过在潜在空间中融合草图图像的全局语义信息与显性矢量序列的局部几何约束信息，在扩散生成过程中实现多模态特征的协同建模，从而提升生成三维模型的结构完整性与细节表达能力。通过该方法能够有效提高三维模型生成质量，降低人工建模成本，提高建模效率。

62、本发明所述的一种基于跨模态扩散模型的草图三维模型生成方法及系统，通过引入草图与矢量双模态信息，实现跨模态协同建模，提升三维生成质量；本发明基于潜在空间的扩散生成机制，提高模型训练稳定性与生成能力；本发明通过跨模态注意力机制增强局部几何细节表达能力；在保证整体结构一致性的同时，提高生成模型的细节保真度；能够有效降低三维建模成本，提高建模效率。

63、本发明还适用于计算机视觉等应用领域。