基于语义引导的服装设计草图自动生成方法与流程

本发明涉及计算机视觉，具体是指基于语义引导的服装设计草图自动生成方法。

背景技术：

1、服装设计草图是服装设计流程中最基础、最核心的创意表达载体，在传统服装设计流程中，设计师通常需要借助计算机辅助设计等工具，从零开始逐笔绘制服装设计草图。随着人工智能技术的快速发展，生成对抗网络和扩散模型等深度生成模型在图像生成领域取得了突破性进展，为服装设计草图的智能化生成提供了新的技术路径。然而，现有技术在服装设计草图自动生成方面仍存在以下显著不足：生成结果缺乏语义可控性，现有基于生成对抗网络的服装图像生成方法多为全局性生成，生成过程缺乏可解释性，无法在图像层面上对设计元素的语义属性进行解耦和独立调控；多模态语义信息融合不充分，现有方法通常仅依赖单一模态输入如图像或文本，难以有效融合草图的结构信息与文本的语义信息，导致草图提供的视觉结构与文本提供的语义属性之间缺乏有效的协同建模机制；局部与全局语义关联建模不足，现有方法往往将草图作为一个整体输入进行处理，未能充分利用草图各区域的局部语义信息来引导生成过程，也难以在保持整体结构一致性的前提下对局部区域进行精细化的语义控制；生成过程缺乏设计意图的精准传达，设计师的设计意图通过草图线条和文字描述共同传达，而现有方法难以将这两种不同模态的设计意图统一编码并协同作用于生成过程，导致生成结果与设计师的原始意图之间存在较大偏差。

技术实现思路

1、针对上述情况，为克服现有技术的缺陷，本发明提供了基于语义引导的服装设计草图自动生成方法，针对多模态语义信息融合不充分的问题，本方案设计多模态语义理解与对齐模块，分别对服装设计草图的视觉模态和设计意图描述的文本模态进行深度语义编码，通过跨模态注意力机制实现视觉特征与文本特征在统一语义空间中的精准对齐与充分融合，确保草图的结构信息与文本的语义信息能够协同作用于生成过程，生成既符合草图结构约束又满足文本语义描述的服装设计草图；针对生成结果缺乏语义可控性的问题，本方案构建基于条件扩散模型的草图生成框架，以服装设计草图的语义分割图作为结构条件输入，以设计意图的文本描述作为语义条件输入，通过双条件引导机制实现对生成过程的精确语义控制，使设计师能够通过修改语义分割图或调整文本描述来直观地调控生成草图的局部样式与整体风格，大幅提升生成过程的可控性和可解释性；针对生成过程缺乏设计意图的精准传达的问题，本方案将设计师的设计意图分解为结构意图即通过草图语义分割图表达和风格意图即通过文本描述表达两个正交维度，通过条件扩散模型的渐进式去噪过程将两种意图逐步注入生成过程，并引入设计意图一致性损失函数确保生成结果与输入意图的高度一致，最终实现设计意图从输入到输出的精准传达；针对局部与全局语义关联建模不足的问题，本方案提出多层级语义引导策略，在全局层面利用整体文本描述引导草图的整体风格与设计基调，在局部层面利用语义分割图各区域的语义标签和对应的局部文本描述引导各部位的具体样式与细节特征，通过层级化的语义引导实现局部细节与整体风格的有机统一，使生成草图在保持整体协调性的同时具备丰富的局部语义表达。

2、本发明采用的技术方案如下：本发明提供的基于语义引导的服装设计草图自动生成方法，该方法包括以下步骤：

3、步骤s1：数据收集与预处理，收集服装图像数据集，对每张服装图像进行语义分割标注和文本描述标注，构建包含服装图像、语义分割图与文本描述三元组的训练数据集；

4、步骤s2：伪平面草图生成，对服装图像进行边缘检测和线条提取，生成与服装图像对应的伪平面草图，作为模型训练的监督目标；

5、步骤s3：多模态语义理解，构建视觉编码器和文本编码器，分别提取语义分割图的视觉语义特征和文本描述的文本语义特征，通过跨模态注意力机制实现视觉特征与文本特征的对齐与融合，获得多模态语义融合特征；

6、步骤s4：条件扩散模型构建，基于潜在扩散模型架构构建条件扩散模型，以多模态语义融合特征作为条件输入，以伪平面草图作为生成目标，训练模型学习从语义条件到服装设计草图的映射关系；

7、步骤s5：模型训练，采用去噪扩散概率模型的训练框架，通过最小化噪声预测损失对条件扩散模型进行端到端训练，并引入语义一致性损失增强生成草图与输入语义条件之间的一致性；

8、步骤s6：草图自动生成，将用户输入的服装设计草图语义分割图和设计意图文本描述输入训练好的条件扩散模型，通过渐进式去噪过程生成符合语义引导条件的服装设计草图；

9、步骤s7：生成结果评估与优化，对生成的服装设计草图进行质量评估和语义一致性验证，根据评估结果对生成结果进行迭代优化。

10、进一步地，在步骤s1中，所述数据收集与预处理，具体包括以下步骤：

11、步骤s11：服装图像收集，从公开服装数据集中收集服装图像，所述服装图像涵盖上衣、下装、连衣裙、外套等多种服装类别，图像分辨率不低于512×512像素；

12、步骤s12：语义分割标注，对每张服装图像进行像素级的语义分割标注，将服装区域划分为多个语义部件，所述语义部件包括左袖、右袖、左衣身、右衣身、领口、下摆，生成与服装图像对应的语义分割图，所述语义分割图中每个像素的取值表示该像素所属的语义部件类别；

13、步骤s13：文本描述标注，为每张服装图像生成对应的设计意图文本描述，所述文本描述包括服装类别、整体风格、色彩特征、面料质感、款式细节，文本描述以自然语言形式呈现；

14、步骤s14：数据集构建，将服装图像、语义分割图与文本描述组合为三元组形式，构建训练数据集，并按照8:1:1的比例将训练数据集划分为训练集、验证集和测试集。

15、进一步地，在步骤s2中，所述伪平面草图生成，具体包括以下步骤：

16、步骤s21：边缘检测，采用整体嵌套边缘检测算法对服装图像进行边缘检测，提取服装图像的边缘轮廓信息，生成初始边缘图；

17、步骤s22：线条细化，对初始边缘图进行非极大值抑制和滞后阈值处理，抑制非边缘响应，细化边缘线条，获得细化后的边缘图；

18、步骤s23：线条简化与矢量化，对细化后的边缘图进行线条简化和矢量化处理，去除冗余的短线段和噪声点，将边缘线条转化为连续的矢量线段，生成伪平面草图；

19、步骤s24：草图规范化，对伪平面草图进行尺寸归一化和对比度增强处理，使所有伪平面草图具有统一的尺寸和视觉风格，将处理后的伪平面草图作为模型训练的监督目标。

20、进一步地，在步骤s3中，所述多模态语义理解，具体包括以下步骤：

21、步骤s31：视觉语义编码，构建视觉编码器，将语义分割图输入视觉编码器，提取视觉语义特征，所用公式如下

22、；

23、式中，表示视觉语义特征，表示视觉编码器的映射函数，表示语义分割图；

24、步骤s32：文本语义编码，构建文本编码器，将设计意图文本描述输入文本编码器，提取文本语义特征，所用公式如下：

25、；

26、式中，表示文本语义特征，表示文本编码器的映射函数，表示设计意图文本描述；

27、步骤s33：跨模态注意力对齐，采用交叉注意力机制将视觉语义特征与文本语义特征进行对齐，计算文本语义特征对视觉语义特征的注意力权重，获得文本引导的视觉特征，所用公式如下：

28、；

29、式中，表示文本引导的视觉特征，、、分别表示查询矩阵、键矩阵和值矩阵的可训练权重参数，表示用于稳定梯度的缩放因子，表示归一化指数函数，表示矩阵转置操作；

30、步骤s34：多模态特征融合，将视觉语义特征与文本引导的视觉特征进行融合，获得多模态语义融合特征，所用公式如下：

31、；

32、式中，表示多模态语义融合特征，表示层归一化函数。

33、进一步地，在步骤s4中，所述条件扩散模型构建，具体包括以下步骤：

34、步骤s41：潜在空间编码，构建变分自编码器的编码器，将伪平面草图映射到潜在空间，获得潜在特征表示，所用公式如下：

35、；

36、式中，表示伪平面草图的潜在特征表示，表示变分自编码器中编码器的映射函数，表示伪平面草图；

37、步骤s42：前向扩散过程，定义前向扩散过程，在潜在特征表示上逐步添加高斯噪声，直至潜在特征表示变为标准高斯噪声，所用公式如下：

38、；

39、；

40、；

41、式中，表示扩散时间步的索引，表示总扩散步数，表示第个时间步的潜在特征表示，表示初始潜在特征表示，表示前向扩散的条件概率分布，表示高斯分布，示第个时间步的噪声方差超参数，表示单位矩阵，，；

42、步骤s43：条件去噪网络构建，构建基于u-net架构的条件去噪网络，所述条件去噪网络以第个时间步的潜在特征表示、时间步和多模态语义融合特征为输入，预测添加的噪声，所用公式如下：

43、；

44、式中，表示条件去噪网络的预测函数，表示条件去噪网络的可训练参数，表示u-net架构的映射函数；

45、步骤s44：反向去噪过程，定义反向去噪过程，从标准高斯噪声出发，利用条件去噪网络逐步去除噪声，恢复潜在特征表示，所用公式如下：

46、；

47、；

48、；

49、式中，表示反向去噪的条件概率分布，表示条件去噪网络预测的均值，表示第个时间步的方差；

50、步骤s45：潜在空间解码，构建变分自编码器的解码器，将恢复的潜在特征表示解码为服装设计草图，所用公式如下：

51、；

52、式中，表示生成的服装设计草图，表示变分自编码器中解码器的映射函数，表示反向去噪过程恢复的潜在特征表示。

53、进一步地，在步骤s5中，所述模型训练，具体包括以下步骤：

54、步骤s51：噪声预测损失计算，计算条件去噪网络预测的噪声与实际添加的噪声之间的均方误差，作为噪声预测损失，所用公式如下：

55、；

56、式中，表示噪声预测损失，表示数学期望，表示实际添加的高斯噪声，表示欧几里得范数的平方；

57、步骤s52：语义一致性损失计算，计算生成的服装设计草图与输入语义条件之间的语义一致性损失，确保生成结果符合语义引导，所用公式如下：

58、；

59、式中，表示语义一致性损失，表示从图像生成语义分割图的映射函数，表示从图像生成文本描述的映射函数，和分别表示视觉语义一致性权重和文本语义一致性权重；

60、步骤s53：联合损失函数构建，将噪声预测损失与语义一致性损失加权组合，构建联合损失函数，所用公式如下：

61、；

62、式中，表示联合损失函数，表示语义一致性损失的权重系数；

63、步骤s54：模型优化，采用自适应矩估计优化器对联合损失函数进行最小化优化，通过反向传播算法更新条件去噪网络、视觉编码器、文本编码器和变分自编码器的可训练参数；

64、步骤s55：早停与模型选择，在训练过程中监控验证集上的损失值变化，当验证集损失连续预设数量的训练轮次不再下降时停止训练，选择验证集上损失最小的模型作为最终模型。

65、进一步地，在步骤s6中，所述草图自动生成，具体包括以下步骤：

66、步骤s61：用户输入获取，获取用户提供的服装设计草图语义分割图和设计意图文本描述，所述语义分割图包含服装各语义部件的区域划分和类别标签，所述设计意图文本描述包含服装设计的风格、色彩、面料和款式信息；

67、步骤s62：输入语义编码，将用户提供的语义分割图输入视觉编码器，提取用户视觉语义特征，将用户提供的设计意图文本描述输入文本编码器，提取用户文本语义特征；

68、步骤s63：多模态语义融合，采用交叉注意力机制将用户视觉语义特征与用户文本语义特征进行对齐与融合，获得用户多模态语义融合特征；

69、步骤s64：初始噪声采样，从标准高斯分布中采样初始噪声作为反向去噪过程的起点，所用公式如下：

70、；

71、式中，表示第个时间步的初始噪声潜在特征表示；

72、步骤s65：条件去噪生成，以用户多模态语义融合特征为条件，从初始噪声出发，按照反向去噪过程逐步去除噪声，生成潜在特征表示，所用公式如下：

73、；

74、式中，表示第个时间步的潜在特征表示，表示用户多模态语义融合特征，表示从标准高斯分布中采样的随机噪声；

75、步骤s66：草图解码输出，将反向去噪过程恢复的潜在特征表示输入变分自编码器解码器，解码生成最终的服装设计草图，输出给用户。

76、进一步地，在步骤s7中，所述生成结果评估与优化，具体包括以下步骤：

77、步骤s71：生成质量评估，采用客观评估指标对生成的服装设计草图进行质量评估，所述客观评估指标包括弗雷歇inception距离、学习感知图像块相似度、结构相似性指数和峰值信噪比；

78、步骤s72：语义一致性验证，计算生成的服装设计草图与输入语义分割图之间的结构一致性指标，以及生成结果与输入文本描述之间的语义相关性指标，验证生成结果对语义引导条件的遵循程度；

79、步骤s73：用户反馈收集，将生成的服装设计草图展示给用户，收集用户对生成结果的满意度评价和修改意见；

80、步骤s74：迭代优化生成，根据评估结果和用户反馈，调整输入语义分割图或设计意图文本描述，重新执行步骤s6，生成优化后的服装设计草图，直至满足用户需求。

81、采用上述方案本发明取得的有益效果如下：

82、（1）针对多模态语义信息融合不充分的问题，本方案设计多模态语义理解与对齐模块，分别对服装设计草图的视觉模态和设计意图描述的文本模态进行深度语义编码，通过跨模态注意力机制实现视觉特征与文本特征在统一语义空间中的精准对齐与充分融合，确保草图的结构信息与文本的语义信息能够协同作用于生成过程，生成既符合草图结构约束又满足文本语义描述的服装设计草图。

83、（2）针对生成结果缺乏语义可控性的问题，本方案构建基于条件扩散模型的草图生成框架，以服装设计草图的语义分割图作为结构条件输入，以设计意图的文本描述作为语义条件输入，通过双条件引导机制实现对生成过程的精确语义控制，使设计师能够通过修改语义分割图或调整文本描述来直观地调控生成草图的局部样式与整体风格，大幅提升生成过程的可控性和可解释性。

84、（3）针对生成过程缺乏设计意图的精准传达的问题，本方案将设计师的设计意图分解为结构意图即通过草图语义分割图表达和风格意图即通过文本描述表达两个正交维度，通过条件扩散模型的渐进式去噪过程将两种意图逐步注入生成过程，并引入设计意图一致性损失函数确保生成结果与输入意图的高度一致，最终实现设计意图从输入到输出的精准传达。

85、（4）针对局部与全局语义关联建模不足的问题，本方案提出多层级语义引导策略，在全局层面利用整体文本描述引导草图的整体风格与设计基调，在局部层面利用语义分割图各区域的语义标签和对应的局部文本描述引导各部位的具体样式与细节特征，通过层级化的语义引导实现局部细节与整体风格的有机统一，使生成草图在保持整体协调性的同时具备丰富的局部语义表达。