一种扩散模型微调方法、装置、设备及可读存储介质与流程

本技术涉及图像生成领域，具体涉及一种扩散模型微调方法、装置、设备及可读存储介质。

背景技术：

1、扩散模型作为当前主流的图像生成技术，广泛应用于内容创作及垂直领域的个性化定制场景。随着应用深度的增加，用户不仅要求生成图像在语义内容上符合提示词描述，更对特定主体（如工业零件、特定车辆或人物）的结构完整性、边缘清晰度以及细节还原度提出了极高的技术要求，亟需一种能够在保留模型通用生成能力的同时，高保真还原目标主体特征的微调方案。

2、现有的扩散模型微调方法，通常采用基于潜空间的去噪训练范式，将训练样本编码为真实潜空间特征并添加噪声构建带噪特征，输入预训练模型进行前向传播得到预测噪声，并通过最小化预测噪声与真实噪声之间的均方误差来更新模型参数。部分现有方案虽引入了额外的感知损失或语义对齐损失，但主要依赖于全局性的误差计算来驱动模型优化。

3、然而，现有技术在面对高结构精度要求的垂直领域微调时仍存在不足。首先，现有损失函数在优化过程中通常仅以整体重建误差为导向，难以保证主体关键结构区域的特征学习优先级，导致处理复杂几何结构时，生成结果中主体关键结构容易发生形变。其次，现有技术在特征空间内缺乏对边缘轮廓信息的有效捕捉与约束机制，导致生成图像在高频细节和边缘轮廓上容易出现模糊。最后，现有的优化方式难以同时兼顾重建精度与结构细节的需求，影响模型最终的生成质量，需要改进。

技术实现思路

1、本技术提供一种扩散模型微调方法、装置、设备及可读存储介质，可以解决现有技术中存在的扩散模型在垂直领域微调过程中主体结构易失真、边缘细节模糊的技术问题。

2、第一方面，本技术实施例提供一种扩散模型微调方法，包括：

3、获取目标主体的训练数据集，对训练数据集中训练样本进行编码得到真实潜空间特征，并根据真实潜空间特征构建带噪潜空间特征；

4、加载预训练扩散模型，将带噪潜空间特征输入预训练扩散模型进行前向传播，得到预测噪声；

5、根据训练样本、带噪潜空间特征和预测噪声确定复合损失，复合损失包括基础重建损失、基于归一化空间注意力加权的结构损失以及基于通道级分组边缘检测的边缘一致性损失；

6、基于复合损失对预训练扩散模型的参数进行更新，直至模型收敛，得到微调后的扩散模型。

7、结合第一方面，在一种实施方式中，基于归一化空间注意力加权的结构损失，基于以下方式得到：

8、在潜空间构建训练样本的空间注意力权重图；

9、将空间注意力权重图归一化处理，并将归一化后的空间注意力权重图与基础重建损失对应的逐特征元素张量进行逐元素相乘，得到加权后的结构损失。

10、结合第一方面，在一种实施方式中，在潜空间构建训练样本的空间注意力权重图，包括：

11、在潜空间内构建训练样本中目标主体的高斯分布掩码；

12、根据高斯分布掩码进行权重赋值，使目标主体的权重值高于背景区域，得到空间注意力权重图。

13、结合第一方面，在一种实施方式中，基于通道级分组边缘检测的边缘一致性损失，基于以下方式得到：

14、根据带噪潜空间特征和预测噪声确定预测去噪潜空间特征；

15、在各通道对预测去噪潜空间特征和真实潜空间特征分别进行边缘检测，得到预测通道梯度幅值及真实通道梯度幅值；

16、计算预测通道梯度幅值与真实通道梯度幅值之间的通道级分组梯度差异，并对通道级分组梯度差异进行全局平均，得到边缘一致性损失。

17、结合第一方面，在一种实施方式中，在各通道对预测去噪潜空间特征和真实潜空间特征分别进行边缘检测，得到预测通道梯度幅值及真实通道梯度幅值，包括：

18、对预测去噪潜空间特征和真实潜空间特征，分别在每个通道下，基于索贝尔算子在x轴和y轴进行深度可分离卷积，得到对应的每个通道的x轴梯度幅值分量和y轴梯度幅值分量；

19、将对应的每个通道的x轴梯度幅值分量和y轴梯度幅值分量合并，分别得到每个通道的预测通道梯度幅值和真实通道梯度幅值。

20、结合第一方面，在一种实施方式中，根据训练样本、带噪潜空间特征和预测噪声确定复合损失，包括：

21、在每一训练步，复用预测噪声和预测去噪潜空间特征，并行计算基础重建损失、基于归一化空间注意力加权的结构损失以及基于通道级分组边缘检测的边缘一致性损失，其中预测去噪潜空间特征基于带噪潜空间特征和预测噪声确定；

22、合并基础重建损失、结构损失以及边缘一致性损失得到复合损失。

23、结合第一方面，在一种实施方式中，扩散模型微调方法还包括：

24、获取当前扩散过程的时间步信息；

25、基于时间步信息确定时间步加权系数，其中，时间步加权系数与时间步信息呈负相关关系，以使得对应于去噪初期阶段的时间步具有更高的损失权重；

26、根据时间步加权系数对结构损失进行加权调整。

27、第二方面，本技术实施例提供了一种扩散模型微调装置，包括：

28、数据预处理模块，用于获取目标主体的训练数据集，对训练数据集中训练样本进行编码得到真实潜空间特征，并根据真实潜空间特征构建带噪潜空间特征；

29、模型推理模块，用于加载预训练扩散模型，将带噪潜空间特征输入预训练扩散模型进行前向传播，得到预测噪声；

30、损失计算模块，用于根据训练样本、带噪潜空间特征和预测噪声确定复合损失，复合损失包括基础重建损失、基于归一化空间注意力加权的结构损失以及基于通道级分组边缘检测的边缘一致性损失；

31、参数更新模块，用于基于复合损失对预训练扩散模型的参数进行更新，直至模型收敛，得到微调后的扩散模型。

32、第三方面，本技术实施例提供了一种扩散模型微调设备，扩散模型微调设备包括处理器、存储器、以及存储在存储器上并可被处理器执行的扩散模型微调程序，其中扩散模型微调程序被处理器执行时，实现如上述任一项的扩散模型微调方法的步骤。

33、第四方面，本技术实施例提供了一种计算机可读存储介质，计算机可读存储介质上存储有扩散模型微调程序，其中扩散模型微调程序被处理器执行时，实现如上述任一项的扩散模型微调方法的步骤。

34、本技术实施例提供的技术方案带来的有益效果包括：

35、本技术通过构建包含基础重建损失、基于归一化空间注意力加权的结构损失以及基于通道级分组边缘检测的边缘一致性损失的复合损失，能够有效解决现有技术中结构还原度低和细节模糊的问题。具体而言，利用基于归一化空间注意力加权的结构损失，使模型在训练过程中能够聚焦于目标主体的关键结构区域，提升了主体特征的保留能力，保证了生成结果的结构一致性；通过引入基于通道级分组边缘检测的边缘一致性损失，直接约束了潜空间特征的高频边缘信息，显著增强了生成图像的边缘清晰度和细节质感；此外，通过复合损失将基础重建损失、结构损失和边缘一致性损失结合，实现了多约束条件下的模型参数更新，从而获得高保真度的扩散模型。