图像生成方法、设备及存储介质与流程

本技术涉及图像处理，尤其涉及一种图像生成方法、设备及存储介质。

背景技术：

1、随着生成式人工智能技术的飞速发展，基于transformer架构的图像生成模型已成为图像合成与定制化艺术创作的核心支撑。在多风格图像生成任务中，通常需要在预训练模型的基础上引入参数高效微调技术，使单一模型能够适配不同的艺术风格，并生成满足特定风格描述的目标图像。

2、相关技术中，多采用低秩适配模块（low-rank adaptation，lora）对每种图像风格进行独立微调，其主要通过为每种风格训练一组专用的低秩权重矩阵，并将低秩适配模块以即插即用的方式挂载于预训练模型内部，以实现对图像绘制风格的快速迁移。

3、然而，在多风格应用场景下，为实现不同风格间的切换或融合，需要反复执行各风格对应lora模块的动态加载与卸载，由此产生的i/o调度时延和显存带宽开销难以满足实时性要求。而且，由于各lora模块均是在预训练模型的相同层级中独立训练所得，不同风格的适配参数之间缺乏协同优化与有效解耦，导致结构特征的通用保持与风格特征的差异化表达互相干扰，进而影响图像的生成质量。

技术实现思路

1、本技术提供了一种图像生成方法、设备及存储介质，通过分层嵌入低秩适配模块与混合专家适配模块，实现对图像结构提取与风格渲染的分离优化，以提高图像生成质量。

2、第一方面，本技术实施例提供了一种图像生成方法，包括：将待处理图像和风格描述信息输入已训练的图像生成模型；其中，所述图像生成模型包括嵌入低秩适配模块的第一层以及嵌入混合专家适配模块的第二层；对待处理图像和所述风格描述信息进行特征识别，得到图文初始特征；基于所述低秩适配模块对所述图文初始特征进行特征校正，得到图文结构特征；基于所述混合专家适配模块对所述图文结构特征进行特征提取，得到风格渲染特征；对所述风格渲染特征和所述图文结构特征进行特征融合，生成满足所述风格描述信息的目标图像。

3、在一些实施例中，所述混合专家适配模块包括多个专家分支和门控制路由网络；所述基于所述混合专家适配模块对所述图文结构特征进行特征提取，得到风格渲染特征，包括：基于所述门控制路由网络对所述图文结构特征进行特征识别，得到各专家分支对应的风格适配度；基于所述风格适配度，从所述各专家分支中获取满足风格适配条件的目标专家分支；基于所述目标专家分支对所述图文结构特征进行特征提取，得到所述风格渲染特征。

4、在一些实施例中，所述基于所述风格适配度，从所述各专家分支中获取满足风格适配条件的目标专家分支，包括：按照风格适配度由高到低的顺序对所述各专家分支依次排序，确定每相邻两个专家分支对应风格适配度的一阶差分结果；若各一阶差分结果均低于差分阈值，则将全部专家分支均作为目标专家分支；若有至少一个一阶差分结果未低于所述差分阈值，则从所述各专家分支中选取风格适配度最高的指定数量的专家分支作为目标专家分支。

5、在一些实施例中，所述图像生成模型是基于风格图像样本，对基础图像生成模型进行两阶段微调得到的；所述风格图像样本包括第一图像样本和第二图像样本；在第一阶段微调过程中，将所述第一图像样本输入所述基础图像生成模型，得到第一参考图像，并基于所述第一参考图像和所述第一图像样本对应的样本标签确定第一微调损失，以及采用所述第一微调损失调整所述低秩适配模块的矩阵参数；在第二阶段微调过程中，将所述第二图像样本输入所述基础图像生成模型，得到第二参考图像，并基于所述第二参考图像和所述第二图像样本对应的样本标签确定第二微调损失，以及采用所述第二微调损失调整所述混合专家适配模块的矩阵参数。

6、在一些实施例中，所述基于所述第一参考图像和所述第一图像样本对应的样本标签确定第一微调损失，包括：对所述第一图像样本进行特征提取，得到样本初始特征；基于所述低秩适配模块对所述样本初始特征进行特征校正，确定样本结构特征；基于所述样本初始特征和所述样本结构特征，确定基底校正损失；基于所述第一参考图像和所述样本标签之间的图像差异度,确定第一流匹配损失;基于所述第一流匹配损失和所述基底校正损失，确定所述第一微调损失。

7、在一些实施例中，所述基于所述第二参考图像和所述第二图像样本对应的样本标签确定第二微调损失，包括：基于所述混合专家适配模块中各专家分支关联的低秩降维矩阵，构造各专家分支在特征空间中的正交投影矩阵；对所述各专家分支的正交投影矩阵进行正则化处理，得到正交正则化损失；基于所述第二参考图像和所述样本标签之间的图像差异度，确定第二流匹配损失；基于所述第二流匹配损失和所述正交正则化损失，确定所述第二微调损失。

8、在一些实施例中，所述对所述各专家分支的正交投影矩阵进行正则化处理，得到正交正则化损失，包括：针对每两个专家分支，确定所述两个专家分支的正交投影矩阵的矩阵乘积；以及，基于矩阵迹的循环移位不变性和正交投影矩阵的对称幂等性，将所述矩阵乘积的弗罗贝尼乌斯范数计算转化为由所述两个专家分支对应的低秩降维矩阵构建的迹函数；对每两个专家分支对应的迹函数进行迹运算，得到每两个专家分支对应的正交损失；对每两个专家分支对应的正交损失进行累加，得到所述正交正则化损失。

9、在一些实施例中，所述低秩适配模块和所述混合专家适配模块是在执行所述两阶段微调之前嵌入所述基础图像生成模型的；所述第一阶段微调过程中，冻结所述混合专家适配模块的矩阵参数；所述第二阶段微调过程中，冻结所述低秩适配模块的矩阵参数。

10、第二方面，本技术实施例提供了一种图像生成装置，包括：信息获取单元，被配置为：将待处理图像和风格描述信息输入已训练的图像生成模型；所述图像生成模型包括嵌入低秩适配模块的第一层以及嵌入混合专家适配模块的第二层；特征识别单元，被配置为：对待处理图像和所述风格描述信息进行特征识别，得到图文初始特征；特征校正单元，被配置为：基于所述低秩适配模块对所述图文初始特征进行特征校正，得到图文结构特征；风格渲染单元，被配置为：基于所述混合专家适配模块对所述图文结构特征进行特征提取，得到风格渲染特征；图像生成单元，被配置为：对所述风格渲染特征和所述图文结构特征进行特征融合，生成满足所述风格描述信息的目标图像。

11、在一些实施例中，所述混合专家适配模块包括多个专家分支和门控制路由网络；执行所述基于所述混合专家适配模块对所述图文结构特征进行特征提取，得到风格渲染特征，风格渲染单元具体被配置为：基于所述门控制路由网络对所述图文结构特征进行特征识别，得到各专家分支对应的风格适配度；基于所述风格适配度，从所述各专家分支中获取满足风格适配条件的目标专家分支；基于所述目标专家分支对所述图文结构特征进行特征提取，得到所述风格渲染特征。

12、在一些实施例中，执行所述基于所述风格适配度，从所述各专家分支中获取满足风格适配条件的目标专家分支，风格渲染单元具体被配置为：按照风格适配度由高到低的顺序对所述各专家分支依次排序，确定每相邻两个专家分支对应风格适配度的一阶差分结果；若各一阶差分结果均低于差分阈值，则将全部专家分支均作为目标专家分支；若有至少一个一阶差分结果未低于所述差分阈值，则从所述各专家分支中选取风格适配度最高的指定数量的专家分支作为目标专家分支。

13、在一些实施例中，所述图像生成模型是基于风格图像样本，对基础图像生成模型进行两阶段微调得到的；所述风格图像样本包括第一图像样本和第二图像样本；在第一阶段微调过程中，将所述第一图像样本输入所述基础图像生成模型，得到第一参考图像，并基于所述第一参考图像和所述第一图像样本对应的样本标签确定第一微调损失，以及采用所述第一微调损失调整所述低秩适配模块的矩阵参数；在第二阶段微调过程中，将所述第二图像样本输入所述基础图像生成模型，得到第二参考图像，并基于所述第二参考图像和所述第二图像样本对应的样本标签确定第二微调损失，以及采用所述第二微调损失调整所述混合专家适配模块的矩阵参数。

14、在一些实施例中，所述第一微调损失是通过以下方式确定的：对所述第一图像样本进行特征提取，得到样本初始特征；基于所述低秩适配模块对所述样本初始特征进行特征校正，确定样本结构特征；基于所述样本初始特征和所述样本结构特征，确定基底校正损失；基于所述第一参考图像和所述样本标签之间的图像差异度,确定第一流匹配损失;基于所述第一流匹配损失和所述基底校正损失，确定所述第一微调损失。

15、在一些实施例中，所述第二微调损失是通过以下方式确定的：基于所述混合专家适配模块中各专家分支关联的低秩降维矩阵，构造各专家分支在特征空间中的正交投影矩阵；对所述各专家分支的正交投影矩阵进行正则化处理，得到正交正则化损失；基于所述第二参考图像和所述样本标签之间的图像差异度，确定第二流匹配损失；基于所述第二流匹配损失和所述正交正则化损失，确定所述第二微调损失。

16、在一些实施例中，所述正交正则化损失是通过以下方式确定的：针对每两个专家分支，确定所述两个专家分支的正交投影矩阵的矩阵乘积；以及，基于矩阵迹的循环移位不变性和正交投影矩阵的对称幂等性，将所述矩阵乘积的弗罗贝尼乌斯范数计算转化为由所述两个专家分支对应的低秩降维矩阵构建的迹函数；对每两个专家分支对应的迹函数进行迹运算，得到每两个专家分支对应的正交损失；对每两个专家分支对应的正交损失进行累加，得到所述正交正则化损失。

17、在一些实施例中，所述低秩适配模块和所述混合专家适配模块是在执行所述两阶段微调之前嵌入所述基础图像生成模型的；所述第一阶段微调过程中，冻结所述混合专家适配模块的矩阵参数；所述第二阶段微调过程中，冻结所述低秩适配模块的矩阵参数。

18、第三方面，本技术实施例提供了一种电子设备，包括：存储器，用于存储程序指令；处理器，用于调用所述存储器中存储的程序指令，按照获得的程序指令执行第一方面中任一项所述的方法包括的步骤。

19、第四方面，本技术实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被计算机执行时，使所述计算机执行第一方面中任一项所述的方法。

20、第五方面，本技术实施例提供了一种计算机程序产品，所述计算机程序产品包括：计算机程序代码，当所述计算机程序代码在计算机上运行时，使得计算机执行第一方面任一项所述的方法。

21、本技术实施例中，将待处理图像和风格描述信息输入已训练的图像生成模型，该模型包括嵌入低秩适配模块的第一层以及嵌入混合专家适配模块的第二层；对待处理图像和风格描述信息进行特征识别，得到图文初始特征；基于低秩适配模块对图文初始特征进行特征校正，得到图文结构特征；基于混合专家适配模块对图文结构特征进行特征提取，得到风格渲染特征；对风格渲染特征和图文结构特征进行特征融合，生成满足风格描述信息的目标图像。上述流程通过将图像生成模型配置为包含嵌入低秩适配模块的第一层和嵌入混合专家适配模块的第二层的异构架构，使得第一层与低秩适配模块协同提取并校正得到跨风格共享的图文结构特征，并由第二层中的混合专家适配模块针对该图文结构特征进行风格特异性的特征提取，从而在物理上分离了通用结构特征的传播路径与多风格渲染路径，使不同风格的梯度回归被约束在各自独立的适配路径中，避免特征串扰和梯度拉扯，由此实现对图像结构提取与风格渲染的分离优化，进而提高图像的生成质量。