多概念个性化图像生成方法及电子设备与流程

本发明涉及人工智能图像生成，尤其涉及一种多概念个性化图像生成方法及电子设备。

背景技术：

1、近年来，扩散模型在文本到图像生成任务中取得了显著进展，stable diffusion等潜在扩散模型能够根据自然语言提示生成高质量图像，并已广泛应用于数字内容生产、品牌视觉设计、电商展示、交互式创作和智能设计辅助等场景。通用文本到图像模型能够生成类别层面的图像内容，但当用户希望模型稳定生成某一特定人物、宠物、物品或品牌主体时，仅依赖普通类别词难以保持目标主体的身份特征、局部纹理、颜色分布和跨场景一致性。因此，面向特定主体的个性化图像生成成为连接通用图像生成模型与真实内容生产需求的重要技术方向。

2、现有个性化图像生成方法主要包括文本嵌入学习、主体驱动微调和低秩参数适配等路线。文本嵌入学习方法通常只更新占位词嵌入，训练开销较小，但难以充分承载复杂主体的细粒度外观信息；主体驱动微调方法可以较好地保持主体一致性，但训练和存储成本较高；低秩自适应方法通过在模型权重外附加轻量化低秩增量来降低训练开销，便于单概念模块保存和复用。然而，在少样本个性化训练过程中，目标主体通常与固定背景、拍摄环境、光照条件以及局部共现元素同时出现，若缺少对参数写入路径和空间响应范围的显式约束，主体外观、类别语义和背景统计容易共同写入同一适配空间，导致单概念模块表征不纯、跨场景主体保持能力下降。

3、进一步地，真实应用往往需要多个个性化主体、配件、商品或环境元素在同一图像中稳定共现。例如广告设计通常需要人物、商品和场景协同出现，交互式创作也常要求若干参考概念被灵活组合到同一画面中。现有多概念个性化生成方法通常将多个单概念模块通过中心端融合方式整合到统一模型中，但多个概念模块在语义表征空间和参数更新路径上可能存在潜在重叠，直接融合时容易出现身份混合、概念串扰、局部属性错位、对象缺失和主体边界不清等问题。

4、因此，如何能够提供一种同时改善单概念模块学习质量和多概念融合稳定性的个性化图像生成方法成为本领域技术人员亟待解决的技术问题。

技术实现思路

1、本发明提供了一种多概念个性化图像生成方法及电子设备，解决相关技术中存在的单概念模块表征不纯以及多概念融合中概念串扰而导致生成的个性化图像质量差的问题。

2、作为本发明的第一个方面，提供一种多概念个性化图像生成方法，其中，包括：

3、获取目标主体的参考图像、主体区域掩码及预训练文本的图像扩散模型；

4、针对所述目标主体构建分解式概念标识，并将所述目标主体的文本入口划分为类别语义标识和主体专属标识；

5、根据所述分解式概念标识对所述参考图像进行扩散训练获得扩散训练主损失；

6、根据所述主体区域掩码构建概念聚焦监督，以及根据所述主体区域掩码的互补区域构建背景抑制监督；

7、根据所述扩散训练主损失、概念聚焦监督以及背景抑制监督对所述预训练文本的图像扩散模型进行优化训练，获得标准化单概念模块；

8、根据多个标准化单概念模块进行多概念融合训练，获得统一多概念模型；

9、将实时获取到的组合提示词输入至所述统一多概念模型，获得包括多个目标主体的个性化图像。

10、进一步地，所述预训练文本的图像扩散模型至少包括文本编码器和去噪u-net，根据所述分解式概念标识对所述参考图像进行扩散训练，包括：

11、在所述文本编码器构建分层概念嵌入，以使得所述目标主体在所述文本编码器的不同层中具有对应的概念嵌入表示，其中所述分层概念嵌入包括浅层概念嵌入和深层概念嵌入，所述浅层概念嵌入用于保存词级和局部语义信息，所述深层概念嵌入用于保存高层语义聚合信息；

12、在所述去噪u-net构建选择性参数更新空间，其中保留所述去噪u-net的交叉注意力模块中键分支与值分支对应参数以参与低秩适配，且冻结所述去噪u-net的交叉注意力模块中查询分支对应参数。

13、进一步地，根据所述分解式概念标识对所述参考图像进行扩散训练，还包括：

14、对所述参考图像进行加噪处理获得带噪潜变量；

15、将所述分解式概念标识和所述分层概念嵌入输入所述文本编码器获得文本条件特征；

16、将所述文本条件特征和所述带噪潜变量输入所述去噪u-net获得噪声预测结果；

17、根据所述噪声预测结果与真实噪声之间的差异计算所述扩散训练主损失。

18、进一步地，根据所述主体区域掩码构建概念聚焦监督，以及根据所述主体区域掩码的互补区域构建背景抑制监督，包括：

19、从所述去噪u-net的交叉注意力权重图中提取目标主体对应的注意力响应图；

20、对同一目标主体多个概念标识位置对应的注意力响应图进行平均，并将不同空间尺度的注意力响应图对齐到统一分辨率后融合，获得主体概念注意力图；

21、根据所述主体概念注意力图与所述主体区域掩码之间的差异计算所述概念聚焦监督的损失值；

22、根据所述主体概念注意力图在所述主体区域掩码的互补区域上的响应强度计算所述背景抑制监督的损失值。

23、进一步地，根据所述扩散训练主损失、概念聚焦监督以及背景抑制监督对所述预训练文本的图像扩散模型进行优化训练，获得标准化单概念模块，包括：

24、根据所述扩散训练主损失、所述概念聚焦监督的损失值以及所述背景抑制监督的损失值进行加权融合获得总体优化目标；

25、根据所述总体优化目标对所述分层概念嵌入以及所述去噪u-net的交叉注意力模块中键分支与值分支的低秩参数进行迭代优化；

26、将迭代优化后的参数与所述分解式概念标识关联后获得所述标准化单概念模块。

27、进一步地，根据多个标准化单概念模块进行多概念融合训练，包括：

28、对每个标准化单概念模块分别提取语义表征特征和参数更新特征；

29、根据所述语义表征特征和所述参数更新特征计算标准化单概念模块之间的兼容关系；

30、根据标准化单概念模块之间的兼容关系确定每个标准化单概念模块的加权系数；

31、根据每个标准化单概念模块的加权系数对标准化单概念模块进行加权融合，获得所述统一多概念模型。

32、进一步地，根据所述语义表征特征和所述参数更新特征计算标准化单概念模块之间的兼容关系，包括：

33、对每个标准化单概念模块，从分层概念嵌入中提取语义表征特征，从去噪u-net的交叉注意力模块中键分支与值分支的低秩参数增量中提取参数更新特征；

34、对任意两个标准化单概念模块，分别计算两者的所述语义表征特征之间的语义相似度以及两者的所述参数更新特征之间的参数更新相似度；

35、对所述语义相似度和所述参数更新相似度进行加权求和，获得综合关系分数；

36、将所述综合关系分数归一化处理后获得模块兼容关系矩阵。

37、进一步地，根据标准化单概念模块之间的兼容关系确定每个标准化单概念模块的加权系数，包括：

38、根据所述模块兼容关系矩阵计算每个标准化单概念模块与其余标准化单概念模块的平均冲突强度，并将所述平均冲突强度映射为概念级全局缩放因子；

39、在去噪u-net的交叉注意力模块中键分支与值分支以及文本编码器中，对每一层分别提取各标准化单概念模块在该层的层内输出特征，以及计算层内局部冲突强度并映射为层级局部缩放因子；

40、根据所述概念级全局缩放因子与所述层级局部缩放因子获得对应标准化单概念模块的兼容性加权系数。

41、进一步地，根据每个标准化单概念模块的加权系数对标准化单概念模块进行加权融合，获得所述统一多概念模型，包括：

42、根据所述兼容性加权系数分别缩放对应标准化单概念模块在每一层中的输入特征和目标输出，获得加权样本对；

43、将所述加权样本对输入至梯度融合求解器，逐层重建所述去噪u-net的交叉注意力模块中键分支与值分支以及所述文本编码器的统一模型参数；

44、将重建后的统一模型参数写回预训练文本的图像扩散模型，并结合各标准化单概念模块的标识绑定配置获得所述统一多概念模型。

45、作为本发明的另一个方面，提供一种电子设备，其中，包括：

46、存储器，用于存储程序指令；

47、处理器，与所述存储器通信连接，用于调用并执行所述程序指令，以实现如前文所述的多概念个性化图像生成方法。

48、本发明提供的多概念个性化图像生成方法，通过分解式概念标识将类别语义和主体身份分别赋予独立文本入口，通过分层概念嵌入使浅层保留词级和局部语义信息、深层承担高层语义聚合，通过选择性参数更新空间使主体外观信息沿与文本条件注入直接相关的路径写入模型，通过概念聚焦监督和背景抑制监督减少背景纹理和拍摄环境信息的混入，从而获得表征纯净、边界清晰、便于复用的标准化单概念模块；在多概念融合阶段显式估计模块之间的兼容关系，并在不同概念、不同分支和不同层级上自适应分配融合强度，从而提升多概念统一模型的主体保真性、概念边界清晰度和组合生成稳定性。因此，该多概念个性化图像生成方法能够同时改善单概念模块学习质量和多概念融合稳定性，从而提升个性化图像生成的质量。