图像生成模型的处理方法、装置、存储介质和程序产品与流程

本技术涉及计算机，特别是涉及一种图像生成模型的处理方法、装置、存储介质和程序产品。

背景技术：

1、随着人工智能及生成式图像处理技术的发展，出现了基于扩散模型的个性化图像生成技术，该技术能够结合用户提供的参考图像和指示文本，生成具有参考对象特征且符合文本描述的目标图像，从而实现人物、物体等对象的个性化图像生成。

2、传统技术中，通常分别对参考图像和指示文本进行特征提取，并将得到的参考图像特征和文本特征输入图像生成模型，通过跨模态注意力等方式对图像特征和文本特征进行融合，以利用参考图像提供目标对象的视觉信息，并利用指示文本控制生成图像的内容、场景或动作。

3、然而，参考图像中目标对象的视觉语义与指示文本中用于描述该目标对象的文本语义之间可能存在偏差，进而影响个性化图像生成的一致性和准确性。

技术实现思路

1、基于此，本技术提供一种图像生成模型的处理方法、装置、计算机设备、计算机可读存储介质和计算机程序产品，能够提高个性化图像生成的一致性和准确性。

2、一方面，本技术提供了一种图像生成模型的处理方法，包括：

3、通过初始图像生成模型对样本参考图像和包含身份语义补偿占位符的样本指示文本分别进行编码，得到样本参考图像特征和样本指示文本特征；所述样本指示文本特征包含所述身份语义补偿占位符对应的身份词嵌入向量；

4、对所述样本参考图像特征和所述样本指示文本特征进行注意力处理，以对所述样本指示文本特征中所述身份词嵌入向量进行更新，得到更新后样本指示文本特征；所述更新后样本指示特征中的更新后身份词嵌入向量用于表征所述样本参考图像特征和所述样本指示文本特征之间的身份语义偏差；

5、基于所述更新后样本指示文本特征和所述样本参考图像特征生成训练预测噪声；

6、基于所述训练预测噪声对所述初始图像生成模型的网络参数进行优化，得到目标图像生成模型。

7、在其中一个实施例中，所述对所述样本参考图像特征和所述样本指示文本特征进行注意力处理，以对所述样本指示文本特征中所述身份词嵌入向量进行更新，得到更新后样本指示文本特征，包括：

8、对所述样本指示文本特征进行自注意力处理，得到上下文文本特征；

9、对所述上下文文本特征和所述样本参考图像特征进行选择性跨模态注意力处理，以使所述身份词嵌入向量与所述样本参考图像特征进行注意力交互，并限制所述上下文文本特征中的至少部分其他词嵌入向量与所述样本参考图像特征进行注意力交互，得到更新后的身份词嵌入向量；

10、基于更新后的身份词嵌入向量，得到更新后样本指示文本特征。

11、在其中一个实施例中，所述对所述上下文文本特征和所述样本参考图像特征进行选择性跨模态注意力处理，包括：

12、基于所述身份语义补偿占位符在所述样本指示文本中的位置，生成第一跨模态注意力掩码；

13、基于所述第一跨模态注意力掩码，对所述上下文文本特征和所述样本参考图像特征进行跨模态注意力处理。

14、在其中一个实施例中，所述基于所述更新后样本指示文本特征和所述样本参考图像特征生成训练预测噪声，包括：

15、基于所述更新后身份词嵌入向量在所述更新后样本指示文本特征中的位置，生成第二跨模态注意力掩码；

16、基于所述第二跨模态注意力掩码，对所述更新后样本指示文本特征和所述样本参考图像特征进行多模态注意力处理，得到多模态融合特征；

17、基于所述多模态融合特征生成所述训练预测噪声。

18、在其中一个实施例中，所述基于所述训练预测噪声对所述初始图像生成模型的网络参数进行优化，得到目标图像生成模型，包括：

19、获取与所述训练预测噪声对应的训练目标噪声；

20、根据所述训练预测噪声和所述训练目标噪声之间的差异，确定训练损失；

21、基于所述训练损失对所述初始图像生成模型的网络参数进行调整，直至满足预设训练结束条件，得到所述图像生成模型。

22、在其中一个实施例中，所述方法还包括：

23、按照预设丢弃概率对所述样本参考图像特征进行丢弃处理，得到丢弃处理后的样本参考图像特征；

24、所述对所述样本参考图像特征和所述样本指示文本特征进行注意力处理，包括：

25、基于丢弃处理后的样本参考图像特征和所述样本指示文本特征进行注意力处理；

26、所述基于所述更新后样本指示文本特征和所述样本参考图像特征生成训练预测噪声，包括：

27、基于所述更新后样本指示文本特征和所述丢弃处理后的样本参考图像特征生成所述训练预测噪声。

28、在其中一个实施例中，所述方法还包括：

29、确定所述样本指示文本中用于表征所述样本参考图像中目标对象的目标概念词；

30、基于所述目标概念词对应的语义关联信息，对所述目标概念词进行变换处理，得到变换后样本指示文本；

31、所述通过初始图像生成模型对样本参考图像和包含身份语义补偿占位符的样本指示文本分别进行编码，得到样本参考图像特征和样本指示文本特征，包括：

32、通过所述初始图像生成模型对所述样本参考图像和包含所述身份语义补偿占位符的所述变换后样本指示文本分别进行编码，得到样本参考图像特征和样本指示文本特征。

33、一方面，本技术还提供了一种图像生成模型的处理装置，包括：

34、特征编码模块，用于通过初始图像生成模型对样本参考图像和包含身份语义补偿占位符的样本指示文本分别进行编码，得到样本参考图像特征和样本指示文本特征；所述样本指示文本特征包含所述身份语义补偿占位符对应的身份词嵌入向量；

35、指示文本特征更新模块，用于对所述样本参考图像特征和所述样本指示文本特征进行注意力处理，以对所述样本指示文本特征中所述身份词嵌入向量进行更新，得到更新后样本指示文本特征；所述更新后样本指示特征中的更新后身份词嵌入向量用于表征所述样本参考图像特征和所述样本指示文本特征之间的身份语义偏差；

36、训练预测噪声生成模块，用于基于所述更新后样本指示文本特征和所述样本参考图像特征生成训练预测噪声；

37、参数优化模块，用于基于所述训练预测噪声对所述初始图像生成模型的网络参数进行优化，得到目标图像生成模型。

38、一方面，本技术还提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现如上所述任一项方法的步骤。

39、一方面，本技术还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下如上所述任一项方法的步骤。

40、一方面，本技术还提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现如上所述任一项方法的步骤。

41、上述图像生成模型的处理方法、装置、计算机设备、计算机可读存储介质和计算机程序产品，通过初始图像生成模型对样本参考图像和包含身份语义补偿占位符的样本指示文本分别进行编码，得到样本参考图像特征和样本指示文本特征，样本指示文本特征包含身份语义补偿占位符对应的身份词嵌入向量，对样本参考图像特征和样本指示文本特征进行注意力处理，以对样本指示文本特征中身份词嵌入向量进行更新，得到更新后样本指示文本特征，更新后样本指示特征中的更新后身份词嵌入向量用于表征样本参考图像特征和样本指示文本特征之间的身份语义偏差，基于更新后样本指示文本特征和样本参考图像特征生成训练预测噪声，基于训练预测噪声对初始图像生成模型的网络参数进行优化，得到目标图像生成模型，从而使身份词嵌入向量能够在训练过程中吸收并表征样本参考图像特征与样本指示文本特征之间的身份语义偏差，并利用更新后的样本指示文本特征参与噪声预测和模型优化，降低文本通用语义与参考图像个性化视觉语义不一致对模型生成结果的影响，提高目标图像中目标对象与参考图像中目标对象之间的身份一致性以及个性化图像生成的准确性。