一种面向主体一致性的情感可控图像生成方法、装置、设备及介质

本技术涉及图像生成，特别涉及一种面向主体一致性的情感可控图像生成方法、装置、设备及介质。

背景技术：

1、随着生成模型的快速发展，基于文本、标签及其他条件生成带有特定语义内容图像的技术已取得显著进展。在此基础上，情感可控内容生成不再仅关注生成图像是否具备某种整体情感倾向，而是进一步要求生成模型能够针对特定目标物体，在不同情感条件下实现稳定、准确且可控的情感表达。尤其是在保持同一目标物体核心特征不变的前提下，如何根据不同情感条件引导目标物体产生对应且合理的状态变化，已经成为情感内容生成领域一个值得关注的重要研究问题。

2、现有情感可控图像生成方法，主要通过情感类别、颜色、风格及场景氛围等视觉特征引导生成过程，使最终图像呈现出特定的情感特征。例如emoedit等提出的方法，通过引入“开心”“悲伤”这类情感标签作为生成或编辑条件，建立了情感类别与图像视觉特征之间的对应关系，进而实现带有特定情感倾向的内容生成；又如zhu等人提出的方法，通过对多尺度情感视觉表征进行建模，增强了模型对不同层次情感特征的理解与表达能力，以此提升情感图像的生成质量。

3、然而，现实视觉内容中的情感通常依托于具体、可观察且符合主体自身属性的状态变化产生，而并非由抽象情感语义直接决定。生成模型主要聚焦于生成图像整体情感特征，当对同一目标物体施加不同情感条件时，生成结果中物体的外观、结构、细节乃至身份特征都可能随情感条件发生非预期变化，导致不同情感条件下的生成结果难以保持目标物体本身的一致性。

4、因而现有技术还有待改进和提高。

技术实现思路

1、本技术要解决的技术问题在于，针对现有技术的不足，提供一种面向主体一致性的情感可控图像生成方法、装置、设备及介质。

2、为了解决上述技术问题，本技术第一方面提供了一种面向主体一致性的情感可控图像生成方法，其中，所述的面向主体一致性的情感可控图像生成方法具体包括：

3、构建包括若干训练情感数据的训练数据集，所述训练情感数据至少包括情感类别、用于反映图像主体的基础描述、用于反映图像主体情感状态的情感描述以及图像数据；

4、提取所述基础描述对应的基础语义特征以及所述情感描述对应的情感特征；

5、依据所述基础语义特征和所述情感类别生成预测情感特征；

6、依据所述基础语义特征与所述情感特征生成增强情感特征，并基于所述增强情感特征以及所述基础语义特征生成状态描述；

7、通过初始情感可控生成模型依据所述状态描述确定生成图像；

8、基于所述预测情感特征和所述情感特征构建情感一致性损失，基于所述增强情感特征构建情感特征对比损失，以及基于所述生成图像和所述图像数据构建图像监督损失；

9、基于所述情感一致性损失、所述情感特征对比损失以及所述图像监督损失对所述初始情感可控生成模型进行训练，以得到情感可控生成模型；

10、利用所述情感可控生成模型进行面向主体一致性的情感可控图像生成。

11、所述的面向主体一致性的情感可控图像生成方法，其中，所述构建包括若干训练情感数据的训练数据集具体包括：

12、获取图像数据集，所述图像数据集中包含具有相同图像主体、不同情感类别的图像数据；

13、通过视觉语言模型为所述图像数据集中的图像数据生成基础描述和情感描述；

14、基于图像数据及其对应的情感类别、基础描述和情感描述构建训练情感数据，以得到包括若干训练情感数据的训练数据集。

15、所述的面向主体一致性的情感可控图像生成方法，其中，所述依据所述基础语义特征和所述情感类别生成预测情感特征具体包括：

16、对所述情感类别进行编码，以得到低维情感表示；

17、利用所述低维情感表示和所述基础语义特征学习情感文本与视觉状态变化之间的对应关系，以得到预测情感特征。

18、所述的面向主体一致性的情感可控图像生成方法，其中，所述依据所述基础语义特征与所述情感特征生成增强情感特征具体包括：

19、依据图像主体预测所述基础语义特征与所述情感特征之间的情感状态残差；

20、依据所述基础语义特征与所述情感特征预测门控系数，所述门控系数用于约束图像主体与图像情感间匹配关系；

21、将所述情感状态残差与所述门控系数进行融合，得到增强状态残差；

22、将所述增强状态残差与所述情感特征进行融合，得到增强情感特征。

23、所述的面向主体一致性的情感可控图像生成方法，其中，所述通过初始情感可控生成模型依据所述状态描述确定生成图像具体包括：

24、获取参考图像，所述参考图像用于提供图像主体一致性约束；

25、将所述参考图像和所述状态描述输入初始情感可控生成模型，通过所述初始情感可控生成模型输出生成图像。

26、所述的面向主体一致性的情感可控图像生成方法，其中，所述利用所述情感可控生成模型进行面向主体一致性的情感可控图像生成具体包括：

27、接收情感类别，并基于所述情感类别生成情感视觉提示文本；

28、基于所述情感视觉提示文本，利用所述情感可控生成模型进行面向主体一致性的情感可控图像生成以得到目标生成图像。

29、所述的面向主体一致性的情感可控图像生成方法，其中，所述利用所述情感可控生成模型进行面向主体一致性的情感可控图像生成具体包括：

30、接收情感类别和主体描述，并基于所述情感类别和所述主体描述生成情感状态增强文本；

31、基于所述情感状态增强文本，利用所述情感可控生成模型进行面向主体一致性的情感可控图像生成以得到目标生成图像。

32、本技术第二方面提供了一种面向主体一致性的情感可控图像生成装置，其中，所述的面向主体一致性的情感可控图像生成装置具体包括：

33、构建模块，用于构建包括若干训练情感数据的训练数据集，所述训练情感数据至少包括情感类别、用于反映图像主体的基础描述、用于反映图像主体情感状态的情感描述以及图像数据；

34、训练模块，用于提取所述基础描述对应的基础语义特征以及所述情感描述对应的情感特征；依据所述基础语义特征和所述情感类别生成预测情感特征；依据所述基础语义特征与所述情感特征生成增强情感特征，并基于所述增强情感特征以及所述基础语义特征生成状态描述；通过初始情感可控生成模型依据所述状态描述确定生成图像；基于所述预测情感特征和所述情感特征构建情感一致性损失，基于所述增强情感特征构建情感特征对比损失，以及基于所述生成图像和所述图像数据构建图像监督损失；基于所述情感一致性损失、所述情感特征对比损失以及所述图像监督损失对所述初始情感可控生成模型进行训练，以得到情感可控生成模型；

35、生成模块，用于利用所述情感可控生成模型进行面向主体一致性的情感可控图像生成。

36、本技术第三方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如上任一所述的面向主体一致性的情感可控图像生成方法中的步骤。

37、本技术第四方面提供了一种终端设备，其包括：处理器和存储器；

38、所述存储器上存储有可被所述处理器执行的计算机可读程序；

39、所述处理器执行所述计算机可读程序时实现如上任一所述的面向主体一致性的情感可控图像生成方法中的步骤。

40、有益效果：本技术通过基础描述和情感描述将主体稳定内容与可变情感状态分离，利用基础描述和情感类别确定预测情感特征，并利用预测情感特征与情感描述对应的情感特征之间的特征差异构建情感一致性损失；借助基础描述的基础语义特征对情感特征进行增强，基于得到的增强情感特征构建情感特征对比损失；基于增强情感特征和基础语义特征确定生成图像，并基于生成图像构建图像监督损失。最后整合情感一致性损失、情感特征对比损失以及图像监督损失训练情感可控生成模型，让模型学习到图像主体、真实状态以及情感语义之间的关联，进而使情感可控生成模型在不同情感条件下，既能够保持目标主体的一致性，又可以生成具有明确差异的情感状态，提升了生成内容的主体一致性、情感控制准确性，以及情感内容的真实性与合理性。