一种基于多智能体协同的图像情感理解与情感生成方法、系统、终端及存储介质

本发明涉及图像处理，尤其涉及一种基于多智能体协同的图像情感理解与情感生成方法、系统、终端及计算机可读存储介质。

背景技术：

1、情感计算旨在使智能系统具备感知、理解和表达情感信息的能力，是人机交互、数字媒体创作、智能设计和艺术设计等领域的重要技术基础。随着多模态学习、视觉语言模型和图像生成模型的发展，智能系统已经能够从图像、文本等多模态数据中提取情感相关的语义线索和视觉线索，并进一步支持情感状态分析以及具有特定情感倾向的内容生成。

2、现有图像情感理解方法已经从传统的闭集情感分类逐渐发展到开放式多模态情感推理，例如情感描述生成、多轮情感理解和情感原因分析等。与此同时，情感图像生成方法也逐渐受到关注，其目标是根据给定的情感类别或语义条件生成能够体现特定情感状态的图像内容。

3、然而，现有研究通常将图像情感理解和情感图像生成作为两个相互独立的任务进行建模：情感理解模型主要关注情感识别和解释，情感生成模型主要关注根据文本或情感标签生成图像，二者之间缺乏有效的信息交互和协同优化机制，从而导致生成的情感图像并不准确。

4、因此，现有技术还有待于改进和发展。

技术实现思路

1、本发明的主要目的在于提供一种基于多智能体协同的图像情感理解与情感生成方法、系统、终端及计算机可读存储介质，旨在解决现有技术中将图像情感理解和情感图像生成作为两个相互独立的任务进行建模，二者之间缺乏有效的信息交互和协同优化机制，从而导致生成的情感图像并不准确的问题。

2、为实现上述目的，本发明提供一种基于多智能体协同的图像情感理解与情感生成方法，所述基于多智能体协同的图像情感理解与情感生成方法包括如下步骤：

3、获取图像样本和原始情感标签，通过多模态大模型对所述图像样本和所述原始情感标签进行结构化情感分析，得到结构化情感分析结果，并根据所述结构化情感分析结果对情感理解智能体进行训练，得到目标情感理解智能体；

4、通过所述目标情感理解智能体对所述图像样本进行全局语义情感提取，得到全局情感语义表示，并根据所述图像样本和所述全局情感语义表示对情感生成智能体进行训练，得到目标情感生成智能体；

5、获取待处理图像，并将所述待处理图像输入至所述目标情感理解智能体，得到结构化分析结果，并将所述结构化分析结果输入至所述目标情感生成智能体，得到多个候选图像；

6、对多个所述候选图像进行多准则校验处理，输出目标生成图像。

7、可选地，所述的基于多智能体协同的图像情感理解与情感生成方法，其中，所述获取图像样本和原始情感标签，通过多模态大模型对所述图像样本和所述原始情感标签进行结构化情感分析，得到结构化情感分析结果，并根据所述结构化情感分析结果对情感理解智能体进行训练，得到目标情感理解智能体，具体包括：

8、获取图像样本和原始情感标签，将所述图像样本和所述原始情感标签输入至多模态大模型，并通过所述多模态大模型对所述图像样本进行图像样本元素识别，得到样本元素识别结果；

9、根据所述样本元素识别结果生成多层面情感证据，并根据所述多层面情感证据对所述原始情感标签进行支持度判断和数据预处理，得到结构化情感分析结果；

10、获取情感分析指令，并对所述情感分析指令、所述图像样本以及所述结构化情感分析结果进行序列化处理，得到目标token序列；

11、确定情感理解智能体，并采用自回归损失根据所述目标token序列对所述情感理解智能体进行训练，得到初始情感理解智能体；

12、采用低秩适配方式对所述初始情感理解智能体进行模型微调，得到目标情感理解智能体。

13、可选地，所述的基于多智能体协同的图像情感理解与情感生成方法，其中，所述通过所述目标情感理解智能体对所述图像样本进行全局语义情感提取，得到全局情感语义表示，并根据所述图像样本和所述全局情感语义表示对情感生成智能体进行训练，得到目标情感生成智能体，具体包括：

14、将所述图像样本输入至所述目标情感理解智能体中的视觉编码器，通过所述视觉编码器对所述图像样本进行编码处理，得到视觉token序列；

15、通过投影语义网络将所述视觉token序列中的全局token进行映射处理，得到全局情感语义表示；

16、通过预训练变分自编码器将所述图像样本编码至潜在空间，得到图像潜在表示，并将所述全局情感语义表示和所述图像潜在表示进行融合处理，得到联合潜在表示；

17、确定情感生成智能体，并根据所述联合潜在表示对所述情感生成智能体进行训练，得到目标情感生成智能体。

18、可选地，所述的基于多智能体协同的图像情感理解与情感生成方法，其中，所述通过所述目标情感理解智能体对所述图像样本进行全局语义情感提取，得到全局情感语义表示，并根据所述图像样本和所述全局情感语义表示对情感生成智能体进行训练，得到目标情感生成智能体，之后还包括；

19、获取所述目标情感理解智能体输出的多类第一信息，并采用文本编码器对所述多类第一信息进行编码，得到多类情感信息；

20、其中，所述第一信息包括背景信息、表情信息以及逻辑信息；

21、通过多个预设独立投影网络将所述多类情感信息映射至生成模型条件空间，得到背景条件token、表情条件token以及逻辑条件token；

22、将所述背景条件token、所述表情条件token以及所述逻辑条件token进行拼接处理，得到结构化情感条件；

23、将所述结构化情感条件注入所述目标情感生成智能体，得到最终目标情感生成智能体。

24、可选地，所述的基于多智能体协同的图像情感理解与情感生成方法，其中，所述获取待处理图像，并将所述待处理图像输入至所述目标情感理解智能体，得到结构化分析结果，并将所述结构化分析结果输入至所述目标情感生成智能体，得到多个候选图像，具体包括：

25、获取待处理图像，并将所述待处理图像输入至所述目标情感理解智能体，得到结构化分析结果；

26、其中，所述结构化分析结果包括情感标签、背景描述、表情或动作线索、推理文本以及元数据；

27、将所述结构化分析结果转换为生成提示，并对所述生成提示进行分解处理，得到目标情感和结构化情感条件；

28、将所述目标情感和所述结构化情感条件输入至所述最终目标情感生成智能体，得到多个候选图像。

29、可选地，所述的基于多智能体协同的图像情感理解与情感生成方法，其中，所述对多个所述候选图像进行多准则校验处理，输出目标生成图像，具体包括：

30、确定当前图像库，并根据所述当前图像库、所述目标情感以及所述生成提示计算每个所述候选图像的综合得分；

31、其中，所述综合得分为情感语义清晰度得分、提示与图像一致性得分、视觉质量代理得分、感知多样性得分以及语义多样性得分之和；

32、确定预设阈值，并判断每个所述候选图像的所述综合得分是否大于所述预设阈值；

33、若是，则将大于所述预设阈值的候选图像进行输出，得到目标生成图像；

34、若否，则将小于或等于所述预设阈值的候选图像进行舍弃或重新生成。

35、可选地，所述的基于多智能体协同的图像情感理解与情感生成方法，其中，所述对多个所述候选图像进行多准则校验处理，输出目标生成图像，之后还包括：

36、获取所述目标生成图像对应的目标情感标签、目标生成提示以及目标结构化分析结果，并将所述目标生成图像、所述目标情感标签、所述目标生成提示以及所述目标结构化分析结果加入至训练集，得到更新训练集；

37、根据所述更新训练集对所述目标情感理解智能体和所述目标情感生成智能体进行迭代增强。

38、此外，为实现上述目的，本发明还提供一种基于多智能体协同的图像情感理解与情感生成系统，其中，所述基于多智能体协同的图像情感理解与情感生成系统包括：

39、情感理解智能体训练模块，用于获取图像样本和原始情感标签，通过多模态大模型对所述图像样本和所述原始情感标签进行结构化情感分析，得到结构化情感分析结果，并根据所述结构化情感分析结果对情感理解智能体进行训练，得到目标情感理解智能体；

40、情感生成智能体训练模块，用于通过所述目标情感理解智能体对所述图像样本进行全局语义情感提取，得到全局情感语义表示，并根据所述图像样本和所述全局情感语义表示对情感生成智能体进行训练，得到目标情感生成智能体；

41、候选图像生成模块，用于获取待处理图像，并将所述待处理图像输入至所述目标情感理解智能体，得到结构化分析结果，并将所述结构化分析结果输入至所述目标情感生成智能体，得到多个候选图像；

42、目标生成图像输出模块，用于对多个所述候选图像进行多准则校验处理，输出目标生成图像。

43、此外，为实现上述目的，本发明还提供一种终端，其中，所述终端包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于多智能体协同的图像情感理解与情感生成程序，所述基于多智能体协同的图像情感理解与情感生成程序被所述处理器执行时实现如上所述的基于多智能体协同的图像情感理解与情感生成方法的步骤。

44、此外，为实现上述目的，本发明还提供一种计算机可读存储介质，其中，所述计算机可读存储介质存储有基于多智能体协同的图像情感理解与情感生成程序，所述基于多智能体协同的图像情感理解与情感生成程序被处理器执行时实现如上所述的基于多智能体协同的图像情感理解与情感生成方法的步骤。

45、本发明中，获取图像样本和原始情感标签，通过多模态大模型对所述图像样本和所述原始情感标签进行结构化情感分析，得到结构化情感分析结果，并根据所述结构化情感分析结果对情感理解智能体进行训练，得到目标情感理解智能体；通过所述目标情感理解智能体对所述图像样本进行全局语义情感提取，得到全局情感语义表示，并根据所述图像样本和所述全局情感语义表示对情感生成智能体进行训练，得到目标情感生成智能体；获取待处理图像，并将所述待处理图像输入至所述目标情感理解智能体，得到结构化分析结果，并将所述结构化分析结果输入至所述目标情感生成智能体，得到多个候选图像；对多个所述候选图像进行多准则校验处理，输出目标生成图像。本发明通过结构化情感数据构建、情感理解智能体训练、情感生成智能体训练、视觉证据引导提示规划以及多准则生成结果校验，实现了图像情感理解与生成的协同建模，从而有效提高了情感图像生成的准确性。