基于多智能体的多模态讽刺推理方法、装置和系统与流程

摘要: 本公开涉及人工智能,尤其涉及智能体、大模型、深度学习等,具体涉及一种基于多智能体的多模态讽刺推理方法、装置、系统、设备、介质和产品。背景技术:1、随着多模态大模...
基于多智能体的多模态讽刺推理方法、装置和系统与流程

本公开涉及人工智能,尤其涉及智能体、大模型、深度学习等,具体涉及一种基于多智能体的多模态讽刺推理方法、装置、系统、设备、介质和产品。

背景技术:

1、随着多模态大模型(multimodal large language models,mllms)的快速发展,图文联合理解已得到广泛应用。然而,现有多模态理解系统在处理讽刺(sarcasm)、反讽(irony)、隐喻(metaphor)等复杂语用现象时,仍存在局限性。

技术实现思路

1、本公开提供了一种基于多智能体的多模态讽刺推理方法、装置、系统、设备、介质和产品。

2、根据本公开的一方面,提供了一种基于多智能体的多模态讽刺推理方法,包括:采用文本智能体,对多模态数据中的文本数据进行推理,以获得文本侧讽刺推理结果;采用图像智能体,对所述多模态数据中的图像数据进行推理,以获得图像侧讽刺推理结果;采用跨模态智能体,对所述文本数据和所述图像数据进行处理,以获得跨模态讽刺推理结果;对所述文本侧讽刺推理结果、所述图像侧讽刺推理结果和所述跨模态讽刺推理结果进行融合,以获得目标讽刺推理结果。

3、根据本公开的另一方面,提供了一种基于多智能体的多模态讽刺推理装置,包括:文本推理模块,用于采用文本智能体,对多模态数据中的文本数据进行推理,以获得文本侧讽刺推理结果;图像推理模块,用于采用图像智能体,对所述多模态数据中的图像数据进行推理,以获得图像侧讽刺推理结果;跨模态推理模块,用于采用跨模态智能体,对所述文本数据和所述图像数据进行处理,以获得跨模态讽刺推理结果;融合模块,用于对所述文本侧讽刺推理结果、所述图像侧讽刺推理结果和所述跨模态讽刺推理结果进行融合,以获得目标讽刺推理结果。

4、根据本公开的另一方面,提供了一种基于多智能体的多模态讽刺推理系统,包括:输入模块,用于输入多模态数据,所述多模态数据包括:文本数据和图像数据;文本智能体,用于对多模态数据中的文本数据进行推理,以获得文本侧讽刺推理结果;图像智能体,用于对所述多模态数据中的图像数据进行推理,以获得图像侧讽刺推理结果;跨模态智能体,用于对所述文本数据和所述图像数据进行处理,以获得跨模态讽刺推理结果;输出模块,用于对所述文本侧讽刺推理结果、所述图像侧讽刺推理结果和所述跨模态讽刺推理结果进行融合,以获得目标讽刺推理结果。

5、根据本公开的另一方面,提供了一种电子设备,包括:至少一个处理器;以及与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行如上述任一方面的任一项所述的方法。

6、根据本公开的另一方面,提供了一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行根据上述任一方面的任一项所述的方法。

7、根据本公开的另一方面,提供了一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现根据上述任一方面的任一项所述的方法。

8、根据本公开实施例,可以提升讽刺推理结果的准确性和可解释性。

9、应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征,也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

1.一种基于多智能体的多模态讽刺推理方法,包括:

2.根据权利要求1所述的方法,其中,

3.根据权利要求2所述的方法,还包括:

4.根据权利要求3所述的方法,其中,所述策略模型是通过强化学习算法训练的,且目标奖励值是基于多个维度的奖励值获得的。

5.根据权利要求2所述的方法,其中,

6.根据权利要求2所述的方法,其中,

7.根据权利要求1所述的方法,还包括:

8.根据权利要求1-7任一项所述的方法,其中,所述采用文本智能体,对多模态数据中的文本数据进行推理,以获得文本侧讽刺推理结果,包括:

9.根据权利要求1-7任一项所述的方法,其中,所述采用图像智能体,对所述多模态数据中的图像数据进行推理,以获得图像侧讽刺推理结果,包括:

10.根据权利要求1-7任一项所述的方法,其中,所述采用跨模态智能体,对所述文本数据和所述图像数据进行处理,以获得跨模态讽刺推理结果,包括:

11.一种基于多智能体的多模态讽刺推理装置,包括:

12.一种基于多智能体的多模态讽刺推理系统,包括:

13.一种电子设备,包括:

14.一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行根据权利要求1-10中任一项所述的方法。

15.一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现根据权利要求1-10中任一项所述的方法。