基于多智能体的多模态讽刺推理方法、装置和系统与流程
本公开涉及人工智能,尤其涉及智能体、大模型、深度学习等,具体涉及一种基于多智能体的多模态讽刺推理方法、装置、系统、设备、介质和产品。
背景技术:
1、随着多模态大模型(multimodal large language models,mllms)的快速发展,图文联合理解已得到广泛应用。然而,现有多模态理解系统在处理讽刺(sarcasm)、反讽(irony)、隐喻(metaphor)等复杂语用现象时,仍存在局限性。
技术实现思路
1、本公开提供了一种基于多智能体的多模态讽刺推理方法、装置、系统、设备、介质和产品。
2、根据本公开的一方面,提供了一种基于多智能体的多模态讽刺推理方法,包括:采用文本智能体,对多模态数据中的文本数据进行推理,以获得文本侧讽刺推理结果;采用图像智能体,对所述多模态数据中的图像数据进行推理,以获得图像侧讽刺推理结果;采用跨模态智能体,对所述文本数据和所述图像数据进行处理,以获得跨模态讽刺推理结果;对所述文本侧讽刺推理结果、所述图像侧讽刺推理结果和所述跨模态讽刺推理结果进行融合,以获得目标讽刺推理结果。
3、根据本公开的另一方面,提供了一种基于多智能体的多模态讽刺推理装置,包括:文本推理模块,用于采用文本智能体,对多模态数据中的文本数据进行推理,以获得文本侧讽刺推理结果;图像推理模块,用于采用图像智能体,对所述多模态数据中的图像数据进行推理,以获得图像侧讽刺推理结果;跨模态推理模块,用于采用跨模态智能体,对所述文本数据和所述图像数据进行处理,以获得跨模态讽刺推理结果;融合模块,用于对所述文本侧讽刺推理结果、所述图像侧讽刺推理结果和所述跨模态讽刺推理结果进行融合,以获得目标讽刺推理结果。
4、根据本公开的另一方面,提供了一种基于多智能体的多模态讽刺推理系统,包括:输入模块,用于输入多模态数据,所述多模态数据包括:文本数据和图像数据;文本智能体,用于对多模态数据中的文本数据进行推理,以获得文本侧讽刺推理结果;图像智能体,用于对所述多模态数据中的图像数据进行推理,以获得图像侧讽刺推理结果;跨模态智能体,用于对所述文本数据和所述图像数据进行处理,以获得跨模态讽刺推理结果;输出模块,用于对所述文本侧讽刺推理结果、所述图像侧讽刺推理结果和所述跨模态讽刺推理结果进行融合,以获得目标讽刺推理结果。
5、根据本公开的另一方面,提供了一种电子设备,包括:至少一个处理器;以及与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行如上述任一方面的任一项所述的方法。
6、根据本公开的另一方面,提供了一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行根据上述任一方面的任一项所述的方法。
7、根据本公开的另一方面,提供了一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现根据上述任一方面的任一项所述的方法。
8、根据本公开实施例,可以提升讽刺推理结果的准确性和可解释性。
9、应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征,也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
1.一种基于多智能体的多模态讽刺推理方法,包括:
2.根据权利要求1所述的方法,其中,
3.根据权利要求2所述的方法,还包括:
4.根据权利要求3所述的方法,其中,所述策略模型是通过强化学习算法训练的,且目标奖励值是基于多个维度的奖励值获得的。
5.根据权利要求2所述的方法,其中,
6.根据权利要求2所述的方法,其中,
7.根据权利要求1所述的方法,还包括:
8.根据权利要求1-7任一项所述的方法,其中,所述采用文本智能体,对多模态数据中的文本数据进行推理,以获得文本侧讽刺推理结果,包括:
9.根据权利要求1-7任一项所述的方法,其中,所述采用图像智能体,对所述多模态数据中的图像数据进行推理,以获得图像侧讽刺推理结果,包括:
10.根据权利要求1-7任一项所述的方法,其中,所述采用跨模态智能体,对所述文本数据和所述图像数据进行处理,以获得跨模态讽刺推理结果,包括:
11.一种基于多智能体的多模态讽刺推理装置,包括:
12.一种基于多智能体的多模态讽刺推理系统,包括:
13.一种电子设备,包括:
14.一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行根据权利要求1-10中任一项所述的方法。
15.一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现根据权利要求1-10中任一项所述的方法。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com