智能体通信交互方法、电子设备及计算机可读存储介质与流程
本申请涉及人工智能、大模型,具体而言,涉及一种智能体通信交互方法、电子设备及计算机可读存储介质。
背景技术:
1、随着大模型和多模态技术的飞速发展,人工智能(artificial intelligence,ai)硬件应用迎来新热潮,智能座舱、穿戴设备等产品通过集成多模态大模型,显著提升了交互体验。
2、目前,传统的多模态交互系统多采用端到端的语音建模方案,通过联合预训练多种模态的数据,实现了一定程度的多模态理解和交互。然而,端到端的语音建模方案普遍缺乏工具使用能力和深度的定制化功能,难以应对复杂多变的场景需求和提供个性化服务。此外,还提出了全双工语音建模方案,虽然提高了实时交互性,但缺乏对视频等其他模态信息的处理能力,限制了其在多模态环境中的应用广度,同时也难以满足多样化场景和用户需求。
3、针对上述的问题,目前尚未提出有效的解决方案。
技术实现思路
1、本申请实施例提供了一种智能体通信交互方法、电子设备及计算机可读存储介质,以至少解决相关技术中的多模态交互系统缺乏多智能体间的高效协同,无法满足多样化的场景需求和个性化需求的技术问题。
2、根据本申请实施例的一个方面,提供了一种智能体通信交互方法,包括:基于当前输入的多模态信息生成触发信号,其中,多模态信息依据目标对象的多模态交互方式确定;利用触发信号与预先存储的历史对话数据确定多模态会话内容;对多模态会话内容进行会话分析,得到待执行动作序列;将待执行动作序列分派至多个智能体进行执行,得到执行结果;将执行结果反馈至目标对象。
3、根据本申请实施例的另一方面,还提供了一种智能体通信交互方法,包括:基于当前输入的多模态商家推荐请求生成触发信号,其中,多模态商家推荐请求依据目标对象的多模态交互方式确定;利用触发信号与预先存储的历史商家推荐对话数据确定多模态商家推荐会话内容;对多模态商家推荐会话内容进行会话分析,得到商家推荐动作序列;将商家推荐动作序列分派至多个智能体进行执行,得到商家推荐执行结果;将商家推荐执行结果反馈至目标对象。
4、根据本申请实施例的另一方面,还提供了一种智能体通信交互方法,包括:通过第一应用程序编程接口获取智能体通信交互请求,其中,智能体通信交互请求中携带的请求数据包括:多模态信息,多模态信息依据目标对象的多模态交互方式确定;通过第二应用程序编程接口返回智能体通信交互响应,其中,智能体通信交互响应中携带的响应数据包括:执行结果,执行结果按照上述任意一项的智能体通信交互方法获得。
5、根据本申请实施例的另一方面,还提供了一种智能体通信交互方法,包括:获取当前输入的智能体通信交互对话请求,其中,智能体通信交互对话请求中携带的请求数据包括:多模态信息,多模态信息依据目标对象的多模态交互方式确定;响应于智能体通信交互对话请求,返回智能体通信交互对话回复,其中,智能体通信交互对话回复中携带的信息包括:执行结果,执行结果按照上述任意一项的智能体通信交互方法获得;在图形用户界面内展示执行结果。
6、根据本申请实施例的另一方面,还提供了一种智能体通信交互方法,包括:响应作用于操作界面上的输入指令,在操作界面上显示多模态信息;响应作用于操作界面上的处理指令,在操作界面上显示执行结果;其中,执行结果按照上述任意一项的智能体通信交互方法获得。
7、根据本申请实施例的另一方面,还提供了一种智能体通信交互系统,包括:感知层,用于基于当前输入的多模态信息生成触发信号,其中,多模态信息依据目标对象的多模态交互方式确定;控制层,用于利用触发信号与预先存储的历史对话数据确定多模态会话内容;规划层,用于对多模态会话内容进行会话分析,得到待执行动作序列;执行层,用于将待执行动作序列分派至多个智能体进行执行,得到执行结果;规划层,还用于将执行结果反馈至目标对象。
8、根据本申请实施例的另一方面,还提供了一种智能体通信交互系统,包括:客户端,用于发送多模态信息,其中,多模态信息依据目标对象的多模态交互方式确定;服务器,与客户端连接,用于基于多模态信息生成触发信号,利用触发信号与预先存储的历史对话数据确定多模态会话内容,对多模态会话内容进行会话分析以得到待执行动作序列,以及将待执行动作序列分派至多个智能体进行执行以得到执行结果;客户端还用于输出执行结果。
9、根据本申请实施例的另一方面,还提供了一种电子设备,包括:存储器,存储有可执行程序;处理器,通过总线与存储器连接,用于运行程序,其中,程序运行时执行本申请各个实施例中的方法。
10、根据本申请实施例的另一方面,还提供了一种计算机可读存储介质,计算机可读存储介质包括存储的可执行程序,其中,在可执行程序运行时控制计算机可读存储介质所在设备执行任意一项上述的智能体通信交互方法。
11、根据本申请实施例的另一方面,还提供了一种计算机程序产品,包括计算机程序,计算机程序在被处理器执行时实现任意一项上述的智能体通信交互方法。
12、在本申请实施例中,通过基于当前输入的多模态信息生成触发信号,其中,多模态信息依据目标对象的多模态交互方式确定,然后利用触发信号与预先存储的历史对话数据确定多模态会话内容,接着对多模态会话内容进行会话分析,得到待执行动作序列,之后将待执行动作序列分派至多个智能体进行执行,得到执行结果,最后将执行结果反馈至目标对象,由此达到了跨模态多智能体高效协作的目的,从而实现了针对多场景下的需求提供更自然、更高效、更个性化的多模态交互的技术效果,进而解决了相关技术中的多模态交互系统缺乏多智能体间的高效协同,无法满足多样化的场景需求和个性化需求的技术问题。
13、容易注意到的是,上面的通用描述和后面的详细描述仅仅是为了对本申请进行举例和解释,并不构成对本申请的限定。
1.一种智能体通信交互方法,其特征在于,包括:
2.根据权利要求1所述的智能体通信交互方法,其特征在于,基于当前输入的所述多模态信息生成所述触发信号包括:
3.根据权利要求1或2所述的智能体通信交互方法,其特征在于,所述智能体通信交互方法还包括:
4.根据权利要求1或2所述的智能体通信交互方法,其特征在于,所述智能体通信交互方法还包括:
5.根据权利要求1或2所述的智能体通信交互方法,其特征在于,对所述多模态会话内容进行会话分析,得到所述待执行动作序列包括:
6.根据权利要求5所述的智能体通信交互方法,其特征在于,所述智能体通信交互方法还包括:
7.根据权利要求1或2所述的智能体通信交互方法,其特征在于,将所述待执行动作序列分派至所述多个智能体进行执行,得到所述执行结果包括:
8.根据权利要求7所述的智能体通信交互方法,其特征在于,所述智能体通信交互方法还包括:
9.根据权利要求1或2所述的智能体通信交互方法,其特征在于,将所述执行结果反馈至所述目标对象包括:
10.根据权利要求1或2所述的智能体通信交互方法,其特征在于,所述智能体通信交互方法还包括:
11.一种智能体通信交互方法,其特征在于,包括:
12.一种智能体通信交互方法,其特征在于,包括:
13.一种智能体通信交互方法,其特征在于,包括:
14.一种智能体通信交互方法,其特征在于,包括:
15.一种智能体通信交互系统,其特征在于,包括:
16.一种智能体通信交互系统,其特征在于,包括:
17.一种电子设备,其特征在于,包括:
18.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质包括存储的可执行程序,其中,在所述可执行程序运行时控制所述计算机可读存储介质所在设备执行权利要求1至14中任意一项所述的智能体通信交互方法。
19.一种计算机程序产品,其特征在于,包括计算机程序,所述计算机程序在被处理器执行时实现权利要求1至14中任意一项所述的智能体通信交互方法。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com