工具调用、工具调用响应方法、系统和电子设备与流程

摘要: 本技术涉及人工智能,尤其涉及一种工具调用、工具调用响应方法、系统和电子设备。背景技术:1、随着大语言模型(largelanguagemodel,llm)的深度应...
工具调用、工具调用响应方法、系统和电子设备与流程

本技术涉及人工智能,尤其涉及一种工具调用、工具调用响应方法、系统和电子设备。

背景技术:

1、随着大语言模型(largelanguagemodel,llm)的深度应用,大语言模型(以下简称大模型)或基于大模型的人工智能智能体(aiagent)已具备通过调用外部工具(tool)来扩展自身能力的技术基础。目前,大模型或智能体可根据用户任务,调用数据库查询接口、代码执行环境或企业应用编程接口(applicationprogramminginterface,api)等多种外部工具,以完成信息检索、业务操作和决策执行等复杂任务。在典型的系统架构中,大模型或智能体负责理解用户任务并生成候选的工具调用请求,该候选调用请求经处理后发往对应的工具侧执行,执行结果再返回至大模型侧供大模型进行下一轮推理。

2、然而,上述工具调用过程面临一系列安全挑战,使得大模型或智能体输出的候选调用不能直接作为授权请求予以执行。比如,大模型输出存在非确定性,可能受到提示注入、上下文污染或随机采样等因素的影响,难以保证其生成的目标工具、操作和参数的可信性。再有,调用请求的各个组成部分在传输过程中缺少统一的完整性保护,难以保证请求内容在传递过程中不被篡改或替换。此外,即使采用加密传输,现有方案难以对解密后的明文参数在执行前的访问和读取行为进行有效控制,无法保证明文参数仅在完成必要校验后才交付给执行器。再者,工具执行完成后,返回结果可能无法被有效验证与原始请求之间的对应关系和完整性,未经验证的结果一旦进入模型上下文,将影响后续推理的可靠性。

3、可见,现有技术方案在大模型调用外部工具的过程中,尚难以对从模型侧输出到工具侧执行的过程提供充分的安全保障。

技术实现思路

1、本技术提供一种工具调用、工具调用响应方法、系统和电子设备,用于提升大模型调用外部工具的过程中的安全性。

2、为解决上述技术问题,本技术是这样实现的:

3、第一方面,提供一种工具调用方法,应用于可信调用封装器,所述可信调用封装器为大模型向外部工具发起调用请求的唯一出口,所述方法包括:

4、接收所述大模型输出的第一调用请求,其中,所述第一调用请求包括所要调用的候选工具的标识、候选调用操作和候选调用参数;

5、对所述第一调用请求进行验证,并在验证通过的情况下确定第一信息,其中,所述第一信息包括所述第一调用请求可调用的目标工具的标识、目标调用操作的标识以及目标调用参数;

6、对第二信息进行加密,并生成第二调用请求,其中,所述第二调用请求包括可见头部和所述第二信息对应的密文,所述可见头部包括所述目标工具的标识、所述目标调用操作的标识和解密所述密文所需信息,所述第二信息包括所述目标调用参数;

7、向所述目标工具对应的可信调用入口发送所述第二调用请求,其中,所述可信调用入口用于在可信环境下对所述密文进行解密,并将从所述可见头部得到的所述目标调用操作的标识和解密得到的所述目标调用参数发送至所述目标工具的执行器。

8、第二方面,提供一种工具调用响应方法,应用于目标工具的可信调用入口,所述方法包括:

9、接收大模型的可信调用封装器发送的第二调用请求,所述第二调用请求包括可见头部和第二信息对应的密文,所述可见头部包括目标工具的标识、目标调用操作的标识和解密所述密文所需信息,所述第二信息包括目标调用参数;

10、在可信环境中根据解密所述密文所需信息对所述密文进行解密,得到所述第二信息;

11、将所述目标调用操作的标识和所述目标调用参数发送至所述目标工具的执行器,其中,所述执行器用于按照所述目标调用操作的标识执行对应的操作。

12、第三方面,提供一种工具调用装置,应用于可信调用封装器,所述可信调用封装器为大模型向外部工具发起调用请求的唯一出口,所述装置包括:

13、第一接收模块,用于接收所述大模型输出的第一调用请求,其中,所述第一调用请求包括所要调用的候选工具的标识、候选调用操作和候选调用参数;

14、第一确定模块,用于对所述第一调用请求进行验证,并在验证通过的情况下确定第一信息,其中,所述第一信息包括所述第一调用请求可调用的目标工具的标识、目标调用操作的标识以及目标调用参数;

15、第一封装模块,用于对第二信息进行加密,并生成第二调用请求,其中,所述第二调用请求包括可见头部和所述第二信息对应的密文,所述可见头部包括所述目标工具的标识、所述目标调用操作的标识和解密所述密文所需信息,所述第二信息包括所述目标调用参数;

16、第一发送模块,用于向所述目标工具对应的可信调用入口发送所述第二调用请求,其中,所述可信调用入口用于在可信环境下对所述密文进行解密,并将从所述可见头部得到的所述目标调用操作的标识和解密得到的所述目标调用参数发送至所述目标工具的执行器。

17、第四方面,提供一种工具调用响应装置,应用于目标工具的可信调用入口,所述装置包括:

18、第一接收模块,用于接收大模型的可信调用封装器发送的第二调用请求,所述第二调用请求包括可见头部和第二信息对应的密文,所述可见头部包括目标工具的标识、目标调用操作的标识和解密所述密文所需信息,所述第二信息包括目标调用参数;

19、第一解密模块,用于在可信环境中根据解密所述密文所需信息对所述密文进行解密,得到所述第二信息;

20、第一发送模块,用于将所述目标调用操作的标识和所述目标调用参数发送至所述目标工具的执行器,其中,所述执行器用于按照所述目标调用操作的标识执行对应的操作。

21、第五方面,提供一种工具调用系统,所述系统包括可信调用封装器和目标工具对应的可信调用入口,所述可信调用封装器为大模型向外部工具发起调用请求的唯一出口,其中:

22、所述可信调用封装器,用于接收所述大模型输出的第一调用请求,其中,所述第一调用请求包括所要调用的候选工具的标识、候选调用操作和候选调用参数;对所述第一调用请求进行验证,并在验证通过的情况下确定第一信息,其中,所述第一信息包括所述第一调用请求可调用的目标工具的标识、目标调用操作的标识以及目标调用参数;对第二信息进行加密,并生成第二调用请求,其中,所述第二调用请求包括可见头部和所述第二信息对应的密文,所述可见头部包括所述目标工具的标识、所述目标调用操作的标识和解密所述密文所需信息,所述第二信息包括所述目标调用参数;向所述目标工具对应的可信调用入口发送所述第二调用请求;

23、所述可信调用入口,用于接收所述第二调用请求;在可信环境中根据解密所述密文所需信息对所述密文进行解密,得到所述第二信息;将所述可见头部中的所述目标调用操作的标识和所述第二信息中的所述目标调用参数发送至所述目标工具的执行器,其中,所述执行器用于按照所述目标调用操作的标识执行对应的操作。

24、第六方面,提供一种电子设备,包括:

25、处理器;

26、用于存储所述处理器可执行指令的存储器;

27、其中,所述处理器被配置为执行所述指令,以实现如第一方面或第二方面所述的方法。

28、第七方面,提供一种计算机可读存储介质,当所述存储介质中的指令由电子设备的处理器执行时,使得电子设备能够执行如第一方面或第二方面所述的方法。

29、第八方面,提供一种计算机程序产品,该程序产品被存储在存储介质中,该程序产品被至少一个处理器执行以实现如第一方面或第二方面所述的方法。

30、本技术实施例提供的技术方案,由于可信调用封装器作为大模型向外部工具发起调用请求的唯一出口,对大模型输出的第一调用请求进行验证,并在验证通过的情况下确定包括目标工具标识、目标调用操作标识和目标调用参数的第一信息,因此能够避免大模型输出的非确定性对工具调用可信性的影响;同时,由于对第二信息进行加密并生成包括可见头部和密文的第二调用请求,使得业务参数以密文形式传输,且可见头部携带解密所需信息,因此能够保证调用请求在传递过程中的完整性,防止请求内容被篡改或替换;此外,由于可信调用入口在可信环境下对密文进行解密,并将目标调用操作的标识和目标调用参数发送至执行器,因此能够对解密后的明文参数的访问行为进行有效控制,确保明文参数仅在可信环境下经解密后方可交付执行器执行。如此,提升了大模型调用外部工具过程中的安全性。