一种大模型智能体工具调用的风险控制处理方法及装置与流程

摘要: 本申请实施例涉及人工智能,尤其涉及大模型智能体安全,具体涉及一种大模型智能体工具调用的风险控制处理方法及装置。背景技术:1、近年来,大语言模型的快速发展催生了智...
一种大模型智能体工具调用的风险控制处理方法及装置与流程

本申请实施例涉及人工智能,尤其涉及大模型智能体安全,具体涉及一种大模型智能体工具调用的风险控制处理方法及装置。

背景技术:

1、近年来,大语言模型的快速发展催生了智能体这一新型应用形态。智能体具备自主决策和工具调用能力,能够将模型输出的工具调用转化为真实的文件操作、命令执行、网络请求等系统级动作。然而,工具调用能力的引入也带来了新的安全风险:攻击者可将恶意指令嵌入智能体会处理的外部数据源(如网页、文档或邮件),诱导模型在后续调用工具时执行删除文件、外传数据、执行高危命令等操作,导致隐私泄露甚至任意代码执行。

2、目前,对智能体工具调用的安全防护主要依赖以下两类方案。第一类方案以提示词和文本内容防护为主,通过在智能体与大模型的请求/响应路径上部署安全护栏,进行敏感信息检测、提示词注入检测和内容合规审查等处理。然而,这类方案主要面向对话助手等文本交互场景,其防护对象是用户提示词和模型生成的文本内容,较少针对每一次工具调用建立独立的风险评估,无法阻止模型发出删除密钥、外传文件或执行高危命令等工具调用。第二类方案针对工具调用进行单步检查,根据工具类型或命令判断操作是否高危,根据url、路径或文件类型判断操作对象是否敏感,并给出权限或风险结论。然而,这类方案仅对单次工具调用做判定,缺乏跨工具调用的路径追溯能力,即攻击者可将高风险目标拆解为多轮低危动作逐步推进,最终完成恶意操作,现有的单步检查方案难以检测此类多步攻击链。同时,现有方案中的人机确认环节与工具执行之间缺乏有效的闭环绑定,用户直接授权的操作与外部内容诱导出的操作在确认提示中无法区分。

技术实现思路

1、本申请提供了一种大模型智能体工具调用的风险控制处理方法及装置,以提高大模型智能体工具调用运行时的安全性及可解释性。

2、根据本申请的一方面,提供了一种大模型智能体工具调用的风险控制处理方法,该方法包括:

3、在智能体待发送至大模型的工具参数定义中嵌入依赖声明字段,并从状态存储中读取当前会话下状态为已成功的调用编号列表,将携带调用编号列表及依赖声明字段的工具调用任务请求发送至大模型;

4、获取大模型针对工具调用任务请求所返回的工具调用响应消息,对工具调用响应消息进行解析得到工具调用信息,并根据工具调用信息,确定当前工具调用的有效上游依赖编号列表;

5、基于预置的多维风险配置表,根据工具调用信息,确定当前工具调用的初始工具调用风险标签集,并根据初始工具调用风险标签集和有效上游依赖编号列表,确定当前工具调用的目标工具调用风险标签集;

6、根据目标工具调用风险标签集,确定当前工具调用的工具调用处置结果,并根据工具调用处置结果,对工具调用信息进行风险控制处理。

7、根据本申请的另一方面,提供了一种大模型智能体工具调用的风险控制处理装置,该装置包括:

8、工具调用任务请求发送模块,用于在智能体待发送至大模型的工具参数定义中嵌入依赖声明字段,并从状态存储中读取当前会话下状态为已成功的调用编号列表,将携带调用编号列表及依赖声明字段的工具调用任务请求发送至大模型;

9、有效上游依赖编号列表确定模块,用于获取大模型针对工具调用任务请求所返回的工具调用响应消息,对工具调用响应消息进行解析得到工具调用信息,并根据工具调用信息,确定当前工具调用的有效上游依赖编号列表;

10、目标工具调用风险标签集确定模块,用于基于预置的多维风险配置表,根据工具调用信息,确定当前工具调用的初始工具调用风险标签集,并根据初始工具调用风险标签集和有效上游依赖编号列表,确定当前工具调用的目标工具调用风险标签集;

11、风险控制处理模块,用于根据目标工具调用风险标签集,确定当前工具调用的工具调用处置结果,并根据工具调用处置结果,对工具调用信息进行风险控制处理。

12、根据本申请的另一方面,提供了一种电子设备,电子设备包括:

13、一个或多个处理器;

14、存储器,用于存储一个或多个程序;

15、当一个或多个程序被一个或多个处理器执行,使得一个或多个处理器实现本申请实施例所提供的任意一种大模型智能体工具调用的风险控制处理方法。

16、根据本申请的另一方面,提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现本申请实施例所提供的任意一种大模型智能体工具调用的风险控制处理方法。

17、根据本申请的另一方面,提供了一种计算机程序产品,包括计算机程序,计算机程序在被处理器执行时实现本申请实施例所提供的任意一种大模型智能体工具调用的风险控制处理方法。

18、本申请通过在智能体待发送至大模型的工具参数定义中嵌入依赖声明字段,并从状态存储中读取当前会话下状态为已成功的调用编号列表,将携带调用编号列表及依赖声明字段的工具调用任务请求发送至大模型;获取大模型针对工具调用任务请求所返回的工具调用响应消息,对工具调用响应消息进行解析得到工具调用信息,并根据工具调用信息,确定当前工具调用的有效上游依赖编号列表;基于预置的多维风险配置表,根据工具调用信息,确定当前工具调用的初始工具调用风险标签集,并根据初始工具调用风险标签集和有效上游依赖编号列表,确定当前工具调用的目标工具调用风险标签集;根据目标工具调用风险标签集,确定当前工具调用的工具调用处置结果,并根据工具调用处置结果,对工具调用信息进行风险控制处理。上述方案,通过在工具参数定义中嵌入依赖声明字段并读取已成功调用列表实现上游依赖追溯,进而对每个工具调用进行“命令风险、路径可信度、数据敏感度”的三维风险画像与非对称污点传播,得到目标工具调用风险标签集,最终根据目标工具调用风险标签集,确定当前工具调用的工具调用处置结果,从而对工具调用信息进行风险控制处理,提高了大模型智能体工具调用运行时的安全性、可解释性和可控性。

1.一种大模型智能体工具调用的风险控制处理方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述多维风险配置表包括命令风险配置表、路径可信度配置表以及数据敏感度配置表,相应的,基于预置的多维风险配置表,根据所述工具调用信息,确定当前工具调用的初始工具调用风险标签集,包括:

3.根据权利要求2所述的方法,其特征在于,根据所述初始工具调用风险标签集和所述有效上游依赖编号列表,确定当前工具调用的目标工具调用风险标签集,包括:

4.根据权利要求1所述的方法,其特征在于,所述工具调用处置结果包括放行、确认和拒绝,相应的,根据所述工具调用处置结果,对所述工具调用信息进行风险控制处理,包括:

5.根据权利要求4所述的方法,其特征在于,在将所述文本确认提示信息发送至所述智能体,以使所述智能体将所述文本确认提示信息展示给用户进行确认之后,所述方法还包括:

6.根据权利要求1所述的方法,其特征在于,根据所述工具调用信息,确定当前工具调用的有效上游依赖编号列表,包括:

7.一种大模型智能体工具调用的风险控制处理装置,其特征在于,包括:

8.一种电子设备,其特征在于,包括:

9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-6中任一项所述的大模型智能体工具调用的风险控制处理方法。

10.一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现根据权利要求1-6中任一项所述的大模型智能体工具调用的风险控制处理方法。