面向智能体行为的安全管理方法、系统、设备和介质

摘要: 本技术涉及人工智能和智能体安全治理,尤其涉及一种面向智能体行为的安全管理方法、系统、设备和介质。背景技术:1、目前,针对大语言模型的人工智能智能体已经从单纯的文...
面向智能体行为的安全管理方法、系统、设备和介质

本技术涉及人工智能和智能体安全治理,尤其涉及一种面向智能体行为的安全管理方法、系统、设备和介质。

背景技术:

1、目前,针对大语言模型的人工智能智能体已经从单纯的文本问答系统发展为能够执行外部操作的智能体系统,该智能体系统不仅能够生成自然语言回复,还可以通过多个智能体分别进行调用工具、访问网页、操作桌面或移动端图形用户界面、调用应用程序接口、读取和写入文件、创建日历事件、发送邮件、提交表单、发起支付或修改系统设置等操作,实现多个不同智能体的协同任务。在实际应用中,一个用户任务往往不再由单一模型或单一程序完成,而是由多个智能体、规划器、控制器、工具后端和执行接口共同完成。例如,一个智能体可以从联系人应用读取电话号码,另一个智能体可以将该号码写入日历备注,第三个智能体可以把日历内容通过邮件发送出去。但在多个不同智能体的协同应用中,忽视了智能体交互的安全问题。

2、针对智能体交互的安全问题,传统智能体行为的安全管理方法通常在局部边界上设置安全机制实现,具体包括:针对prompt或输入输出的安全检测机制,通过基于大语言模型(llm)的输入输出安全防护分类器(如llama guard)对用户输入或模型输出的文本进行有害内容、越权指令或提示注入等安全检测;针对工具调用或工具包装器的安全检测机制,通过工具包装器对单个工具或api的调用规则进行安全校验;针对gui(graphical userinterface,图形用户界面)或移动端动作的安全校验,通过gui验证器对当前屏幕上的点击、输入等动作进行合法性校验;针对智能体运行时的安全治理,通过采集智能体的行为轨迹、记忆访问和规划状态等内部语义事件进行行为安全校验。但是,上述各类安全机制的安全治理边界局限于局部执行表面。可是,智能体安全问题不再只是判断某个prompt、某个模型输出或某个工具调用是否安全,而是需要判断一个智能体即将提交至另一不同智能体的具体动作是否应当被允许执行。因此,如何在智能体动作执行之前实现智能体动作的安全管理,成为亟待解决的问题。

技术实现思路

1、本技术实施例的主要目的在于提出一种面向智能体行为的安全管理方法、系统、设备和介质,旨在智能体动作执行之前实现智能体动作的安全管理。

2、为了实现上述目的,本技术实施例的第一方面提出了一种面向智能体行为的安全管理方法,所述方法包括:

3、拦截智能体系统中当前智能体产生的待执行动作;其中,所述智能体系统包括至少一个智能体;所述待执行动作在提交至预设的目标执行器之前被拦截;所述智能体系统中至少一个所述智能体在同一执行会话中经由至少一个所述智能体对应的执行通道作用于共享执行环境;

4、获取待执行动作的动作属性信息,所述动作属性信息包括以下至少一个:会话标识、执行通道、动作类型、动作对象、动作载荷、动作执行上下文信息和智能体基础信息;

5、基于所述动作属性信息,生成规范动作事件;其中,所述规范动作事件用于表征所述智能体系统中各所述智能体产生的不同格式动作均被规范为一致格式的动作表述;

6、通过预设的策略执行点对所述规范动作事件进行安全判定,得到安全判定数据;其中,所述策略执行点用于将各所述智能体产生的不同格式动作均进入同一安全判定路径,以统一管控各所述智能体产生的不同格式动作对所述共享执行环境的访问风险;

7、基于所述安全判定数据对所述待执行动作进行动作执行决策;其中,所述动作执行决策包括以下任一种:允许执行、拒绝执行、建议重写、建议脱敏、请求用户确认和请求人工审批。

8、在一些实施例,所述安全判定数据包括动作合规判定数据;

9、所述通过预设的策略执行点对所述规范动作事件进行安全判定,得到安全判定数据,包括:

10、通过所述策略执行点获取所述待执行动作的动作执行策略规则;其中,所述动作执行策略规则包括以下任意一种:禁止访问对象范围规则、高风险动作限制规则和动作作用域限制规则;

11、针对所述规范动作事件,基于所述动作类型、所述动作对象和所述动作载荷对所述禁止访问对象范围规则、所述高风险动作限制规则和所述动作作用域限制规则中的至少一种规则进行规则命中查询,得到规则命中结果;

12、若所述规则命中结果表征所述规范动作事件命中所述禁止访问对象范围规则、所述高风险动作限制规则和所述动作作用域限制规则中的至少一种,则基于所述禁止访问对象范围规则、所述高风险动作限制规则和所述动作作用域限制规则中的至少一种对所述规范动作事件进行动作合规判定,生成表征允许执行、拒绝执行、建议重写、建议脱敏、请求用户确认或请求人工审批的所述动作合规判定数据;

13、若所述规则命中结果表征所述规范动作事件未命中所述禁止访问对象范围规则、所述高风险动作限制规则和所述动作作用域限制规则中的至少一种,则生成表征无法确定的所述动作合规判定数据。

14、在一些实施例,所述安全判定数据还包括来源去向合规判定数据;

15、所述通过预设的策略执行点对所述规范动作事件进行安全判定,得到安全判定数据,还包括:

16、通过所述策略执行点和所述会话标识获取会话来源数据库;其中,所述会话来源数据库用于记录在所述同一执行会话中通过所述策略执行点观测的来源与载荷值之间的绑定关系;

17、基于所述动作载荷对所述会话来源数据库进行来源查询,得到载荷来源查询结果;

18、若所述载荷来源查询结果表征所述动作载荷属于所述会话来源数据库中的受保护来源记录,则基于所述受保护来源记录中的来源类型、所述执行通道、所述动作对象和所述动作类型确定所述规范动作事件的去向类型,根据预设的来源去向策略规则、所述来源类型和所述去向类型对所述规范动作事件进行来源去向合规判定,若所述来源类型至所述去向类型流转受限,则生成表征构成来源去向违规的所述来源去向合规判定数据。

19、在一些实施例,所述安全判定数据还包括无来源动作判定数据;

20、所述通过预设的策略执行点对所述规范动作事件进行安全判定,得到安全判定数据,还包括:

21、若所述规范动作事件涉及敏感字段,则通过所述策略执行点和所述敏感字段对所述会话来源数据库进行查询,得到字段来源查询结果;

22、若所述字段来源查询结果表征无来源记录,则通过预设的分类器对所述规范动作事件进行分类,得到判定结果;

23、若所述判定结果表征所述规范动作事件属于无来源记录的敏感写入或高风险提交,则生成表征拒绝执行的所述无来源动作判定数据。

24、在一些实施例,在所述基于所述安全判定数据对所述待执行动作进行动作执行决策之后,还包括:

25、在所述待执行动作对应的所述动作载荷属于所述受保护来源记录时,获取所述待执行动作与受保护来源记录中相匹配的来源智能体标识、来源执行通道、来源动作和来源字段;

26、将所述来源智能体标识、所述来源执行通道、所述来源动作和所述来源字段与所述待执行动作进行关联,生成会话动作链;

27、获取所述动作执行决策对应的决策结果和决策结果解释信息;

28、基于所述会话动作链、所述决策结果、所述决策结果解释信息和所述规范动作事件,生成所述待执行动作的目标动作审计记录。

29、在一些实施例,所述安全判定数据还包括动作语义合规判定数据;

30、所述通过预设的策略执行点对所述规范动作事件进行安全判定,得到安全判定数据,还包括:

31、基于所述执行通道、所述动作类型、所述动作对象、所述动作载荷、所述动作执行上下文信息和所述智能体基础信息,生成所述规范动作事件的动作语义判定请求;

32、通过预设的策略执行点获取所述动作语义判定请求的升级判定路径;其中,所述升级判定路径包括以下至少一种:云端语义模块判断路径、外部接口调用判断路径、人工审批确认路径和企业策略审查路径;

33、通过所述云端语义模块判断路径、所述外部接口调用判断路径、所述人工审批确认路径和所述企业策略审查路径中的至少一种路径对所述规范动作事件进行语义合规判定,生成表征允许执行、拒绝执行、建议重写、建议脱敏、请求用户确认或请求人工审批的所述动作语义合规判定数据。

34、在一些实施例,在所述基于所述安全判定数据对所述待执行动作进行动作执行决策之后,还包括:

35、若所述动作执行决策为允许执行,则将所述待执行动作提交至所述目标执行器;

36、若所述动作执行决策为拒绝执行,则阻断所述待执行动作提交至所述目标执行器;

37、若所述动作执行决策为建议重写或建议脱敏,则对所述待执行动作的所述动作载荷进行载荷修正,得到修正待执行动作,并对所述修正待执行动作进行安全判定,得到修正安全判定数据,基于所述修正安全判定数据对所述待执行动作进行修正动作执行决策,若所述修正动作执行决策为允许执行,则将所述修正待执行动作提交至所述目标执行器,若所述修正动作执行决策为拒绝执行,则阻断所述修正待执行动作提交至所述目标执行器;

38、若所述动作执行决策为请求用户确认或请求人工审批,则获取请求审批结果,若所述请求审批结果表征允许执行,将所述待执行动作提交至目标执行器,若所述请求审批结果表征拒绝执行,阻断所述待执行动作提交至所述目标执行器。

39、为了实现上述目的,本技术实施例的第二方面提出了一种面向智能体行为的安全管理系统,所述面向智能体行为的安全管理系统包括:

40、智能体系统,包括至少一个智能体,所述智能体用于产生待执行动作;

41、动作提交前安全治理系统,用于执行上述的面向智能体行为的安全管理方法;

42、共享执行环境,用于执行所述待执行动作。

43、为实现上述目的,本技术实施例的第三方面提出了一种电子设备,所述电子设备包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现上述第一方面所述的方法。

44、为实现上述目的,本技术实施例的第四方面提出了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述第一方面的方法。

45、本技术提出的面向智能体行为的安全管理方法、系统、设备和介质,其首先通过拦截智能体系统中当前智能体产生的待执行动作,且智能体系统中至少一个智能体在同一执行会话中经由至少一个智能体对应的执行通道作用于共享执行环境,能够将同一执行会话内经由不同执行通道产生并作用于同一共享执行环境的动作纳入同一安全管理范围,进一步获取包含会话标识、执行通道、动作类型、动作对象、动作载荷、动作执行上下文信息和智能体基础信息在内的动作属性信息,能够将安全管理时机前移至智能体动作实际执行之前,使安全机制不再局限于判断某个prompt、某个模型输出或某个工具调用是否安全等局部执行表面,而是在动作提交执行前形成统一的控制入口,有效避免了不安全动作在缺乏整体判定的情况下被直接执行;其次,基于动作属性信息生成表征智能体系统中各智能体产生的不同格式动作均被规范为一致格式动作表述的规范动作事件,能够将不同待执行动作统一转换为规范化的标准事件格式,使后续动作安全判定环节能够以统一的判定逻辑处理不同来源、不同格式的智能体产生的动作,无需针对智能体系统中不同智能体产生的待执行动作分别开发和维护独立的安全校验逻辑;最后,通过策略执行点对规范动作事件进行安全判定并输出允许执行、拒绝执行、建议重写、建议脱敏、请求用户确认和请求人工审批等多种动作执行决策,不仅能够对违规动作直接拒绝执行、对高风险但可修正的动作在修改后执行、对边界歧义动作通过引入用户或人工的外部判断辅助决策,还使得各智能体产生的不同格式动作在不同执行通道下均进入同一安全判定路径,以接受相同标准的统一安全判定,且由于策略执行点用于统一管控各智能体产生的不同格式动作对共享执行环境的访问风险,因此能够减少不同执行通道之间安全标准不一致或部分动作绕过安全校验的问题,有效解决了传统智能体动作的安全管理方法仅覆盖局部边界、无法在动作执行前判断具体动作是否应被允许执行的技术缺陷,提升了智能体动作执行过程的安全性和可控性。