安全检测方法、装置、设备、介质及程序产品与流程

摘要: 本申请涉及网络安全,尤其涉及一种安全检测方法、装置、设备、介质及程序产品。背景技术:1、随着大模型能力的不断发展,基于大模型的智能体能够调用外部工具完成实际任务...
安全检测方法、装置、设备、介质及程序产品与流程

本申请涉及网络安全,尤其涉及一种安全检测方法、装置、设备、介质及程序产品。

背景技术:

1、随着大模型能力的不断发展,基于大模型的智能体能够调用外部工具完成实际任务,但在极大拓展大模型能力的同时,也引入了全新的安全风险。因此,如何对智能体进行系统性的安全性评测,已成为大模型安全领域亟需解决的核心问题。

2、目前,在相关技术中,可以获取多个领域的攻击文本图像对,并通过智能体对攻击文本图像对进行安全响应处理,得到每个领域的安全响应数据,然后通过智能分析模型对每个领域的安全响应数据进行安全检测,得到该智能体在多领域综合性的安全检测结果。

3、然而,上述方法中,安全检测过程仅针对智能体对多领域静态攻击文本图像进行安全响应处理后所输出的安全响应数据进行安全检测,安全检测结果所反映的仅为智能体对静态攻击样本的文本响应表现,从而导致对智能体的安全检测的可靠性较低。

技术实现思路

1、本申请提供一种安全检测方法、装置、设备、介质及程序产品,用于提高对智能体的安全检测的可靠性。

2、第一方面,本申请实施例提供了一种安全检测方法,该方法包括:接收用户输入的任务指令;通过智能体执行任务指令对应的任务;在执行完任务的情况下,获取智能体的当前环境状态对象;基于当前环境状态对象和初始环境状态对象,对智能体进行安全检测,得到安全检测结果;其中,初始环境状态对象为嵌入攻击载荷后的环境状态对象;安全检测结果用于表征注入攻击载荷成功或失败。

3、本申请提供的技术方案至少带来以下有益效果:在智能体执行完用户任务的情况下,获取智能体的当前环境状态对象,并结合嵌入攻击载荷时的环境状态对象对智能体进行安全检测,得到注入攻击载荷成功或失败的判定结果。从而可以通过比对执行前后环境状态对象的差异,判定注入攻击载荷是否成功执行,并动态调整攻击载荷,如此提高了对智能体的安全检测的可靠性。

4、一种可能的实现方式,上述基于当前环境状态对象和初始环境状态对象,对智能体进行安全检测,得到智能体的安全检测结果,包括:基于当前环境状态对象和初始环境状态对象,通过任务完成度判定函数对智能体进行任务完成度判定处理,得到任务完成度判定结果,并通过注入攻击载荷判定函数对智能体进行注入攻击载荷判定处理,得到注入攻击载荷判定结果;基于任务完成度判定结果和注入攻击载荷判定结果,确定安全检测结果。

5、另一种可能的实现方式,上述通过智能体执行任务指令对应的任务,包括:基于任务指令,通过智能体从任务中提取至少一个推理文本;通过智能体调用模拟工具执行至少一个推理文本对应的工具调用请求,得到智能体的交互轨迹和环境状态数据;其中,模拟工具基于模拟工具函数,通过评测框架或标准化工具协议进行注册处理得到。

6、另一种可能的实现方式,上述基于智能体的当前环境状态对象和初始环境状态对象,对智能体进行安全检测,得到智能体的安全检测结果之后,安全检测方法还包括:在安全检测结果表征注入攻击载荷成功的情况下,确定智能体的劫持类型;其中,劫持类型包括以下任一项:任务替换、任务扩张、任务漂移。

7、另一种可能的实现方式,上述基于智能体的当前环境状态对象和初始环境状态对象,对智能体进行安全检测,得到智能体的安全检测结果之后,安全检测方法还包括:基于识别模式管理关键词集和防御模式关键词集,通过大模型对智能体进行注入攻击载荷的注入意识推理,得到智能体的注入意识结果;其中,注入意识结果用于表征智能体具备或不具备对注入攻击载荷的识别意识。

8、第二方面,本申请实施例提供了本申请提供一种安全检测装置,包括:接收模块、执行模块、获取模块和处理模块;接收模块,用于接收用户输入的任务指令;执行模块,用于通过智能体执行任务指令对应的任务;获取模块,用于在执行完任务的情况下,获取智能体的当前环境状态对象;处理模块,用于基于当前环境状态对象和初始环境状态对象,对智能体进行安全检测,得到智能体的安全检测结果;其中,初始环境状态对象为嵌入攻击载荷后的环境状态对象;安全检测结果用于表征注入攻击载荷成功或失败。

9、一种可能的实现方式,上述处理模块,具体用于:基于当前环境状态对象和初始环境状态对象,通过任务完成度判定函数对智能体进行任务完成度判定处理,得到任务完成度判定结果,并通过注入攻击载荷判定函数对智能体进行注入攻击载荷判定处理,得到注入攻击载荷判定结果;基于任务完成度判定结果和注入攻击载荷判定结果,确定安全检测结果。

10、另一种可能的实现方式,上述执行模块,具体用于:基于任务指令,通过智能体从任务中提取至少一个推理文本;通过智能体调用模拟工具执行至少一个推理文本对应的工具调用请求,得到智能体的交互轨迹和环境状态数据;其中,模拟工具基于模拟工具函数,通过评测框架或标准化工具协议进行注册处理得到。

11、另一种可能的实现方式,上述安全检测装置还包括:确定模块;确定模块,用于在处理模块基于智能体的当前环境状态对象和初始环境状态对象,对智能体进行安全检测,得到智能体的安全检测结果之后,在安全检测结果表征注入攻击载荷成功的情况下,确定智能体的劫持类型;其中,劫持类型包括以下任一项:任务替换、任务扩张、任务漂移。

12、另一种可能的实现方式,上述处理模块,还用于在基于智能体的当前环境状态对象和初始环境状态对象,对智能体进行安全检测,得到智能体的安全检测结果之后,基于识别模式管理关键词集和防御模式关键词集,通过大模型对智能体进行注入攻击载荷的注入意识推理,得到智能体的注入意识结果;其中,注入意识结果用于表征智能体具备或不具备对注入攻击载荷的识别意识。

13、第三方面,本申请提供一种电子设备,该电子设备包括:处理器和存储器;该存储器存储可在处理器上运行的程序或指令,上述程序或指令被该处理器执行时实现上述第一方面的方法。

14、第四方面,本申请提供一种可读存储介质,该可读存储介质上存储程序或指令,上述程序或指令被计算机执行时实现上述第一方面的方法。

15、第五方面,本申请提供一种计算机程序产品,该计算机程序产品被存储在存储介质中,当该计算机程序产品被计算机执行时以实现上述第一方面的方法。

16、第六方面,本申请实施例提供了一种芯片,该芯片包括处理器和通信接口,通信接口和处理器耦合,处理器用于运行程序或指令,实现如第一方面的方法。

17、上述第二方面至第六方面的有益效果参考第一方面的对应描述,不再赘述。

1.一种安全检测方法,其特征在于,包括:

2.根据权利要求1所述的安全检测方法,其特征在于,所述基于所述当前环境状态对象和初始环境状态对象,对所述智能体进行安全检测,得到所述智能体的安全检测结果,包括:

3.根据权利要求1所述的安全检测方法,其特征在于,所述通过智能体执行所述任务指令对应的任务,包括:

4.根据权利要求1至3中任一项所述的安全检测方法,其特征在于,所述基于智能体的当前环境状态对象和初始环境状态对象,对智能体进行安全检测,得到所述智能体的安全检测结果之后,所述安全检测方法还包括:

5.根据权利要求1至3中任一项所述的安全检测方法,其特征在于,所述基于智能体的当前环境状态对象和初始环境状态对象,对智能体进行安全检测,得到所述智能体的安全检测结果之后,所述安全检测方法还包括:

6.一种安全检测装置,其特征在于,包括:接收模块、执行模块、获取模块和处理模块;

7.根据权利要求6所述的安全检测装置,其特征在于,所述处理模块,具体用于:

8.根据权利要求6所述的安全检测装置,其特征在于,所述执行模块,具体用于:

9.根据权利要求6至8中任一项所述的安全检测装置,其特征在于,所述安全检测装置还包括:确定模块;

10.根据权利要求6至8中任一项所述的安全检测装置,其特征在于,所述处理模块,还用于在基于智能体的当前环境状态对象和初始环境状态对象,对智能体进行安全检测,得到所述智能体的安全检测结果之后,基于识别模式管理关键词集和防御模式关键词集,通过大模型对所述智能体进行注入攻击载荷的注入意识推理,得到所述智能体的注入意识结果;其中,所述注入意识结果用于表征所述智能体具备或不具备对注入攻击载荷的识别意识。

11.一种电子设备,其特征在于,包括处理器和存储器,所述存储器存储可在所述处理器上运行的程序或指令,所述程序或指令被所述处理器执行时实现如权利要求1至5中任一项所述的安全检测方法。

12.一种可读存储介质,其特征在于,所述可读存储介质上存储程序或指令,所述程序或指令被计算机执行时实现如权利要求1至5中任一项所述的安全检测方法。

13.一种计算机程序产品,其特征在于,所述计算机程序产品被存储在存储介质中,所述计算机程序产品被计算机执行时以实现如权利要求1至5中任一项所述的安全检测方法。