一种安全防护方法、装置、存储介质及电子设备与流程

摘要: 本说明书涉及计算机,尤其涉及一种安全防护方法、装置、存储介质及电子设备。背景技术:1、随着大语言模型技术的快速发展,基于大语言模型llm构建的自主智能体agen...
一种安全防护方法、装置、存储介质及电子设备与流程

本说明书涉及计算机,尤其涉及一种安全防护方法、装置、存储介质及电子设备。

背景技术:

1、随着大语言模型技术的快速发展,基于大语言模型llm构建的自主智能体agent被广泛应用于复杂任务的自动化处理。基于大语言模型llm驱动的智能体能够理解用户的自然语言指令,通过内部思维链等机制进行自主推理与任务拆解,并调用外部工具接口以获取环境数据或执行具有物理影响的操作。然而,智能体的自主决策机制也引入了严重的安全隐患,尤其是间接提示注入(indirect prompt injection)攻击。在此类攻击中,恶意指令隐藏于智能体抓取或读取的外部非信源数据中,如在这种攻击中攻击者并非直接攻击智能体的输入接口,而是将恶意指令隐藏在智能体需要抓取的网页、文档或邮件等非信源数据中。当智能体解析这些外部数据时,恶意指令会被误认为是任务的一部分,从而劫持智能体的推理逻辑,诱导其执行非用户预期的敏感操作,造成安全隐患。

技术实现思路

1、本说明书提供了一种安全防护方法、装置、存储介质及电子设备,所述技术方案如下:

2、第一方面,本说明书提供了一种安全防护方法,所述方法包括:

3、在智能体服务处理用户交互任务时,对进入智能体服务的任务处理数据流注入数据源标记,旁路监测所述智能体服务在任务推理时的运行轨迹列表;

4、监测到智能体服务调用的目标工具节点为预设敏感类型时,对所述目标工具节点的工具入参进行污点数据源标记的检测;

5、若所述工具入参包括污点数据源标记,则挂起所述目标工具节点,以所述目标工具节点为切片起点,在所述运行轨迹列表中沿运行依赖链路进行反向切片溯源得到局部决策因果图;

6、基于所述局部决策因果图,对所述目标工具节点与用户输入源数据对应的原始意图进行调用逻辑安全校验得到安全校验结果,根据所述安全校验结果对挂起的所述目标工具节点执行调用控制处理。

7、第二方面,本说明书提供了一种安全防护装置,所述装置包括:

8、监测模块,用于在智能体服务处理用户交互任务时,对进入智能体服务的任务处理数据流注入数据源标记,旁路监测所述智能体服务在任务推理时的运行轨迹列表;

9、所述监测模块,用于监测到智能体服务调用的目标工具节点为预设敏感类型时,对所述目标工具节点的工具入参进行污点数据源标记的检测;

10、溯源模块,用于若所述工具入参包括污点数据源标记,则挂起所述目标工具节点,以所述目标工具节点为切片起点,在所述运行轨迹列表中沿运行依赖链路进行反向切片溯源得到局部决策因果图;

11、校验模块,用于基于所述局部决策因果图,对所述目标工具节点与用户输入源数据对应的原始意图进行调用逻辑安全校验得到安全校验结果,根据所述安全校验结果对挂起的所述目标工具节点执行调用控制处理。

12、第三方面,本说明书提供一种计算机存储介质,所述计算机存储介质存储有至少一条指令,所述指令适于由处理器加载并执行本说明书一个或多个实施例的方法步骤。

13、第四方面,本说明书提供一种计算机程序产品,所述计算机程序产品存储有至少一条指令,所述指令适于由处理器加载并执行本说明书一个或多个实施例的方法步骤。

14、第五方面,本说明书提供一种电子设备,可包括:处理器和存储器;其中,所述存储器存储有计算机程序,所述计算机程序适于由所述处理器加载并执行本说明书一个或多个实施例的方法步骤。

15、本说明书一些实施例提供的技术方案带来的有益效果至少包括:

16、在本说明书一个或多个实施例中,通过在智能体服务处理任务过程中对数据流注入数据源标记并旁路记录运行轨迹列表,在检测到调用的目标工具节点属于预设敏感类型且工具入参包括污点数据源标记时挂起该目标工具节点,以目标工具节点为切片起点沿运行依赖链路反向切片溯源构建局部决策因果图,进而基于局部决策因果图对目标工具节点与用户原始意图进行调用逻辑安全校验并执行调用控制;有效解决了全量轨迹图分析导致的计算资源冗余与响应延迟高,以及外置语义拦截难以防御复杂逻辑劫持且缺乏因果证据链的技术问题。实现了安全防护资源的按需触发与非对称分配,在常态下维持低计算负载与低延迟响应,仅在风险临界点激活,不仅能精准识别并阻断间接提示注入攻击,兼顾了安全防御精度与运行能效。

1.一种安全防护方法,所述方法包括:

2.根据权利要求1所述的方法,所述对进入智能体服务的任务处理数据流注入数据源标记,包括:

3.根据权利要求2所述的方法,所述基于所述数据源类型对所述任务处理数据流注入相应数据源类型的数据源标记,包括:

4.根据权利要求1所述的方法,所述对所述目标工具节点的工具入参进行所述污点数据源标记的检测,包括:

5.根据权利要求4所述的方法,所述方法还包括:

6.根据权利要求1所述的方法,所述在所述运行轨迹列表中沿运行依赖链路进行反向切片溯源得到局部决策因果图,包括:

7.根据权利要求1或6所述的方法,所述方法还包括:

8.根据权利要求7所述的方法,所述基于所述调用逻辑摘要文本调用安全校验模型对所述目标工具节点与用户输入源数据对应的原始意图进行调用逻辑安全校验得到安全校验结果,包括:

9.根据权利要求1或7所述的方法,所述根据所述安全校验结果对挂起的所述目标工具节点执行调用控制处理,包括:

10.根据权利要求1或7所述的方法,所述对所述目标工具节点与用户输入源数据对应的原始意图进行调用逻辑安全校验之前,还包括:

11.一种智能体安全防护装置,所述装置包括:

12.一种计算机存储介质,所述计算机存储介质存储有多条指令,所述指令适于由处理器加载并执行如权利要求1-10任意一项所述的方法步骤。

13.一种计算机程序产品,所述计算机程序产品存储有至少一条指令,所述至少一条指令由处理器加载并执行如权利要求1-10任意一项所述的方法步骤。

14.一种电子设备,包括:处理器和存储器;其中,所述存储器存储有计算机程序,所述计算机程序适于由所述处理器加载并执行如权利要求1-10任意一项所述的方法步骤。