一种基于跨技能流与授权边界的智能体技能投毒检测方法与流程

摘要: 本发明涉及大模型应用安全,具体为一种基于跨技能流与授权边界的智能体技能投毒检测方法。背景技术:1、大模型智能体通过加载技能(skill)扩展任务执行能力,技能通...
一种基于跨技能流与授权边界的智能体技能投毒检测方法与流程

本发明涉及大模型应用安全,具体为一种基于跨技能流与授权边界的智能体技能投毒检测方法。

背景技术:

1、大模型智能体通过加载技能(skill)扩展任务执行能力,技能通常由描述文本、提示模板、清单文件、工具绑定、依赖组件及可执行脚本组成,以宿主智能体的身份执行并能够访问文件系统、凭据、网络接口及外部服务。随着技能市场的兴起,技能供应链已成为智能体安全的重要攻击面。现有安全检测方法以单个技能、单个工具或单次调用作为分析单元,难以发现仅在多个技能组合后才产生的复合型风险。例如,技能甲读取敏感文件,技能乙对数据进行编码或压缩,技能丙向外部地址发送数据,三个技能分别检查时均可解释为正常功能,但在智能体任务中按特定顺序组合后,即形成完整的敏感数据外泄链。部分投毒行为还设置触发条件,仅在特定任务、输入、环境变量或上下文状态满足时才激活,静态分析难以将触发条件与跨技能数据流及权限边界有效关联。

2、针对上述问题,现有技术主要包括危险关键词匹配、敏感api识别、基于llm的语义分类、单技能沙箱执行及单次调用权限校验等。这些方法普遍存在以下局限:一是分析单元单一,难以识别仅在技能组合后才暴露的拆分载荷型攻击链;二是权限检测通常比较单项权限或权限并集,无法准确反映资源范围、操作目的地、数据传递关系共同形成的组合能力越界;三是静态分析与动态验证相互割裂,静态识别出的威胁链缺少触发条件生成与沙箱验证,检测结果难以复核;四是技能版本更新后需要重复全量分析,检测效率较低。本发明旨在解决上述问题,通过构建跨技能行为图、建立包含主体委派链及信任属性向量的能力元组、实现静态推断与动态验证相结合的检测框架,识别单技能检测无法发现的跨技能复合型投毒与授权边界越界行为。

技术实现思路

1、针对现有技术中所存在的不足,本发明的目的在于提供一种基于跨技能流与授权边界的智能体技能投毒检测方法以解决现有以单个技能为分析单元的安全检测方法无法识别多个技能按特定顺序组合后形成的复合型投毒行为与授权边界越界风险。

2、为实现上述目的,本发明采用了如下的技术方案:

3、一种基于跨技能流与授权边界的智能体技能投毒检测方法,包括:

4、获取待检测的技能集合,采集所述技能集合中每个技能的声明信息、权限信息、实现信息和运行信息,分别建立声明层、权限层、实现层和运行层的多层技能安全表示,并构建技能对象图;

5、将各层技能安全表示中的能力信息转换为结构化能力元组,并分别得到声明能力集合pdecl、授权能力集合pperm、实现能力集合pimpl和观测能力集合pobs;

6、合并各技能的技能对象图,并根据不同技能之间的技能关系构建跨技能行为图;

7、针对候选技能调用路径π,仅对具有跨技能边和输入输出资源关联证据的相邻能力元组进行组合,得到实际能力路径cπ;根据所述授权能力集合pperm和预设授权策略生成授权能力路径aπ;

8、当所述实际能力路径cπ与所述授权能力路径aπ的差异集合δπ中包含同时关联至少两个技能的能力元组时,判定所述技能集合存在跨技能组合能力越界;

9、将敏感资源及不受信输入标记为污点源,将数据外泄操作和高危执行操作标记为危险汇,沿数据流边和跨技能数据交接边传播污点标签;将污点传播路径转换为与所述差异集合δπ相同格式的规范化能力元组集合;当污点从污点源传播至危险汇、传播路径跨越至少一个技能边界、且所述差异集合δπ与所述规范化能力元组集合存在能力元组交集时,生成跨技能威胁链,将存在所述跨技能威胁链判定为所述技能集合存在技能投毒行为,并输出检测结果。

10、进一步,所述结构化能力元组表示为c=(u, r, o, s, d, t, q),其中u表示规范化能力主体及委派链,r表示由输入资源r_in和输出资源r_out构成的资源对,o表示按照执行先后排列的操作序列,s表示资源作用域,d表示操作目的地,t表示触发条件,q表示按照预设等级顺序比较的信任属性向量,所述信任属性向量至少包括数据来源信任级别、执行主体信任级别和目的地信任级别三个分量。

11、进一步,获得所述声明能力集合pdecl、授权能力集合pperm、实现能力集合pimpl和观测能力集合pobs后,执行一致性判断:当实现能力集合pimpl中存在而声明能力集合pdecl中不存在的能力元组,且在预设执行配置和输入约束下存在可达实现路径时,标记为隐藏实现能力;当观测能力集合pobs中存在而授权能力集合pperm中不存在的能力元组,且不存在有效的用户审批、宿主策略或合法委派记录时,标记为运行越权能力;当声明能力集合pdecl中存在而在预设执行配置和输入约束下不存在可达实现路径的能力元组时,标记为声明—实现缺失;当实现能力集合pimpl、观测能力集合pobs与授权能力集合pperm在资源作用域、操作目的地或触发条件上不一致时,标记为边界偏差;所述一致性判断结果作为检测证据参与检测结果输出,不单独作为已验证威胁链结论。

12、进一步,所述跨技能行为图中的跨技能边包括共享资源边、数据交接边、能力委派边、上下文传递边、信任转移边和运行轨迹边中的一种或多种;每条跨技能边关联资源标识、数据工件标识、调用主体、被调用主体、权限作用域、信任边界、关系来源和关系置信度中的一种或多种证据;所述共享资源边通过资源同一性判定确认不同资源标识所表示的同一资源,所述资源同一性判定采用基于资源类型的动态自适应阈值机制,不同类型资源分别配置基准阈值,并依据当前环境的别名解析复杂程度对所述基准阈值进行动态校准。

13、进一步,所述差异集合δπ的计算包括逐一判断所述实际能力路径中的组合能力元组是否被所述授权能力路径覆盖:当且仅当所述授权能力路径中存在一个授权元组,其与所述组合能力元组具有相同的规范化主体链或有效的合法委派关系,其输入资源和输出资源以及资源作用域分别覆盖所述组合能力元组的输入资源、输出资源和作用域,其授权操作序列覆盖所述组合能力元组的操作序列及先后约束,其操作目的地覆盖所述组合能力元组的操作目的地,所述组合能力元组的触发条件蕴含于授权元组允许的触发条件,且所述组合能力元组的信任属性按数据来源、执行主体和目的地三个分量均不低于授权元组所要求的信任级别时,判定所述组合能力元组被覆盖;未被覆盖的组合能力元组加入所述差异集合δπ。

14、进一步,所述污点源包括敏感资源、敏感凭据、敏感上下文和不受信输入中的至少一种;所述危险汇包括外部发送、动态执行、系统命令、高风险工具调用和未授权状态变更中的至少一种;所述污点标签还沿上下文传递边和运行轨迹边中的至少一种传播;对编码、压缩、解码、序列化、摘要、格式转换和中间文件保存节点保留污点标签并将其记录为数据变换节点;所述污点传播采用污点置信度衰减机制:定义不同变换类型的语义保留系数,污点置信度沿传播路径连乘各数据变换节点的语义保留系数,当污点置信度降至预设衰减阈值以下时,该污点标记降级为低置信度痕迹并记录其衰减路径,所述低置信度痕迹不单独作为威胁链判定依据但作为辅助证据参与风险评分。

15、进一步,还包括在所述跨技能行为图上执行能力原语路径匹配,匹配的路径模式包括数据外泄路径、远程执行路径、访问范围突破路径、结果篡改路径和条件潜伏路径中的一种或多种;以及拆分载荷识别:当威胁链所途经的每个技能的单体风险分值均低于单体阈值,而所述威胁链的组合风险分值高于组合阈值,且所述组合风险分值的计算至少包含跨技能边界、授权差异度和污点源至危险汇传播关系时,将所述威胁链标记为拆分载荷型威胁链,所述组合阈值大于所述单体阈值。

16、进一步,还包括触发条件生成与动态验证:从条件分支、输入校验、环境读取、上下文判断、时间状态判断和条件激活边中提取候选触发条件;根据所述候选触发条件、威胁链输入节点和跨技能数据交接关系生成定向验证输入;在隔离沙箱中执行所述技能组合,获取技能调用顺序、工具调用参数、文件访问、网络连接、数据工件传递、上下文读写和危险汇状态变化;将动态执行结果转换为观测能力集合并与所述实际能力路径cπ和所述授权能力路径aπ进行核对;当动态轨迹满足以下两类条件时,将所述威胁链确认为已验证威胁链:第一类条件为技能路径与危险汇至少一项与静态威胁链一致,第二类条件为敏感源到危险汇的数据流向与授权边界差异至少一项与静态威胁链一致,且动态数据工件、调用参数或资源证据能够与静态威胁链关联;当静态威胁链未被动态触发时,将其标记为潜在威胁链,记录未满足的触发条件或不可达节点,并根据所述记录补充生成验证输入进行迭代验证;所述迭代验证设定终止条件:最大迭代次数达到预设上限或连续预定次数迭代中新增可触发证据数量为零时强制终止,终止后对于仍未触发的潜在威胁链依据其静态风险评分分级输出。

17、进一步,还包括:依据敏感源等级、危险汇等级、跨越的技能边界数量、实际能力路径与授权能力路径的差异程度、所述隐藏实现能力、所述运行越权能力、拆分载荷属性、条件潜伏属性、信任转移属性和动态状态变化程度中的一种或多种,计算归一化的组合风险分值并输出风险等级;组合风险分值rπ按如下公式计算:

18、rπ=w1·ssrc+w2·shub+w3·bπ+w4·dπ+w5·tπ+w6·vπ

19、其中,ssrc为敏感源等级,按预设敏感源分级表归一化至[0,1];shub为危险汇等级,按预设危险汇分级表归一化至[0,1];bπ为边界跨越度;dπ为授权差异度;tπ为隐蔽性因子;vπ为动态危害度;w1至w6为预设权重,各权重均≥0且总和为1;

20、所述边界跨越度bπ按照如下公式计算:

21、bπ=min(1,(n_skill−1+n_trust+n_scope)/b_max)

22、其中,n_skill为所述威胁链途经的技能数量,n_trust为所述威胁链跨越的信任边界数量,n_scope为所述威胁链中发生资源作用域扩张的次数,b_max为预先配置的理论最大归一化常数;

23、所述授权差异度dπ按照如下公式计算:

24、dπ=|δπ|/max(1,|cπ|)

25、其中,|δπ|表示所述差异集合中能力元组的个数,|cπ|表示所述实际能力路径中能力元组的总数;

26、所述隐蔽性因子tπ按照如下公式计算:

27、tπ=α1·i(条件潜伏)+α2·i(拆分载荷)+α3·i(信任转移)

28、其中,i(·)为指示函数,α1、α2、α3为预设子权重,α1+α2+α3=1;所述隐蔽性因子tπ还包括低置信度污点痕迹的加权修正项t_trace=γ×(低置信度痕迹数量/总变换节点数),其中低置信度痕迹数量为污点置信度降至预设衰减阈值以下的污点标记个数,总变换节点数为污点传播路径上所有数据变换节点的总数,γ为预设修正系数,更新后的隐蔽性因子tπ'=min(1,tπ+t_trace);

29、所述动态危害度vπ按照如下公式计算:

30、vπ=动态验证中发生实际状态变化的危险汇数/危险汇总数

31、当所述组合风险分值rπ达到高风险阈值时输出高风险结论,达到中风险阈值但未达到高风险阈值时输出中风险结论,其余输出低风险或待验证结论;

32、以及对每条风险结论生成证据链,所述证据链记录相关技能标识、版本、来源、各层能力集合、威胁链节点、跨技能边、敏感源、数据工件、数据变换节点、危险汇、实际能力路径、授权能力路径、差异集合、触发条件、验证输入和动态执行轨迹中的一种或多种。

33、进一步,还包括版本差异复测:保存当前技能集合的声明能力、授权能力、实现能力、观测能力和跨技能行为图作为基线;当任一技能更新为新版本时,对新旧版本的多层技能安全表示和跨技能行为图进行差异比较,得到新增、删除、修改、替换、触发条件变化、授权范围变化、关系证据变化和依赖变化中的一种或多种差异;根据差异节点和差异边计算受影响路径闭包;仅针对受影响路径重复执行计算实际能力路径和授权能力路径、判定跨技能组合能力越界、生成跨技能威胁链以及进行风险评估和证据链生成的步骤,并将检测结果与旧版本检测结果关联后更新所述基线;所述受影响路径闭包的计算包括显式图变化路径与隐式数据面依赖路径的并集:识别变更技能在运行时可写入的共享资源类型,检索所述基线中所有读取或消费所述共享资源的其他技能,将所述其他技能与所述变更技能之间通过共享资源形成的隐式依赖关系纳入所述受影响路径闭包。

34、相比于现有技术,本发明具有如下有益效果:

35、本发明通过采集智能体技能的声明权限实现与运行四层信息构建结构化能力元组,整合跨技能行为图,沿资源传递与调用关系将上下游能力逐段组合形成实际能力路径,并与依据授权策略生成的授权能力路径按主体资源操作序列目的地触发条件及信任属性向量进行逐要素覆盖比对,检出未被授权覆盖的组合能力元组以判定跨技能组合能力越界;在此基础上执行跨技能污点传播与能力原语路径匹配识别拆分载荷型威胁链,结合触发条件生成隔离沙箱动态验证及静态动态核对机制降低误报并确认真实风险,最终输出归一化风险等级与可追溯证据链,并支持基于受影响路径闭包的版本差异增量复测。本发明能够有效发现单技能检测无法识别的跨技能复合型投毒数据外泄与授权边界越界行为,提升智能体供应链安全检测的全面性准确性与可复核性,同时显著降低大规模技能集合的复测成本。