一种AI智能体越权操作检测与拦截方法与流程

本发明涉及人工智能安全领域，尤其涉及一种ai智能体越权操作检测与拦截方法。

背景技术：

1、随着大语言模型技术的发展，人工智能已由被动的对话式助手演进为具备自主规划、工具调用、代码执行以及多智能体协作能力的自主智能体，以下简称智能体。智能体能够代表用户自主进行决策，并通过调用外部工具执行一系列外部动作，所述外部工具包括应用程序接口、函数、数据库操作、文件系统操作以及网络请求等，由此完成复杂任务。

2、智能体的动作决策由自然语言驱动，其对任务意图的理解与执行具有不确定性。当智能体在处理任务的过程中接触到被恶意构造的外部内容时，其后续的动作决策可能被操控，进而执行超出用户真实授权范围的操作，例如删除数据、权限提升以及敏感信息外泄等，即产生越权操作。上述操控智能体行为的攻击方式包括直接提示注入和间接提示注入，其中间接提示注入是指恶意指令隐藏于工具返回结果、检索召回文档、网页内容等外部数据之中，在智能体处理这些数据时隐蔽地影响其决策。

3、为应对智能体的越权风险，现有技术主要包括以下三类方案。

4、1、基于静态策略的权限网关。该类方案在智能体与工具之间设置策略执行点，对每一次工具调用请求进行拦截，并依据预先配置的静态访问控制策略判定放行或者拒绝。

5、2、基于最小权限与沙箱隔离的方案。该类方案为智能体分配完成任务所需的最小权限，并通过操作系统级的命名空间、控制组、容器或者虚拟机等手段构建运行时隔离环境，限制智能体所执行动作对宿主资源的实际影响范围。

6、3、基于输入过滤的提示注入检测方案。该类方案在输入进入模型之前，通过关键词黑名单、对抗性提示检测模型或者语义分类器，判断输入之中是否含有试图操控模型的恶意指令。

7、然而，上述现有技术均存在以下缺陷。

8、1、基于静态策略的权限网关只能判定智能体是否具有调用某一工具的权限，而无法判定该动作是否符合用户的原始意图。当智能体被外部内容诱导而调用一个其本身具有权限、但用户从未要求的操作时，静态策略会予以放行，因而无法防范权限范围之内的意图偏离型越权。

9、2、越权目标往往并非通过单一高危动作达成，而是通过若干个各自均处于授权范围之内的动作组合，逐步累积达到一个未被授权的目标状态。逐个动作进行审查的静态策略，对动作序列中的每一步均判定为合规，无法识别动作序列在整体上所构成的累积型越权。

10、3、基于输入过滤的提示注入检测多在输入端进行文本层面的过滤。当恶意指令藏匿于工具返回结果、检索召回文档、网页内容等外部数据之中并以隐蔽方式影响智能体的后续决策时，难以在动作执行环节判定某一动作究竟是响应用户的真实指令，还是被外部污染内容所触发，因而无法防范间接注入触发型越权。

11、因此，现有技术亟需一种能够在动作执行之前，综合考量动作与用户意图的语义一致性、任务链上的累积能力边界以及动作决策依据的数据来源可信度，从而对智能体的越权操作进行精准检测与自适应拦截的方法。

技术实现思路

1、为解决智能体权限内意图偏离型越权、多步累积型越权以及间接注入触发型越权的问题，本发明提供一种ai智能体越权操作检测与拦截方法，在智能体的决策模块与工具执行模块之间设置动作可信评估层，由所述动作可信评估层执行以下步骤：

2、将用户的原始指令解析为结构化意图基线，所述结构化意图基线包括操作类型集合、操作对象范围和操作约束条件；

3、在所述智能体的待执行动作被所述工具执行模块执行之前对该待执行动作进行拦截，并抽取该待执行动作的结构化动作表征，所述结构化动作表征包括所述待执行动作的操作类型、操作对象、入参以及所述智能体为该待执行动作生成的决策依据文本；

4、对所述结构化动作表征与所述结构化意图基线在多个语义维度上进行一致性计算，得到意图一致性得分；

5、维护任务链状态图，所述任务链状态图的节点表示已执行动作或待执行动作，所述任务链状态图的有向边表示动作之间的数据依赖关系；依据所述任务链状态图追踪所述智能体经动作序列累积获得的累积能力集合，并将所述累积能力集合与本次任务被授权的能力边界进行比对，得到累积能力合规得分；

6、对进入所述智能体上下文的外部内容赋予污点标签，并沿所述决策依据文本对所述污点标签进行传播，判定所述待执行动作的触发动机是否溯源于被赋予污点标签的外部内容，得到污点溯源可信得分；

7、将所述意图一致性得分、所述累积能力合规得分和所述污点溯源可信得分融合，得到所述待执行动作的动态信任评分；

8、依据所述动态信任评分及所述待执行动作的敏感度，对所述待执行动作采取放行、二次确认、降权执行或拦截的响应。

9、进一步地，所述将用户的原始指令解析为结构化意图基线，包括：对所述原始指令进行语义解析，在操作类型、操作对象和操作约束三个维度上抽取结构化三元组，得到所述结构化意图基线，其中所述操作类型集合的取值属于预先定义的受控词表；将所述结构化意图基线编码为意图语义向量。

10、进一步地，所述一致性计算包括：将所述结构化动作表征编码为动作语义向量，计算所述动作语义向量与所述意图语义向量之间的整体语义相似度；在操作类型维度上判定所述待执行动作的操作类型是否属于所述操作类型集合；在操作对象维度上判定所述待执行动作的操作对象是否属于所述操作对象范围；在操作约束维度上判定所述待执行动作是否满足所述操作约束条件；对所述整体语义相似度及上述三个维度的判定结果加权求和，得到所述意图一致性得分，其中任一维度判定为不一致时对所述意图一致性得分施加惩罚。

11、进一步地，所述受控词表中的每一操作类型被预先配置敏感度权重，对于敏感度权重指示为破坏性或不可逆的操作类型，在所述一致性计算中采用高于其余操作类型的一致性阈值。

12、进一步地，所述累积能力集合的追踪包括：当所述任务链状态图中的任一节点所表示的动作产出可解锁其他资源访问权限的中间凭证时，将所述中间凭证所能访问的资源加入所述累积能力集合；当所述待执行动作使所述累积能力集合超出所述能力边界，或使所述任务链状态图中出现预设越权模式子图所对应的可达路径时，判定所述待执行动作构成累积越权，并降低所述累积能力合规得分；当所述待执行动作未使所述累积能力集合超出所述能力边界，且未使所述任务链状态图中出现所述可达路径时，维持所述累积能力合规得分。

13、进一步地，所述预设越权模式子图为由敏感数据读取节点、中间凭证使用节点和数据外发节点经所述有向边依次连接而成的可达路径；所述比对通过在所述任务链状态图每次新增节点时进行增量子图匹配来完成。

14、进一步地，所述污点标签的传播包括：计算所述决策依据文本对被赋予污点标签的外部内容的第一语义归属度，以及所述决策依据文本对所述原始指令的第二语义归属度；当所述第一语义归属度与所述第二语义归属度的差值大于预设阈值时，判定所述待执行动作的触发动机溯源于被赋予污点标签的外部内容，将所述待执行动作标记为污点触发动作，并降低所述污点溯源可信得分；当所述差值不大于所述预设阈值时，判定所述待执行动作为非污点触发动作，并维持所述污点溯源可信得分。

15、进一步地，所述融合包括：当所述意图一致性得分低于意图一致性阈值，且所述待执行动作被标记为污点触发动作时，对所述动态信任评分施加交叉抑制项，使所述动态信任评分的降低幅度大于所述意图一致性得分与所述污点溯源可信得分分别单独作用时所致降低幅度之和。

16、进一步地，所述响应包括：当所述动态信任评分高于放行阈值时，放行所述待执行动作；当所述动态信任评分不高于所述放行阈值且高于降权阈值时，触发二次确认，并在获得确认后放行所述待执行动作；当所述动态信任评分不高于所述降权阈值且不低于拦截阈值时，对所述待执行动作进行降权执行；当所述动态信任评分低于所述拦截阈值时，阻断所述待执行动作，并生成自然语言拦截理由。

17、进一步地，所述方法还包括：记录对所述待执行动作所采取的响应及该响应后续的人工确认或纠正结果，并依据所记录的结果自适应调整所述多个语义维度的一致性阈值、所述能力边界以及所述融合中所采用的权重。

18、与现有技术相比，本发明具有以下有益效果。

19、1、本发明通过在多个语义维度上校验待执行动作与用户原始意图的一致性，能够检测并拦截处于智能体授权范围之内、但偏离用户真实意图的越权操作，克服了现有静态权限策略无法识别权限内意图偏离的缺陷。

20、2、本发明通过维护任务链状态图并追踪智能体累积获得的累积能力集合，能够识别由多个各自合规的动作组合而成的整体越权，克服了现有逐步审查方案无法识别多步累积型越权的缺陷。

21、3、本发明通过在决策动机层面对外部内容进行污点溯源，能够区分待执行动作是响应用户真实意图还是被外部污染内容所触发，克服了现有输入过滤方案无法识别间接注入触发型越权的缺陷。

22、4、本发明将上述三个维度的检测信号融合为对每一待执行动作的动态信任评分，并在意图不一致与污点触发共现时施加交叉抑制，实现了统一、动态且可解释的可信评估与自适应响应。