一种AIAgent受控执行的多级安全门控方法及系统与流程
本发明涉及工具调用安全,更具体地公开了一种ai agent受控执行的多级安全门控方法及系统。
背景技术:
1、随着大语言模型与ai agent技术在运维自动化领域的深度应用,ai agent被赋予调用日志读取、资源清理、服务重启、配置修改等工具的执行权限,显著提升了运维效率;然而,直接向ai agent开放工具执行权限也引入了命令注入、模型幻觉、虚假执行声明等多重安全风险,现有防护方案如开放shell执行、关键词黑名单过滤、全人工审批或模型自约束等,均存在攻击面过大、易被绕过、自动化收益抵消或约束力不足等明显缺陷。
2、现有技术中,公告号为cn122179219a的文件公开了“一种基于意图一致性校验的ai智能体安全治理方法及系统”,本发明通过提取用户原始请求意图特征生成向量,在智能体执行工具调用前进行实时拦截,利用一致性校验算法比对原始意图与执行参数的语义关联度,实现对风险动作的精准阻断。核心在于构建了涵盖意图校验、行为防火墙及动态红队演练的防御体系,支持全球实时攻击载荷同步。
3、公告号为cn122366507a的文件公开了“一种基于llm的智能体执行方法”,在该方法中,获取约束规则集合,并基于约束规则集合初始化操作架构,操作架构包括指令模板;接收运维任务请求,并由预设llm模型根据约束规则集合和操作架构,生成中间指令;对中间指令进行语法校验和权限校验;若确定中间指令通过语法校验和权限校验,则从预设加密凭证库中获取执行中间指令所需的安全凭证;将中间指令与安全凭证分发至中间指令对应的执行器,由执行器执行中间指令,并生成执行结果。
4、公告号为cn119886152a的文件公开了“一种提示注入防御方法、系统、电子设备及存储介质”,本技术通过从输入文本和大语言模型的运行状态两个方面进行紧密结合,不仅可以准确检测出大模型受到的提示注入攻击以及高效防止大模型受到恶意攻击,并且在面对复杂的攻击场景时可以制定出相对应的防御策略,实现更有效的防御,提升整体防御系统的鲁棒性。
5、公告号为cn122221295a的文件公开了“基于大语言模型的skill加密封装与三层防泄密系统及方法”,本发明可实现skill核心逻辑加密保护、llm执行过程信息隔离、输出内容精准过滤,有效解决agent场景下源码暴露、llm 自然语言泄密等问题。
6、此外,现有学术文献提出了四层全生命周期安全架构,包括输入处理层、决策制定层、动作执行层和状态更新层,并引入能力令牌和风险分层机制;但其层级划分以执行阶段为依据,缺少独立的资产治理准入层、路径策略层和写操作状态机层,其效果闭环为异常触发式回滚而非主动式计划-效果比对校验,且其能力令牌为基于ttl的静态有效期管理,未与操作的实际效果指纹进行绑定,无法检测确认后操作效果漂移和参数替换攻击。
7、综上,现有技术虽然通过多智能体协同检测、意图一致性校验、加密封装与三层防泄密,以及约束规则结合操作架构的双重校验等手段,有效提升了提示注入攻击的识别精度,阻断指令劫持与非授权动作,保护skill核心逻辑与执行过程信息不被泄露,并确保运维指令的语法正确性与权限合规性,增强了ai智能体在复杂场景下的行为可控性与整体防御鲁棒性;但是现有技术仍难以覆盖工具调用执行过程中的动态风险,如开放shell攻击面大、黑名单易被绕过,全人工审批抵消自动化收益,模型自约束缺乏强制力且易产生虚假执行声明,纯llm分类裁决延迟高且确定性不足,缺乏资产治理、路径策略、执行状态机、效果指纹绑定及多步计划组合风险校验等硬性安全管控,无法在保障自动化效率的同时实现可证明、可确认、可追溯的闭环防护。
技术实现思路
1、本发明主要是提供一种ai agent受控执行的多级安全门控方法及系统,能够解决目前背景技术中所提出的问题。
2、为解决上述技术问题,本发明提供如下技术方案,更具体地说是一种ai agent受控执行的多级安全门控方法,包括:
3、s1、接收ai agent发起的工具调用请求,提取请求中的工具调用信息及上下文信息,生成统一风险文本;
4、s2、对工具调用请求执行多项安全门控校验,根据校验结果输出初步裁决状态;
5、s3、将工具调用请求归一化为标准化的效果对象,并基于所述效果对象生成对应的效果指纹,针对写类型操作,将工具调用请求的参数快照、效果指纹及一次性能力凭证关联保存于服务端待确认记录,接收到确认指令后以原子方式取出并核销所述待确认记录,并校验确认请求者、一次性能力凭证的有效性及其与所保存效果指纹的绑定关系,并在真实执行前重新计算当前效果指纹并与保存的指纹进行一致性校验,真实执行完成后,根据与所述标准化效果对象对应的证据契约校验真实执行结果,并根据校验结果限制ai agent输出与真实执行状态不一致的操作完成声明;
6、s4、针对包含多步执行的agent执行计划,将各步骤对应的效果对象按执行顺序构建为效果节点序列,依据写操作步骤数量、不可逆操作累计程度、核心服务影响范围、敏感观测后衔接写操作的组合模式中的至少一种,对所述执行计划的组合风险进行校验并输出最终裁决;
7、s5、对每一次工具调用请求的全流程数据进行记录留存。
8、更进一步的,步骤s1中,信任轮廓信息包含请求来源入口、会话信任等级、历史风险记录属性;统一风险文本由工具名称、调用参数集合、用户自然语言指令以及信任轮廓信息经结构化拼接生成,作为后续各级校验的统一输入依据。
9、更进一步的,步骤s2中,语法与授权校验包括工具名称注册白名单校验、请求入口对应工具开放状态校验、只读工具面禁止列表校验、参数条目与体积及格式合规性校验,校验不通过直接输出拦截状态;提示注入检测与意图风险分级分别对用户自然语言指令、工具构造串独立执行,取更严格等级作为最终意图结论,检测到提示注入特征或意图风险为高等级时直接输出拦截状态;多维风险评分基于工具基础风险、操作路径敏感程度、命令风险模式、运行时权限等级四个维度计算风险总分,结合预设的自动放行阈值与确认阈值完成风险分档;资产治理准入校验针对写类型工具调用执行,治理结论优先级高于风险评分结论,分为禁止操作、仅确认后操作、自动裁决三类等级;路径安全策略校验包括路径穿越防护、敏感路径子串保护、根路径误清理防护以及不同操作类型对应的分类白名单路径前缀校验;初步裁决状态包括自动放行、需确认预览、拦截。
10、更进一步的,步骤s3中,标准化效果对象包含操作类型、操作对象范围、可逆性、权限等级标准化字段,统一不同类型工具调用的风险描述维度;效果指纹基于工具名称、归一化效果内容、规范化后的真实执行参数生成,生成过程排除预执行开关、确认开关类不改变实际执行效果的参数;对于初步裁决为需确认的写类型操作,接收到确认指令后,系统从服务端待确认记录中原子取出并核销参数快照和关联指纹,重新计算当前指纹并进行一致性校验,校验通过后执行真实操作,执行完成后对真实执行结果按照与所述标准化效果对象对应的证据契约进行校验;当请求为真实写执行而工具返回预执行模式,或者真实执行结果缺少证据契约规定的证据字段时,生成执行状态不一致或证据不完整的异常状态。
11、更进一步的,步骤s4中,效果节点序列由多步执行计划中每一步骤对应的效果对象按执行顺序关联构建;计划整体组合风险的校验规则具体为:计划包含治理禁止步骤时整体输出拦截状态,写操作步骤数超出预设阈值时输出拦截或需确认状态,不可逆操作累计分值超出预设阈值时输出拦截状态,核心服务重启扇出数量超出预设阈值时输出拦截或需确认状态,计划包含敏感资产观测后衔接写操作的模式时输出需确认状态。
12、更进一步的,步骤s5中,记录留存的全流程数据包括风险评分结果、裁决编码、治理结论、效果指纹、计划效果节点序列、执行证据、策略版本信息;回放对比具体为将同一工具调用请求输入不同版本的安全策略,输出并对比对应裁决结果。
13、一种ai agent受控执行的多级安全门控系统,具体包括:统一门控核模块,用于对接多类工具调用请求入口并调度安全裁决流程;效果归一与指纹模块,用于将工具调用归一化为标准化效果对象并生成效果指纹;能力凭证模块,用于管理写操作的待确认记录和一次性能力凭证,并校验指纹一致性;写协调与证据模块,用于管控写操作的执行状态流转及执行证据校验;计划级门控模块,用于将多步执行计划的效果对象构建为效果节点序列并裁决组合风险;审计与自检模块,用于记录全流程数据并支持策略回放;多入口集成模块,用于对接多类工具调用请求入口并统一接入统一门控核执行安全裁决。
14、本发明一种ai agent受控执行的多级安全门控方法及系统的有益效果为:通过设计多级串联门控架构,实现了从基础授权到计划组合的全维度风险覆盖,有效提升了防护深度与抗绕过能力,其中三级裁决机制结合双阈值分档,实现了风险分流,在保障高危操作拦截的同时,兼顾了日常运维的自动化效率;通过将参数快照、效果指纹和一次性能力凭证关联保存于服务端待确认记录,并在确认时原子核销及复算效果指纹,避免待确认记录或参数快照异常篡改后的执行;通过证据契约校验,限制与真实执行状态不一致的完成声明;
15、此外,基于效果节点序列的计划级组合风险裁决填补了多步组合风险的防护空白,多入口统一管控与策略回放功能进一步强化了全链路审计与迭代验证能力,整体方案不仅解决了单点防护易失效、模型虚假宣称等共性难题,还通过规则与机器学习融合的意图层设计,为ai agent工具调用提供了更具确定性与可用性的安全管控路径。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com