面向AI智能体的多维受控网关方法、系统及计算机可读存储介质与流程
本发明涉及人工智能应用领域,具体涉及一种面向ai智能体的多维受控网关方法、系统及计算机可读存储介质,旨在实现对ai智能体访问企业资源的全面安全管控及可信调用。
背景技术:
1、随着人工智能技术的迅速发展,越来越多的ai智能体被应用于企业业务流程自动化、数据分析、内容生成等多个场景。
2、随着大语言模型驱动的 ai 智能体在企业生产环境的广泛部署,ai 调用企业能力面临前所未有的多维风险:架构层风险(ai 直接访问底层数据库)、意图层风险(ai 试图调用未授权能力)、行为层风险(ai 因幻觉生成偏差调用)、内容层风险(prompt 注入与pii 泄露)、资源层风险(ai 失控消耗超预算资源)、合规层风险(ai 操作无法事后追溯)。下面分类阐述六类主流现有技术及其固有缺陷。
3、api 网关与流量控制代表实现包括各类 api 网关产品(如 kong、apisix)。这类网关聚焦于 http 层流量分发、限流、鉴权、监控。技术缺陷有以下几点:
4、第一,api 网关工作于协议层而非语义层,仅识别"调用了哪个接口",不识别"ai试图实现什么意图"。
5、第二,限流策略基于客户端标识、接口路径等浅层特征,缺乏对"ai 输出的意图与企业受控能力清单匹配度"的深层判定。
6、第三,对 ai 幻觉无任何识别能力。当 ai 生成一个语法正确但语义错误的调用时,api 网关只能转发请求,造成下游错误。
7、第四,对 ai 直接访问底层数据库等"绕过执行链路"行为无任何阻断能力。
8、第五,对 prompt 注入、pii 跨境脱敏等 ai 时代特有的内容安全需求无支持。
9、大模型 function calling 工具调用代表实现,包括 openai functioncalling、anthropic tool use、各类 agent 框架(langchain、autogen)。这类技术由 ai模型直接产生工具调用请求并传递参数。其技术缺陷有以下几点:
10、第一,工具描述与调用判定耦合在模型推理过程中,无法在企业侧对"模型可见工具清单"做细粒度的运行时裁剪。
11、第二,缺乏对模型输出的"幻觉度"评估。模型可能调用一个描述中存在但实际下线的工具,或调用一个看似合理但参数完全臆造的工具。
12、第三,缺乏与企业状态机的协同。ai 可能对当前状态机不允许跃迁的对象发起调用,导致下游错误。
13、第四,token 计量分散在各 agent 框架中,无法做到租户/agent/能力多维度的统一配额管理。
14、第五,缺乏统一的合规审计沉淀机制,ai 调用记录散布于各 agent 实现中,无法形成全链路证据链。
15、基于规则的内容安全过滤代表实现包括各类内容审核产品。这类技术对 ai 输入与输出的文本内容做敏感词过滤、pii 识别、prompt 注入检测。其技术缺陷有以下几点:
16、第一,工作于内容文本层,对"ai 调用什么能力做什么事"无能为力。
17、第二,过滤规则为静态规则集,对企业特定业务上下文缺乏感知。
18、第三,与意图过滤、能力供给、配额管理、状态机协同等其他机制相互独立部署,缺乏统一关卡。
19、第四,无法识别"ai 调用了清单内的能力但传入了违反业务规则的参数"等深层错误。
20、第五,缺乏熔断机制。即使发现内容风险,过滤器只能阻断单次调用,无法对连续多次的违规模式做出系统性熔断。
21、模型推理服务的资源管理代表实现包括各类模型推理服务平台的限流、计费、配额管理功能。其技术缺陷有以下几点:
22、第一,资源管理与业务语义解耦。仅按 token 数量、调用次数等技术指标做配额,无法按业务语义做精细化分配。
23、第二,配额维度单一。通常仅按用户或 api key 限流,缺乏租户/agent/能力多维度的精细化管控。
24、第三,对"语义重复调用"无识别。同一用户多次问相同问题,每次都触发完整推理,缺乏语义缓存能力。
25、ai 智能体直接调用企业接口代表实现包括:将大语言模型与企业系统简单集成的实践。ai agent 通过函数调用或工具调用直接执行业务操作。其技术缺陷有以下几点:
26、第一,ai 智能体可在系统无感知的情况下调用任意已暴露能力,"ai 调用 — 能力暴露"之间缺乏受控映射。
27、第二,ai 可能绕过指令网关直接读写数据库或执行代码,缺乏"物理隔断层"约束。
28、第三,ai 输出的调用与企业能力清单之间无偏差度评估。ai 因模型版本变化、上下文漂移产生的幻觉调用直接传递至下游。
29、第四,ai 调用链路与人类用户调用链路在审计上无差异化。
30、独立的 ai 安全防护产品代表实现包括:各类 ai 安全产品(如 prompt 注入检测工具、ai 防火墙、模型安全评估平台)。其技术缺陷有以下几点:
31、第一,单点防护而非平面联动。现有 ai 安全产品多为独立组件(如仅做 prompt注入检测),与意图过滤、幻觉熔断、能力供给、合规审计等其他维度无联动。
32、第二,文本级而非业务语义级。prompt 注入检测通常基于文本模式匹配,不感知"ai 试图对哪个业务对象做什么操作"的语义,误报率高,漏报率亦高。
33、第三,与企业状态机/规则引擎无集成。安全产品仅做"内容合规",不做"业务合规"(如状态机冲突检测),无法实现"事前硬执行"拦截。
34、第四,无统一审计沉淀。安全事件散布于各产品,无法与业务调用形成关联,无法支持"给定一个业务对象,查看其历史上所有 ai 调用记录与判定结果"的回溯查询。
35、传统安全控制体系难以满足ai智能体复杂且动态的调用需求,主要存在以下问题:
36、1)ai智能体直接访问底层数据库或执行代码的安全风险高;各类安全机制独立部署,缺乏统一调度与协同控制,容易导致策略冲突或判定遗漏;
37、2)无法对ai智能体的调用意图进行有效事前校验,往往依赖事后审计,安全防护滞后;对ai输出的“幻觉”情况缺乏量化评估与自动熔断机制;
38、3)能力暴露与调用权限难以动态调整,存在过度授权风险;资源消费无多维度配额限制,缺乏精细化预算管理等。
39、因此,现有技术无法满足企业级ai智能体安全、高效、合规的访问控制需求。
技术实现思路
1、本发明的目的是提供一种面向ai智能体的多维受控网关方法,基于“六平面联动”的安全架构,实现对ai智能体调用全过程的物理隔离、意图过滤、幻觉熔断、能力动态供给、内容安全检查与完整合规审计,保障ai调用安全,提升业务连续性与合规管理水平。
2、本发明的另一目的是提供一种上述面向ai智能体的多维受控网关的系统及计算机可读存储介质,旨在实现对ai智能体访问企业资源的全面安全管控及可信调用。
3、为实现上述目的,本发明提出一种面向ai智能体的多维受控网关方法,包括以下步骤:
4、s1,受控隔断:接收来自ai智能体的原始请求,执行ai约束铁律的强制检测,所述ai约束铁律至少包括禁止直接访问数据库、禁止执行未注册代码、禁止绕过网关指令;若检测通过,则将所述原始请求转化为包含意图、参数、执行者及元数据的结构化调用契约,并阻断不符合所述ai约束铁律的请求;
5、s2,意图过滤与状态机协同:接收所述结构化调用契约,提取ai调用意图,将所述ai调用意图与预定义的受控能力清单进行匹配,并对ai智能体的授权进行检查;核心判定步骤为:查询目标业务对象的当前状态机状态及其允许的跃迁集合,若所述ai调用意图所指示的跃迁操作不在所述允许的跃迁集合内,则判定为状态机冲突并立即阻断调用;若通过所有判定,则继续执行后续步骤;
6、s3,幻觉熔断:对通过意图过滤的ai调用请求,从能力存在性、参数合理性、语义偏差度三个维度并行评估其幻觉度,并计算综合幻觉评分;根据所述综合幻觉评分与预设阈值,控制熔断状态机在关闭、打开、半开状态之间的跃迁,对高幻觉风险的调用进行熔断;
7、s4,能力供给与内容安全:对通过幻觉熔断的请求,根据ai智能体身份、租户、业务上下文动态裁剪其可调用的能力清单,并对调用请求进行提示注入攻击检测和敏感信息脱敏处理;
8、s5,合规审计:全链路记录并沉淀所有通过或阻断的调用事件,形成不可篡改的审计记录。
9、进一步而言,所述步骤s1中,所述ai约束铁律还包括禁止直接写入数据库和必须使用结构化契约;所述强制检测通过直接访问检测器执行,所述直接访问检测器至少包括sql模式检测、db端点检测、代码块检测、shell执行检测和eval模式检测中的一种或多种。
10、进一步而言,所述步骤s2中,在所述状态机冲突判定之前,还包括顺序执行的能力清单匹配、agent授权检查和合规策略检查;所述状态机冲突判定为核心判定节点,一旦判定冲突,立即终止后续判定流程并进入降级处理模块,所述降级处理模块提供缓存回退、人类介入、拒绝响应三级路径。
11、进一步而言,所述步骤s3中,所述能力存在性评估为比对调用能力标识与当前可见能力子集;所述参数合理性评估为比对参数与能力模式(schema)的类型、值域和依赖关系;所述语义偏差度评估为计算原始提示(prompt)嵌入向量与能力描述嵌入向量的余弦距离;所述综合幻觉评分的计算权重为动态权重,根据ai智能体的历史表现、业务上下文或能力类型进行调整。
12、进一步而言,所述步骤s3中,所述熔断状态机的跃迁规则为:当综合幻觉评分超过第一阈值时,从关闭状态跃迁至打开状态;在打开状态持续预设冷却期后,跃迁至半开状态;在半开状态下,若试探调用请求的幻觉度均低于第二阈值,则跃迁回关闭状态,否则重新跃迁至打开状态。
13、另外,本发明还公开了一种面向ai智能体的多维受控网关系统,包括:
14、受控隔断平面模块:用于接收ai智能体的原始请求,执行ai约束铁律的强制检测,将通过的请求转化为结构化调用契约,并阻断违规请求;
15、意图过滤平面模块:与所述受控隔断平面模块连接,用于接收结构化调用契约,提取ai意图并与受控能力清单匹配,检查授权,其核心包括一个状态机引擎,用于查询目标业务对象的状态并检测ai意图是否与状态机允许跃迁集合冲突,若冲突则阻断调用;
16、幻觉熔断平面模块:与所述意图过滤平面模块连接,用于从能力存在性、参数合理性、语义偏差度三个子维度评估ai调用请求的幻觉度,并基于综合评分驱动一个熔断状态机,以关闭、打开、半开三种状态控制请求放行;
17、能力供给平面模块:与所述幻觉熔断平面模块连接,用于动态裁剪并输出ai智能体可见的能力清单;
18、内容安全平面模块:与所述能力供给平面模块连接,用于对调用请求进行注入攻击检测和数据脱敏;
19、合规审计平面模块:与所有前述平面模块连接,用于全链路记录所有调用事件并存储至不可篡改的存储介质中;
20、支撑模块层:包括所述受控隔断平面模块、意图过滤平面模块、幻觉熔断平面模块、能力供给平面模块、内容安全平面模块和合规审计平面模块在内的核心平面提供多维度token配额管理、语义缓存和降级处理服务。
21、进一步而言,所述受控隔断平面模块进一步包括直接访问检测器和契约转化器;所述直接访问检测器用于检测所述原始请求是否包含直接数据库操作、代码执行或系统命令执行模式;所述契约转化器用于将合规的所述原始请求转化为包含执行指令、参数、执行者信息和元数据的结构化调用契约,并对契约的完整性进行校验。
22、进一步而言,所述意图过滤平面模块包括顺序连接的意图提取器、能力清单匹配器、agent授权检查器、状态机冲突检测器和合规策略检查器;所述状态机冲突检测器与一个外部的基线状态机组件联动,通过查询目标业务对象的当前状态和允许跃迁集合,在所述ai智能体的意图指示的跃迁操作不在所述允许跃迁集合内时,生成状态机冲突判定结果并触发阻断动作。
23、进一步而言,所述幻觉熔断平面模块包括三子维度评估器和综合评分器;所述三子维度评估器包括能力存在性评估器、参数合理性评估器和语义偏差度评估器,分别用于计算对应子维度的幻觉度评分;所述综合评分器用于根据动态权重计算综合幻觉评分;所述熔断状态机根据所述综合幻觉评分在关闭、打开、半开状态之间跃迁,并据此放行或拒绝后续请求。
24、再者,本发明还公开了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如上述面向ai智能体的多维受控网关的方法。
25、借由上述技术方案,本发明具有如下显著技术效果:
26、1)本发明通过六平面联动协同架构,突破传统独立部署机制的不足,实现ai访问控制的统一关卡管理;物理隔断+结构化契约极大提升访问安全;
27、2)事前硬执行避免越权风险;幻觉度量化实现可信度自动控制;能力供给动态裁剪最小化暴露面;
28、3)内容安全统一脱敏策略保障隐私合规;多维度配额细化资源管控;语义缓存降低耗费成本;全链路不可篡改审计保障合规追溯;多级降级保障系统稳定性及业务连续;
29、4)整体提升企业ai资源调度效率和安全保障水平,满足日益复杂的ai应用合规需求。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com