面向智能体工具调用的分级风险决策与范围化审批方法与流程
本发明涉及人工智能安全、智能体工具调用控制、运维自动化、人机协同审批和访问控制,尤其涉及一种面向智能体工具调用的分级风险决策与范围化审批方法、系统、设备及介质。
背景技术:
1、随着大语言模型和自治智能体在运维安全领域的应用,系统开始允许智能体根据用户目标自主选择工具、组织参数并执行命令。相较于传统脚本,智能体能够在一次会话内动态调整计划、读取运行结果、切换目标服务器并继续调用工具,因此具备更高的自动化能力。
2、然而,工具调用能力也带来新的安全边界问题。智能体生成的命令、远程文件路径、容器管理动作或平台管理参数可能包含写入、删除、重启、提权或网络策略修改等高影响操作。如果仅依赖用户自然语言意图或在前端展示一段命令文本进行确认,系统难以稳定区分低风险查询、普通状态变更、高危操作和灾难级操作。
3、现有高危命令拦截方案多基于简单关键字匹配,例如识别删除命令、服务重启命令或磁盘格式化命令。该方案存在三个不足:其一,不同工具的输入结构不同,容器管理、文件上传和平台管理动作不能统一用单一命令字符串表达;其二,同一动作在不同目标服务器、不同接入账号或不同提权模式下风险不同,简单关键字无法描述授权边界;其三,审批结果通常只表示“通过”或“拒绝”,缺少对授权范围和复用条件的明确约束。
4、在实际运维场景中,用户常常希望对同类低中风险写操作进行短期授权,例如在同一会话中允许多次重启同一服务或向同一目录写入临时文件,以降低重复确认成本。但如果审批范围没有目标、账号、工具类型、动作前缀和有效期限制,一次授权可能被错误扩散到其他服务器、其他服务或更高风险动作,形成越权执行。
5、另一方面,自动化任务与手动任务的安全语义并不相同。手动会话可以等待用户实时审批;自动化巡检可能只允许只读查询;自动化修复预案可能在创建时预先限定了工具和命令前缀;还有一些自动化读写任务需要在运行中暂停并等待人工审批。若系统没有区分手动和自动化策略上下文,就容易出现自动任务绕过审批或手动任务被错误阻断的问题。
6、此外,平台级灾难操作具有不可恢复或大范围破坏风险,例如格式化磁盘、对根目录执行递归删除、向块设备写入数据或递归修改根目录权限。对于这类操作,仅有点击批准不足以证明用户理解了具体风险,需要通过输入指定确认文本或完整动作内容进行强确认,并禁止将该强确认扩展为会话范围授权。
7、因此,亟需一种能够将不同工具调用统一建模、按策略上下文生成分级判定、将审批结果限定在明确范围内并对灾难级操作执行强确认的技术方案,以提高智能体工具调用的安全性、可审计性和可控性。
技术实现思路
1、本发明的目的在于提供一种面向智能体工具调用的分级风险决策与范围化审批方法、系统、设备及介质,用于解决现有智能体工具调用控制中工具输入难统一、风险判定粗糙、审批范围不受限、自动化与手动策略混用以及灾难级操作确认不足的问题。
2、为实现上述目的,本发明采用如下技术方案:在智能体发起任意工具调用时,首先由工具中间件截获工具名称和工具输入,并按照工具类型将其归一化为动作描述符;然后由策略引擎结合动作描述符、策略上下文、授权模式、只读约束、黑名单、远程写入特征、提权标志和危险模式生成策略判定;最后由工具中间件根据策略判定决定工具调用是否直接执行、阻断、进入普通审批、进入高危二次确认或进入灾难级强确认。
3、在一种实现方式中,动作描述符包括工具名称、工具输入、命令、会话标识、目标服务器标识、访问画像标识、访问用户名、提权模式、远程路径、提权标志、操作类别、工具输入哈希和动作签名。工具输入哈希通过对输入对象进行稳定序列化并计算摘要得到;动作签名根据工具类型生成,例如远程命令工具采用命令文本,容器管理工具采用动作、目标和命令组合,远程文件写入工具采用目标路径。
4、在一种实现方式中,策略判定包括决策类型、风险等级、操作类别、原因码、原因说明、展示摘要、策略版本、是否需要二次认证、确认挑战文本和审批范围选项。决策类型包括自动放行、直接阻断、普通审批、高危二次确认和灾难级强确认。审批范围选项包括本次调用和会话范围内同类动作,其中高危二次确认和灾难级强确认仅允许本次调用。
5、在一种实现方式中,策略引擎先识别灾难级模式;若命令或动作签名匹配灾难级规则,则直接输出灾难级强确认判定,且不受宽松授权模式影响。随后,策略引擎根据自动化只读或手动只读策略阻断写入、提权和服务变更动作;根据宽松授权模式放行普通写入但保留灾难级强确认;根据平台管理、容器破坏性操作、提权、远程写入和状态变更生成对应的高危或普通审批判定。
6、在一种实现方式中,当策略判定需要审批时,审批管理模块生成请求标识并创建待审批记录。所述待审批记录包含命令或动作签名、风险等级、确认挑战文本、工具名称、目标服务器、访问画像、操作类别、原因码、展示摘要、策略版本、工具输入哈希、审批范围选项和是否需要二次认证的标志。审批事件被发送至当前会话或自动化任务的审批入口,工具调用在等待事件上暂停。
7、在一种实现方式中,审批解析阶段支持批准、拒绝、修改和超时。对于灾难级强确认,审批解析阶段必须校验用户提交的确认文本是否与确认挑战文本匹配;不匹配时不释放等待事件且不执行工具。对于普通审批,若用户选择会话范围内同类动作授权,则会话级审批缓存记录会话、目标、账号、工具、操作类别、命令前缀或路径前缀和有效期。后续动作必须重新构造动作描述符并匹配缓存,才允许复用审批。
8、在一种实现方式中,自动化策略上下文包括自动只读、自动预确认和自动读写审批。自动只读上下文下,远程写入、提权或状态变更被直接阻断;自动预确认上下文下,普通或高危写动作必须命中创建任务时给定的结构化预授权范围;自动读写审批上下文下,工具调用可以进入人工审批等待,且审批记录可用于通知、移动端或会话详情页恢复。
9、与现有技术相比,本发明至少具有以下有益效果:第一,通过动作描述符统一不同工具的风险事实源,使命令、文件、容器、平台管理等调用可用同一策略判定流程处理;第二,通过工具输入哈希、动作签名和策略版本提升审计与一致性校验能力;第三,通过本次调用和会话同类动作两级审批范围降低重复审批成本,同时限制授权扩散;第四,通过灾难级强确认文本校验和一次性授权减少不可逆操作误执行;第五,通过手动和自动化策略上下文区分不同运行来源,提高智能体工具调用的可控性。
10、本发明适用于由大语言模型、规划代理或自治智能体驱动的运维助手、安全处置助手、自动化巡检系统、配置管理系统和多工具任务执行平台,特别适用于智能体能够调用远程命令、文件写入、容器管理、平台管理和沙箱生成等工具的场景。
1.一种面向智能体工具调用的分级风险决策与范围化审批方法,其特征在于,包括:在智能体发起工具调用时,由工具中间件截获工具名称和工具输入;根据所述工具名称和工具输入构造动作描述符,所述动作描述符至少包括命令或动作签名、目标对象、接入账号、提权标志、远程路径、操作类别和工具输入哈希;将所述动作描述符与当前策略上下文输入策略引擎,生成包含决策类型、风险等级、原因码、展示摘要、策略版本和审批范围选项的策略判定;由所述工具中间件根据所述策略判定在工具执行之前执行放行、阻断、普通审批、高危二次确认或灾难级强确认;当策略判定需要审批时,生成待审批请求并将审批结果限定为本次工具调用或会话范围内的同类动作,以对智能体工具调用进行分级风险控制和范围化授权。
2.根据权利要求1所述的方法,其特征在于,构造所述动作描述符包括:对工具输入执行稳定序列化并计算哈希值,得到所述工具输入哈希;针对远程命令工具、容器管理工具、远程文件写入工具和平台管理工具分别生成动作签名;根据工具名称和输入字段确定操作类别,所述操作类别包括远程命令、远程文件写入、远程容器管理、档案写入、平台管理或沙箱写入中的至少一种。
3.根据权利要求1所述的方法,其特征在于,所述动作描述符还包括会话标识、目标服务器标识、访问画像标识、访问用户名和提权模式;所述策略引擎利用上述描述符将同一命令在不同目标、不同账号或不同提权模式下判定为不同授权对象,以防止审批结果跨目标或跨账号复用。
4.根据权利要求1所述的方法,其特征在于,所述策略判定的决策类型包括自动放行、直接阻断、普通审批、高危二次确认和灾难级强确认;其中普通审批用于远程写入或状态变更动作,高危二次确认用于服务停止、破坏性容器管理、平台管理或高影响远程操作,灾难级强确认用于匹配预设灾难级规则的命令或动作。
5.根据权利要求1所述的方法,其特征在于,所述策略上下文至少包括手动上下文和自动化上下文;在手动上下文中,根据只读、标准、严格或宽松授权模式生成不同审批范围选项;在自动化上下文中,根据自动只读、自动预确认或自动读写审批模式,分别执行远程写入阻断、结构化预授权范围校验或人工审批等待。
6.根据权利要求5所述的方法,其特征在于,自动预确认模式中的结构化预授权范围包括允许工具集合、目标对象集合、允许命令前缀集合和允许远程路径前缀集合;工具中间件对工具名称、当前目标对象和动作签名或远程路径进行匹配,未命中所述结构化预授权范围时阻断工具调用。
7.根据权利要求1所述的方法,其特征在于,当策略判定为灾难级强确认时,所述待审批请求携带确认挑战文本,审批解析阶段要求用户提交的确认文本与所述确认挑战文本相匹配;若确认文本不匹配,则不释放工具调用的等待事件且不执行所述工具调用;灾难级强确认的审批范围选项被限定为本次调用。
8.根据权利要求1所述的方法,其特征在于,将审批请求持久化为待审批记录,所述待审批记录包括请求标识、会话标识、命令或动作签名、风险等级、确认挑战文本、工具名称、目标对象、接入账号、操作类别、原因码、展示摘要、策略版本、工具输入哈希、审批范围选项和是否需要二次认证的标志。
9.根据权利要求1所述的方法,其特征在于,当用户批准普通审批并选择会话范围内同类动作授权时,生成会话级审批缓存;所述会话级审批缓存保存会话标识、目标对象、接入账号、工具名称、操作类别、命令前缀或路径前缀以及有效期;工具调用仅在重新构造的动作描述符与所述会话级审批缓存匹配且策略判定仍为普通审批时复用审批结果。
10.根据权利要求9所述的方法,其特征在于,高危二次确认和灾难级强确认不写入所述会话级审批缓存;用户在审批响应中选择会话范围时,工具中间件将其降级为本次调用授权或重新发起审批。
11.一种面向智能体工具调用的分级风险决策与范围化审批系统,其特征在于,包括:动作归一化模块,用于将智能体工具调用转换为动作描述符;策略判定模块,用于根据所述动作描述符和策略上下文生成策略判定;工具中间件模块,用于在工具执行之前按照所述策略判定执行放行、阻断、审批、二次确认或强确认;审批管理模块,用于持久化待审批请求、校验确认文本、解析审批结果并维护会话级审批缓存;审计模块,用于记录策略版本、风险等级、原因码、工具输入哈希和审批范围。
12.一种电子设备,其特征在于,包括处理器和存储器,所述存储器存储有计算机程序,所述计算机程序被所述处理器执行时实现权利要求1至10任一项所述的方法。
13.一种计算机可读存储介质,其特征在于,其上存储有计算机程序,所述计算机程序被处理器执行时实现权利要求1至10任一项所述的方法。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com