智能体的操作控制方法、装置、电子设备及存储介质与流程

本技术涉及人工智能，尤其涉及智能体的操作控制方法、装置、电子设备及存储介质。

背景技术：

1、随着大语言模型智能体的发展，智能体系统已能够在用户意图驱动下调用外部工具并执行多步骤任务，例如读取或写入文件、运行系统命令、访问数据库及调用外部接口等。现有的智能体执行模式主要包括反应式执行模式和计划后执行模式，这些执行模式通常依赖于“推理-行动-观察”的循环，或在任务开始前预先生成步骤列表来进行执行调度，从而能够提高多步骤任务的灵活性与可预测性。

2、然而，在智能体执行高风险操作时，现有的受管执行方案多停留在工作流层面的宏观治理，工具返回的不可信外部内容往往与智能体的后续推理上下文直接共享，导致这些外部内容容易引起智能体的意图漂移或越权操作，甚至改变已批准的执行边界；此外，现有的执行机制通常未在工具调用实际下发的拦截点引入针对预声明边界的校验约束，且在执行完成后难以对智能体预声明的计划动作与实际产生的读写副作用进行形式化的逐项对账，从而导致智能体在多工具、多轮次执行时难以形成结构化的控制边界，缺乏统一的执行证据记录与验证机制，进而造成现有的智能体系统在实际应用中执行高风险操作时的安全闭环管理能力和运行可控性较低的情况。

技术实现思路

1、本技术实施例提供了一种智能体的操作控制方法、装置、电子设备及存储介质，能够解决以上技术问题。

2、为实现上述目的，本技术实施例的第一方面提出了一种智能体的操作控制方法，所述方法应用于计算机设备的工具调用拦截层，所述工具调用拦截层运行于智能体的推理层与下游资源层之间，所述方法包括：

3、响应于所述智能体生成的候选工具调用请求，获取与所述候选工具调用请求关联的当前执行边界；

4、基于所述当前执行边界对所述候选工具调用请求进行合法性校验，得到请求合法性结果；

5、当所述请求合法性结果表征所述候选工具调用请求校验通过时，执行所述候选工具调用请求对应的操作，以生成实际执行记录，并将执行操作产生的外部返回内容存入预设的隔离存储区；

6、基于所述当前执行边界以及所述实际执行记录，对所述候选工具调用请求的实际执行副作用进行逐项判定，得到判定分析结果；

7、基于所述判定分析结果，对所述智能体的运行状态进行迁移控制。

8、在一些实施例中，所述基于所述当前执行边界对所述候选工具调用请求进行合法性校验，得到请求合法性结果，包括：

9、基于所述当前执行边界中进行提取，得到受保护字段，并基于所述受保护字段的字段值进行摘要计算，得到实时摘要值；

10、将所述实时摘要值与预存的基准摘要值进行一致性比对，得到一致性比对结果；

11、当所述一致性比对结果表征所述实时摘要值与所述基准摘要值比对一致时，基于所述候选工具调用请求进行提取，得到多维运行属性，并将所述多维运行属性与预存的有效授权决策进行覆盖判定，得到覆盖判定结果；

12、当所述覆盖判定结果表征所述有效授权决策覆盖所述多维运行属性时，生成表征所述候选工具调用请求校验通过的所述请求合法性结果。

13、在一些实施例中，所述基于所述受保护字段的字段值进行摘要计算，得到实时摘要值，包括：

14、获取所述当前执行边界的序列化版本标识，并基于预设的字符编码规则对所述受保护字段的对象键名进行重排，得到规范化字节序列；

15、将所述序列化版本标识、所述受保护字段的名称集合以及所述规范化字节序列进行拼接，得到拼接数据，并将所述拼接数据输入至预设的密码哈希函数中进行单向散列计算，得到所述实时摘要值。

16、在一些实施例中，所述多维运行属性包括工具标识、动作类型、资源访问集合以及当前时间戳，所述将所述多维运行属性与预存的有效授权决策进行覆盖判定，得到覆盖判定结果，包括：

17、获取有效期晚于所述当前时间戳的授权决策，作为所述有效授权决策；

18、当所述有效授权决策在多个属性维度上均包含所述多维运行属性时，生成表征所述有效授权决策覆盖所述多维运行属性的所述覆盖判定结果。

19、在一些实施例中，所述将执行操作产生的外部返回内容存入预设的隔离存储区，包括：

20、控制所述隔离存储区与存储所述当前执行边界的合约存储区之间保持写入隔离；

21、将所述隔离存储区中的所述外部返回内容进行合规验证，并在合规验证通过后，将所述外部返回内容作为修订输入，生成新版本候选边界；

22、将所述新版本候选边界替换所述当前执行边界。

23、在一些实施例中，所述基于所述当前执行边界以及所述实际执行记录，对所述候选工具调用请求的实际执行副作用进行逐项判定，得到判定分析结果，包括：

24、基于所述当前执行边界进行解析，得到计划动作；

25、将所述计划动作与所述实际执行记录进行特征比对，得到特征比对结果；

26、当所述特征比对结果表征所述实际执行记录中存在与所述计划动作关联的调用标识，且所述实际执行记录中的实际调用类型与所述计划动作一致，且所述实际执行记录中的实际资源访问集合未超出所述计划动作的授权范围，以及所述实际执行记录中的实际执行结果满足所述计划动作的成功标准时，生成表征对账通过的所述判定分析结果。

27、在一些实施例中，所述基于所述判定分析结果，对所述智能体的运行状态进行迁移控制，包括：

28、当所述判定分析结果表征所述实际执行记录超出授权范围，或者所述实际执行记录中的实际调用类型与计划动作不一致时，生成对账失败结果；

29、基于所述对账失败结果，将所述智能体的所述运行状态限制在拒绝接受状态或人工升级处置状态。

30、在一些实施例中，在所述响应于所述智能体生成的候选工具调用请求，获取与所述候选工具调用请求关联的当前执行边界之前，所述方法还包括：

31、获取所述候选工具调用请求的请求上下文，并基于所述触发控制规则对所述请求上下文进行命中判断，得到命中判断结果；

32、当所述命中判断结果表征所述请求上下文命中所述触发控制规则，且当前存在待生效的新控制策略时，确定所述候选工具调用请求所属的会话标识；

33、对所述会话标识进行散列取模，得到对应的分桶数值；

34、当所述分桶数值在预设的灰度生效区间内时，对所述候选工具调用请求应用所述新控制策略；

35、当检测到策略运行期间的对账失败比例超过预设安全阈值时，重置所述灰度生效区间，以控制系统回退至应用旧控制策略的状态。

36、为实现上述目的，本技术实施例的第二方面提出了智能体的操作控制装置，所述装置应用于计算机设备的工具调用拦截层，所述工具调用拦截层运行于智能体的推理层与下游资源层之间，所述装置包括：

37、响应模块，用于响应于所述智能体生成的候选工具调用请求，获取与所述候选工具调用请求关联的当前执行边界；

38、合法性校验模块，用于基于所述当前执行边界对所述候选工具调用请求进行合法性校验，得到请求合法性结果；

39、执行模块，用于当所述请求合法性结果表征所述候选工具调用请求校验通过时，执行所述候选工具调用请求对应的操作，以生成实际执行记录，并将执行操作产生的外部返回内容存入预设的隔离存储区；

40、副作用判定模块，用于基于所述当前执行边界以及所述实际执行记录，对所述候选工具调用请求的实际执行副作用进行逐项判定，得到判定分析结果；

41、状态迁移控制模块，用于基于所述判定分析结果，对所述智能体的运行状态进行迁移控制。

42、为实现上述目的，本技术实施例的第三方面提出了一种电子设备，所述电子设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现如第一方面所述的智能体的操作控制方法。

43、为实现上述目的，本技术实施例的第四方面提出了一种存储介质，所述存储介质为计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的智能体的操作控制方法。

44、本技术实施例提出的智能体的操作控制方法、装置、电子设备及存储介质，方法应用于计算机设备的工具调用拦截层，工具调用拦截层运行于智能体的推理层与下游资源层之间，方法包括：首先，响应于智能体生成的候选工具调用请求，获取与候选工具调用请求关联的当前执行边界；然后，基于当前执行边界对候选工具调用请求进行合法性校验，得到请求合法性结果；之后，当请求合法性结果表征候选工具调用请求校验通过时，执行候选工具调用请求对应的操作，以生成实际执行记录，并将执行操作产生的外部返回内容存入预设的隔离存储区；接下来，基于当前执行边界以及实际执行记录，对候选工具调用请求的实际执行副作用进行逐项判定，得到判定分析结果；最后，基于判定分析结果，对智能体的运行状态进行迁移控制。本技术实施例通过在智能体的推理层与下游资源层之间的工具调用拦截层，基于当前执行边界对候选工具调用请求进行事前合法性校验，并在执行后将产生的外部返回内容存入预设的隔离存储区，使得外部不可信内容无法直接修改已固化的执行边界与控制流，有效降低了工具返回内容导致智能体发生意图漂移或越权操作的风险；进一步地，通过基于当前执行边界与实际执行记录对实际执行副作用进行逐项判定并实施状态迁移控制，实现了对智能体预声明的计划动作与实际产生的读写副作用进行机器可判定的形式化对账，避免了仅凭智能体主观声明判断任务完成的情况，从而在不重构智能体原有推理与行动循环的前提下，为智能体在多工具、多轮次执行时建立了结构化的安全控制边界，提升了智能体系统在执行高风险操作时的安全闭环治理能力与运行可控性。

45、本技术的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本技术而了解。本技术的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。