一种智能体任务执行的人机确认控制方法与流程

本发明涉及人工智能领域，具体涉及一种智能体任务执行的人机确认控制方法。

背景技术：

1、随着大语言模型和智能体技术的快速发展，智能体已能够根据任务目标自动进行任务规划，生成包含多个节点及节点间依赖关系的任务图，并通过调用外部工具逐步执行任务图中的各个节点。这种自动化的任务编排与执行方式，在数据分析、办公协同、系统运维、金融交易等场景中得到越来越广泛的应用，显著提升了复杂任务的执行效率。

2、在智能体自动执行任务的过程中，部分动作节点可能涉及高风险操作，例如批量删除数据、向外部系统发送信息、进行大额支付或导出敏感数据等。目前，针对此类高风险动作的控制方式主要分为两类：一类是在任务执行前进行整体确认，用户在任务启动时一次性审批全部步骤，但这种方式无法在任务执行过程中根据中间结果动态判断风险，用户体验较差且安全性不足；另一类是由开发者在代码中预设固定的确认规则，例如对特定工具调用强制弹出确认框，但这种方式缺乏对任务上下文和依赖关系的综合评估，确认内容与待执行节点的实际参数和依赖上下文缺乏绑定，存在确认后被篡改或上下文变化后仍沿用失效确认的风险。

3、因此，亟需一种智能体任务执行的人机确认控制方法，在任务图执行过程中动态识别高风险节点并插入人工确认环节。

技术实现思路

1、有鉴于此，本发明实施例提供了一种智能体任务执行的人机确认控制方法，以解决相关技术中确认机制依赖静态规则、确认内容与待执行节点缺乏绑定、存在确认后被篡改风险的技术问题。

2、第一方面，本发明实施例提供了一种智能体任务执行的人机确认控制方法，方法包括：

3、响应于任务图中存在尚未执行的节点，获取任务图快照，所述任务图快照至少包括任务图版本标识，所述任务图包含节点及节点间的依赖关系；

4、提取所述尚未执行的节点的风险因子，根据所述风险因子计算综合风险分，并根据当前上下文生成动态阈值，将所述综合风险分达到所述动态阈值或命中强制确认规则的节点标记为风险节点，所述上下文包括当前用户的角色信息、当前任务的业务类型信息、当前运行环境信息和历史异常信息中的至少一项；

5、从所述任务图中确定所述风险节点的必要前驱节点，在所述必要前驱节点完成之后且所述风险节点执行之前插入确认节点，得到改写后的任务图，并对改写后的任务图进行无环校验；

6、根据所述风险节点的信息生成确认信息，并生成绑定摘要，所述绑定摘要用于防止所述风险节点在确认后被篡改；

7、获取针对所述确认信息的反馈信息，根据所述反馈信息的类型变更所述确认节点的状态；

8、在所述改写后的任务图中，根据所述确认节点变更后的状态，以所述任务图快照为基准，将所述绑定摘要与所述风险节点的当前实际信息进行一致性校验；

9、当校验通过时，控制所述风险节点的执行。

10、结合第一方面，在一种实施方式中，所述风险因子包括影响范围、数据敏感等级、不可逆程度、模型不确定性、用户角色风险、历史风险、外部副作用等级和合规等级的至少一项；其中，所述模型不确定性用于表征所述节点的置信度，所述外部副作用等级用于表征所述节点对外部系统产生的影响程度，所述合规等级用于表征所述节点对监管政策或行业标准的符合程度；所述根据所述风险因子计算综合风险分，包括：

11、对每个所述风险因子分别进行归一化处理，并对归一化后的所述风险因子进行加权求和，得到单项求和结果；

12、当所述风险因子中存在满足预定条件的因子对时，为所述因子对增加交互项，并计算所述交互项之和，所述交互项反映所述因子对同时升高时产生的组合风险放大效应；

13、将所述单项求和结果与所述交互项之和经单调函数映射至所述统一数值区间，得到所述综合风险分。

14、结合第一方面，在一种实施方式中，所述根据当前上下文生成动态阈值，包括：

15、获取基准阈值，所述基准阈值为统一配置的阈值起点；

16、根据所述当前用户的角色信息确定角色调整量，根据所述当前任务的业务类型信息确定业务类型调整量，根据所述当前运行环境信息确定环境调整量；

17、依据所述角色调整量、所述业务类型调整量和所述环境调整量对所述基准阈值进行调整，得到调整后阈值；

18、当所述上下文包括历史异常信息时，获取预设时间范围内所述历史异常信息中经核验的异常事件强度信息，根据所述异常事件强度信息降低所述调整后阈值；

19、将所述调整后阈值限制在预定上下界范围内，得到所述动态阈值。

20、结合第一方面，在一种实施方式中，所述强制确认规则包括跨租户写入操作、批量删除操作、金额超过预定阈值的支付操作、向外部系统发送通知的操作和高敏感数据导出操作中的至少一种。

21、结合第一方面，在一种实施方式中，所述必要前驱节点为生成所述确认信息所依赖的节点，所述在所述必要前驱节点完成之后且所述风险节点执行之前插入确认节点，得到改写后的任务图，包括：

22、将所述任务图中所述必要前驱节点指向所述风险节点的入边重定向至所述确认节点；

23、增加从所述确认节点指向所述风险节点的控制边；

24、将所述任务图中非必要前驱节点指向所述风险节点的入边保持原样，得到所述改写后的任务图；

25、当所述改写后的任务图中形成环路或导致条件分支语义不明确或无法覆盖所述风险节点时，放弃插入确认节点操作并转人工处理。

26、结合第一方面，在一种实施方式中，所述插入确认节点，包括：

27、当所述风险节点位于条件分支路径时，将所述确认节点插入于所述条件分支路径中通向所述风险节点的实际分支上；

28、当所述风险节点为多个且属于同一原子事务组，且所述确认信息能够列明多个风险节点的全部动作、参数和总影响范围时，以单一所述确认节点控制所述多个风险节点；

29、当所述任务图包含循环结构时，在当前迭代对应的子图中插入所述确认节点，并记录所述当前迭代的迭代标识，以用于生成所述绑定摘要。结合第一方面，在一种实施方式中，所述根据所述风险节点的信息生成确认信息，并生成绑定摘要，包括：

30、获取所述风险节点的动作信息、参数信息、目标对象信息和所调用的工具信息；

31、根据所述动作信息和所述目标对象信息，确定所述风险节点的影响范围和后果信息；

32、根据所述风险因子的计算结果，获取所述风险节点的风险触发信息；

33、获取所述风险节点的可回滚能力信息；

34、将所述动作信息、所述参数信息、所述目标对象信息、所述工具信息、所述影响范围和后果信息、所述风险触发信息以及所述可回滚能力信息组合，生成所述确认信息；

35、获取风险节点标识和所述必要前驱节点的输出摘要，并对所述参数信息进行标准化处理，得到标准化参数；其中，所述风险节点标识用于在所述任务图中唯一标识所述风险节点，所述输出摘要为所述必要前驱节点的输出内容；

36、获取所述反馈信息的提供者的权限范围，以及所述动态阈值所依据的评估参数配置的版本标识；

37、将所述任务图版本标识、所述风险节点标识、所述标准化参数、所述必要前驱节点的输出摘要、所述权限范围以及所述评估参数配置的版本标识绑定，生成所述绑定摘要。

38、结合第一方面，在一种实施方式中，所述反馈信息的类型包括确认通过、参数修改、拒绝执行和超时；所述根据所述反馈信息的类型变更所述确认节点的状态，包括：

39、当所述反馈信息为确认通过时，将所述确认节点的状态变更为已确认；

40、当所述反馈信息为参数修改时，将所述确认节点的状态变更为已修改，根据修改后的参数更新所述风险节点，并重新评估风险，若重新评估后风险低于所述动态阈值则释放所述风险节点，若仍达到所述动态阈值则生成新版本的确认信息；

41、当所述反馈信息为拒绝执行时，将所述确认节点的状态变更为已拒绝，阻断所述风险节点，并将拒绝原因转换为重规划约束，根据所述重规划约束对所述任务图中受影响节点集合进行局部重规划，生成局部替代计划，若无法生成所述局部替代计划，则终止任务，若所述局部替代计划含高风险节点则生成新版本的确认信息；其中，所述受影响节点集合包括被拒绝的风险节点、依赖所述被拒绝的风险节点输出的后继节点以及与所述被拒绝的风险节点共享同一原子事务组的节点；

42、当所述反馈信息为超时时，将所述确认节点的状态变更为超时，执行停止操作、升级审批操作或重新发起确认操作。

43、结合第一方面，在一种实施方式中，所述将所述绑定摘要与所述风险节点的当前实际信息进行一致性校验，包括：

44、获取所述风险节点的当前实际信息，所述当前实际信息包括当前实际标准化参数、当前必要前驱节点的实际输出摘要、当前权限范围以及评估参数配置的当前实际版本标识；

45、将所述绑定摘要与所述当前实际信息进行比对；

46、当所述绑定摘要与所述当前实际信息一致时，校验通过，释放所述风险节点；

47、当所述绑定摘要与所述当前实际信息不一致时，校验不通过，使所述确认节点失效并生成新版本的确认信息以重新发起确认操作。

48、结合第一方面，在一种实施方式中，其特征在于，还包括：

49、记录所述风险节点的执行行为信息，所述执行行为信息包括所述风险节点的推理过程信息、工具调用序列和中间决策信息；

50、根据所述执行行为信息构建所述风险节点的行为特征向量，所述行为特征向量包括推理一致性指标、工具调用合规性指标和决策稳定性指标；

51、将所述行为特征向量与所述风险节点的历史行为特征向量进行比对，得到特征偏差量；

52、当所述特征偏差量超过预定范围时，生成行为异常信号；

53、根据所述行为异常信号调整所述动态阈值的生成规则，或将所述行为异常信号作为所述强制确认规则的新触发条件，使所述风险节点在后续评估中命中所述强制确认规则。

54、本发明实施例在任务图执行过程中，提取尚未执行节点的风险因子并计算综合风险分，结合当前上下文动态生成确认阈值，从而对高风险节点精准触发人工确认而非对所有操作统一打断；确认节点在必要前驱节点完成之后、风险节点执行之前被插入任务图，并通过绑定摘要将确认决策与任务图版本和节点上下文进行防篡改绑定，在执行前以任务图快照为基准再次校验，确保只有与确认时上下文一致的动作才被释放执行，有效防止确认后被篡改或上下文变化后沿用失效确认，提升了智能体高风险操作的执行安全性和人机协同的可靠性。

55、第二方面，本发明实施例提供了一种智能体任务执行的人机确认控制装置，所述装置包括：

56、快照获取模块，用于响应于任务图中存在尚未执行的节点，获取任务图快照，所述任务图快照至少包括任务图版本标识，所述任务图包含节点及节点间的依赖关系；

57、风险标记模块，用于提取所述尚未执行的节点的风险因子，根据所述风险因子计算综合风险分，并根据当前上下文生成动态阈值，将所述综合风险分达到所述动态阈值或命中强制确认规则的节点标记为风险节点，所述上下文包括当前用户的角色信息、当前任务的业务类型信息、当前运行环境信息和历史异常信息中的至少一项；

58、图重写模块，用于从所述任务图中确定所述风险节点的必要前驱节点，在所述必要前驱节点完成之后且所述风险节点执行之前插入确认节点，得到改写后的任务图，并对改写后的任务图进行无环校验；

59、确认生成模块，用于根据所述风险节点的信息生成确认信息，并生成绑定摘要，所述绑定摘要用于防止所述风险节点在确认后被篡改；

60、反馈处理模块，用于获取针对所述确认信息的反馈信息，根据所述反馈信息的类型变更所述确认节点的状态；

61、一致性校验模块，用于在所述改写后的任务图中，根据所述确认节点变更后的状态，以所述任务图快照为基准，将所述绑定摘要与所述风险节点的当前实际信息进行一致性校验；

62、执行控制模块，用于当校验通过时，控制所述风险节点的执行。

63、第三方面，本发明实施例提供了一种计算机设备，包括：存储器和处理器，存储器和处理器之间互相通信连接，存储器中存储有计算机指令，处理器通过执行计算机指令，从而执行上述第一方面或其对应的任一实施方式的一种智能体任务执行的人机确认控制方法。

64、第四方面，本发明实施例提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机指令，计算机指令用于使计算机执行上述第一方面或其对应的任一实施方式的一种智能体任务执行的人机确认控制方法。