多智能体消息处理方法、电子设备、存储介质及程序产品与流程

本发明涉及数据处理，尤其涉及一种多智能体消息处理方法、电子设备、存储介质及程序产品。

背景技术：

1、随着大语言模型能力的快速提升，由多个智能体协作完成复杂任务的系统架构已经在金融、医疗、软件工程等领域得到广泛部署。在典型的多智能体系统中，各智能体分别承担规划、执行、验证、汇报等角色，通过消息队列或函数调用互相传递指令与中间结果，从而协同完成单个智能体难以独立完成的复杂任务。

2、然而，多智能体协作模式在提升任务处理能力的同时，也引入了新的安全风险。攻击者可以通过间接提示词注入、恶意工具返回值或者污染外部数据源等方式，对系统中某个具有合法身份的智能体实施劫持，使被劫持的智能体在身份凭证保持合法的情况下，向其它智能体发送携带恶意内容的消息，进而在智能体之间的消息链路中扩散，造成数据泄露或者越权操作等安全事故。

3、相关技术中，通常采用协议层身份认证、静态规则访问控制或者输入输出内容过滤等方式对多智能体系统进行安全防护。但是，实践中发现上述防护方式在面对具有合法身份的智能体发出异常消息、恶意内容分散在多轮交互中逐步渗透等场景时，检测能力有限，难以满足多智能体系统在开放环境下的安全防护需求。

技术实现思路

1、本发明提供一种多智能体消息处理方法、电子设备、存储介质及程序产品，用以解决现有技术中难以有效识别具有合法身份的智能体发出异常消息的问题。

2、本发明提供一种多智能体消息处理方法，包括：

3、在多智能体任务执行过程中检测到第一智能体向第二智能体发送交互消息的情况下，基于所述交互消息确定意图描述信息，并将所述意图描述信息与所述交互消息关联发送至所述第二智能体；所述意图描述信息用于表征所述交互消息期望所述第二智能体执行的语义意图；

4、将所述第二智能体接收到的所述意图描述信息，分别与任务语义锚点信息以及所述第一智能体的意图历史记录进行语义一致性验证，获得语义一致性验证结果，并将所述意图描述信息更新至所述意图历史记录；其中，所述任务语义锚点信息基于所述多智能体任务对应的原始任务描述生成；所述意图历史记录包括所述第一智能体在所述多智能体任务中已发送的各条意图描述信息；

5、基于所述语义一致性验证结果，更新所述第一智能体的信任度值，得到目标信任度值；其中，所述信任度值随所述第一智能体在多轮消息交互中的各次语义一致性验证结果累积更新；

6、基于所述目标信任度值，确定针对所述第一智能体的响应策略，并按照所述响应策略对所述第一智能体后续发送的消息进行处理。

7、根据本发明提供的一种多智能体消息处理方法，所述将所述意图描述信息与所述交互消息关联发送至所述第二智能体，包括：

8、对所述意图描述信息、所述交互消息的消息标识以及时间戳信息进行摘要运算，获得完整性校验信息；

9、将所述意图描述信息、所述完整性校验信息与所述交互消息关联发送至所述第二智能体。

10、根据本发明提供的一种多智能体消息处理方法，所述方法还包括：

11、在执行所述语义一致性验证之前，对所述第二智能体接收到的所述意图描述信息重新执行摘要运算，获得比对校验信息；

12、将所述比对校验信息与所述第二智能体接收到的所述完整性校验信息进行比对，获得完整性校验结果；

13、在所述完整性校验结果指示比对一致的情况下，执行所述语义一致性验证；

14、或，在所述完整性校验结果指示比对不一致的情况下，拒绝接收所述交互消息，并降低所述第一智能体的信任度值。

15、根据本发明提供的一种多智能体消息处理方法，所述基于所述交互消息确定意图描述信息，包括：

16、获取任务上下文信息；其中，所述任务上下文信息用于表征所述第一智能体在所述多智能体任务中所处的执行状态；

17、基于预设语言模型，按照预设结构化格式对所述交互消息的消息内容以及所述任务上下文信息进行意图摘要提取，得到包含目标信息、约束信息以及预期输出信息的所述意图描述信息；

18、其中，所述目标信息用于表征所述交互消息期望所述第二智能体完成的核心动作；所述约束信息用于表征所述核心动作的操作边界；所述预期输出信息用于表征所述交互消息期望所述第二智能体返回的结果类型。

19、根据本发明提供的一种多智能体消息处理方法，所述将所述第二智能体接收到的所述意图描述信息，分别与任务语义锚点信息以及所述第一智能体的意图历史记录进行语义一致性验证，获得语义一致性验证结果，包括：

20、确定所述意图描述信息与所述任务语义锚点信息之间的语义相似程度，获得锚点一致性判定结果；

21、确定所述意图描述信息与所述意图历史记录之间的语义漂移程度，获得漂移判定结果；其中，在所述语义漂移程度于连续n次验证中均满足预设漂移条件的情况下，所述漂移判定结果指示所述第一智能体存在渐进式意图漂移，n为正整数；

22、基于所述锚点一致性判定结果以及所述漂移判定结果，生成所述语义一致性验证结果。

23、根据本发明提供的一种多智能体消息处理方法，所述基于所述语义一致性验证结果，更新所述第一智能体的信任度值，得到目标信任度值，包括：

24、在所述语义一致性验证结果指示验证通过的情况下，按照预设修复幅度提升所述信任度值，得到不超过预设上限值的所述目标信任度值；

25、在所述语义一致性验证结果指示意图偏移的情况下，或者在所述语义一致性验证结果指示所述第一智能体存在渐进式意图漂移的情况下，确定与所述语义一致性验证结果所指示的异常程度负相关且小于一的衰减系数，并将所述信任度值与所述衰减系数相乘，得到所述目标信任度值。

26、根据本发明提供的一种多智能体消息处理方法，所述基于所述目标信任度值，确定针对所述第一智能体的响应策略，并按照所述响应策略对所述第一智能体后续发送的消息进行处理，包括：

27、在所述目标信任度值处于第一区间的情况下，对所述第一智能体后续发送的消息进行正常处理；

28、在所述目标信任度值处于第二区间的情况下，将所述第一智能体后续发送的消息置入人工审核队列，并在人工审核通过后执行所述人工审核队列中的消息；

29、在所述目标信任度值处于第三区间的情况下，拒绝接收所述第一智能体后续发送的消息，并切断所述第一智能体向其它智能体传递消息的通路；

30、在所述目标信任度值处于第四区间的情况下，将所述第一智能体标记为高危状态，向系统管理员发送告警，并对所述第一智能体在所述多智能体任务中已执行的操作进行回滚；

31、其中，所述第一区间、所述第二区间、所述第三区间以及所述第四区间对应的信任度水平依次降低。

32、根据本发明提供的一种多智能体消息处理方法，所述方法还包括：

33、在所述多智能体任务启动时，对所述原始任务描述中的任务目标进行语义编码，获得核心目标语义表示；

34、基于所述原始任务描述，确定所述多智能体任务的授权操作范围以及禁止操作范围；其中，所述授权操作范围用于表征所述多智能体任务允许访问的资源及允许执行的操作；所述禁止操作范围用于表征所述多智能体任务禁止访问的资源及禁止执行的操作；

35、基于所述核心目标语义表示、所述授权操作范围以及所述禁止操作范围，生成所述任务语义锚点信息，并在所述多智能体任务的全生命周期内将所述任务语义锚点信息作为意图对齐基准。

36、根据本发明提供的一种多智能体消息处理方法，所述语义一致性验证还包括：

37、对所述意图描述信息与所述禁止操作范围进行语义匹配，获得语义匹配结果；

38、在所述语义匹配结果指示所述意图描述信息包含与所述禁止操作范围语义相近的操作请求的情况下，生成指示意图拦截的语义一致性验证结果，并拒绝执行所述交互消息。

39、根据本发明提供的一种多智能体消息处理方法，所述方法还包括：

40、在所述语义一致性验证结果指示验证未通过的情况下，生成安全事件信息，并将所述安全事件信息上报至监控节点；其中，所述监控节点独立于多智能体协作系统中参与任务执行的各智能体；

41、由所述监控节点汇总各智能体的信任度值变化记录以及所述安全事件信息，构建信任态势信息；

42、基于所述信任态势信息，确定攻击在各智能体之间的传播路径。

43、根据本发明提供的一种多智能体消息处理方法，所述方法还包括：

44、由所述监控节点将同一智能体在历史任务中的信任度值以及所述安全事件信息继承至新任务，作为所述同一智能体在所述新任务中信任度值的初始化依据。

45、本发明还提供一种多智能体消息处理装置，包括：

46、意图生成模块，在多智能体任务执行过程中检测到第一智能体向第二智能体发送交互消息的情况下，基于所述交互消息确定意图描述信息，并将所述意图描述信息与所述交互消息关联发送至所述第二智能体；所述意图描述信息用于表征所述交互消息期望所述第二智能体执行的语义意图；

47、语义验证模块，将所述第二智能体接收到的所述意图描述信息，分别与任务语义锚点信息以及所述第一智能体的意图历史记录进行语义一致性验证，获得语义一致性验证结果，并将所述意图描述信息更新至所述意图历史记录；其中，所述任务语义锚点信息基于所述多智能体任务对应的原始任务描述生成；所述意图历史记录包括所述第一智能体在所述多智能体任务中已发送的各条意图描述信息；

48、信任更新模块，基于所述语义一致性验证结果，更新所述第一智能体的信任度值，得到目标信任度值；其中，所述信任度值随所述第一智能体在多轮消息交互中的各次语义一致性验证结果累积更新；

49、响应处理模块，基于所述目标信任度值，确定针对所述第一智能体的响应策略，并按照所述响应策略对所述第一智能体后续发送的消息进行处理。

50、本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述任一种所述多智能体消息处理方法。

51、本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述多智能体消息处理方法。

52、本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述多智能体消息处理方法。

53、本发明提供的一种多智能体消息处理方法、电子设备、存储介质及程序产品，通过在第一智能体向第二智能体发送交互消息时确定用于表征语义意图的意图描述信息，并将意图描述信息分别与源自原始任务描述的任务语义锚点信息以及第一智能体的意图历史记录进行语义一致性验证，能够在身份凭证合法的前提下识别消息语义层面的意图异常，覆盖单条消息相对任务目标的偏离以及多条消息在时间维度上的渐进演化两类风险。并且，第一智能体的信任度值随多轮消息交互中的各次语义一致性验证结果累积更新，使得分散在多个时间步中的轻微异常信号能够被持续积累而非被稀释，并通过基于目标信任度值确定的响应策略对第一智能体后续发送的消息进行处理，从而将检测结果转化为针对智能体粒度的持续管控，提升了多智能体系统在开放环境下识别与阻断异常消息传播的能力。