面向多智能体系统的污染记忆影响传播撤回补偿与可验证失效方法及装置与流程
本技术涉及数据处理,尤其涉及一种面向多智能体系统的污染记忆影响传播撤回补偿与可验证失效方法及装置。
背景技术:
1、随着大语言模型的快速发展,智能体系统已具备长期记忆、工具调用及多智能体协作能力,长期记忆涵盖了用户偏好、历史任务事实、工具返回结果及跨智能体共享数据等。但是,智能体长期记忆和上下文可能被恶意输入、工具返回结果或跨会话数据污染。该类污染可能在未来任务中持续影响智能体行为,造成错误计划、错误工具调用和错误派生记忆。
2、现有的智能体记忆管理方案主要关注写入效率、结构化存储、冷热分层和审计追溯,审计记录通常只能说明某条记忆何时写入、如何处理和存储,无法捕捉记忆在相关链路中对下游节点的具体影响。当一条记忆被判定为污染或需撤回时,通常只能简单地移除原始记忆条目对其进行阻断,既无法定位该记忆已经通过语义融合影响了哪些具体的计划步骤、工具参数或外部动作,也无法感知该记忆在跨智能体同步过程中产生的分布式副本,导致污染影响在系统内部处于黑盒状态。在面对已发生的污染记忆时,系统无法定位受影响的因果链,导致污染记忆仍然被继续使用的情况。
技术实现思路
1、本技术提供一种面向多智能体系统的污染记忆影响传播撤回补偿与可验证失效方法及装置,能够形成记忆链路,记忆各节点的因果关系,从而在记忆被污染时进行有效追溯,清除污染记忆的影响。
2、第一方面,本技术提供一种面向多智能体系统的污染记忆影响传播撤回补偿与可验证失效方法,包括:
3、接收记忆写入事件,所述记忆写入事件包含待写入内容、来源标识、任务域及权限域;
4、根据所述待写入内容、来源标识、任务域及权限域生成记忆原子,并为所述记忆原子确定唯一记忆标识,所述记忆原子包括父级记忆标识;
5、通过所述待写入内容、来源标识、任务域及权限域计算污染风险分数,根据所述污染风险分数将所述记忆原子写入长期记忆索引、待验证记忆区或隔离记忆区;
6、在所述记忆原子被召回时,确定以所述记忆原子为记忆节点的有向影响边,基于所述有向影响边构建记忆影响图;
7、响应于污染判定或撤回请求,获取目标记忆节点,并以目标记忆节点为起点,采用遍历算法确定受影响子图;
8、对所述受影响子图中的节点执行失效处理,根据目标记忆节点构造检索挑战集,对所述受影响子图执行失效验证处理,在失效验证通过后根据目标记忆节点和受影响子图生成失效证明包,用于记录失效处理。
9、进一步地,所述记忆原子还包括内容哈希、治理状态及可撤回标识;所述治理状态根据所述污染风险分数确定,包括正常状态、待验证状态及隔离状态。
10、进一步地,所述通过所述待写入内容、来源标识、任务域及权限域计算污染风险分数,包括:
11、通过所述待写入内容、来源标识、任务域及权限域提取来源可信度、内容冲突度、外部指令或提示注入特征强度、任务域或权限域不匹配程度、撤回信号、来源历史异常程度,采用加权和公式计算所述污染风险分数;
12、当所述污染风险分数大于等于预设的高风险阈值时,确定所述治理状态为隔离状态;当所述污染风险分数在预设的低风险阈值与高风险阈值之间时,确定所述治理状态为待验证状态;当所述污染风险分数小于所述低风险阈值时,确定所述治理状态为正常状态。
13、进一步地,所述确定以所述记忆原子为记忆节点的有向影响边,包括:
14、确定有向影响边的影响类型,记忆节点与不同类型的节点之间形成的有向影响边的影响类型不同,所述影响类型包括召回影响、上下文拼接影响、计划选择影响、工具参数影响、外部动作影响、派生写入影响及跨智能体同步影响;
15、计算所述有向影响边的影响权重w,计算公式为:
16、w(e) = a1×r + a2×c + a3×p + a4×t;
17、其中,r为记忆节点在上下文中的召回贡献度,c为记忆节点在计划或工具参数中的覆盖度,p为记忆对计划选择的影响程度,t为时间衰减系数,a1、a2、a3和a4为权重参数且总和为1;
18、生成所述有向影响边的证据摘要,所述证据摘要通过哈希函数对记忆标识、源节点标识、目标节点标识、提示词哈希、计划哈希、工具参数哈希、输出哈希及时间戳进行计算生成。
19、进一步地,所述采用遍历算法确定受影响子图,包括:
20、以所述目标记忆节点为起点,执行带约束的广度优先遍历;
21、所述广度优先遍历的遍历约束条件包括最小影响边权重、最小路径影响值、时间窗口、最大传播深度;
22、所述路径影响值为从目标记忆节点到达的节点的各影响边权重的乘积的最大值;
23、若记忆影响图中的节点满足所述遍历约束条件,则加入受影响子图。
24、进一步地,所述对所述受影响子图中的节点执行失效处理,包括:
25、识别受影响子图中的节点的类型,所述类型包括索引类节点、缓存类节点、派生记忆类节点、计划类节点、工具类节点、动作类节点及跨智能体类节点;
26、针对索引类节点,执行删除操作或标记不可召回状态;
27、针对缓存类节点,执行清理操作并废除对应版本;
28、针对派生记忆类节点,递归执行遍历算法及失效处理;
29、针对计划类节点,执行废止操作或触发重新规划流程;
30、针对结构化存储的记忆节点,写入墓碑标记,所述墓碑标记至少包含记忆节点的记忆标识、内容哈希、撤回事务标识及失效原因。
31、进一步地,所述方法还包括动作补偿步骤:
32、针对动作类节点,确定与所述动作类节点的动作类型对应的补偿处理器;
33、通过所述补偿处理器生成补偿任务,所述补偿任务包括撤销、回滚、冻结、纠正通知或人工复核;
34、生成所述补偿任务的幂等键,基于所述幂等键执行所述补偿任务;
35、记录所述补偿任务的外部系统回执哈希及人工复核状态。
36、进一步地,所述根据目标记忆节点构造检索挑战集,包括:
37、检索挑战集包括记忆原子、脱敏摘要、关键词、同义表达、派生表达、任务问题、工具调用场景及跨智能体同步场景;
38、所述对所述受影响子图执行失效验证处理,包括:
39、基于检索挑战集进行检索,获取检索结果,对检索结果进行多路径验证,所述多路径验证包括:
40、可检索路径验证,确认目标记忆节点未被长期记忆索引召回;
41、上下文路径验证,确认目标记忆节点未进入提示词或上下文窗口;
42、计划路径验证,确认目标记忆节点关联的计划节点不再引用目标记忆节点对应事实;
43、工具路径验证,确认工具参数中不含目标记忆节点;
44、跨智能体路径验证,查询接收方智能体的撤回确认回执是否存在;
45、动作补偿路径验证,获取受影响的动作类节点的补偿状态、外部回执及人工复核状态。
46、进一步地,所述失效证明包还包括证明根哈希;
47、所述证明根哈希由所述失效证明包中的记忆墓碑的哈希、受影响子图哈希、索引删除回执哈希、缓存失效回执哈希、派生节点墓碑哈希、跨智能体确认回执哈希、动作补偿报告哈希及挑战测试报告哈希按预设顺序计算生成,用于校验所述失效证明包的完整性。
48、第二方面,本技术提供一种面向多智能体系统的污染记忆影响传播撤回补偿与可验证失效装置,包括:
49、记忆接收模块,用于接收记忆写入事件,所述记忆写入事件包含待写入内容、来源标识、任务域及权限域;
50、记忆原子生成模块,用于根据所述待写入内容、来源标识、任务域及权限域生成记忆原子,并为所述记忆原子确定唯一记忆标识,所述记忆原子包括父级记忆标识;
51、污染风险确定模块,用于通过所述待写入内容、来源标识、任务域及权限域计算污染风险分数,根据所述污染风险分数将所述记忆原子写入长期记忆索引、待验证记忆区或隔离记忆区;
52、记忆影响图构建模块,用于在所述记忆原子被召回时,确定以所述记忆原子为记忆节点的有向影响边,基于所述有向影响边构建记忆影响图;
53、受影响范围确定模块,用于响应于污染判定或撤回请求,获取目标记忆节点,并以目标记忆节点为起点,采用遍历算法确定受影响子图;
54、污染记忆处理模块,用于对所述受影响子图中的节点执行失效处理,根据目标记忆节点构造检索挑战集,对所述受影响子图执行失效验证处理,在失效验证通过后根据目标记忆节点和受影响子图生成失效证明包,用于记录失效处理。
55、第三方面,本技术提供一种电子设备,该电子设备包括存储器、一个或多个处理器。其中,该存储器中存储有一个或多个计算机程序,计算机程序包括指令,当该指令被处理器执行时,可使得电子设备执行如第一方面中的面向多智能体系统的污染记忆影响传播撤回补偿与可验证失效方法。
56、第四方面,本技术提供一种计算机可读存储介质,该计算机可读存储介质中存储有指令,当该指令在电子设备上运行时,使得电子设备执行如第一方面中的面向多智能体系统的污染记忆影响传播撤回补偿与可验证失效方法。
57、第五方面,本技术提供一种计算机程序产品,当该计算机程序产品在电子设备上运行时,使得该电子设备执行如第一方面所述的面向多智能体系统的污染记忆影响传播撤回补偿与可验证失效方法。
58、上述提供的面向多智能体系统的污染记忆影响传播撤回补偿与可验证失效方法、装置、电子设备、计算机可读存储介质、计算机程序产品所能达到的有益效果为:
59、在智能体要记忆要进行存储时生成记忆原子参与智能体的记忆存储结构,形成记忆影响图,在记忆被污染或撤回时,能够基于影响图确定记忆原子的传播路径,从而对传播路径上的派生节点和下游依赖进行清理,彻底消除记忆污染的影响。并且,本方案通过构造基于目标记忆节点的检索挑战集对受影响子图进行失效验证,确保污染记忆在系统的各个可用路径中均失效,在此基础上生成失效证明包汇集验证过程的信息,使得系统能够以数据包的形式向用户或审计方证明污染记忆已从后续决策路径中移除,满足了高合规场景下的可审计性需求。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com