一种大语言模型智能体长期记忆自更新管理方法和系统与流程

摘要: 本发明涉及大模型,尤其涉及一种大语言模型智能体长期记忆自更新管理方法和系统。背景技术:1、大语言模型生成回答时仅以本次推理所输入的上下文为依据,会话结束后中间状...
一种大语言模型智能体长期记忆自更新管理方法和系统与流程

本发明涉及大模型,尤其涉及一种大语言模型智能体长期记忆自更新管理方法和系统。

背景技术:

1、大语言模型生成回答时仅以本次推理所输入的上下文为依据,会话结束后中间状态不再保留,无法跨会话保持对同一用户的事实与偏好的认知;而智能体在个人助理等场景中越来越多地承担跨度达数天乃至数月的多轮交互,能否在单次会话上下文窗口之外持续记忆用户信息,已成为影响其可用性的关键因素。

2、为使智能体具备上述跨会话记忆能力,目前普遍采用的技术路线是在大语言模型之外增设外部长期记忆模块:对话过程中将用户信息写入该模块,应答时按语义相似度召回若干条记忆,与用户提问一并拼入提示词后交由大语言模型生成回答。其中应用最广的一类以mem0为代表,采用累积式记忆范式:以增量对话为触发,抽取事实语句并向量化,在记忆库中检索相近记录,由大语言模型在新事实与召回记录之间作出新增、就地改写、删除或不作处理的判定并执行写操作。该类方案的写入方向只构成由对话到记忆库的单向流程。

3、该类方案依赖一个隐含前提,即已写入记忆库的信息在其后续生命周期内保持为真,而用户的事实与偏好会随时间变化,记忆之间亦非彼此独立,由此产生以下技术问题:

4、其一,更新既不沿记忆之间的依赖关系传播,也覆盖不到无显式关联的相关记忆:写操作只以被相似度命中的记录为对象,记忆库中无可供更新信号传导的依赖关系表示,由被修正事实推出的下游结论不会被重估。

5、其二,修正范围与计算代价难以兼顾,全量遍历并重评的代价随记忆库规模超线性增长;按固定跳数截断则因变更影响半径差异大而漏改或误改。

6、其三,冲突处理二元化,导致历史信息丢失或错误信息滞留,现有方案只能在就地覆盖或删除与保留不动之间择一:前者使涉及过去的查询无法回答,后者使过时记录持续参与推理;且记录中不含有效性标识,同一事实的新旧版本被同等召回;同一事实值还常在原始轨迹、重复提及与上层摘要中存有多处副本,写操作仅作用于被召回的那一条,其余副本仍以有效状态参与检索。

7、综上,上述缺陷同源于该类方案的写入只构成由对话到记忆库的单向流程,缺少由已发生变更向受其影响的既有记忆反向传导一致性修正的机制。

技术实现思路

1、本发明的目的之一在于提供一种大语言模型智能体长期记忆自更新管理方法,以至少解决现有技术中既有记忆无法在用户事实发生变化时沿记忆之间的依赖关系完成一致性修正,且难以在不全量遍历、不销毁历史记录的前提下兼顾修正完整性与计算代价的问题。

2、本发明通过下述技术方案实现:

3、一种大语言模型智能体长期记忆自更新管理方法,包括:

4、获取智能体与用户之间的对话数据,将所述对话数据按会话切分为对话轮次;

5、将所述对话轮次的语义内容写入分层记忆图,并在所述分层记忆图发生结构性改动时生成变更事件,所述变更事件包括源节点与变更内容;所述分层记忆图包括多层记忆节点及连接记忆节点之间的边,所述多层记忆节点至少划分为情景轨迹层与巩固知识层,所述记忆节点具有有效性状态;

6、以所述源节点为种子节点确定候选修正区域,所述候选修正区域包括按由历史共现统计确定的关联强度沿所述边传播激活量而选出的记忆节点,以及根据所述变更内容检索所述分层记忆图而得到的记忆节点;

7、对所述候选修正区域中的候选记忆节点,确定该候选记忆节点相对于所述变更事件的变更类型,所述变更类型包括时序更新、真实矛盾、前提变更与隐含推导中的至少一种;

8、按所述变更类型对所述候选记忆节点进行非破坏性修正,使该候选记忆节点在保留其原有语义内容的同时退出当前有效的记忆状态,或者生成新的记忆节点;

9、响应于用户提问,在所述分层记忆图中检索待选记忆节点,按所述待选记忆节点的有效性状态对所述待选记忆节点作差异化处理后,连同所述用户提问输入大语言模型得到回答。

10、进一步地,所述将对话轮次的语义内容写入分层记忆图,包括:

11、将所述对话轮次切分为至少一个语义块,为每个所述语义块生成情景轨迹层的记忆节点;

12、计算新生成的记忆节点与既有的情景轨迹层记忆节点之间的语义关联度,在所述语义关联度满足关联条件时于二者之间建立层内关联边;

13、将所述情景轨迹层的记忆节点按其所涉及的实体归入语义簇,对同一语义簇,在新到来的语义内容与既有的巩固知识层记忆节点所陈述的事实一致时并入该既有的巩固知识层记忆节点,在不一致时退役该既有的巩固知识层记忆节点并重新生成巩固知识层记忆节点、且对被退役的记忆节点生成所述变更事件,并在巩固知识层记忆节点与其所依据的情景轨迹层记忆节点之间建立层间从属边;

14、所述结构性改动包括新增记忆节点、退役或改写既有记忆节点、新增或删除边与重新生成上层记忆节点中的至少一种,且不改变记忆节点所陈述事实的表述细化与同义改写不属于所述结构性改动。

15、进一步地,所述候选修正区域为第一候选集合与第二候选集合的并集,其中:

16、沿所述边向相邻记忆节点传播激活量,将激活量超过传播阈值的记忆节点加入所述第一候选集合,并截断激活量未超过所述传播阈值的传播路径;

17、由所述变更内容推断受其影响的至少一个目标属性,以所述目标属性作为实体范围受限的检索条件检索所述分层记忆图,将命中的记忆节点加入所述第二候选集合。

18、进一步地,所述沿所述边向相邻记忆节点传播激活量,包括:

19、根据源记忆节点与目标记忆节点的共激活次数、二者各自的激活次数以及所述分层记忆图中的总激活次数,确定所述源记忆节点向所述目标记忆节点的关联强度,所述关联强度随所述共激活次数增大而增大、且随所述二者各自的激活次数增大而减小;

20、根据所述目标记忆节点的历史激活次数以及距其最近一次激活的时间间隔,确定所述目标记忆节点的可用性增益;

21、按边的类型分别配置传导系数,且表征上层记忆节点依赖于下层记忆节点的层间从属边的传导系数,大于连接同层记忆节点的层内关联边的传导系数;

22、以所述源记忆节点的激活量、所述关联强度、所述可用性增益与所述传导系数之积,作为所述源记忆节点向所述目标记忆节点传播的激活量。

23、进一步地,所述确定该候选记忆节点相对于所述变更事件的变更类型,包括:

24、当所述候选记忆节点在所述变更事件发生前为真、且所述变更内容表征其所记载的事实已随时间推移发生变化时,确定为所述时序更新;

25、当所述变更内容表征所述候选记忆节点所记载的事实自其生成时起即不成立时,确定为所述真实矛盾;

26、当所述候选记忆节点记载有所依赖的前提条件、且所述变更内容表征该前提条件已不再成立时,确定为所述前提变更;

27、当所述候选记忆节点记载有触发条件、且所述变更内容满足该触发条件时,确定为所述隐含推导;

28、当所述候选记忆节点同时记载有所依赖的前提条件与触发条件时,按所述前提变更优先于所述隐含推导的顺序处理。

29、进一步地,所述记忆节点包括语义内容、有效时间区间与有效性状态,所述有效性状态包括活跃状态与非活跃状态,所述非活跃状态包括已被取代、前提已变与已撤回;所述按所述变更类型进行非破坏性修正,包括:

30、保持该候选记忆节点的语义内容与其有效时间区间的起始时刻不变,将所述有效性状态由所述活跃状态迁移至所述非活跃状态中与所述变更类型相对应的一种,并以所述变更事件的发生时刻闭合该候选记忆节点的有效时间区间,迁移后的候选记忆节点保留于所述分层记忆图中并参与检索;

31、当所述变更类型为所述隐含推导时,保持该候选记忆节点不变并生成有效性状态为所述活跃状态的新的记忆节点,并记录所述新的记忆节点的溯源信息,所述溯源信息包括触发其生成的所述变更事件与其所依据的记忆节点;

32、确定与该候选记忆节点陈述同一事实值的其余记忆节点,将所述有效性状态与所述有效时间区间的终止时刻一并写入所述其余记忆节点。

33、进一步地,所述多层记忆节点还包括图式层,所述图式层的记忆节点由至少两个巩固知识层记忆节点抽象得到,且所述图式层的记忆节点与作为其抽象来源的巩固知识层记忆节点之间保留层间从属边;

34、在所述分层记忆图中检索待选记忆节点,包括:按语义相似度直接检索,以及以所述图式层的记忆节点为导航、沿所述层间从属边下降至巩固知识层记忆节点;

35、按所述待选记忆节点的有效性状态作差异化处理,包括:

36、将有效性状态为已撤回的待选记忆节点排除于输入所述大语言模型的范围之外;

37、将有效性状态为已被取代的待选记忆节点标记为历史上下文;

38、将有效性状态为前提已变的待选记忆节点连同其更新后的前提条件一并提供。

39、本方案还提供一种大语言模型智能体长期记忆自更新管理系统,包括:

40、对话接入模块,用于获取智能体与用户之间的对话数据并按会话切分为对话轮次;

41、分层记忆存储模块,用于存储分层记忆图,所述分层记忆图包括多层记忆节点及连接记忆节点之间的边,所述多层记忆节点至少划分为情景轨迹层与巩固知识层,所述记忆节点具有有效性状态;

42、正向巩固模块,用于将对话轮次的语义内容写入所述分层记忆图,并在所述分层记忆图发生结构性改动时生成变更事件,所述变更事件包括源节点与变更内容;

43、有界重写传播模块,用于以所述源节点为种子节点确定候选修正区域,所述候选修正区域包括按由历史共现统计确定的关联强度沿所述边传播激活量而选出的记忆节点,以及根据所述变更内容检索所述分层记忆图而得到的记忆节点;

44、变更裁定模块,用于对所述候选修正区域中的候选记忆节点确定其变更类型,所述变更类型包括时序更新、真实矛盾、前提变更与隐含推导中的至少一种;

45、非破坏性编码模块,用于按所述变更类型对所述候选记忆节点进行非破坏性修正;

46、有效性感知检索模块,用于响应于用户提问检索待选记忆节点,并按所述待选记忆节点的有效性状态作差异化处理后输入大语言模型得到回答。

47、另一方面,本方案还提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现一种大语言模型智能体长期记忆自更新管理方法;以及

48、一种电子设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现一种大语言模型智能体长期记忆自更新管理方法。

49、本发明与现有技术相比,具有如下的优点和有益效果:

50、1、本发明通过在正向巩固将对话轮次写入分层记忆图的同时,于发生结构性改动处显式生成包括源节点与变更内容的变更事件,并以该变更事件反向触发对既有记忆的重新巩固,构建了写入与修正相衔接的闭环;其克服了现有技术中写入仅构成由对话到记忆库的单向流程、缺少由已发生变更向受其影响的既有记忆反向传导一致性修正的机制的缺陷,从而使由被修正事实推出的下游结论能够被一并重估。

51、2、本发明通过以历史共现统计动态确定关联强度并在其分母引入基率修正,配合由历史激活次数与时间间隔确定的可用性增益、按边的类型区分的传导系数以及对弱关联路径的阈值截断,使激活量沿分层记忆图自适应衰减;其克服了现有技术中全量遍历并重评的代价随记忆库规模超线性增长、而按固定跳数截断又因不同变更的影响半径差异较大而漏改或者误改的缺陷,从而使单次修正的审查规模与受影响子图的规模相关而与记忆库总规模弱相关。

52、3、本发明通过由变更内容推断受其影响的目标属性,将该目标属性转换为实体范围受限的查询以检索分层记忆图,并将由此命中的记忆节点与前述沿边传播所得的记忆节点取并集;其克服了现有技术以语义相似度为唯一候选定位手段、对从未与被修正事实共现且语义相似度不高的记忆结构性地无法召回的缺陷,从而使与源节点之间不存在显式连边的隐式相关记忆亦被纳入审查。

53、4、本发明通过将候选记忆节点与变更事件之间的关系区分为时序更新、真实矛盾、前提变更与隐含推导,并对不同的变更类型施加相应的修正操作;其克服了现有技术中记忆操作仅有新增、就地改写、删除与不作处理四种、粒度过粗而无法表达记忆本身并未被否定但其成立所依赖的前提条件已经变化这一情形的缺陷,从而使曾经有效的信息得以保留为历史上下文,而自始即不成立的信息被彻底排除于推理之外。

54、5、本发明通过以语义内容、有效时间区间与有效性状态构成的四元组表示记忆节点,以追加式的有效性标记与有效时间区间的闭合代替就地覆盖或者删除,并在高相似邻域内将同一有效性标记与终止时刻写入陈述同一事实值的全部副本;其克服了现有技术就地写使主记忆库中始终仅保存单一当前版本、且仅改写被召回的那一条而其余副本仍以有效状态参与检索的缺陷,从而在使过时信息退出当前推理的同时保持了全局状态的一致。

55、6、本发明通过在检索阶段依据有效性状态作差异化处理,将有效性状态为已撤回的记忆节点排除于输入大语言模型的范围之外,将有效性状态为已被取代的记忆节点标记为历史上下文,并将有效性状态为前提已变的记忆节点连同其更新后的前提条件一并提供;其克服了现有技术中同一事实的新旧版本被同等索引与召回、大语言模型无从判断二者中何者当前有效的缺陷,从而在保证当前作答准确的同时保留了对历史性、时序性查询的回答能力。