基于多级记忆巩固的大语言模型长上下文管理方法及系统与流程

摘要: 本发明涉及大语言模型,具体涉及基于多级记忆巩固的大语言模型长上下文管理方法及系统。背景技术:1、大语言模型在处理长文档理解、多轮对话以及长链推理等任务时,需要在...
基于多级记忆巩固的大语言模型长上下文管理方法及系统与流程

本发明涉及大语言模型,具体涉及基于多级记忆巩固的大语言模型长上下文管理方法及系统。

背景技术:

1、大语言模型在处理长文档理解、多轮对话以及长链推理等任务时,需要在前向计算过程中访问较长的输入序列。基于自注意力机制的模型通常将历史token的键向量与值向量缓存于图形处理器显存中,并在后续生成过程中复用该缓存。随着输入序列的增长,该缓存所占用的显存持续增加,而显存容量有限,因此可处理的上下文长度往往受限于缓存容量,而非受限于模型本身的表达能力。如何在有限的显存条件下保留并利用较长的历史信息,成为大语言模型应用中需要解决的问题。

2、为缓解上述容量瓶颈,现有技术中较为常见的做法是采用滑动窗口或硬驱逐策略,即在缓存填满后按位置淘汰最旧的token,或者直接丢弃超出窗口长度的输入。这类做法以token为管理单位,以位置先后为淘汰依据,属于一种全有或全无的管理方式。其不足之处在于,被淘汰的内容往往包含关键的推理链信息或事实知识,而这些内容一旦被删除便无法在后续生成中被访问,从而在跨窗口的任务上引起信息丢失;同时,由于未对上下文中的各类信息加以区分,短期细节信息与长期语义信息被置于同一存储层级中处理,难以形成层次化的记忆结构。

3、另一类现有技术通过引入压缩表征来扩展有效记忆范围,例如以状态空间模型中的快速权重、线性注意力机制或者循环结构的状态向量,将历史信息压缩为固定大小的表征并随生成过程连续更新。这类方法在一定程度上缓解了缓存容量压力,但其更新过程往往是连续且无差别的,即每个新token以相近的强度影响记忆更新,重要信息与冗余信息在记忆形成过程中未获得差异化的处理,压缩表征的表征效率受到影响;此外,由于压缩表征的大小固定,其能够保留的信息量存在上限,当缓存中的内容被整体清除后,原有上下文中的细节仅能通过压缩表征间接访问,访问精度易于下降。

4、还有一类现有技术采用外部记忆或检索增强的方式,将历史内容写入外部存储并在需要时检索回模型。这类方法通常以文本块为检索单位,检索结果与模型内部的隐藏状态不处于同一表征空间,需要通过额外的转换与拼接机制参与计算,且信息的写入、更新与淘汰过程与模型的生成过程相互独立,缺乏统一的巩固与验证环节。在记忆的淘汰与更新方面,现有技术多按位置先后、写入时间或者简单的访问次数进行淘汰,缺少对语义单元重要性程度的评估,容易在无关信息上消耗存储与计算资源,而关键信息未能获得相应的保留强度。此外,各层级记忆之间缺少由浅入深的信息传递机制,记忆巩固过程与推理过程相互脱节,巩固结果缺乏可核验的判据,巩固强度与巩固轮数的确定方式也难以与模型的其余参数协同优化。

5、综上,如何以语义块为单位对上下文信息进行重要性评估,如何以分级方式对记忆进行存储与差异化巩固,如何使记忆清空、记忆检索与记忆巩固形成相互衔接的闭环,以及如何使上述过程能够端到端地训练,是本领域尚待解决的技术问题。

技术实现思路

1、本发明的目的在于提供一种基于多级记忆巩固的大语言模型长上下文管理方法及系统,能够提升有效记忆容量与信息保留精度。

2、为实现上述目的,本发明采用的技术方案如下:

3、一种基于多级记忆巩固的大语言模型长上下文管理方法,大语言模型包括多个记忆注入层,所述方法包括:

4、步骤1:获取输入token序列,按聚合层隐藏状态的相邻相似度将输入token序列划分为语义块,计算每个语义块的重要性评分与聚合键向量,并在满足结算条件时结算重要性评分;

5、步骤2:将输入token序列的键向量与值向量写入一级记忆,按重要性评分确定语义块的归属标记,并按槽位质量分级寻址将满足归属条件的语义块写入二级记忆槽位并更新槽位质量;

6、步骤3:在一级记忆的占用率达到一级巩固触发占用率阈值时,以聚合键向量从一级记忆读出目标表征,按重要性评分确定写入强度与休眠循环轮数,将经误差反馈修正后的目标表征写入二级记忆槽位,并对写入结果执行相对重构误差验证;

7、步骤4:在累积槽位写入次数达到累积槽位写入次数阈值时,将槽位质量不低于关键槽位质量阈值的二级记忆槽位划分语义类别,按语义类别计算类原型值向量,并将类原型值向量写入三级记忆槽位;

8、步骤5:在计算资源占用率连续低于空闲判定阈值的时段或会话切换时刻,对三级记忆槽位执行值向量重锚定、键向量正交化和槽位质量衰减,并将三级记忆槽位持久化存储至非易失性存储介质;

9、步骤6:在一级记忆的占用率达到一级巩固触发占用率阈值时,按重要性评分升序将已通过验证的语义块移出所述一级记忆,在预测阶段分别从一级记忆、二级记忆和三级记忆读出结果向量并置信度加权融合,将融合读出向量注入记忆注入层后输出下一token的预测分布。

10、进一步地,步骤1中,按聚合层隐藏状态的相邻相似度将输入token序列划分为语义块,计算每个语义块的重要性评分与聚合键向量,并在满足结算条件时结算重要性评分,具体为:

11、依次计算相邻两个token位置在聚合层隐藏状态的余弦相似度,在余弦相似度小于语义边界判定阈值时,在相邻两个token位置之间设置语义边界,并在设置语义边界的同时施加块长上界约束与块长下界约束,其中,聚合层为大语言模型中不属于记忆注入层的层,由语义边界切分所得的token位置集合构成一个语义块;

12、将任务相关性子评分、新颖性子评分、推理链关键度子评分与重复度子评分分别乘以对应的归一化权重后求和,得到重要性评分,其中,所述任务相关性子评分表征语义块与用户指令的相关程度,所述新颖性子评分表征语义块相对于会话已有信息的意外程度,所述推理链关键度子评分表征语义块在后续生成中被关注的强度,所述重复度子评分表征语义块与二级记忆中已有槽位键向量的重合程度,四个子评分均位于0至1区间;

13、按聚合权重对语义块内各token在聚合层的键向量加权求和,将加权求和结果降维后单位化,得到聚合键向量,其中,所述聚合权重由语义块内各token在所述聚合层的隐藏状态归一化得到,单位化后的聚合键向量的长度为1;

14、将结算条件设定为下列任一条件:语义块的后续token数量达到注意力结算窗口长度;语义块的后续token数量达到最少结算窗口且所述一级记忆的占用率达到所述一级巩固触发占用率阈值;检测到会话切换事件;其中,所述最少结算窗口小于所述注意力结算窗口长度。

15、进一步地,步骤2中,将输入token序列的键向量与值向量写入一级记忆,按重要性评分确定语义块的归属标记,并按槽位质量分级寻址将满足归属条件的语义块写入二级记忆槽位并更新槽位质量,具体为:

16、将输入token序列的全部token位置的键向量与值向量写入一级记忆,其中,写入不受重要性评分影响;

17、按重要性评分所处的取值区间将归属标记确定为高重要性语义块、中重要性语义块或低重要性语义块,其中,所述高重要性语义块在重要性评分结算后进入二级记忆槽位的写入流程,所述中重要性语义块与低重要性语义块在步骤3执行时批量进入二级记忆槽位的写入流程,三个归属标记互斥;

18、按槽位质量不高于语义块重要性评分的条件确定该语义块的可写入槽位集合,在可写入槽位集合中按内积由大至小选取写入槽位,所述内积为语义块的聚合键向量与二级记忆槽位键向量的内积,当可写入槽位集合为空集时,将槽位质量最小的二级记忆槽位执行槽位释放后作为写入对象;

19、将写入槽位的键向量向该语义块的聚合键向量插值后单位化,将写入槽位的值向量向步骤3所得的该语义块的目标表征插值,并按重要性评分更新写入槽位的槽位质量,更新后的槽位质量单调非降且以该语义块的重要性评分为渐近值;

20、将二级记忆槽位的槽位质量不低于关键槽位质量阈值确定为该二级记忆槽位在步骤4中被写入三级记忆槽位的写入条件。

21、进一步地,步骤3中,在一级记忆的占用率达到一级巩固触发占用率阈值时,以聚合键向量从一级记忆读出目标表征,按重要性评分确定写入强度与休眠循环轮数,将经误差反馈修正后的目标表征写入二级记忆槽位,并对写入结果执行相对重构误差验证,具体为:

22、以语义块的聚合键向量为查询,对语义块内各token在聚合层的键向量作归一化指数运算得到读出权重,将语义块内各token在聚合层的值向量按读出权重加权求和后降维,得到目标表征;

23、按休眠循环轮数逐轮执行休眠循环,每一轮休眠循环依次执行一次重构读出、一次残差计算、一次误差反馈修正与一次槽位写入,其中,所述重构读出的结果为以语义块的聚合键向量为查询从二级记忆读出的结果向量,所述残差计算的结果为目标表征与重构读出的结果向量之差,所述误差反馈修正为将残差向量降维后再升维得到修正方向向量并按修正量比例与目标表征相加,所述槽位写入为按写入强度将修正后的目标表征写入二级记忆槽位;

24、所述修正量比例为目标表征的范数与修正方向向量的范数之比以及误差反馈幅值上限中的较小值,所述误差反馈幅值上限为单轮修正量相对于目标表征范数的最大倍数,所述修正量比例不大于1使休眠循环为压缩映射;

25、所述写入强度取为该级记忆的写入强度下界与该级记忆的写入强度上界之间的插值,所述插值的内插比例由重要性评分的重要性响应指数次幂与轮次衰减因子共同确定,所述写入强度随所述重要性评分单调不减且随休眠循环轮次递减,所述写入强度上界设置为使休眠循环的误差压缩因子取值为正,记忆层级序号较大者的重要性响应指数大于记忆层级序号较小者的重要性响应指数;

26、所述休眠循环轮数取为该级记忆的休眠循环轮数下界与该级记忆的休眠循环轮数上界之间的插值后向上取整,所述插值的内插比例为所述重要性评分,一级记忆巩固、二级记忆巩固与三级记忆巩固各自的休眠循环轮数下界与上界依次递增且互不重叠;

27、每一轮休眠循环结束后,按目标表征与下一级记忆读出结果向量之差的范数与目标表征的范数之比确定相对重构误差,并按该级记忆巩固判定阈值的上界与该级记忆巩固判定阈值的下界之间的插值确定该语义块在该级记忆巩固中的判定阈值,所述插值的内插比例为重要性评分,所述判定阈值随重要性评分的升高而减小;

28、当所述相对重构误差不大于判定阈值时,终止该语义块的休眠循环并将巩固完成标志置为已巩固;

29、当休眠循环达到休眠循环轮数且相对重构误差大于判定阈值时,按补充休眠轮数增量追加休眠循环轮数,并在追加执行的休眠循环中将轮次衰减因子取为1,追加执行的次数不超过补充休眠轮数上限,追加执行完毕后仍未满足判定阈值时巩固完成标志保持为未巩固;

30、统计一级记忆中巩固完成标志为已巩固的语义块所提供的token位置数量得到可清空token位置数量,当连续失效巩固周期数次一级记忆巩固后可清空token位置数量均小于一次清空所需释放的token位置数量时,对巩固完成标志为未巩固的语义块将写入强度取为该级记忆的写入强度上界,并执行强制巩固轮数的休眠循环且将轮次衰减因子取为1。

31、进一步地,步骤4中,在累积槽位写入次数达到累积槽位写入次数阈值时,将槽位质量不低于关键槽位质量阈值的二级记忆槽位划分语义类别,按语义类别计算类原型值向量,并将类原型值向量写入三级记忆槽位,具体为:

32、每次一级记忆巩固完成后,将本次一级记忆巩固向二级记忆槽位实际写入的槽位数量累加至累积槽位写入次数,当累积槽位写入次数达到累积槽位写入次数阈值时触发二级记忆巩固,并将累积槽位写入次数置零;

33、对每个槽位质量不低于关键槽位质量阈值的二级记忆槽位,计算该二级记忆槽位键向量与各三级记忆槽位键向量的内积,取内积最大的三级记忆槽位作为该二级记忆槽位所归属的语义类别,当最大内积小于槽位新建相似度阈值且三级记忆存在未占用槽位时,在三级记忆中新建槽位并将该新建槽位的键向量、值向量与槽位质量分别取为二级记忆槽位的键向量、值向量与槽位质量,其中,槽位质量低于所述关键槽位质量阈值的二级记忆槽位不参与步骤4;

34、将同一语义类别下全部二级记忆槽位的值向量按二级记忆槽位的槽位质量加权平均,得到类原型值向量,将同一语义类别下全部二级记忆槽位的键向量按二级记忆槽位的槽位质量加权组合后单位化,得到类原型键向量;

35、以类原型键向量为查询、以类原型值向量为目标表征,按二级记忆巩固的写入强度与休眠循环轮数对三级记忆槽位执行所述休眠循环并按相对重构误差执行验证,其中,所述二级记忆巩固的判定阈值大于一级记忆巩固的判定阈值,所述三级记忆槽位的槽位总数小于槽位向量维度,使所述三级记忆槽位保留语义类别骨架;

36、当所述三级记忆槽位全部被占用且需要新建槽位时,在已占用的三级记忆槽位中确定内积最大的两个槽位作为待合并槽位对,当待合并槽位对的内积不小于槽位合并相似度阈值时,将该对中一个槽位的键向量取为两个槽位键向量的槽位质量加权组合后单位化的结果,将该槽位的值向量取为两个槽位值向量的槽位质量加权平均,将该槽位的槽位质量取为两个槽位质量之和与1中的较小值,并将该对中另一个槽位的键向量、值向量与槽位质量置零,当待合并槽位对的内积小于槽位合并相似度阈值时,本次槽位新建请求顺延至下一次二级记忆巩固执行。

37、进一步地,步骤5中,在计算资源占用率连续低于空闲判定阈值的时段或会话切换时刻,对三级记忆槽位执行值向量重锚定、键向量正交化和槽位质量衰减,并将三级记忆槽位持久化存储至非易失性存储介质,具体为:

38、将计算资源占用率取为图形处理器显存带宽占用率,当显存带宽占用率连续空闲判定时长低于空闲判定阈值时,或者当检测到会话切换事件时,触发三级记忆巩固,所述三级记忆巩固的执行对象为全部已占用的三级记忆槽位;

39、以类原型键向量为查询从二级记忆读出锚定表征,并按三级记忆巩固的写入强度将三级记忆槽位的值向量向锚定表征插值更新,其中,所述锚定表征为二级记忆中该语义类别的当前中心表征;

40、按该三级记忆槽位键向量与其余已占用三级记忆槽位键向量的内积、其余三级记忆槽位的槽位质量以及正交化步长确定修正量,将修正量从该三级记忆槽位键向量中减去后单位化,其中,所述正交化步长小于1使键向量正交化为压缩映射,所述键向量正交化使三级记忆槽位的键向量收敛至近似正交的配置;

41、将本轮未被命中的三级记忆槽位的槽位质量乘以槽位质量衰减系数,将本轮命中的三级记忆槽位的槽位质量增加槽位质量命中增量且不超过1,其中,所述命中的判定条件为该三级记忆槽位在本轮休眠循环中参与所述值向量重锚定的写入,或者该三级记忆槽位在三级记忆读出中的读出权重大于槽位命中权重阈值;三级记忆槽位的槽位质量衰减至槽位释放质量阈值以下时,该三级记忆槽位的键向量、值向量与槽位质量不予释放,并继续参与所述键向量正交化与槽位合并;

42、三级记忆巩固结束后,将全部三级记忆槽位的键向量、值向量、槽位质量、类原型键向量与类原型值向量写入所述非易失性存储介质,会话开始时读取所述非易失性存储介质存储的槽位内容并加载至所述三级记忆槽位,按会话载荷权重对加载所得槽位键向量与本次会话新生成的槽位键向量加权求和后单位化,其中,所述会话载荷权重为本次会话新生成的槽位键向量在所述加权求和中的权重,所述会话载荷权重小于0.5,使历史持久化表征在所述加权求和中占主要权重。

43、进一步地,步骤6中,在一级记忆的占用率达到一级巩固触发占用率阈值时,按重要性评分升序将已通过验证的语义块移出所述一级记忆,在预测阶段分别从一级记忆、二级记忆和三级记忆读出结果向量并置信度加权融合,将融合读出向量注入记忆注入层后输出下一token的预测分布,具体为:

44、从一级记忆中选取巩固完成标志为已巩固且相对重构误差不大于判定阈值的语义块作为已通过验证的语义块,按重要性评分由小至大排序后依次移出,其中,移出为删除该语义块的token位置在记忆注入层与聚合层的键向量与值向量,累计移出的token位置数量达到一次清空所需释放的token位置数量时停止移出,已通过验证的语义块所提供的token位置数量不足一次清空所需释放的token位置数量时按实际数量移出且不移出未通过验证的语义块,移出不改变二级记忆槽位与三级记忆槽位的内容,使被移出语义块的信息仍可由二级记忆与三级记忆读出获得;

45、每移出一个语义块后,按一级记忆中当前驻留的token位置数量与一级记忆的容量之比重新计算一级记忆的占用率,当重新计算的占用率降至一级巩固触发占用率阈值以下时终止移出;

46、在每个记忆注入层以该记忆注入层的自注意力子层输出作为查询向量的基础,从二级记忆和三级记忆分别按槽位读出权重对槽位值向量加权求和,读出结果向量,从一级记忆按语义块内各token在聚合层的键向量对查询向量的归一化指数权重,对语义块内各token在聚合层的值向量加权求和后降维,读出结果向量,其中,查询向量由自注意力子层输出降维后再升维并单位化得到,三级记忆的检索温度系数小于二级记忆的检索温度系数;

47、按置信度权重对三个记忆层级的读出结果向量升维后加权求和,得到融合读出向量,三个置信度权重之和为1,置信度权重由自注意力子层输出与升维后读出结果向量的余弦相似度、以及该级记忆的层级质量指标共同确定,其中,一级记忆的层级质量指标为一级记忆中已结算语义块的重要性评分均值,二级记忆与三级记忆的层级质量指标为各自全部槽位质量的均值;

48、将融合读出向量经层归一化和低秩变换后按注入门控系数叠加至该记忆注入层的自注意力子层输出,将所得结果输入该记忆注入层的前馈子层,将大语言模型最后一层的层输出经输出投影矩阵投影后由归一化指数运算得到下一token的预测分布,其中,注入门控系数的初始化值为0,使训练起始阶段记忆注入层为恒等映射;

49、每次一级记忆巩固完成后,将本轮未被命中的二级记忆槽位的槽位质量乘以槽位质量衰减系数,当二级记忆槽位的槽位质量小于槽位释放质量阈值时,将该二级记忆槽位的键向量、值向量与槽位质量置零并转为未占用状态,其中,本轮参与一级记忆巩固写入的二级记忆槽位判定为命中而不作槽位质量衰减。

50、本发明还提供了一种基于多级记忆巩固的大语言模型长上下文管理系统,应用于上述的基于多级记忆巩固的大语言模型长上下文管理方法,包括:上下文接收与预处理模块、三级记忆存储模块、分级休眠巩固模块、记忆检索与融合模块、智能清空策略模块和端到端训练模块;

51、所述上下文接收与预处理模块用于获取输入token序列,按聚合层隐藏状态的相邻相似度将输入token序列划分为语义块,计算每个语义块的重要性评分与聚合键向量,并在满足结算条件时结算重要性评分;

52、所述三级记忆存储模块用于将输入token序列的键向量与值向量写入一级记忆,按重要性评分确定语义块的归属标记,并按槽位质量分级寻址将满足归属条件的语义块写入二级记忆槽位并更新槽位质量,还用于存储二级记忆槽位与三级记忆槽位并将三级记忆槽位持久化存储至非易失性存储介质;

53、所述分级休眠巩固模块用于在一级记忆的占用率达到一级巩固触发占用率阈值时,以聚合键向量从一级记忆读出目标表征,按重要性评分确定写入强度与休眠循环轮数,将经误差反馈修正后的目标表征写入二级记忆槽位并对写入结果执行相对重构误差验证;还用于在累积槽位写入次数达到累积槽位写入次数阈值时,将槽位质量不低于关键槽位质量阈值的二级记忆槽位划分语义类别,按语义类别计算类原型值向量并将类原型值向量写入三级记忆槽位;还用于在计算资源占用率连续低于空闲判定阈值的时段或会话切换时刻,对三级记忆槽位执行值向量重锚定、键向量正交化和槽位质量衰减;

54、所述智能清空策略模块用于在一级记忆的占用率达到一级巩固触发占用率阈值时,按重要性评分升序将已通过验证的语义块移出一级记忆;

55、所述记忆检索与融合模块用于在预测阶段分别从一级记忆、二级记忆和三级记忆读出结果向量并置信度加权融合,将融合读出向量注入记忆注入层后输出下一token的预测分布;

56、所述端到端训练模块分别与上下文接收与预处理模块、三级记忆存储模块、分级休眠巩固模块、记忆检索与融合模块和智能清空策略模块连接,用于对大语言模型、全部记忆槽位以及重要性评分所依据的参数依次执行四个训练阶段。

57、综上所述,本发明包括以下至少一种有益技术效果:

58、其一,本发明以语义块而非单个token作为记忆管理的基本单位,并按聚合层隐藏状态的相邻相似度与块长约束确定语义边界,使记忆的写入、巩固、淘汰与检索在语义完整的单元上进行,避免了按固定窗口切分造成语义割裂的情况,也使记忆的粒度与语义的粒度相互对应。

59、其二,本发明通过由任务相关性子评分、新颖性子评分、推理链关键度子评分与重复度子评分合成重要性评分,使重要性评估同时兼顾信息与当前任务的相关程度、信息相对于会话已有内容的意外程度、信息在后续生成中被关注的强度以及信息与二级记忆中已有表征的重合程度,从而使重要性评分能够较为全面地反映语义块在长上下文中的实际作用。

60、其三,本发明按重要性评分确定语义块的归属标记,并按槽位质量分级寻址确定二级记忆的写入槽位,使槽位质量不高于语义块重要性评分的槽位方可被写入,从而形成按重要性由低至高的替换顺序,使较低重要性内容倾向于替换同等或更低重要性的已有表征,而较难覆盖由更高重要性内容所建立的表征;配合槽位质量的单调更新方式,槽位质量能够随写入逐步收敛至该槽位所承载内容的重要性水平,从而同时承担记忆强度度量与重要性筛选的功能。

61、其四,本发明在一级记忆巩固中以聚合键向量从一级记忆读出目标表征,并在休眠循环中引入误差反馈修正,即沿目标表征与二级记忆重构结果之间的残差方向对写入目标进行修正,且将修正量限制在目标表征范数的预设倍率以内,使休眠循环的误差压缩因子保持为正并构成压缩映射,从而在压缩表征上逐步逼近一级记忆中的高精度内容表征。

62、其五,本发明按重要性评分确定写入强度与休眠循环轮数,且写入强度设有上界,使休眠循环过程保持收敛,并使重要性较高的语义块获得较高的写入强度与较多的休眠循环轮数,从而实现计算资源按信息重要性的差异化配置;由于写入强度设有下界,重要性较低的语义块同样能够获得足以收敛的写入强度,从而避免出现低重要性语义块长期无法通过验证、一级记忆难以释放的情形。

63、其六,本发明以相对重构误差作为巩固验证的判据,且判定阈值随重要性评分自适应变化,使重要性较高的语义块需达到较高的重构精度,重要性较低的语义块可采用相对较宽的判据;同时设置补充休眠循环与兜底强制巩固,使巩固流程在给定轮数预算内具备可达性,从而在保证巩固质量的同时避免一级记忆长期占用而无从释放。

64、其七,本发明在二级记忆巩固中按槽位质量筛选二级记忆槽位并划分语义类别,以同一类别下各成员槽位值向量的槽位质量加权平均作为类原型值向量并写入三级记忆槽位。由于三级记忆的槽位总数小于槽位向量维度,其槽位键向量集合所张成的子空间维数有限,以单条高精度表征作为巩固目标在表征能力上难以达到较高的重构精度;采用类原型作为巩固目标后,巩固目标本身位于各成员表征所张成空间的中心方向,从而使三级记忆保留的是各类别的语义骨架而非各成员的细节,与三级记忆的高压缩率设置相适应。

65、其八,本发明在三级记忆巩固中执行值向量重锚定、键向量正交化与槽位质量衰减,使三级记忆槽位的值向量在空闲时段向二级记忆中的较新类原型对齐,使三级记忆槽位的键向量收敛至近似正交的配置以提高其对目标表征的覆盖效率,并使长期未被命中的槽位质量按衰减系数下降、被命中的槽位质量获得提升,从而实现槽位的分化与有效覆盖;三级记忆槽位的槽位质量衰减至低位时不予释放,使跨会话知识得以保留。

66、其九,本发明将三级记忆的键向量、值向量、槽位质量与类原型写入非易失性存储介质,并在会话开始时加载后与本次会话新生成的槽位键向量按会话载荷权重融合,使模型能够在多次会话之间累积记忆,从而实现跨会话的知识保留与累积。

67、其十,本发明在预测阶段从一级记忆、二级记忆与三级记忆分别读出结果向量,并按由余弦相似度与层级质量指标共同确定的置信度权重加权融合后注入记忆注入层,使不同压缩程度的记忆在不同解码步上按需参与预测,其中一级记忆提供近端高精度内容,二级记忆与三级记忆提供压缩后的中远端内容,从而在有限的显存条件下扩展可参与预测的上下文范围。

68、其十一,本发明在清空一级记忆时按重要性评分升序移出已通过验证的语义块,且按语义块粒度逐个移出并在占用率降至阈值以下时终止移出,使清空过程以已由二级记忆与三级记忆承载的内容为对象,被移出语义块的信息仍可由下游记忆读出获得,从而减少清空造成的信息不可恢复损失,并使一级记忆在连续生成过程中形成滑动窗口式的渐进清空,避免一次性整体清空引起的性能波动。

69、其十二,本发明对二级记忆中长期未被命中的槽位执行槽位质量衰减并在低于释放质量阈值时释放槽位,使槽位资源能够被后续语义内容重新占用,从而实现长期未访问记忆的存储空间回收。

70、其十三,本发明通过端到端训练使重要性评分所依据的参数、记忆注入层所依据的参数、误差反馈修正所依据的矩阵以及写入强度与重要性响应指数协同优化,并通过状态转录与重放机制对分段执行的巩固流程进行反向传播,使训练阶段与推理阶段的巩固与检索流程保持一致,同时通过对槽位寻址、槽位合并、槽位释放等基于索引的操作执行梯度置零,使训练过程能够稳定进行。