一种增强大模型连续长期记忆存储检索的方法及系统与流程
本发明属于人工智能,尤其涉及一种增强大模型连续长期记忆存储检索的方法及系统。
背景技术:
1、现阶段各类大语言模型普遍存在基础性短板,核心痛点为记忆缺失问题,可通俗概括为模型具备永久性“失忆”特征,具体体现为以下四个方面:
2、1、对话记忆无法留存:单次会话终止后,本次交互产生的全部对话数据都会被彻底清空。用户开启新一轮对话时,模型无法调取过往聊天内容,完全遗忘此前沟通的各类信息,交互衔接性极差。
3、2、难以构建专属用户画像:受制于记忆无法沉淀,模型没办法持续捕捉、汇总用户长期使用偏好、行为习惯、个人特质等信息,始终无法深度适配个体需求,交互始终停留在通用化应答层面,缺乏针对性。
4、3、部署后不具备自主迭代成长能力:完备的智能体应当效仿人类,依托日积月累的交互经验持续优化自身认知;但现有大模型的参数与知识体系在正式部署运行后便趋于固化,仅能依靠后台整体迭代更新,无法结合和单个用户的沟通经历自主精进。
5、4、不能维系长效情感联结:长久记忆是建立信赖关系的前提,模型缺失记忆存储能力,无法感知用户心绪变化、累积相处默契,难以搭建稳定的情感纽带,也就实现不了真正意义上的陪伴式交互。
6、现有技术中常采用以下三类记忆存储类方案:
7、方案a:上下文窗口机制
8、实现方式:把全部历史对话内容拼接至本轮用户输入前端,一同送入模型运算;
9、核心弊端:受上下文长度上限约束(当前最大支持200万token),存储空间存在硬性边界,难以留存跨度极长的对话记忆。
10、方案b:外部向量数据库检索(rag检索增强生成)
11、实现方式:将过往对话文本转化为向量格式,持久化存储于外置向量数据库;模型需要调取过往信息时,通过相似度检索召回对应内容;
12、核心弊端:属于被动调取模式,不具备自主记忆留存能力;无法判别信息轻重层级,所有内容统一存储、无优先级划分,关键信息极易被冗余内容淹没遗忘。
13、方案c:模型微调方案
14、实现方式:周期性汇总新增对话数据,基于新数据集对大模型整体微调迭代;
15、核心弊端:算力与时间成本高昂;微调过程容易冲刷、覆盖模型原有旧知识,不支持稳定的增量式持续学习。
16、人脑有三种记忆:瞬时记忆(几秒)、短期记忆(几分钟到几天)、长期记忆(几年到终身)。当前大模型只有“瞬时记忆”,而真正的智能体必须拥有长期连续记忆。为解决大模型的“失忆症”问题,本发明提出了一种增强大模型连续长期记忆存储检索的方法及系统,目的是让模型像人一样,拥有短期记忆、中期记忆和长期记忆,并能根据记忆的重要性自动决定“记住什么、忘记什么”。
技术实现思路
1、本发明的目的在于提供一种增强大模型连续长期记忆存储检索的方法及系统,以解决现有技术中的技术问题。
2、为解决上述技术问题,本发明提供一种增强大模型连续长期记忆存储检索的方法,包括步骤:
3、s1、将当前会话窗口内的每个用户输入和模型输出内容进行记忆编码处理后形成记忆片段,标记瞬时记忆存储;
4、s2、对每个所述记忆片段进行重要性评分;
5、s3、根据所述重要性评分和阈值比较后的结果,将对应记忆片段进行记忆分级存储,包括标记短期记忆、长期记忆存储或保留在瞬时记忆,所述长期记忆是将对应记忆片段长期保存,所述短期记忆是将对应记忆片段保存固定一段时间,所述保留在瞬时记忆是当前会话窗口关闭后删除对应记忆片段;
6、s4、对标记为短期记忆和长期记忆的记忆片段分别采用不同的动态管理机制,动态更新对应记忆片段的存储等级;
7、s5、在用户发起新会话时,采用回忆触发机制,包括系统主动回忆和被动回忆,所述主动回忆为用户未提及,系统根据用户输入主动推断并在所述长期记忆和短期记忆中检索关联记忆,自动加载到当前会话窗口内,所述被动回忆为用户主动提及,系统响应式检索关联记忆。
8、优选的,所述记忆编码处理包括:将当前会话窗口内的对话内容通过预训练嵌入模型转换为语义向量,同时提取结构化关键信息,两者组合形成记忆片段。
9、优选的,所述重要性评分包括四个维度的自动评分:
10、频率:统计相同或相似主题在历史记录中出现的次数,次数越高频率分越高;
11、情感强度:基于预训练情感分析模型输出情感强度值;
12、用户指令:解析用户输入是否包含明确指令词包括记住、别忘了、这件事很重要,赋予指令分;
13、关联度:计算当前记忆片段向量与用户核心画像向量的余弦相似度;
14、所述重要性评分采用加权综合评分模型:
15、综合得分 = α×频率分 + β×情感强度 + γ×指令分 + δ×关联度
16、其中,α+β+γ+δ=1,具体权重可根据应用场景配置调整,默认取值α=0.2,β=0.3,γ=0.25,δ=0.25。
17、优选的,所述记忆分级存储具体为:
18、重要性评分≥0.8,对应记忆片段为高分记忆,标记为长期记忆存储;
19、0.4≤重要性评分<0.8,对应记忆片段为中分记忆,标记为短期记忆存储;
20、重要性评分<0.4,对应记忆片段为低分记忆,保留标记为瞬时记忆存储。
21、优选的,所述长期记忆、短期记忆和瞬时记忆统一存储在一个可横向扩展的分布式存储集群中,结合记忆类型与访问频率做逻辑分层隔离,包括热层、温层和冷层;所述热层读写速度最快,支持毫秒级响应,用于存储当前会话及最近高频访问的记忆片段;所述温层响应速度较快,支持快速检索,用于存储短期记忆和近期长期记忆;所述冷层支持复杂查询,存储成本低,适合永久保存,用于存储历史长期记忆和已归档记忆。
22、优选的,所述短期记忆的动态管理机制包括:
23、写入:满足重要性评分要求的记忆片段写入短期记忆存储,并设置过期时间;
24、更新:相同/相似主题的新记忆片段到来时,与原记忆片段合并,更新时间戳和重要性评分;
25、衰减:每日定期评估计算重要性评分,当前重要性评分=原始重要性评分×衰减系数,其中,衰减系数默认为0.98^天数;
26、升级:当记忆片段被反复检索,且重要性评分持续高于升级阈值时,则将其升级为长期记忆;
27、遗忘:当记忆片段长期未访问或重要性评分下降至低于遗忘阈值时,则自动将其从短期记忆存储中清除,转入归档记忆。
28、优选的,所述长期记忆的动态管理机制包括:
29、写入:满足重要性评分要求的记忆片段直接写入长期记忆存储;
30、巩固:定期对长期记忆重新计算重要性评分,若仍高于阈值则保留,若持续低于阈值则降级或归档;
31、更新:新记忆信息覆盖旧信息时,系统保留版本历史,不直接删除旧记录,支持回溯;
32、关联:长期记忆之间建立关联索引,便于回忆触发时快速检索。
33、本发明还提供了一种增强大模型连续长期记忆存储检索的系统,包括:
34、记忆写入编码模块,用于将当前会话窗口内的每个用户输入和模型输出内容进行记忆编码处理后形成记忆片段,并标记瞬时记忆存储;
35、重要性评分模块,用于对每个所述记忆片段进行重要性评分;
36、记忆分级存储模块,用于根据所述重要性评分和阈值比较后的结果,将对应记忆片段进行记忆分级存储,包括标记短期记忆、长期记忆存储或保留在瞬时记忆,所述长期记忆是将对应记忆片段长期保存,所述短期记忆是将对应记忆片段保存固定一段时间,所述保留在瞬时记忆是当前会话窗口关闭后删除对应记忆片段;
37、记忆管理模块,用于对标记为短期记忆和长期记忆的记忆片段分别采用不同的动态管理机制,动态更新对应记忆片段的存储等级;
38、回忆触发模块,用于在用户发起新会话时,采用回忆触发机制,包括系统主动回忆和被动回忆,所述主动回忆为用户未提及,系统根据用户输入主动推断并在所述长期记忆和短期记忆中检索关联记忆,自动加载到当前会话窗口内,所述被动回忆为用户主动提及,系统响应式检索关联记忆。
39、本发明还提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述任一项所述增强大模型连续长期记忆存储检索的方法。
40、本发明还提供了一种计算机设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述任一项所述增强大模型连续长期记忆存储检索的方法。
41、与现有技术相比,本发明的有益效果是:
42、本发明相较于采用rag、上下文窗口方案的现有技术,本发明具备多方面优势,记忆能够实现终身持续而非局限于单次会话,可自动触发主动回忆、无需用户进行提示;能够对记忆开展智能评分以区分信息重要程度,配备自动衰减的遗忘机制,无需手动清理存储内容,支持跨会话之间的内容关联,同时用户画像可动态持续进化,突破了现有技术相关功能短板。
43、具体体现在以下几个方面:
44、本发明提供了一种“三级记忆”架构:瞬时记忆(上下文窗口)→短期记忆(会话级)→长期记忆(用户级)。记忆像水一样,从瞬时流向短期,从短期流向长期,形成完整的记忆生命周期。
45、本发明采用了记忆重要性评估机制,基于记忆触发频次、情感属性、用户指令、内容相关度开展自动化权重评分。
46、本发明采用了自适应选择性遗忘机制,依照记忆重要程度以及时间衰减特性,自动清除低优先级无效记忆。
47、本发明采用了主动记忆触发功能,新建会话阶段自动检索、调取适配当前场景的历史记忆,无需用户主动调取。
48、本发明采用了跨会话知识关联学习,对多会话交互信息建立关联链路,实现知识沉淀与认知增量积累。
49、本发明采用了可持续演化的用户画像模块,由长期记忆数据构建用户认知画像,并跟随持续交互动态更新、迭代画像特征。
50、本发明解决了大模型“失忆症”的固有问题,使其从“一次性对话工具”进化为“有记忆、有成长、有陪伴能力的智能体”,本项技术是机器人大脑的核心基础设施。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com