一种基于可靠性加权惊奇度的长程对话记忆自演化方法及系统
本发明属于人工智能和自然语言处理,具体涉及用于长程对话智能体的长期记忆管理方法及系统,更具体地涉及一种基于可靠性加权惊奇度的对话记忆自演化方法及系统。
背景技术:
1、随着大语言模型、智能助手和具身智能体的发展,智能体逐渐从单轮问答工具转向能够持续陪伴用户、跨会话理解用户的长期交互系统。在该类系统中,模型不仅需要回答当前问题,还需要在不同会话之间维持对用户状态的理解,例如用户长期偏好、生活事实、职业背景、健康限制、正在推进的项目、沟通风格以及这些信息随时间发生的变化。长期对话记忆(long-term dialogue memory)因此成为对话智能体个性化与一致性的核心基础设施。
2、常规检索增强生成(retrieval-augmented generation, rag)方法通常将历史文本作为外部知识库,在回答时通过向量检索、关键词检索或混合检索召回相关片段。该类方法能够缓解大语言模型上下文窗口有限的问题,但它主要解决如何找到过去说过的内容,并未充分解决哪些内容应当成为用户画像、旧内容是否仍然有效、新内容是一次性噪声还是长期变化等长期记忆问题。
3、在长程对话场景中,原始对话片段与长期记忆并不等同:原始片段往往包含寒暄、情绪表达、假设性描述、临时安排、被否定的旧计划以及与用户当前状态无关的闲聊内容。例如,用户说今天陪朋友试了下茶,并不一定意味着长期偏好已从咖啡变为茶;用户说我以前住上海,现在搬到北京了,则明确表示旧居住地已过期。现有系统若不能区分这两类输入,就容易在稳定性与适应性之间失衡。
4、目前与长期对话记忆相关的现有技术大致包括三类:
5、第一类,追加式记忆方法:将用户交互内容直接保存为长期记忆,并在回答时通过向量检索或关键词检索召回(如 mem0 等系统)。其实现简单,但存储规模随对话轮次持续膨胀,且缺少对过期记忆和冲突记忆的处理机制。
6、第二类,基于时间、重要性或规则的筛选方法:通过打分、过期时间或人工规则决定是否保留某条记忆(如按时间分层整合记忆的系统 timem 等)。其可部分控制存储规模,但通常只能进行离散的保留或删除,难以表达该信息可能成立但证据不足或该旧事实已被部分削弱的中间状态。
7、第三类,基于大模型的记忆编辑方法:让大语言模型判断是否添加、更新或删除记忆(如全量记忆系统 o-mem 等)。其具备一定语义理解能力,但若完全依赖模型生成的离散决策,更新过程不稳定,且难以保证每轮更新幅度可控。
8、综合上述现有技术,其在长期对话记忆管理上存在以下缺陷和不足:
9、缺陷一,过度追加与噪声污染:追加式方法把每个片段都写入稳定画像,后续回复易受一次性情绪、临时尝试或误检索内容的干扰,无法区分临时噪声与真实长期偏好。
10、缺陷二,过早覆盖与状态丢失:当出现与既有记忆看似矛盾的输入时,二值化(仅保留/删除或添加/覆盖)机制容易直接覆盖或删除旧事实,缺乏证据等待与渐进式过渡,造成用户历史变化轨迹丢失。
11、缺陷三,错误删除与误召回放大:现有方法缺少对检索可靠性的显式建模。当记忆库中相似片段较多、检索结果分散时,即便当前输入与某召回片段表面矛盾,也可能源于检索证据本身不精确;不区分可靠矛盾与误召回造成的表面矛盾就会错误删除长期事实。
12、缺陷四,难以表达中间状态与不可审计:现有方法难以表达待验证假设、已弱化历史事实等中间状态,也缺少对每次更新来源与幅度的记录,导致记忆更新过程不可解释、不可追溯,难以人工审计或调参。
13、缺陷五,稳定性—可塑性失衡:上述方法在面对隐式、渐进的用户状态漂移时,要么过度稳定(无法适应真实变化),要么过度可塑(被噪声破坏),缺少统一的触发与调控机制。
14、针对上述现有技术存在的上述问题,本发明拟解决的技术问题是:提供一种能够同时表达置信度、暂存弱证据、可靠触发修正并保留可解释更新轨迹的长期记忆自演化方案,使系统在临时噪声、弱变化信号和真实用户状态漂移之间形成稳健区分。
技术实现思路
1、本发明的目的在于克服现有技术的不足之处,提供一种基于可靠性加权惊奇度的长程对话记忆自演化方法及系统,能够在长期对话中区分临时噪声、弱变化信号和真实用户状态漂移,提高对话智能体记忆更新的稳定性、可解释性和抗噪声能力。
2、本发明解决技术问题所采用的技术方案是:
3、本发明的第一方面提供一种基于可靠性加权惊奇度的长程对话记忆自演化方法,包括以下步骤:
4、维护带置信度的长期记忆状态,所述长期记忆状态包括信念库、情节缓存和主题索引;
5、接收当前轮用户输入及短期上下文;
6、对所述当前轮用户输入进行观察抽取,得到观察对象;
7、基于所述观察对象,从所述信念库中执行置信度调制检索,选取top-k信念项及其检索分数;所述置信度调制检索中,候选信念项的检索分数为语义相似度、词法匹配度和主题相关度的加权和与所述候选信念项的置信度权重之乘积;
8、基于所述当前轮用户输入、所述短期上下文及所述top-k信念项生成当前回复;
9、根据所述top-k信念项的检索分数分布计算检索可靠性,所述检索可靠性基于所述检索分数分布的归一化熵确定;
10、计算当前轮用户输入与所述top-k信念项之间的原始惊奇度,并以所述检索可靠性调制所述原始惊奇度,得到有效惊奇度;
11、根据所述有效惊奇度选择更新操作,并对所述信念库中的信念项执行所述更新操作;
12、将当前轮用户输入和当前回复写入所述情节缓存,并根据内容更新所述主题索引。
13、进一步地,所述信念库中的每个信念项至少包括信念标识、信念内容、信念类型、置信度权重、主题标签、向量表示、状态标识、创建时间、最近更新时间和来源指针;所述信念类型包括事实型和假设型;所述来源指针指向所述情节缓存中的一个或多个原始对话片段;所述情节缓存的内容保持不可编辑以保证证据可追溯;所述主题索引用于在检索前缩小候选信念项范围。
14、进一步地,所述置信度调制检索中,候选信念项的检索分数按照以下公式计算:
15、
16、其中,表示当前轮用户输入,表示候选信念项,表示置信度权重,、、为非负权重且三者之和为 1,为语义相似度、为词法匹配度、为主题相关度。
17、进一步地,所述根据 top-k 检索分数分布计算检索可靠性包括:
18、先对检索分数至进行平滑归一化得到,再计算归一化熵,并令。
19、
20、
21、
22、其中,为不小于1的整数,表示本轮实际参与计算的检索项数量,且不超过预设top-k 检索上限;所述检索分数均为非负数;为大于0的数值稳定常数;当检索分数集中于少量信念项时熵较低、较高;当检索分数接近均匀分布时熵较高、较低;
23、所述原始惊奇度由语义偏离度与矛盾度融合得到;所述有效惊奇度为检索可靠性与原始惊奇度之积。
24、
25、
26、其中,为当前输入与 top-k 信念加权语义中心之间的偏离度,且归一化至0至1; 为当前输入与检索信念之间的矛盾度,且归一化至0至1;为取值0至1的融合权重。
27、进一步地,所述根据所述有效惊奇度选择更新操作,包括:
28、设置低阈值和高阈值 ,且<:
29、当 ≤ 时,执行维持操作,所述维持操作为:为每个被支持的信念项确定证据强度,按更新置信度,使其逐步接近 1但不超过 1;
30、当<≤ 时,执行画像操作,所述画像操作为:生成假设型信念,并按假设类别与有效惊奇度确定其初始置信度,所述假设类别包括显式事件类和隐含推断类,二者的初始置信度区间均低于事实型信念的置信度阈值;
31、当> 时,执行修正操作,所述修正操作为:识别与当前轮用户输入相矛盾的目标旧信念项,确定矛盾强度,并按下式对其置信度进行软衰减。
32、
33、其中为修正强度系数。
34、进一步地,所述画像操作在写入前执行去重与合并:当新生成的假设型信念与已有假设型信念语义相近时,不新建信念项,追加来源指针并提高已有假设型信念的置信度;当新生成的假设型信念与已有事实型信念存在弱冲突但证据不足时,将其保留为独立假设型信念并通过来源指针记录其证据;
35、所述修正操作将矛盾类型区分为事实纠错和状态更新:当矛盾类型为状态更新时,软衰减旧状态信念并根据当前轮用户输入创建新状态信念或增强已有新状态信念;当矛盾类型为事实纠错时,软衰减被判定为错误的旧信念并记录纠错来源。
36、进一步地,还包括假设型信念生命周期管理:对假设型信念,在被支持时增强置信度、长期未被支持时按衰减、置信度达到晋升阈值时转为事实型、置信度低于裁剪阈值时移除,其中为自该假设最近一次支持或衰减更新以来的轮数,为衰减率。
37、进一步地,还包括门控保护策略:当所述top-k信念集合为空、所述检索可靠性低于预设可靠性下限、或当前轮用户输入同时涉及多个主题时,执行冷启动画像、仅写入情节缓存、重新扩大候选检索范围、或者按主题分别计算有效惊奇度并执行局部门控中的一种或多种;当有效惊奇度在阈值附近连续抖动时,采用滑动平均或滞回区间减少频繁切换;所述方法为每次记忆更新生成审计日志,所述审计日志至少包括轮次标识、触发操作、有效惊奇度、检索可靠性、被更新信念标识、更新前置信度、更新后置信度、来源片段标识和更新时间。
38、本发明的第二方面提供一种基于可靠性加权惊奇度的长程对话记忆自演化系统,包括:
39、输入解析模块,用于接收用户输入并输出观察对象;
40、长期记忆存储模块,用于维护信念库、情节缓存和主题索引;
41、置信度调制检索模块,用于计算语义相似度、词法匹配度和主题相关度的加权和与信念置信度之乘积作为检索分数,输出top-k信念集合;
42、证据约束回复模块,用于组织生成提示并调用生成模型生成当前回复;
43、检索可靠性计算模块,用于按归一化熵计算检索可靠性;
44、惊奇度计算模块,用于计算语义偏离度、矛盾度、原始惊奇度与有效惊奇度;
45、双阈值门控模块,用于根据有效惊奇度选择更新路径并执行保护策略;
46、信念更新模块,用于执行维持操作、画像操作或修正操作并更新置信度、类型和来源;
47、生命周期与审计写回模块,用于执行假设型信念生命周期管理、情节缓存写入与审计日志记录。
48、本发明的第三方面提供一种电子设备,包括处理器和存储器,所述存储器中存储有计算机程序指令,所述处理器执行所述计算机程序指令时实现所述方法。
49、本发明的优点和积极效果是:
50、1、本发明将长期记忆表示为带连续置信度权重(0至1)的信念项,并区分事实型与假设型。相对于现有追加式方法仅能添加和现有筛选方法仅能保留/删除的离散机制,本发明能够表达稳定事实、待验证假设、已弱化历史事实等中间状态,记忆更新更细粒度。该优点由记忆结构、按连续公式更新置信度的改进点共同带来。
51、2、本发明根据 top-k 检索分数的归一化熵计算检索可靠性,并用调制原始惊奇度得到有效惊奇度。当检索证据分散时较低,即使出现较高语义偏离或表面矛盾,系统也不会轻易执行强修正。该机制直接解决了缺陷三误召回放大与错误删除,使门控仅在召回集中且矛盾度高时才激进更新。
52、3、本发明采用双阈值三态门控。其中画像路径(中等惊奇度区间)提供了可验证的等待区,使系统能够先把弱变化信号保存为低置信度假设,再由后续证据决定增强、晋升或裁剪,而不是立即推翻长期事实或直接忽略。该改进点解决了缺陷二过早覆盖与状态丢失,是稳定性—可塑性平衡的关键。
53、4、本发明的修正操作对与当前输入构成可靠矛盾的旧事实执行软衰减(指数衰减)而非直接删除。被衰减的旧事实因置信度下降而降低未来检索优先级,但仍通过来源指针保留历史证据,可用于回答用户关于过去状态、变化轨迹和历史原因的问题。该改进点解决了缺陷二和缺陷三中历史证据链断裂的问题。
54、5、本发明为每次记忆更新记录来源指针和审计日志(含触发操作、有效惊奇度、检索可靠性、更新前后置信度、来源片段等)。当用户质疑“你为什么认为我不喝咖啡了”,系统可回溯多轮来源证据;开发者也可据此统计哪些场景频繁触发修正、哪些假设长期不晋升,从而调整阈值与模型。该改进点解决了缺陷四不可审计、不可解释。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com