一种面向长时记忆智能体的并行归因评估方法及系统

本发明属于人工智能、自然语言处理和大语言模型评测，涉及一种面向长时记忆智能体的并行归因评估方法及系统。

背景技术：

1、随着大语言模型（llm）驱动的智能体逐步进入个人助理、教育、健康支持、陪伴式对话等长周期交互场景，系统需要跨越多个会话持续维护用户状态、偏好、计划与历史事件，而不是孤立地回答每一轮问题。为支持这一能力，业界通常在大语言模型驱动的智能体中配置外部记忆系统，形成具备长时记忆能力的智能体（以下简称长时记忆智能体），所述外部记忆系统的实现形式包括层级或时间结构摘要、操作系统式记忆管理、模块化记忆块、用户画像以及由智能体构建的记忆记录等。这些系统在记忆构建、组织与更新方式上差异显著，但共享同一条功能链路：从历史交互中编码信息并写入记忆库、为新问题检索相关记录，并基于检索证据生成回答。这一共同链路使统一的、面向归因的评估成为可能。

2、然而，围绕长时记忆系统的评测方法相对滞后。当前主流评测方式主要依赖端到端问答正确率这一单一指标：将一批问题逐一输入待测系统、收集其最终回答，并统计回答正确的比例。围绕该范式，已出现若干静态长历史基准（如locomo、longmemeval），以及关注幻觉、持续学习和记忆操作等能力的诊断基准。

3、现有以端到端正确率为核心的评测方式以及相关评测/诊断技术，存在以下缺陷和不足：

4、1.评测结果是黑箱，无法定位失效来源：长时记忆系统在编码、检索、生成三个阶段中任一阶段出错都会导致最终回答错误：可能根本没有把相关事实写入记忆库（没记住），可能写入了却没有检索到（没找到），也可能检索到了却没有正确使用（不会用）。这三类失效对应完全不同的优化方向，但端到端正确率把它们混为一个数字，开发者无从判断问题出在哪一层，也就无法给出可操作的改进方向。

5、2.无法区分内部失效结构：端到端正确率相近的两个系统，其内部失效结构可能显著不同（如一个瓶颈在编码、另一个瓶颈在检索）；仅凭正确率无法识别真实瓶颈，导致优化资源投放盲目。

6、3.无法隔离基座模型能力与记忆链路能力：在端到端评测中，记忆链路的优劣与所用语言模型本身的能力相互纠缠，既无法判断性能不足究竟源于记忆链路还是问答基座模型，也无法判断更换模型是否有效。

7、4.未区分“应作答”与“应拒答”两类任务：长时记忆系统的真实负载中，一部分问题对应的证据从未在历史中出现，系统本不应作答而应拒答。若不显式区分正、负样本，就无法刻画“记忆库被幻觉污染”“检索被噪声诱导”“模型未拒答而编造”等负样本特有失效，也无法对记忆系统的数据卫生与拒答能力进行诊断。

8、5.单一根因无法表达共现失效：现有少量归因式方法通常将每次失败沿顺序流水线归因到单一操作。然而，一次错误回答可能同时暴露记忆构建、检索与答案生成等多个环节的缺陷，单根因模型无法表达这种跨操作共现失效。

9、因此，亟需一种能够将长时记忆系统的端到端失效分解到具体操作阶段、区分应作答与应拒答任务、支持多失效并存、隔离基座模型能力的可归因、可定位评测方案。

技术实现思路

1、本发明的目的在于克服现有技术的不足之处，提供一种能够将长时记忆系统的端到端失效分解到具体操作阶段、区分应作答与应拒答两类任务、在多种失效并存时同时列出失效来源、隔离基座模型能力，并在判定“是否存入”时保持高观测召回的可归因、可定位评估方法及系统。

2、本发明解决技术问题所采用的技术方案是：

3、本发明的第一方面提供一种面向长时记忆智能体的并行归因评估方法，包括：

4、获取标准化评估样本，所述评估样本包含历史对话、查询问题、标准答案、关键事实集合以及完美上下文，所述完美上下文在存在相关标准证据时由所述标准证据构成，在不存在相关标准证据时为空上下文或表示无相关记忆的占位内容；

5、将所述历史对话输入待测长时记忆系统，只读采集所述待测长时记忆系统的全量记忆库以及针对所述查询问题返回的原生检索结果；

6、针对所述评估样本，并行运行层级观测输入相互隔离的三组探针，分别为编码探针、检索探针和生成探针；所述编码探针基于所述全量记忆库输出第一状态及第一缺陷子集，所述第一缺陷子集为编码缺陷子集；所述检索探针基于所述原生检索结果输出第二状态及第二缺陷子集，所述第二缺陷子集为检索缺陷子集；所述生成探针基于所述完美上下文隔离上游干扰输出第三状态及第三缺陷子集，所述第三缺陷子集为生成缺陷子集；

7、根据所述第一状态，执行因果屏蔽规则对所述第二缺陷子集进行修正，得到修正后第二缺陷子集；

8、求取所述第一缺陷子集、修正后第二缺陷子集和第三缺陷子集的并集，得到当前样本的多标签缺陷集合，所述多标签缺陷集合允许同时包含分属不同层级的多个独立缺陷；

9、按照编码层、检索层、生成层的因果先后顺序，将多标签缺陷集合中首个存在缺陷的层级标记为首要失效层，其余存在缺陷的层级标记为次要失效层；若所述多标签缺陷集合为空，则首要失效层和次要失效层均标记为无；

10、输出所述多标签缺陷集合、首要失效层与次要失效层的定位结果。

11、进一步地，所述评估样本划分为正样本和负样本；

12、正样本对应的标准答案为实质内容答案，代表历史对话中存在关键事实，系统应当作答；负样本对应的标准答案为拒答声明，代表历史对话中无相关证据，系统应当拒答；

13、所述三组探针对正样本、负样本分别配置独立状态空间和健康通路：正样本健康通路为编码正常→检索命中且质量达标→生成通过；负样本健康通路为编码干净→检索无诱导→生成正确拒答。

14、进一步地，所述编码探针采用的高召回判存机制具体为有界收敛的智能体检索增强生成（agenticrag）机制，其执行步骤包括：

15、s301、基于查询问题和关键事实集合，规划多组互补视图检索查询，所述视图包含原始查询视图、时间视图、实体视图、主题视图、稀疏关键词视图、缺口补充视图；

16、s302、在只读全量记忆库内并行执行全部视图检索，对各视图检索结果采用倒数排名融合（rrf）后送入大语言模型重排，合并至全局候选记录池；

17、s303、循环执行步骤s301至s302，直至满足任意一项有界收敛终止条件：候选记录池容量达到预设上限、相邻两轮重排结果的杰卡德相似度达到或超过预设阈值、新增候选记录占比低于预设阈值、循环轮数达到最大轮数；

18、s304、基于循环终止后的全局候选记录池判定关键事实存储状态，输出第一状态；

19、针对正样本，所述第一状态包括exist已正确存储、miss未存储、corruptambig指代模糊损坏和corruptwrong事实值错误；针对负样本，所述第一状态包括miss和dirty，其中miss表示记忆库未存储与查询相关的无依据伪事实，dirty表示记忆库存在所述无依据伪事实；

20、并依据第一状态映射生成第一缺陷子集：针对正样本，miss对应编码遗漏em、corruptambig对应编码歧义ea、corruptwrong对应编码错误ew、exist对应空缺陷集；针对负样本，dirty对应脏记忆污染dmp，miss对应空缺陷集；

21、所述agenticrag高召回判存机制仅用于编码层事后诊断校验，不参与待测长时记忆智能体线上问答检索流程。

22、进一步地，所述检索探针输出第二状态及第二缺陷子集的方式包括：

23、以关键事实集合所对应证据在原生检索结果中的最小索引作为排序位次，以关键事实集合与原生检索结果的共有词元数量占原生检索结果总词元数量的比值作为信噪比snr；

24、所述第二状态包括hit有效命中、miss未命中、noise噪声诱导；

25、针对正样本：若第二状态为miss，则生成候选检索失效rf；若第二状态为hit且排序位次超过预设排名阈值，则生成检索靠后late；若第二状态为hit且信噪比低于预设信噪比阈值，则生成检索噪声过载noi；

26、针对负样本：若第二状态为noise，检索返回高相似无依据误导片段，则生成噪声诱导检索nir；若样本为负样本且第二状态为miss，则第二缺陷子集为空集；

27、针对正样本，若第二状态为hit且排序位次、信噪比均满足阈值要求，则第二缺陷子集为空集。

28、进一步地，所述生成探针输出第三状态及第三缺陷子集的方式包括：

29、在所述完美上下文下调用模型得到预测答案，将预测答案与标准答案比对得到第三状态，第三状态分为pass正常和fail异常；

30、若为正样本且第三状态为fail，依据预测答案与完美上下文的接地重合度区分缺陷：若接地重合度低于预设阈值，则标记为生成不忠实gf；若接地重合度达标但推理错误，则标记为生成推理失败grf；

31、若为负样本且第三状态为fail，表示模型未执行拒答而生成无依据内容，统一标记为生成幻觉gh；若第三状态为pass，则第三缺陷子集为空集。

32、进一步地，所述因果屏蔽规则包括双层屏蔽逻辑：

33、第一层、正样本检索失效屏蔽规则：当所述第一状态不为exist时，屏蔽所述第二缺陷子集中的候选检索失效rf；仅当所述第一状态为exist、所述第二状态为miss且样本为正样本时，保留所述候选检索失效rf；

34、第二层、负样本噪声诱导屏蔽规则：当所述第一状态为dirty、指示记忆库存在脏伪事实时，屏蔽所述第二缺陷子集中的噪声诱导检索nir；仅当所述第一状态为miss、所述第二状态为noise且样本为负样本时，保留噪声诱导检索nir。

35、进一步地，所述多标签缺陷集合包含分层标准化缺陷编码，共11类，具体包括：

36、编码层缺陷：编码遗漏em、编码歧义ea、编码错误ew、脏记忆污染dmp；

37、检索层缺陷：检索失效rf、检索靠后late、检索噪声过载noi、噪声诱导检索nir；

38、生成层缺陷：生成幻觉gh、生成不忠实gf、生成推理失败grf。

39、进一步地，还包括：批量汇总全部评估样本对应的多标签缺陷集合，统计各类缺陷出现占比；若编码层缺陷占比高则优化编码提取逻辑，若检索层缺陷占比高则优化检索与排序策略，若生成层缺陷占比高则优化或更换基座大模型。

40、本发明的第二方面提供一种面向长时记忆智能体的并行归因评估系统，用于执行所述并行归因评估方法，包括：

41、适配器接入层，用于兼容异构待测系统，只读采集全量记忆库与原生检索结果；

42、样本与证据层，用于存储标准化契约格式的评估样本及完美上下文数据；

43、三探针并行评估层，包含并行调度单元、编码探针模块、检索探针模块和生成探针模块；所述并行调度单元通过并发调度使三组探针按各自输入边界并发执行；

44、因果归因统计层，包含归因代理单元与瓶颈统计单元；所述归因代理单元执行因果屏蔽、缺陷并集、失效层定位；所述瓶颈统计单元批量统计缺陷占比，输出分层失效量化指标；

45、输出层，用于输出多标签缺陷集合、失效层定位及系统瓶颈量化统计结果。

46、进一步地，所述编码探针模块内置可独立部署为远程调用服务的agenticrag高召回判存子模块，该子模块仅用于编码探针的判存校验，不接入待测长时记忆智能体的线上问答检索链路。

47、本发明的优点和积极效果是：

48、1.本发明将评估链路拆解为编码、检索、生成三个独立阶段，通过层级观测输入相互隔离的并行探针，将单一问答正确率指标细化为三层观测结果，区分“没记住”“没找到”与“不会用”三类失效。结合编码、检索、生成的因果链排序规则，确定首要与次要失效层，降低人工链路排查成本。

49、2.本发明为正样本（应作答）与负样本（应拒答）分别配置独立状态空间、健康通路及缺陷映射规则。正样本聚焦存储、召回与推理能力；负样本独立诊断脏记忆污染、检索噪声诱导及模型幻觉编造。填补了现有评测无法量化记忆库数据卫生与模型拒答失效的空白。

50、3.本发明的生成探针绕过待测系统的编码与检索链路，直接注入完美上下文以隔离上游干扰，单独评估基座模型的生成能力。若上游检索错误而在完美上下文下回答正确，则可归因于记忆链路缺陷；反之则可定位基座模型能力瓶颈，避免将优化资源投入错误环节。

51、4.本发明内置多视图、有界收敛、宁滥勿缺的agenticrag高召回判存机制，从原始查询、实体、时间、主题、稀疏关键词等多维视角检索，经rrf融合与llm重排累计候选池，以降低文本表述差异或格式异构带来的“事实观测遗漏”风险，提高“是否存储”判定的观测可靠性，且该机制仅用于离线诊断，不干扰线上业务。

52、5.本发明不将一次失效限定为单一根因，采用双层因果屏蔽规则：若编码层未存事实则屏蔽检索失效，若记忆库存在脏伪事实则屏蔽噪声诱导，以实现分层归因。同时对三层缺陷子集求并集，允许一次问答错误同时携带多个跨层级缺陷标签，用于表示业务场景中的复合故障。

53、6.本发明提供标准化适配器接入层，可兼容层级时序记忆、模块化记忆、用户画像等异构长时记忆系统；框架采用五层模块化设计，agenticrag子模块可独立部署为远程诊断服务，支持分布式与批量离线评估。除按评估协议输入历史对话外，诊断阶段仅对记忆库和原生检索结果进行只读观测，不回写诊断结果。