一种知识库动态演化与失效智能检测方法及系统与流程

摘要: 本发明属于知识库管理,具体涉及一种知识库动态演化与失效智能检测方法及系统。背景技术:1、当前检索增强生成系统中的知识库大多采用静态构建方式,即在完成文档解析、分...
一种知识库动态演化与失效智能检测方法及系统与流程

本发明属于知识库管理,具体涉及一种知识库动态演化与失效智能检测方法及系统。

背景技术:

1、当前检索增强生成系统中的知识库大多采用静态构建方式,即在完成文档解析、分块、向量化及索引构建后,整个知识库处于冻结状态。后续若需更新知识内容,通常采用全量重建或简单追加新数据的方式。然而,当原始文档发生版本变更、删除或内容修正时,已有知识库无法自动感知所述外部数据源变化,只能在用户查询时发现检索结果与事实不符后被动触发检查,导致失效知识在查询环节持续产生错误反馈。

2、在知识库的部分内容需要更新时,现有技术通常直接覆盖旧数据或者在全量数据上重新构建索引,未能精准定位真正受影响的向量片段,导致更新粒度过粗。同时,由于知识库内部各分块之间通过文档同源、语义相似、检索共现等方式存在多重关联,局部知识的失效会沿所述关联关系传播,造成其他原本有效的知识也产生事实偏差,而现有更新机制缺少对所述级联影响的感知和建模能力,难以保证更新后知识库全局数据的一致性。此外,现有方案在更新过程中直接丢弃旧版本数据,无法追溯知识的演化历史,也缺少将知识库回滚至指定历史状态的能力。

技术实现思路

1、为解决背景技术中存在的问题,本发明提出了一种知识库动态演化与失效智能检测方法及系统。

2、本发明的第一方面提供了一种知识库动态演化与失效智能检测方法,包括:

3、获取原始文档并构建血缘链路图,所述血缘链路图包含文档节点、分块节点、向量节点和嵌入模型节点及关联边,并记录各节点元数据;

4、遍历所述血缘链路图,提取各向量片段的多维度时序特征,加权融合得到综合时效性得分;

5、将所述综合时效性得分经失效检测规则库匹配得初筛得分,并获取用户端反馈数据计算检索反馈得分,融合初筛得分与检索反馈得分得到失效置信度;

6、构建以分块为节点的知识依赖图,以所述时效性得分和失效置信度为节点特征,利用图注意力网络在所述知识依赖图中传播消息,预测失效分块对各关联节点的级联影响并输出各关联节点的量化风险值;

7、根据所述失效置信度、量化风险值和检索命中频率计算各分块的更新优先级,满足触发条件时定位待更新分块,基于更新成本和/或系统负载状态选择更新策略执行更新;

8、采用全量快照与增量差分相结合的版本存储策略建立版本链,记录各版本元数据,并提供版本回滚功能。

9、本发明的第二方面,提供了一种知识库动态演化与失效智能检测系统,包括:

10、血缘链路模块,用于获取原始文档并构建血缘链路图,所述血缘链路图包含文档节点、分块节点、向量节点和嵌入模型节点及关联边,并记录各节点元数据;

11、时序感知模块,用于遍历所述血缘链路图,提取各向量片段的多维度时序特征,加权融合得到综合时效性得分;

12、失效检测模块,用于将所述综合时效性得分经失效检测规则库匹配得初筛得分,并获取用户端反馈数据计算检索反馈得分,融合初筛得分与检索反馈得分得到失效置信度;

13、影响传播模块,用于构建以分块为节点的知识依赖图,以所述时效性得分和失效置信度为节点特征,利用图注意力网络在所述知识依赖图中传播消息,预测失效分块对各关联节点的级联影响并输出各关联节点的量化风险值;

14、更新触发模块,用于根据所述失效置信度、量化风险值和检索命中频率计算各分块的更新优先级,满足触发条件时定位待更新分块,基于更新成本和/或系统负载状态选择更新策略执行更新;

15、版本管理模块,用于采用全量快照与增量差分相结合的版本存储策略建立版本链,记录各版本元数据,并提供版本回滚功能。

16、与现有技术相比,本发明具有以下有益效果:

17、本发明公开了一种知识库动态演化与失效智能检测方法及系统,通过提取文档时间衰减、分块时间衰减、来源可信度、查询活跃度及嵌入模型版本一致性等多维度时序特征并生成综合时效性得分,结合失效检测规则库的规则匹配与用户检索行为的反馈分析,能够主动识别知识库中已失效或存在失效风险的向量片段,克服了传统方案仅在用户查询后发现知识过期才被动响应的缺陷。

18、其次,本发明构建包含语义相似依赖边、文档共现依赖边和检索共现依赖边的知识依赖图,以图注意力网络对失效知识在所述依赖关系中的传播过程进行建模,预测失效分块对各关联节点的级联影响并输出量化风险值,使得更新操作能够精准定位待更新的分块并预知其影响范围,有利于避免因局部更新导致关联知识出现事实偏差,从而保障知识库全局数据的一致性。

19、再者,本发明采用全量快照与增量差分相结合的多版本存储策略建立版本链,为各版本记录完整的版本元数据,使得知识库能够在版本链上定位、叠加增量差分数据并切换查询路由以完成版本回滚,实现了知识库演化历史的完整存储与可追溯。

1.一种知识库动态演化与失效智能检测方法,其特征在于,包括:

2.根据权利要求1所述的知识库动态演化与失效智能检测方法,其特征在于,所述构建血缘链路图,包括:

3.根据权利要求1所述的知识库动态演化与失效智能检测方法,其特征在于,所述提取各向量片段的多维度时序特征,包括以下至少一项:

4.根据权利要求1所述的知识库动态演化与失效智能检测方法,其特征在于,所述将综合时效性得分经失效检测规则库匹配得初筛得分,包括:

5.根据权利要求1所述的知识库动态演化与失效智能检测方法,其特征在于,所述构建以分块为节点的知识依赖图,包括:

6.根据权利要求1所述的知识库动态演化与失效智能检测方法,其特征在于,利用图注意力网络在所述知识依赖图中传播消息,预测失效分块对各关联节点的级联影响并输出各关联节点的量化风险值,包括:

7.根据权利要求1所述的知识库动态演化与失效智能检测方法,其特征在于,所述根据所述失效置信度、量化风险值和检索命中频率计算各分块的更新优先级,包括:

8.根据权利要求1所述的知识库动态演化与失效智能检测方法,其特征在于,所述触发条件,包括以下至少一种:

9.根据权利要求1所述的知识库动态演化与失效智能检测方法,其特征在于,所述采用全量快照与增量差分相结合的版本存储策略建立版本链,包括:

10.一种知识库动态演化与失效智能检测系统,其特征在于,包括: