一种基于检索增强⽣成的⾃进化知识库编译方法及系统与流程

本技术属于计算机科学与人工智能领域，尤其涉及一种基于检索增强生成的自进化知识库编译方法及系统。

背景技术：

1、随着人工智能和自然语言处理技术的发展，基于大语言模型的知识问答系统在企业知识管理等领域得到了广泛应用。传统的检索增强生成技术在每次接收到用户查询时，通常从原始文档库中检索相关片段并送入大语言模型生成答案。然而，该技术在处理海量查询时，每次均需从零开始推导，导致知识难以有效沉淀和积累，且面对同主题的重复查询时会增加计算资源的消耗，同时纯向量检索方式也使得知识点之间缺乏结构化的关联。

2、为了解决上述知识无法积累和缺乏结构化关联的缺陷，目前通常采用一种知识编译型wiki的相关技术。该相关技术将原始素材一次性编译为结构化的知识页面，后续的用户查询直接基于这些已预先生成的结构化产物进行响应。这种方式通过显式的链接和交叉引用，构建了清晰的知识图谱和依赖关系，不仅实现了知识的复利和持久化积累，还提升了结构化查询的效率，为用户提供了具备深度上下文关联的知识问答服务。

3、然而，在实际的动态知识管理应用场景中，由于结构化知识页面之间存在复杂的交叉引用和语义关联，当有新的学术论文等增量素材输入时，新知识的融入往往会引起多个已有页面内容的变动。相关技术在处理这种增量更新时，为了保证全局知识结构的一致性，通常需要对全量或大面积的知识页面进行重新编译。随着知识库规模的扩大，这种大范围的重新编译会消耗大量的底层计算资源，增加系统的处理延迟，导致知识库在面对频繁的新增数据时算力开销增加，从而降低了系统对大规模动态数据支持的扩展性。

技术实现思路

1、本技术提供了一种基于检索增强生成的自进化知识库编译方法及系统，用于降低结构化知识库在融入增量数据时的计算资源消耗，并提升系统对大规模动态数据更新的处理效率。

2、第一方面，本技术提供了一种基于检索增强生成的自进化知识库编译方法，读取预先构建的知识依赖图，知识依赖图中的节点映射为已编译的结构化知识页面，节点之间的边映射为结构化知识页面之间的交叉引用关系和语义关联关系；

3、接收增量数据文档，调用自然语言处理模型对增量数据文档进行解析，以提取增量数据文档中的实体特征和概念特征；

4、将实体特征和概念特征与知识依赖图中匹配的节点作为起始节点；

5、以起始节点为起点，按照预设深度对知识依赖图执行图遍历算法，将遍历到达的节点所对应的结构化知识页面聚合为候选知识页面集；

6、针对候选知识页面集中的每个结构化知识页面，计算增量数据文档对结构化知识页面的影响度得分，并基于影响度得分生成变更必要性评分；

7、将变更必要性评分大于或等于预设阈值的结构化知识页面筛选为目标更新页面；

8、将增量数据文档与目标更新页面的原始内容进行拼接并输入至预设编译引擎执行重新编译，生成更新后的结构化知识页面；

9、根据更新后的结构化知识页面更新知识依赖图中的节点和边。

10、通过采用上述技术方案，通过读取知识依赖图并解析增量数据文档提取实体与概念特征，将匹配节点作为起点按预设深度遍历，能够精准定位与新增数据在语义和引用上存在关联的候选知识页面集，缩小了需要评估的范围。针对候选页面计算影响度得分并生成变更必要性评分，利用阈值筛选出真正需要更新的目标页面，减少了对整个知识库或低相关度页面的盲目更新，降低了系统的无效编译算力开销。将增量数据与目标页面原始内容拼接后重新编译并更新知识依赖图，使得新知识能够有机融合到原有知识网络中，进而提高了知识库在面对动态增量数据时的自进化效率以及知识结构更新的准确性，降低了结构化知识库在融入增量数据时的计算资源消耗，提升了系统对大规模动态数据更新的处理效率。

11、结合第一方面的一些实施方式，在一些实施方式中，针对候选知识页面集中的每个结构化知识页面，计算增量数据文档对结构化知识页面的影响度得分，并基于影响度得分生成变更必要性评分，具体包括：

12、提取结构化知识页面中的历史核心论点向量，并计算增量数据文档中的实体特征和概念特征所对应的增量论点向量；

13、将历史核心论点向量与增量论点向量进行余弦相似度计算，得到语义相关度；

14、调用预设自然语言处理模型对历史核心论点向量与增量论点向量进行矛盾检测，输出语义冲突概率；

15、读取知识依赖图，统计以结构化知识页面对应的节点为起点的出度边数量，作为节点的拓扑重要性权重；

16、将语义相关度、语义冲突概率以及拓扑重要性权重进行加权求和，生成影响度得分；

17、计算当前时间与结构化知识页面的上一次编译时间戳的时间差值；

18、基于影响度得分和时间差值，计算得到变更必要性评分。

19、通过采用上述技术方案，通过提取历史核心论点向量与增量论点向量进行余弦相似度计算并调用模型进行矛盾检测，能够从语义相关度和语义冲突概率两个维度量化新旧知识的内容关联与对立程度。读取知识依赖图统计出度边数量作为拓扑重要性权重，将页面在整个知识网络中的结构影响力纳入考量，使得被广泛引用的核心节点在受到新数据冲击时能够获得更高的评估权重。将上述多维指标加权求和生成影响度得分，并结合页面上一次编译的时间差值计算变更必要性评分，综合评估了内容变化程度、网络拓扑影响以及时间衰减因素，从而提高了目标更新页面筛选的精准度，降低了关键知识节点未被及时更新或频繁无效更新的风险。

20、结合第一方面的一些实施方式，在一些实施方式中，针对候选知识页面集中的每个结构化知识页面，计算增量数据文档对结构化知识页面的影响度得分，并基于影响度得分生成变更必要性评分，具体包括：

21、解析增量数据文档的元数据，提取增量数据文档的来源标识，并根据预设来源评级字典映射得到第一权威度评分；

22、解析结构化知识页面的元数据，提取结构化知识页面的原始引用来源，并根据预设来源评级字典映射得到第二权威度评分；

23、计算第一权威度评分与第二权威度评分的权威度差值；

24、提取增量数据文档中未包含在结构化知识页面中的独立实体数量，作为信息增益值；

25、基于权威度差值和信息增益值构建评估矩阵，并通过评估矩阵计算得到影响度得分；

26、将影响度得分输入预设激活函数，输出变更必要性评分。

27、通过采用上述技术方案，解析增量数据文档与结构化知识页面的元数据并映射预设来源评级字典，分别获取两者的权威度评分以计算权威度差值，能够量化新旧知识来源的可靠性对比情况。提取增量数据文档中未包含在结构化知识页面内的独立实体数量作为信息增益值，客观衡量了新数据所带来的实质性未知信息量。基于权威度差值和信息增益值构建评估矩阵来计算影响度得分并输出变更必要性评分，使得系统在评估页面更新价值时，不仅关注数据的内容增量，还兼顾了信息来源的可信度层级，从而提高了知识库内容演进的质量与可靠性，降低了因低权威来源或低信息量数据引发的冗余编译和知识降级风险。

28、结合第一方面的一些实施方式，在一些实施方式中，在将增量数据文档与目标更新页面的原始内容进行拼接并输入至预设编译引擎执行重新编译，生成更新后的结构化知识页面之后，方法还包括：

29、提取增量数据文档中的第一知识陈述以及目标更新页面对应的历史版本中的第二知识陈述，并计算第一知识陈述与第二知识陈述之间的语义冲突度；

30、在确定语义冲突度大于预设冲突阈值的情况下，分别获取第一知识陈述的第一来源权重属性以及第二知识陈述的第二来源权重属性；

31、计算第一来源权重属性与第二来源权重属性的差值绝对值；

32、在确定差值绝对值小于预设差异阈值的情况下，在重新编译后的目标更新页面中构建分歧展示区域；

33、将第一知识陈述和第二知识陈述并行写入分歧展示区域；

34、基于第一来源权重属性和第二来源权重属性，分别为第一知识陈述和第二知识陈述配置对应的置信度评分标识。

35、通过采用上述技术方案，在生成更新后的结构化知识页面后，通过提取增量数据与历史版本中的知识陈述并计算语义冲突度，能够精准识别新旧知识间的实质性分歧。在冲突度超限且两者的来源权重属性差值绝对值小于预设差异阈值时，说明存在势均力敌的矛盾观点，此时在目标更新页面中构建分歧展示区域并将两者并行写入，减少了系统在面对同等权威度的冲突信息时进行武断单一覆盖的情况。基于来源权重属性为两者配置对应的置信度评分标识，为用户提供了直观的参考依据，在保障知识库吸收新信息的同时，提高了知识呈现的客观性，降低了因直接覆盖而导致高价值备选观点丢失的风险。

36、结合第一方面的一些实施方式，在一些实施方式中，基于第一来源权重属性和第二来源权重属性，分别为第一知识陈述和第二知识陈述配置对应的置信度评分标识，具体包括：

37、针对第一知识陈述和第二知识陈述中的任一目标知识陈述，提取目标知识陈述的发布时间戳以及被引用频次；

38、计算发布时间戳与当前系统时间戳的时间差值，并基于时间差值确定时间衰减因子；

39、将目标知识陈述对应的来源权重属性、时间衰减因子以及被引用频次输入至预设置信度评分公式，计算得到目标知识陈述的置信度评分；

40、将置信度评分映射为对应的置信度评分标识；

41、预设置信度评分公式为：

42、

43、公式中，为置信度评分，为目标知识陈述对应的来源权重属性，为时间差值，为预设衰减系数，为被引用频次，、及分别表示预设权重系数。

44、通过采用上述技术方案，通过提取目标知识陈述的发布时间戳与被引用频次，并结合来源权重属性，利用包含时间衰减因子和对数函数的预设置信度评分公式进行综合计算，系统能够多维度地量化知识的可靠程度。其中时间衰减因子合理反映了知识的时效性对置信度的影响，而被引用频次则客观体现了知识的行业认可度。将这些多源属性特征通过合理的权重系数进行融合计算并映射为置信度评分标识，使得置信度的评估过程更加全面且贴合实际知识演变规律，从而提高了分歧展示区域中不同知识陈述置信度标识的客观性与准确性。

45、结合第一方面的一些实施方式，在一些实施方式中，在基于第一来源权重属性和第二来源权重属性，分别为第一知识陈述和第二知识陈述配置对应的置信度评分标识之后，方法还包括：

46、提取第一知识陈述和第二知识陈述中互不重合的实体特征和概念特征，作为冲突焦点特征；

47、将冲突焦点特征输入预设特征编码模型，输出定向探测向量；

48、将定向探测向量存入待决议探测池，待决议探测池为预先分配的用于缓存未收敛冲突特征的向量存储空间；

49、在接收到新的增量数据文档时，将新的增量数据文档拆分为多个候选语句序列；

50、分别计算各候选语句序列与待决议探测池中定向探测向量的语义相似度；

51、在确定目标候选语句序列与定向探测向量的语义相似度大于预设探测阈值的情况下，将目标候选语句序列提取为第三知识陈述；

52、分别计算第三知识陈述与第一知识陈述的第一语义一致性得分，以及第三知识陈述与第二知识陈述的第二语义一致性得分；

53、比较第一语义一致性得分和第二语义一致性得分，确定得分较低的知识陈述为待淘汰陈述，以及确定得分较高的知识陈述为目标保留陈述；

54、从目标更新页面的分歧展示区域中删除待淘汰陈述以及对应的置信度评分标识；

55、将分歧展示区域的节点结构转换为标准知识节点结构，并将目标保留陈述写入标准知识节点结构中；

56、对包含标准知识节点结构的目标更新页面执行二次编译。

57、通过采用上述技术方案，提取冲突知识陈述中互不重合的特征生成定向探测向量并存入待决议探测池，系统针对未收敛的知识冲突建立了一种持续的自动化监测机制。当接收到新的增量数据文档时，系统利用该定向探测向量主动在候选语句序列中进行语义相似度匹配，从而精准提取出与当前冲突焦点相关的第三知识陈述作为新的验证依据。通过分别计算该新依据与原有冲突陈述的语义一致性得分，系统能够客观地量化评估哪一种历史陈述更符合最新的知识演进趋势，进而自动淘汰得分较低的陈述并保留得分较高的陈述，将分歧节点恢复为标准知识节点结构并进行二次编译。降低了人工介入冲突解决的维护成本，提高了知识库在面对信息分歧时的自进化效率与内容一致性。

58、结合第一方面的一些实施方式，在一些实施方式中，预设特征编码模型为基于预设训练集训练并经预设测试集验证收敛的深度神经网络模型；其中，预设训练集包括多组历史冲突焦点特征样本及对应的标准探测向量标签，预设特征编码模型是通过将历史冲突焦点特征样本输入初始神经网络模型输出预测探测向量，并基于预测探测向量与标准探测向量标签之间的损失值迭代更新网络参数，直至利用预设测试集验证的模型精度满足预设收敛条件后训练得到的，以用于在实际应用阶段接收冲突焦点特征作为输入数据，并输出定向探测向量作为输出数据。

59、通过采用上述技术方案，采用基于历史冲突焦点特征样本及标准探测向量标签训练的深度神经网络模型作为特征编码模型，系统能够深入学习并拟合文本冲突特征与高维向量表示之间的复杂映射关系。在训练阶段，通过计算预测探测向量与标准标签之间的损失值来迭代更新网络参数，促使模型不断优化特征提取与编码能力，直至在测试集上验证收敛。将这种经过充分训练和精度验证的神经网络模型应用于实际的冲突焦点特征编码过程中，能够更敏锐地捕捉到互不重合实体与概念特征深层的语义关联，从而提高了输出的定向探测向量的语义表征质量与精准度，进而提升了后续在增量数据中检索和匹配相关验证语句的准确率。

60、第二方面，本技术实施方式提供了一种基于检索增强生成的自进化知识库编译系统，该基于检索增强生成的自进化知识库编译系统包括：一个或多个处理器和存储器；存储器与一个或多个处理器耦合，存储器用于存储计算机程序代码，计算机程序代码包括计算机指令，一个或多个处理器调用计算机指令以使得系统执行如第一方面以及第一方面中任一可能的实现方式描述的方法。

61、第三方面，本技术实施方式提供一种计算机可读存储介质，包括指令，当上述指令在系统上运行时，使得上述系统执行如第一方面以及第一方面中任一可能的实现方式描述的方法。

62、第四方面，本技术实施方式提供一种计算机程序产品，当计算机程序产品在系统上运行时，使得系统执行如第一方面中任一可能的实现方式描述的方法。

63、本技术实施方式中提供的一个或多个技术方案，至少具有如下技术效果或优点：

64、1、本技术提供了一种基于检索增强生成的自进化知识库编译方法，通过读取知识依赖图并解析增量数据文档提取实体与概念特征，将匹配节点作为起点按预设深度遍历，能够精准定位与新增数据在语义和引用上存在关联的候选知识页面集，缩小了需要评估的范围。针对候选页面计算影响度得分并生成变更必要性评分，利用阈值筛选出真正需要更新的目标页面，减少了对整个知识库或低相关度页面的盲目更新，降低了系统的无效编译算力开销。将增量数据与目标页面原始内容拼接后重新编译并更新知识依赖图，使得新知识能够有机融合到原有知识网络中，进而提高了知识库在面对动态增量数据时的自进化效率以及知识结构更新的准确性，降低了结构化知识库在融入增量数据时的计算资源消耗，提升了系统对大规模动态数据更新的处理效率。

65、2、本技术提供了一种基于检索增强生成的自进化知识库编译方法，通过提取冲突知识陈述中互不重合的特征生成定向探测向量并存入待决议探测池，系统针对未收敛的知识冲突建立了一种持续的自动化监测机制。当接收到新的增量数据文档时，系统利用该定向探测向量主动在候选语句序列中进行语义相似度匹配，从而精准提取出与当前冲突焦点相关的第三知识陈述作为新的验证依据。通过分别计算该新依据与原有冲突陈述的语义一致性得分，系统能够客观地量化评估哪一种历史陈述更符合最新的知识演进趋势，进而自动淘汰得分较低的陈述并保留得分较高的陈述，将分歧节点恢复为标准知识节点结构并进行二次编译。降低了人工介入冲突解决的维护成本，提高了知识库在面对信息分歧时的自进化效率与内容一致性。