一种基于多源知识检索的大语言模型问答方法及系统

摘要: 本发明涉及大语言模型,尤其涉及一种基于多源知识检索的大语言模型问答方法及系统。背景技术:1、检索增强生成(rag)技术通过从外部知识库动态检索相关信息并输入大语...
一种基于多源知识检索的大语言模型问答方法及系统

本发明涉及大语言模型,尤其涉及一种基于多源知识检索的大语言模型问答方法及系统。

背景技术:

1、检索增强生成(rag)技术通过从外部知识库动态检索相关信息并输入大语言模型作为上下文,显著提升了生成结果的准确性与可解释性,已成为知识密集型问答任务的主流方案。然而,现有rag系统在处理不同复杂度的用户问题时仍存在明显不足。

2、现有技术中,公开号为cn121960739a的专利申请公开了一种“基于大语言模型的自适应问答方法及智能大语言模型”,其通过查询分析模型确定查询文本的复杂度,低复杂度查询直接输入大语言模型生成答案,高复杂度查询则执行检索流程后将参考文档与查询文本共同输入大语言模型。该方案虽实现了查询分流,但其复杂度分级较为粗粒度,且对于高复杂度查询仅执行单次检索,未涉及多跳迭代检索机制,面对需要跨多个实体桥接或逐跳推理的复杂问题时,检索深度不足,难以保证证据链的完整性。

3、现有技术中,公开号为cn121388189a的专利申请公开了一种“基于大模型与知识图谱融合的检索生成方法及系统”,其利用大模型提取三元组结构以构建向量化知识库与知识图谱,并通过graphrag检索与多跳路径推理生成结果。该方案依赖三元组抽取质量,管线较为沉重,抽取误差会逐级累积;同时,其多跳推理在知识图谱的固定结构上进行,难以围绕新发现的实体动态扩展证据空间。

4、现有技术中,公开号为cn115757715a的专利申请公开了“一种基于知识图谱表示学习的复杂问题多跳智能问答方法”,其通过知识图谱表示学习算法学习实体和关系的向量表示,搜索问题主题实体的可达实体并建立候选答案的推理路径,最终选择评分最高的实体作为答案。该方案主要面向结构化知识图谱,依赖表示学习质量,且推理路径的构建受限于知识图谱的完备程度,对非结构化知识库中的多跳问答场景适应性有限。

5、上述现有技术在知识库更新方面通常采用周期性全量重建或先删后插的方式,存在全量重建耗时长、更新期间新旧版本并存导致过期内容被召回、知识变更生效时延高等问题。此外,检索过程缺乏逐跳证据链的记录,答案断言难以回溯至具体知识片段,知识更新后新旧证据冲突也缺乏明确的消解依据。

6、综上所述,现有技术难以同时兼顾简单问题的低延迟响应与复杂问题的多跳证据完整性,检索调度与知识库更新机制亦缺乏有效协同,亟需改进。

技术实现思路

1、为了克服上述背景技术中提出的问题,本发明提出了一种基于多源知识检索的大语言模型问答方法及系统。

2、本发明的技术方案为:一种基于多源知识检索的大语言模型问答方法,包括以下步骤:

3、s1:接收用户问题,将所述用户问题输入预先训练的轻量复杂度分类器,得到复杂度等级及对应置信度,所述复杂度等级至少包括单实体直答型、多实体关联型和需推理计算型;

4、s2:根据所述复杂度等级确定检索调度策略;当所述复杂度等级为单实体直答型时,执行单跳检索;当所述复杂度等级为多实体关联型或需推理计算型时,执行实体驱动的迭代多跳检索:以当前跳的实体集合与所述用户问题构建查询,检索得到本跳知识片段集;对所述本跳知识片段集进行命名实体识别,得到候选实体集合;对所述候选实体集合进行实体链接与共指消解后,去除已访问实体集合中的实体,将剩余实体作为下一跳的实体集合,直至满足预设终止条件;

5、s3:响应知识库的变更事件,仅对发生变更的知识分块进行局部重嵌入,将重嵌入结果写入增量索引,并在实体注册表中更新对应实体的版本号;删除类变更以携带递增版本号的墓碑记录写入;

6、s4:每一跳检索中,对所述增量索引与存量索引分别进行稠密向量检索与稀疏倒排检索,将各索引各方式的召回结果按实体标识与分块标识分组,同组内保留版本号最大的条目,当同组存在更高版本号的墓碑记录时剔除该组,合并去重后得到本跳知识片段集;

7、s5:记录每一跳命中的实体、知识片段及各知识片段的版本信息,形成检索轨迹;

8、s6:将所述用户问题、所述复杂度等级与所述检索轨迹拼入提示模板,输入大语言模型,生成携带证据引用的答案。

9、作为优选,步骤s1包括以下子步骤:

10、s11:所述轻量复杂度分类器对所述用户问题编码后,经轻量分类网络输出各复杂度等级的概率分布,取概率最大的等级作为所述复杂度等级;

11、s12:所述轻量复杂度分类器由训练样本蒸馏训练得到,所述训练样本由大语言模型自动标注并经人工抽检校正;

12、s13:当所述概率分布中最大概率低于预设置信度阈值时,将所述复杂度等级保守升级后执行后续步骤,其中单实体直答型升级为多实体关联型,多实体关联型升级为需推理计算型。

13、作为优选,步骤s1包括以下子步骤:

14、s14:对所述用户问题进行实体识别,提取实体数量,并检测比较词、聚合词、序数词与连接词的命中情况;

15、s15:依据所述实体数量与所述命中情况确定所述复杂度等级:仅含单个实体且不含比较与聚合特征的直答式问题确定为单实体直答型;需跨两个以上实体桥接的关联式问题确定为多实体关联型;需执行聚合、比较或数值与时间运算的问题确定为需推理计算型;

16、步骤s2中,所述检索调度策略还包括:当所述复杂度等级为单实体直答型时,检索深度为1跳且召回知识片段数量不超过第一预设值;当所述复杂度等级为多实体关联型或需推理计算型时,检索深度上限为预设最大深度。

17、作为优选,步骤s2中,所述实体驱动的迭代多跳检索的每一跳包括以下子步骤:

18、s21:以当前跳的实体集合与所述用户问题构建本跳查询;

19、s22:依据所述本跳查询执行检索,得到本跳知识片段集,并将所述本跳知识片段集并入证据集、记录于所述检索轨迹;

20、s23:对所述本跳知识片段集进行命名实体识别,得到候选实体集合;

21、s24:以所述用户问题与所述本跳知识片段集为上下文,对所述候选实体集合进行实体链接与共指消解,映射至标准实体;

22、s25:从链接后的候选实体集合中去除已访问实体集合中的实体,得到新实体集合;

23、s26:按与所述用户问题的相关度对所述新实体集合排序,保留数量不超过预设扩展宽度的实体,并剔除相对已收集证据集的新颖度低于预设新颖度阈值的实体;

24、s27:将剩余实体加入所述已访问实体集合,作为下一跳的实体集合。

25、作为优选,步骤s2中,所述预设终止条件在子步骤s28中判断,子步骤s28包括:

26、判断当前跳得到的新实体集合是否为空、判断检索深度是否达到预设最大深度,以及判断所述新实体集合中全部实体相对已收集证据集的新颖度是否均低于预设新颖度阈值;当任一判断成立时,终止所述迭代多跳检索;

27、所述新颖度为1与该实体和所述已收集证据集中最相似知识片段的最大语义相似度之差。

28、作为优选,步骤s2中,当所述复杂度等级为需推理计算型时,还包括以下子步骤:

29、s29:对所述用户问题进行子问题分解,得到聚合子问题、比较子问题或数值与时间运算子问题,并对所述子问题执行结构化查询与数值计算,得到子问题结果;

30、s210:将所述子问题结果作为合成证据并入所述检索轨迹,参与最终答案生成。

31、作为优选,步骤s5包括子步骤s51:按跳组织所述检索轨迹,每条轨迹条目至少携带跳序号、该跳使用的实体集合、命中知识片段的原文、来源标识、版本号与时间戳;

32、步骤s6包括以下子步骤:

33、s61:在所述提示模板中注入约束,使答案中的每个事实断言引用所述检索轨迹中对应知识片段的证据编号;

34、s62:当多个知识片段对同一事实给出冲突信息时,优先采用版本号更大或时间戳更新的知识片段。

35、作为优选,步骤s3中,所述变更事件的处理包括以下子步骤:

36、s31:接收变更事件,按与存量索引一致的解析与切分策略处理变更文档,得到各分块;

37、s32:计算各分块的内容哈希并与既有分块比对,仅对内容发生变更的分块执行嵌入计算;

38、s33:以实体标识与版本号的组合作为幂等键,将重嵌入结果写入所述增量索引与所述实体注册表;

39、s34:校验所述变更事件携带的版本号不小于所述实体注册表中的当前版本号,否则丢弃该变更事件并记录审计日志;

40、s35:对写入失败的变更事件执行重试,超过预设重试次数后转入死信队列。

41、作为优选,步骤s3还包括所述增量索引的维护,包括以下子步骤:

42、s36:判断是否满足合并触发条件,所述合并触发条件包括:增量索引条目数超过预设阈值、墓碑记录占比超过预设比例或距上次合并超过预设时长中任一;

43、s37:当满足所述合并触发条件时,在预设低峰时段将所述增量索引与最近的存量索引段归并,生成新的只读索引段,归并过程中物理清除墓碑记录及被更高版本取代的旧条目;

44、s38:归并完成后原子更新索引段清单,将后续检索指向所述新的只读索引段;

45、s39:被替换的旧索引段延迟保留预设时长后回收,用于失败回滚。

46、一种基于多源知识检索的大语言模型问答系统,包括:

47、复杂度分类模块,用于执行:接收用户问题并输出复杂度等级与置信度,所述复杂度等级至少包括单实体直答型、多实体关联型和需推理计算型;

48、实体识别与链接模块,用于从所述用户问题中抽取问题实体,以及对召回的知识片段进行命名实体识别、实体链接与共指消解;

49、版本化知识索引模块,用于执行:响应知识库变更事件,仅对发生变更的分块局部重嵌入并写入增量索引,更新实体注册表中实体的版本号,删除类变更以携带递增版本号的墓碑记录写入;并在满足合并触发条件时于低峰时段将所述增量索引与最近的存量索引段归并,生成新的只读索引段并原子更新索引段清单;所述版本化知识索引模块包括存量索引段、增量索引段与索引段清单;

50、多路检索引擎,用于执行:对所述增量索引与存量索引分别执行稠密向量检索与稀疏倒排检索,以及执行结构化查询;并将召回结果按实体标识与分块标识分组,同组内保留版本号最大的条目、当同组存在更高版本号的墓碑记录时剔除该组,合并去重后得到本跳知识片段集;

51、迭代检索调度器,用于执行:根据所述复杂度等级确定检索调度策略,当所述复杂度等级为单实体直答型时执行单跳检索;当所述复杂度等级为多实体关联型或需推理计算型时执行实体驱动的迭代多跳检索,将本跳知识片段集中出现的新实体经所述实体识别与链接模块处理后回灌为下一跳查询,直至满足预设终止条件;

52、轨迹拼装与生成模块,用于执行:记录每一跳命中的实体、知识片段及版本信息形成检索轨迹,并将所述用户问题、所述复杂度等级与所述检索轨迹拼入提示模板,输入大语言模型,生成携带证据引用的答案。

53、本发明的有益效果:

54、1、相对于现有技术采用固定检索深度或依据粗粒度规则选择检索深度的方案,存在简单问题执行过深检索而浪费算力、复杂问题执行浅层检索而证据不完整的缺点,本发明采用轻量复杂度分类器将用户问题划分为单实体直答型、多实体关联型与需推理计算型三个等级,并依据该等级动态决定执行单跳检索还是实体驱动的迭代多跳检索,简单问题仅执行一次检索且召回数量受限,复杂问题则逐跳扩展证据空间直至满足预设终止条件,使检索开销与问题难度相匹配,简单问题的响应延迟不因引入分类而明显增加,复杂跨实体问题的答案完整度得以提高。

55、2、相对于现有技术在构建知识图谱的过程中依赖三元组抽取质量、或仅以同一查询重复调用检索器而难以真正扩展证据空间的方案,存在管线沉重、抽取误差逐级累积、多跳检索无法围绕新发现的实体深入展开等缺点,本发明采用实体驱动的迭代扩展机制,每一跳在召回的知识片段上执行命名实体识别、实体链接与共指消解,将识别出的新实体去除已访问实体后回灌构建下一跳查询,并以已访问实体集合防止环路、以扩展宽度限制控制每跳规模、以新颖度阈值判别信息增益,在无新实体、达到深度上限或信息增益不足时终止迭代,使多跳检索能够沿推理链条逐步发现并利用中间实体,同时保证最坏情况下的检索次数有明确上限,算力消耗可预期。

56、3、相对于现有技术对知识库更新采用周期性全量重建或先删后插配合软删除的通用维护方式,存在全量重建耗时耗力、更新期间新旧版本并存导致过期实体被召回、变更生效时延较长等缺点,本发明采用存量只读索引段与增量可写索引段相结合的版本化索引结构,知识发生变更时仅对内容发生变化的分块做局部重嵌入并写入增量索引,删除类变更以携带递增版本号的墓碑记录表达,检索时对双索引双路召回的结果按实体标识与分块标识分组、组内保留版本号最大的条目并剔除被墓碑覆盖的组,再于低峰时段将增量索引归并为新的只读段并通过索引段清单的原子切换完成生效,使知识变更从写入到可被检索的时延较全量重建明显缩短,且全过程无需重建全量索引、无需重训嵌入模型、无需微调问答大模型,过期内容不会继续参与答案生成。

57、4、相对于现有技术将检索结果直接拼接入提示且不记录逐跳证据链的方案,存在多跳推理过程不可见、答案断言无法回溯到具体证据、知识更新后新旧证据冲突缺乏消解依据等缺点,本发明按跳组织并记录每一跳命中的实体、证据原文、来源标识、版本号与时间戳形成检索轨迹,将轨迹与生成约束一并注入提示模板,要求答案中的每个事实断言引用对应证据编号,并要求在多个证据对同一事实给出冲突信息时优先采信版本号更大或时间戳更新的证据,同时对生成的答案做一致性校验,使答案的每个断言均可回溯至具体知识片段,证据冲突有明确且一致的取舍规则,答案的可审计性与知识时效性得到保障。

58、5、相对于现有技术中检索策略与索引更新机制相互独立、多跳推理链难以保证使用最新知识的方案,存在检索调度优化与知识新鲜度优化各自为政、复杂问题引用的中间证据可能已过期等缺点,本发明将版本化增量索引的合并去重逻辑嵌入每一跳检索的执行路径,使复杂度自适应调度的每一跳都经过版本过滤,检索轨迹条目携带版本号与时间戳供生成阶段消解冲突,并通过以变更事件进入管道到变更内容首次可被检索召回的时间差作为更新生效时延的量化指标对更新管道进行监控,使检索深度调度与索引更新在系统层面相互配合,在保证多跳证据完整的同时保证证据的新鲜,两项改进形成统一的问答系统而非彼此孤立的局部优化。