一种基于上下文预算的知识库文档筛选与问答方法及系统与流程

摘要: 本发明涉及自然语言处理,具体涉及一种基于上下文预算的知识库文档筛选与问答方法及系统。背景技术:1、近年来,大语言模型在自然语言处理领域取得了显著进展,广泛应用于...
一种基于上下文预算的知识库文档筛选与问答方法及系统与流程

本发明涉及自然语言处理,具体涉及一种基于上下文预算的知识库文档筛选与问答方法及系统。

背景技术:

1、近年来,大语言模型在自然语言处理领域取得了显著进展,广泛应用于问答、对话、文本生成等任务。然而,大语言模型在实际部署中面临一个关键限制:其上下文窗口存在上限,例如早期模型的2048或4096词元,虽然随着技术进步,新的大语言模型支持更长的上下文,但仍面临超出上下文长度会导致截断、性能下降或显存不足等问题。

2、在检索增强生成系统中,为了精确的回答用户问题,系统通常需要从知识库中检索出与问题相关的若干文档片段,然后将这些片段与用户问题拼接后输入大语言模型以生成答案。然而,知识库中的文档长度各异,相关文档的数量也可能较多。若不加选择地将所有检索到的文档全部载入上下文送入模型,很容易超出大语言模型的上下文长度限制,导致答案质量下降甚至无法生成。反之,若简单地截断或丢弃部分文档,又可能丢失关键信息。

3、现有技术中,常见的处理方式包括:固定数量选取、基于词元总数截断或完全依赖检索排序结果进行硬性截断。这些方法存在以下不足:其一,固定数量选取忽略了文档本身长度的差异性,长文档可能挤占过多预算而排除其他重要短文档;其二,简单截断方式缺乏灵活性,当遇到单个文档过长但无法完整放入剩余预算时,要么完全丢弃该文档,要么强行保留导致超出预算;其三,未充分考虑用户问题、预期答案以及提示模板本身对词元的消耗,导致预算分配与实际可用容量存在偏差。

技术实现思路

1、为了克服现有检索增强生成系统中因大语言模型上下文长度限制而导致的文档筛选不灵活、信息丢失或预算超限的技术缺陷,本发明提供一种基于上下文预算的知识库文档筛选与问答方法及系统。

2、为了解决上述问题,本发明按以下技术方案予以实现的:

3、第一方面,本发明提供了一种基于上下文预算的知识库文档筛选与问答方法,包括以下步骤:

4、接收用户问题,并获取大语言模型的最大上下文长度;

5、根据所述用户问题的词元数、预期答案的词元数、提示模板的词元开销以及所述最大上下文长度,计算检索增强生成可用的词元预算;

6、将所述用户问题与知识库中的文档进行相似度计算,获得每个文档的相关性得分,并按得分降序排序,得到排序后的文档集合;

7、计算所述排序后的文档集合中每个文档的词元数;

8、基于所述可用的词元预算和每个文档的词元数,对所述排序后的文档集合执行动态文档选择:依次遍历每个文档,若当前文档的词元数不超过当前剩余预算,则选取该文档的完整内容作为选定内容;若当前文档的词元数超过当前剩余预算但当前剩余预算不小于预设的最小文档阈值,则对该文档执行截断操作,选取截断后的内容作为选定内容,并终止后续文档的选择;若当前剩余预算小于所述最小文档阈值,则跳过当前文档并继续遍历;

9、将选取的所有文档内容拼接后与所述用户问题一同输入至所述大语言模型,生成针对所述用户问题的答案。

10、结合第一方面,本发明提供了第一方面的第一种具体实施,具体的,所述根据所述用户问题的词元数、预期答案的词元数、提示模板的词元开销以及所述最大上下文长度,计算检索增强生成可用的词元预算,具体包括:

11、对所述用户问题进行分词并计算其词元数;

12、根据预设的默认值或根据历史答案长度的统计值,确定所述预期答案的词元数;

13、根据预设的提示模板字符串,计算所述提示模板的词元开销;

14、将所述最大上下文长度减去所述用户问题的词元数、所述预期答案的词元数以及所述提示模板的词元开销,得到初步预算值;

15、获取系统预设的知识库预算上限,取所述初步预算值与所述知识库预算上限中的较小者,作为最终的检索增强生成可用的词元预算。

16、结合第一方面,本发明提供了第一方面的第二种具体实施,具体的,所述将所述用户问题与知识库中的文档进行相似度计算,获得每个文档的相关性得分,并按得分降序排序,得到排序后的文档集合,具体包括:

17、将所述用户问题转换为问题特征向量,并将知识库中每个文档转换为文档特征向量,计算所述问题特征向量与每个文档特征向量之间的余弦相似度,作为第一相似度得分;

18、将所述用户问题与每个文档进行词项匹配,计算基于词频和逆文档频率的bm25得分,作为第二相似度得分;

19、对所述第一相似度得分和所述第二相似度得分进行加权求和,得到每个文档的综合相关性得分,其中所述第一相似度得分的权重和所述第二相似度得分的权重均为预设的非负值且两者之和为1;

20、按照所述综合相关性得分从高到低的顺序,对知识库中的所有文档进行排序,得到排序后的文档集合。

21、结合第一方面,本发明提供了第一方面的第三种具体实施,具体的,所述计算所述排序后的文档集合中每个文档的词元数,具体包括:

22、对每个文档的文本内容进行分词处理,统计分词后得到的词元个数,作为该文档的词元数;

23、或者,对每个文档的文本内容进行字符统计,根据预设的转换比例估算该文档的词元数,其中所述转换比例为:对于英文文本,每个词元对应四个字符;对于中文文本,每个词元对应一点五个字符。

24、结合第一方面,本发明提供了第一方面的第四种具体实施,具体的,所述将选取的所有文档内容拼接后与所述用户问题一同输入至所述大语言模型,生成针对所述用户问题的答案,具体包括:

25、获取预设的系统提示语,所述系统提示语用于限定所述大语言模型的回答角色和行为规范;

26、将选取的所有文档内容按照选取顺序进行字符串拼接,得到上下文文本;

27、构建用户提示文本,所述用户提示文本包含所述用户问题以及所述上下文文本,其中所述上下文文本置于所述用户问题之前或之后;

28、将所述系统提示语和所述用户提示文本组合为完整的输入提示;

29、将所述输入提示作为输入,调用所述大语言模型的文本生成接口,获取所述大语言模型返回的生成文本,将该生成文本作为针对所述用户问题的答案。

30、结合第一方面,本发明提供了第一方面的第五种具体实施,具体的,当遍历完所述排序后的文档集合后未选取到任何文档内容时,启动分块检索降级模式;

31、在所述分块检索降级模式下,将知识库中的文档按照语义边界切分为多个语义块,计算每个语义块与所述用户问题的相关性得分,按得分降序排列各语义块;

32、按照所述可用的词元预算,依次选取语义块,直至累计词元数接近但不超过所述可用的词元预算;

33、将选取的所有语义块内容拼接后与所述用户问题一同输入至所述大语言模型,生成针对所述用户问题的答案。

34、结合第一方面,本发明提供了第一方面的第六种具体实施,具体的,所述对该文档执行截断操作,具体包括:

35、根据当前文档的文本结构和/或所述用户问题的类型,从以下多种截断策略中选择一种执行:

36、从文档开头开始截取文本内容,直至截取内容的词元数达到当前剩余预算;

37、按照文档的自然段落边界进行分割,依次选取完整段落,直至再添加一个完整段落会导致累计词元数超过当前剩余预算为止;

38、调用摘要大语言模型对当前文档进行内容压缩,生成内容摘要,使该摘要的词元数不超过当前剩余预算。第二方面,本发明还提供了一种基于上下文预算的知识库文档筛选与问答系统,包括:

39、用户问题接收模块,用于接收用户问题;

40、模型参数获取模块,用于获取大语言模型的最大上下文长度;

41、预算计算模块,用于根据所述用户问题的词元数、预期答案的词元数、提示模板的词元开销以及所述最大上下文长度,计算检索增强生成可用的词元预算;

42、检索与排序模块,用于将所述用户问题与知识库中的文档进行相似度计算,获得每个文档的相关性得分,并按得分降序排序,得到排序后的文档集合;

43、文档词元计算模块,用于计算所述排序后的文档集合中每个文档的词元数;

44、动态文档选择模块,用于基于所述可用的词元预算和每个文档的词元数,对所述排序后的文档集合执行动态文档选择:依次遍历每个文档,若当前文档的词元数不超过当前剩余预算,则选取该文档的完整内容作为选定内容;若当前文档的词元数超过当前剩余预算但当前剩余预算不小于预设的最小文档阈值,则对该文档执行截断操作,选取截断后的内容作为选定内容,并终止后续文档的选择;若当前剩余预算小于所述最小文档阈值,则跳过当前文档并继续遍历;

45、问答生成模块,用于将选取的所有文档内容拼接后与所述用户问题一同输入至所述大语言模型,生成针对所述用户问题的答案。

46、与现有技术相比,本发明的有益效果是:

47、通过综合考虑用户问题、预期答案、提示模板的词元开销以及模型最大上下文长度,精确计算可用于文档的词元预算,避免简单截断或固定数量选取带来的预算浪费或超限问题。在剩余预算不足以容纳完整文档但仍有可用空间时,对该文档进行截断而非直接丢弃,既保留了部分高相关度信息,又充分利用了剩余预算,提高了信息利用率。设置最小文档阈值,当剩余预算过小时跳过当前文档,避免了因截取过短内容导致的信息碎片化和无效输入,保证了提示的整体有效性。按照相关性得分降序处理文档,优先选取最相关的信息,并在截断发生后及时终止后续遍历,降低了计算开销,提高了实时响应速度。