一种检索增强生成中的检索预算控制方法、系统、设备及存储介质与流程

摘要: 本发明涉及大语言模型检索增强生成,具体涉及一种按照查询特征、运行资源状态和证据充分性控制检索预算的方法、系统、设备及存储介质。背景技术:1、检索增强生成系统通过...
一种检索增强生成中的检索预算控制方法、系统、设备及存储介质与流程

本发明涉及大语言模型检索增强生成,具体涉及一种按照查询特征、运行资源状态和证据充分性控制检索预算的方法、系统、设备及存储介质。

背景技术:

1、检索增强生成系统通过从知识库中检索证据,并将证据提供给大语言模型生成回答,能够降低模型仅凭参数知识回答带来的不确定性。现有系统通常为每次查询设置固定候选数量和固定检索轮次,导致简单问题被过度检索,复杂问题又可能检索不足。

2、现有检索路径控制可根据查询复杂度或模型输出选择单轮检索或多轮检索。在该类处理中,候选数量、检索轮次和可访问证据层未统一表示为可在执行前校验的预算数据,运行资源变化也难以作用于同一控制对象。

3、在仅依据查询文本或模型输出决定是否继续检索的处理中,系统负载、模型调用延迟和加速器利用率未参与候选数量与检索轮次的调整;资源压力升高时,检索流程仍可能进入细粒度证据层或多模态资产层。

4、在将检索对象统一作为文本片段处理时,文档摘要、章节摘要、结构块、细粒度证据、多模态资产和外部证据之间缺少分层访问关系,因而难以分别限定各层候选数量和上下文长度。

5、部分检索流程仅保留最终命中证据,未同时记录初始预算、资源修正、各轮证据层、终止原因和缺失信息,因而不能根据同一轨迹重现预算变化和证据层访问过程。

6、针对上述处理,需要将查询分析结果、实时资源状态和分层证据反馈转换为同一预算数据,并在检索执行前对所述预算数据进行校验。

技术实现思路

1、本发明要解决的技术问题是:如何使查询类型对应的初始预算、实时资源修正和证据充分性反馈作用于同一检索预算,并在执行前校验证据层、候选数量、检索轮次、上下文长度和功能依赖关系,以控制后续证据层的访问。

2、本发明的一种检索预算控制方法包括:接收用户查询;通过规则引擎和大模型查询分析单元分别分析所述用户查询,得到查询类型、复杂度和证据需求,在所述大模型查询分析单元不可用或输出无效时采用所述规则引擎的分析结果;从预设的查询层预算表读取与所述查询类型对应的预算记录,生成包括各证据层候选数量、最大检索轮次、上下文长度预算和功能开关的初始检索预算;采集实时资源状态并按照预设降级条件修正所述初始检索预算,所述修正至少包括减少证据层候选数量、减少最大检索轮次、关闭细粒度证据层检索、减少结构块层候选数量或关闭多模态分析中的一项,得到资源修正预算;将所述查询分析结果、所述实时资源状态和所述资源修正预算输入大模型检索规划单元,获得至少一项规划修正量;对融合所述规划修正量后的候选检索预算执行证据层名称、候选数量、最大检索轮次、上下文长度和功能开关的边界校验及依赖关系校验,校验不通过的字段保留所述资源修正预算中的对应字段,得到有效检索预算;按照所述有效检索预算从粗粒度证据层向细粒度证据层执行分轮检索,并在每轮检索后生成证据充分性决策;根据所述证据充分性决策和所述有效检索预算确定终止检索或进入后续证据层;根据选中的证据生成回答。

3、在一实施方式中,规则引擎识别图表查询、表格查询、版本比较、时间敏感查询和联网查询中的至少一项;大模型查询分析单元输出结构化查询分析结果;当所述结构化查询分析结果无法解析或缺少必要字段时,采用规则引擎的分析结果。

4、在一实施方式中,查询层预算表按照查询类型存储各证据层候选数量、最大检索轮次、重排序开关、多模态分析开关、联网检索开关和上下文长度预算;不同查询类型对应不同预算记录,以确定可访问的证据层和检索轮次。

5、在一实施方式中,大模型检索规划单元输出结构化规划修正量,对证据层、候选数量、最大检索轮次、重排序开关、多模态分析开关、联网检索开关和上下文长度预算中的至少一项进行修正;系统对修正结果执行枚举校验、取值边界校验和功能依赖关系校验,对缺失、无法解析或超出边界的字段保留资源修正预算中的对应值。

6、在一实施方式中,实时资源状态包括系统负载、模型调用延迟和加速器利用率中的至少一项;当资源压力超过预设条件时,系统减少至少一个证据层的候选数量、减少检索轮次或关闭深度证据层检索。

7、在一实施方式中,多粒度证据层包括文档摘要层、章节摘要层、结构块层、细粒度证据层、多模态资产层和外部证据层;分轮检索先访问文档摘要层或章节摘要层,再根据证据充分性决策进入结构块层、细粒度证据层、多模态资产层或外部证据层。

8、在一实施方式中,证据充分性决策基于覆盖度、相关度、一致性、权威性、时效性、置信度和缺失信息中的至少一项生成,并输出是否终止检索、是否需要更深层证据、是否需要多模态分析以及是否需要外部证据的决策标记;当所述证据充分性决策中的置信度达到预设条件且所述决策标记均表明无需补充证据时,终止检索。

9、在一实施方式中,检索轨迹记录查询分析结果、资源状态、有效检索预算、每轮证据层、命中证据、进入原因、耗时、新增上下文长度、缺失信息、模型调用次数和最终选中证据,以供按照轨迹编号回放检索过程。

10、在上述处理过程中,查询分析结果、实时资源状态和证据反馈分别作为预算生成、预算修正和后续检索的输入;规划修正量经字段、取值和依赖关系校验后参与检索;在设置检索轨迹时,记录预算修正、各轮证据和终止原因。

11、本发明还公开与上述检索预算控制方法相对应的检索预算控制系统、电子设备和计算机可读存储介质。

1.一种检索增强生成中的检索预算控制方法,其特征在于,包括:接收用户查询;通过规则引擎和大模型查询分析单元分别对所述用户查询进行分析,得到查询类型、复杂度和证据需求,并在所述大模型查询分析单元不可用或输出无效时采用所述规则引擎的分析结果;根据所述查询分析结果,从预设的查询层预算表中读取与所述查询类型对应的预算记录,生成包括各证据层候选数量、最大检索轮次、上下文长度预算和功能开关的初始检索预算;采集实时资源状态,并按照预设的资源降级条件修正所述初始检索预算,所述修正至少包括减少证据层候选数量、减少最大检索轮次、关闭细粒度证据层检索、减少结构块层候选数量或关闭多模态分析中的一项,得到资源修正预算;将所述查询分析结果、所述实时资源状态和所述资源修正预算输入大模型检索规划单元,得到包括以下至少一项的规划修正量:证据层、候选数量、最大检索轮次、上下文长度预算和功能开关;对融合所述规划修正量后的候选检索预算执行证据层名称、候选数量、最大检索轮次、上下文长度和功能开关的边界校验及依赖关系校验,校验不通过的字段保留所述资源修正预算中的对应字段,得到有效检索预算;按照所述有效检索预算从粗粒度证据层向细粒度证据层执行分轮检索,并在每轮检索后根据已获取证据生成证据充分性决策;在所述证据充分性决策表明证据充分时终止检索,在表明证据不足且根据所述有效检索预算确定允许时进入后续证据层继续检索;根据选中的证据生成回答。

2.根据权利要求1所述的检索预算控制方法,其特征在于,所述规则引擎识别图表查询、表格查询、版本比较、时间敏感查询和联网查询中的至少一项;所述大模型查询分析单元输出包括查询类型、复杂度、关键词和证据需求的结构化分析结果;当所述结构化分析结果无法解析或缺少必要字段时,采用所述规则引擎的分析结果。

3.根据权利要求1所述的检索预算控制方法,其特征在于,所述查询层预算表按照查询类型存储检索计划;所述大模型检索规划单元输出结构化规划修正量;所述边界校验包括证据层名称校验、候选数量取值校验、最大检索轮次上限校验和上下文长度上限校验中的至少一项;所述依赖关系校验包括:在多模态分析开关关闭时,将多模态资产层的候选数量置为零;当证据层缺少索引或当前用户未被授权访问时,将该证据层的候选数量置为零,并为其他保留的证据层配置非负整数候选数量。

4.根据权利要求1所述的检索预算控制方法,其特征在于,所述实时资源状态包括系统负载、模型调用延迟和加速器利用率中的至少一项;当所述系统负载超过预设条件时,减少至少一个证据层的候选数量并减少最大检索轮次;当所述模型调用延迟超过预设条件时,关闭细粒度证据层检索;当所述加速器利用率超过预设条件时,减少结构块层候选数量或关闭多模态分析。

5.根据权利要求1所述的检索预算控制方法,其特征在于,所述多粒度证据层包括文档摘要层、章节摘要层、结构块层、细粒度证据层、多模态资产层和外部证据层;所述分轮检索先检索所述文档摘要层或所述章节摘要层,再根据所述证据充分性决策选择性地进入所述结构块层、所述细粒度证据层、所述多模态资产层或所述外部证据层。

6.根据权利要求1所述的检索预算控制方法,其特征在于,所述证据充分性决策包括覆盖度、相关度、一致性、权威性、时效性、置信度和缺失信息中的至少一项,以及是否需要更深层证据、是否需要多模态分析和是否需要外部证据的决策标记;所述决策标记与所述有效检索预算共同确定终止检索或进入后续证据层;当所述证据充分性决策中的置信度达到预设条件且所述决策标记均表明无需补充证据时,确定证据充分;否则确定证据不足,并在所述有效检索预算允许时进入后续证据层。

7.根据权利要求1所述的检索预算控制方法,其特征在于,还包括:将查询分析结果、实时资源状态、有效检索预算、每轮检索的证据层、命中证据、进入原因、耗时、新增上下文长度、缺失信息、模型调用次数和最终选中证据写入检索轨迹。

8.一种检索增强生成中的检索预算控制系统,其特征在于,包括:查询分析模块,用于通过规则引擎和大模型查询分析单元分析用户查询,并输出查询类型、复杂度和证据需求;预算表模块,用于根据查询类型提供多粒度证据层的初始检索预算;资源监控模块和资源修正模块,分别用于采集实时资源状态并根据预设降级条件生成资源修正预算,所述预设降级条件对应减少证据层候选数量、减少最大检索轮次、关闭细粒度证据层检索、减少结构块层候选数量或关闭多模态分析中的至少一项;大模型检索规划模块,用于接收所述查询分析结果、所述实时资源状态和所述资源修正预算,并生成规划修正量;预算校验模块,用于对融合所述规划修正量后的候选检索预算执行边界校验和依赖关系校验并输出有效检索预算;范围控制模块,用于根据用户、会话或文档挂载关系确定可访问的证据集合;渐进检索模块,用于按照所述有效检索预算执行多粒度证据层的分轮检索;证据裁决模块,用于根据各轮检索获得的证据生成证据充分性决策,并将所述证据充分性决策反馈给所述渐进检索模块;回答生成模块,用于根据选中的证据生成回答;轨迹记录模块,用于记录所述查询分析结果、所述实时资源状态、所述有效检索预算、各轮检索信息、所述证据充分性决策和选中证据。

9.一种电子设备,其特征在于,包括存储器和处理器,所述存储器中存储有计算机程序,所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的检索预算控制方法。

10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的检索预算控制方法。