一种面向多维空间数据的自适应混合检索方法及系统

摘要: 本发明涉及信息检索与自然语言处理,具体涉及一种面向多维空间数据的自适应混合检索方法与系统。本发明特别适用于检索增强生成(retrieval-augmentedg...
一种面向多维空间数据的自适应混合检索方法及系统

本发明涉及信息检索与自然语言处理,具体涉及一种面向多维空间数据的自适应混合检索方法与系统。本发明特别适用于检索增强生成(retrieval-augmentedgeneration, rag)系统中对大规模知识库进行多路混合检索的场景,旨在通过基于查询意图感知的自适应融合权重和基于意图置信度的阈值截断机制,精准调控检索策略,提升检索结果的准确率、召回率与系统计算效率。

背景技术:

1、伴随大预言模型(llm)的兴起,rag技术已成为解决模型幻觉与知识缺失的关键方案。在rag系统中,知识库文档被切分为文本块(chunk),通过嵌入模型(embedding model)转化为高维向量,并存储于向量数据库中。系统通过从知识库中检索相关文档,辅助大语言模型生成更准确、更可溯源的答案。其中,检索阶段的质量直接决定了生成答案的可靠性与准确性。

2、当前主流的rag检索方案经历了从“单路向量检索”到“多路混合检索”的演进。单路向量检索通过嵌入模型将查询与文档映射至统一语义空间,通过余弦相似度或点积运算进行匹配。该方案在语义泛化方面表现优秀,能够捕捉查询与文档之间的深层概念关联,但在面对包含专业术语、特定编号、文件名等精确匹配要求的查询时,容易发生“语义漂移”——本应精确匹配的文档因在向量空间中语义距离偏大而未被召回。

3、多路混合检索技术正是针对“语义漂移”和“精确匹配缺失”问题而提出的,它通过并行执行基于向量相似度的密集检索(dense retrieval)与基于关键词匹配的稀疏检索(sparse retrieval,如bm25算法),利用两路检索的优势互补来实现更全面的召回覆盖。然而,随着应用场景的复杂化和用户查询类型的多样化,现有多路混合检索方案在实际工程落地中面临着以下三个严峻挑战:

4、挑战一:融合排序粗糙,查询意图被忽视,检索策略静态固化。多路召回结果的融合多依赖静态权重或简单的线性插值,无法根据查询的意图类型进行自适应调整。具体而言,不同类型的查询(如精确查找型与语义理解型)对密集检索和稀疏检索的依赖程度截然不同:包含明确文件名和编号的精确匹配型查询更适合依赖关键词检索(bm25),而开放式的概念性语义理解型查询更适合依赖语义向量检索(faiss)。现有系统采用“一刀切”的固定融合参数(如固定α=0.5),无法根据查询特征自适应调整两路检索在融合中的权重分配,导致特定意图的查询召回率下降。例如,对于包含文件名的精确查询,若固定赋予向量检索

5、过高的权重,可能因语义匹配不足而漏掉目标文件,造成检索质量严重退化。

6、挑战二:精排推理计算成本高昂,缺乏基于意图置信度的计算量控制机制。基于交叉编码器(cross-encoder)的重排序模型虽然精度高,但其推理成本昂贵——每次推理需要查询与候选文档拼接后通过transformer网络进行前向计算。在现有方案中,无论查询意图是否明确,均对固定数量的候选文档(如top-50)进行全量精排。对于意图极其明确的精确匹配型查询(如包含完整文件名的直接查询请求),粗排阶段的前几名文档已经具有极高的相关性置信度,对大量候选文档进行全量精排造成了显著的计算资源浪费。

7、挑战三:基于大语言模型(llm)的动态权重调整方案计算代价过高,缺乏轻量级、可解释的替代方案。部分现有方案尝试利用llm评估查询与检索结果的匹配度来动态调整融合权重,虽然能够取得较高的精度,但每次查询都需要引入额外的llm推理开销(通常为数百毫秒至数秒),在高并发场景下延迟不可控;同时llm的黑盒特性导致权重调整过程缺乏可解释性和可调试性。现有技术缺乏一种轻量化、参数化、可解释且不依赖在线大模型推理的动态权重调整机制。

8、针对以上挑战,亟需一种基于查询意图感知的自适应检索策略,以轻量级、可解释的特征提取与数值计算方法,实现融合权重随查询意图的连续自适应调整;同时引入基于意图置信度的粗排阈值截断机制,使精排计算开销与查询意图置信度自动匹配,从而在保障检索精度的同时提升计算效率。

技术实现思路

1、本发明提供了一种面向多维空间数据的自适应混合检索方法及系统,以解决现有混合检索中融合策略僵化、精排计算冗余及动态调整高成本的问题。

2、为实现上述目的,本发明采用如下技术方案:

3、一种面向多维空间数据的自适应混合检索方法,其特征在于,包括以下步骤:

4、s1、获取用户输入的查询文本,对所述查询文本进行特征提取,得到包含至少一种特征的查询特征合集;

5、s2、根据所述查询特征合集,计算意图评分,所述意图评分用于表征所述用户查询倾向于精确匹配的概率;

6、s3、根据所述意图评分,动态计算融合权重,所述融合权重包括密集检索权重和稀疏检索权重;

7、s4、并行执行基于向量相似度的密集检索和基于关键词匹配的稀疏检索,分别得到密集检索得分合集和稀疏检索得分合集;

8、s5、分别对所述密集检索得分合集和所述稀疏检索得分合集进行归一化处理,得到归一化密集得分合集和归一化稀疏得分合集;

9、s6、根据所述融合权重,对所述归一化密集检索得分和归一化稀疏检索得分进行加权融合,得到每个文档的融合排序得分,并依据融合排序得分从高到低排序,确定粗排候选集;

10、s7、根据所述意图评分与预设精确阈值的比较结果,进行基于意图的动态截断,确定送入精排的候选文档数量,根据所述精排阶段候选文档数量,对粗排候选集进行截取,得到精排候选集;

11、s8、根据所述精排候选集,将候选文档送入交叉编码器模型逐一进行精排推理,按精排得分降序输出最终检索结果。

12、进一步地,所述s1中,所述查询特征合集包括以下特征中的一种或多种:

13、特征(查询长度比率):基于查询文本长度计算的特征,采用平滑映射函数将查询文本的字符数映射至[0,1]区间,所述映射函数的输入包括查询文本字符数和预设中心长度参数;

14、特征(关键词密度):计算查询中内容词占总词数的比例,映射至[0,1]区间。所述内容词为排除预设功能词合集之外的词汇;

15、特征(文件查找信号强度):基于查询中包含的特定符号、文件后缀或特定动词的组合计算得到,多信号累加评分,取值范围映射至[0,1];

16、特征(疑问句信号):基于查询中包含的疑问词、疑问符号或疑问语气词的组合计算得到,多信号累加评分,取值范围映射至[0,1];

17、特征(嵌入语义相似度差值):计算查询向量与预设精确原型向量的第一相似度,以及查询向量与预设语义原型向量的第二相似度,根据所述第一相似度和第二相似度的差值计算得到;

18、特征(英文专业术语比例):基于查询中英文词汇数量与中文字符数量的比例计算得到。

19、进一步地,所述根据查询特征合集,计算意图评分具体包括:意图评分的计算采用线性加权剪裁公式:

20、

21、式中,为第个特征的预设权重系数;是偏置项,用于整体调节意图评分的基准偏移。,用于将结果限制在预设区间内。的值域为(0,1)连续区间,→0表示查询倾向于纯语义理解,→1表示查询倾向于纯精确匹配。

22、进一步地,所述动态计算密集检索权重的公式为:

23、

24、

25、式中,为基础权重,表示意图不明确时两路检索赋予的初始信任比例;为调整幅度因子,取值范围大于0,用于控制意图评分对最终权重的影响强度;为边界截断函数,确保的值域始终在[0,1]之间。

26、进一步地,所述s5具体包括:对所述密集检索得分和稀疏检索得分分别进行min-max归一化,将得分映射至(0,1)区间,以消除量纲差异。归一化密集检索得分的计算公式为:

27、

28、式中,d代表当前待计算得分的特定文档;代表候选合集c中的任意一个文档;c为当前粗排阶段的候选文档合集;为极小正数,用于防止当合集中所有候选文档得分完全相同时分母为零导致的计算异常。归一化稀疏检索得分的公式与上述完全对称。

29、进一步地,所述s6具体包括:根据公式计算融合排序得分:

30、

31、式中,和分别为文档d的归一化密集检索得分和归一化稀疏检索得分;为s3中动态计算的密集检索权重,为对应的稀疏检索权重。系统对所有候选文档按从高到低排序,取排序后的前n个文档构成粗排候选集,n为预设的粗排候选集容量上限。

32、进一步地,所述s7中,所述基于意图评分的动态截断具体包括以下步骤:

33、s7a、判断所述意图评分是否大于预设精确阈值;其中为系统预设的意图置信度门槛值,表示当前系统判定查询有以上概率为精确匹配型查询时触发截断策略。

34、s7b、当时(即查询被判定为高置信度精准匹配型),按以下公式确定精排候选数量m:

35、

36、式中,为默认精排候选数量,表示语义型或意图不明确查询的标准精排窗口大小;为精排候选数量下限,用于确保即使对于最高置信度的精确查询,精排窗口仍包含至少个候选文档,避免极端情况下输出空结果;为向下取整函数。

37、s7c、当时(即语义理解型或意图不明确查询),保持默认精排候选数量不变。

38、从所述粗排候选集中截取前m个文档构成精排候选集。

39、该阈值截断机制的技术效果在于:对于高置信度的精确匹配型查询(如包含明确文件名和文件后缀的查询),粗排融合排序中排名靠前的文档已经具有极高的相关性置信度,无需对大量候选文档进行昂贵的交叉编码器推理,通过公式自动缩减m值以减少计算开销;对于语义理解型查询则保持完整的精排窗口以充分挖掘语义关联。从而在查询意图置信度与精排计算开销之间实现了自适应匹配。

40、进一步地,所述s8中,所述将候选文档送入交叉编码器模型逐一进行精排推理,具体包括:将所述精排候选集中的候选文档逐一送入交叉编码器模型(如bge-reranker)进行深度推理打分,生成精排得分。计算公式如下:

41、,

42、式中,表示将用户查询q与候选文档d拼接为统一输入序列;为交叉编码器模型对输入序列处理后输出的[cls]令牌的隐层向量;w和b为交叉编码器模型的全连接输出层的权重参数和偏置参数,这些参数是在模型预训练与微调阶段学习得到的固定参数,推理阶段保持不变。

43、按精排得分对候选文档进行降序排列,截取最终top-k文档作为检索结果输出。

44、本发明还提供一种面向多维空间数据的自适应混合检索系统,其特征在于,包括统一检索接口层、动态路由调度层、多路召回执行层和粗排与精排处理层,其中:

45、所述统一检索接口层,用于接收用户查询,将查询文本封装为检索上下文对象,并将所述检索上下文对象发送至所述动态路由调度层;

46、所述动态路由调度层,包括意图解析模块和动态权重计算模块:所述意图解析模块被配置为从所述检索上下文对象中获取查询文本,执行权利要求1中s1和s2所述的步骤,提取查询特征合集并计算意图评分;所述动态权重计算模块被配置为执行权利要求1中s3所述步骤,根据所述、预设基础权重和调整幅度因子λ动态计算密集检索权重;

47、所述多路召回执行层,包括密集检索引擎和稀疏检索引擎:所述密集检索引擎被配置为将查询文本编码为高维向量并执行近似最近邻搜索;所述稀疏检索引擎被配置为执行基于倒排索引的关键词匹配算法;所述密集检索引擎和所述稀疏检索引擎被配置为由所述动态路由调度层通过并发机制并行调用;

48、所述粗排与精排处理层,包括粗排融合模块、阈值截断模块和精排引擎;所述粗排融合模块被配置为执行权利要求1中s5和s6所述的步骤,对两路检索得分进行归一化处理和加权融合,生成粗排候选集;所述阈值截断模块被配置为执行权利要求7所述的基于意图评分的截断步骤,根据所述意图评分与预设精确阈值的比较结果确定精排候选集;所述精排引擎被配置为加载交叉编码器模型,对所述精排候选集执行深度推理打分,输出最终检索结果。

49、进一步地,该系统还包括配置中心模块,所述配置中心模块分别与所述意图解析模块、所述动态权重计算模块以及所述阈值截断模块建立通信连接;所述配置中心模块被配置为存储并管理所述意图解析模块、所述动态权重计算模块以及所述阈值截断模块运行所需的参数合集,所述参数合集包括特征权重系数、偏置项、基础权重、调整幅度因子、精确阈值及截断数量参数;

50、所述意图解析模块、所述动态权重计算模块和所述阈值截断模块均被配置为从所述配置中心模块实时读取所述参数合集中的最新参数值,以实现不重启服务的算法策略热更新。

51、进一步地,该系统包括一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至8中任一项所述的方法。

52、进一步地,如s2中所述,f5的嵌入语义相似度差值得计算具体包括:

53、预先构建精确原型向量合集和语义原型向量合集;所述精确原型向量合集包含若干用于表征精确检索意图的文本,所述语义原型合集包含若干用于表征语义理解意图的文本;

54、使用嵌入模型将所述精确原型合集和语义原型合集分别编码为向量,分别计算中心向量得到精确匹配特征向量和语义理解特征向量;

55、将用户查询文本q编码为查询向量,分别计算所述查询向量与所述精确匹配特征向量、所述语义理解特征向量的余弦相似度,得到第一相似度和第二相似度;

56、根据所述第一相似度和第二相似度的差值,计算原始差值;

57、通过归一化函数映射到[0,1]区间,0端对应精确匹配,1端对应语义理解。将该归一化值作为特征参与所述意图评分的计算。

58、与现有技术相比,本发明具有以下有益效果:

59、意图解析模块引入意图评价函数将查询意图从离散的“规则分类”转化为(0,1)区间的连续数值控制;动态权重计算模块采用权重动态计算公式将意图评分平滑映射为融合权重;检索策略随查询意图实现精细化自适应调整,有效解决了固定权重策略在处理不同类型查询时的精度波动与语义漂移问题。

60、在粗排与精排处理层中,由阈值截断模块基于意图置信度执行粗排阈值截断机制,使精排计算开销与查询意图置信度自动匹配;对于高置信度的精确查询,系统自动缩减精排窗口以大幅降低了计算成本;对于语义型查询,则保持完整的精排规模;系统在保障精度的同时显著提升了计算效率和整体吞吐量。

61、在动态路由调度层的计算链路中,采用基于闭式数学运算的规则驱动机制,全程无需依赖在线大语言模型推理即可完成权重计算,规避了高延迟与不可解释性风险;配置中心对所有参数进行集中管理,支持算法策略的热更新、a/b测试及快速回滚;系统能够灵活适应不同垂直领域的业务需求,具备工程的可迁移性。