结合动态向量库的RAG检索重排优化方法及系统与流程

摘要: 本申请涉及智能信息检索,具体而言,涉及一种结合动态向量库的rag检索重排优化方法及系统。背景技术:1、检索增强生成场景下的检索重排效果,决定最终生成内容与用户查...
结合动态向量库的RAG检索重排优化方法及系统与流程

本申请涉及智能信息检索,具体而言,涉及一种结合动态向量库的rag检索重排优化方法及系统。

背景技术:

1、检索增强生成场景下的检索重排效果,决定最终生成内容与用户查询需求匹配度,重排结果的语义相关性覆盖度直接影响用户获取精准信息的体验。当前行业内的检索重排优化大多采用固定向量库全局召回后直接对全量候选片段执行一次性排序的处理模式,仅能基于预设的静态向量索引完成候选内容召回,无法适配向量索引与文本存储位置动态调整的场景,全量候选片段直接送入重排模型会大幅占用计算资源,且未针对不同语义重叠度的候选内容做分层处理,容易出现低相关片段挤占高相关片段排序位置的问题,重排结果的整体语义匹配精度难以进一步提升,难以满足高并发、动态更新知识库场景下的高效高精度检索重排需求。

技术实现思路

1、有鉴于此,本申请的目的在于提供一种结合动态向量库的rag检索重排优化方法及系统。

2、依据本申请的第一方面,提供一种结合动态向量库的rag检索重排优化方法,所述方法包括:

3、获取查询请求对应的查询文本单元集合,所述查询文本单元集合包含多个具有语义独立性的查询分词单元;

4、对所述查询文本单元集合进行查询语义编码处理,得到查询语义编码向量,并根据所述查询语义编码向量在预设动态向量库中执行向量近邻搜索处理,得到候选文本片段集合,所述预设动态向量库中的向量索引与文本片段存储位置之间具有动态映射关系;

5、依据所述候选文本片段集合中每个候选文本片段与所述查询文本单元集合的语义重叠度将所述候选文本片段集合划分为多个候选文本片段分组,得到候选文本片段分组集合;

6、调用预设重排模型对各候选文本片段分组内的候选文本片段进行语义排序,并对各候选文本片段分组进行组间语义排序,得到重排后文本片段序列;

7、根据所述重排后文本片段序列生成查询响应文本,并将所述查询响应文本反馈至发起所述查询请求的查询终端。

8、依据本申请的第二方面,提供一种结合动态向量库的rag检索重排优化系统,所述结合动态向量库的rag检索重排优化系统包括机器可读存储介质及处理器,所述机器可读存储介质存储有机器可执行指令,所述处理器在执行所述机器可执行指令时,该结合动态向量库的rag检索重排优化系统实现前述的结合动态向量库的rag检索重排优化方法。

9、依据上述任意一个方面,本申请的技术效果在于:

10、通过获取查询请求对应的包含多个语义独立查询分词单元的查询文本单元集合,对该查询文本单元集合执行查询语义编码处理得到查询语义编码向量,基于该查询语义编码向量在具有动态映射关系的预设动态向量库中执行向量近邻搜索得到候选文本片段集合,依据各候选片段与查询文本单元集合的语义重叠度完成动态分段融合处理得到多个候选文本片段分组,调用预设重排模型依次完成组内语义排序与组间语义排序得到重排后文本片段序列,基于该重排后文本片段序列生成查询响应文本并反馈至对应查询终端。本发明能够适配动态向量库的索引更新特性,通过分组排序模式大幅降低重排模型的无效计算开销,避免低相关片段干扰高相关内容的排序优先级,在动态更新知识库的高并发运行场景下仍能保持稳定的检索重排精度与处理效率。

1.一种结合动态向量库的rag检索重排优化方法,其特征在于,所述方法包括:

2.根据权利要求1所述的结合动态向量库的rag检索重排优化方法,其特征在于,所述对所述查询文本单元集合进行查询语义编码处理,得到查询语义编码向量,并根据所述查询语义编码向量在预设动态向量库中执行向量近邻搜索处理,得到候选文本片段集合,包括:

3.根据权利要求1所述的结合动态向量库的rag检索重排优化方法,其特征在于,所述依据所述候选文本片段集合中每个候选文本片段与所述查询文本单元集合的语义重叠度将所述候选文本片段集合划分为多个候选文本片段分组,得到候选文本片段分组集合,包括:

4.根据权利要求1所述的结合动态向量库的rag检索重排优化方法,其特征在于,所述调用预设重排模型对各候选文本片段分组内的候选文本片段进行语义排序,并对各候选文本片段分组进行组间语义排序,得到重排后文本片段序列,包括:

5.根据权利要求1所述的结合动态向量库的rag检索重排优化方法,其特征在于,所述根据所述重排后文本片段序列生成查询响应文本,并将所述查询响应文本反馈至发起所述查询请求的查询终端,包括:

6.根据权利要求1所述的结合动态向量库的rag检索重排优化方法,其特征在于,所述方法还包括:

7.根据权利要求1所述的结合动态向量库的rag检索重排优化方法,其特征在于,所述方法还包括:

8.根据权利要求1所述的结合动态向量库的rag检索重排优化方法,其特征在于,所述方法还包括:

9.根据权利要求1所述的结合动态向量库的rag检索重排优化方法,其特征在于,所述方法还包括:

10.一种结合动态向量库的rag检索重排优化系统,其特征在于,包括处理器以及计算机可读存储介质,所述计算机可读存储介质存储有机器可执行指令,所述机器可执行指令被处理器执行时实现权利要求1-9中任意一项所述的结合动态向量库的rag检索重排优化方法。