多嵌入模型兼容的中文向量知识库构建与混合检索方法、系统、设备及介质与流程

摘要: 本发明涉及自然语言处理、向量数据库、全文检索、知识库构建及智能问答,特别涉及一种多嵌入模型兼容的中文向量知识库构建与混合检索方法、系统、设备及介质。背景技术:1...
多嵌入模型兼容的中文向量知识库构建与混合检索方法、系统、设备及介质与流程

本发明涉及自然语言处理、向量数据库、全文检索、知识库构建及智能问答,特别涉及一种多嵌入模型兼容的中文向量知识库构建与混合检索方法、系统、设备及介质。

背景技术:

1、现有知识库问答系统通常通过嵌入模型将文档内容转换为向量,并存储至向量数据库中。在用户查询时,将查询文本转换为查询向量,再基于向量相似度返回相关片段。

2、现有向量知识库方案在实际应用中存在以下不足:

3、(1)嵌入模型兼容性差:不同嵌入模型输出的向量维度差异较大,采用固定维度建表,切换模型时会出现维度不匹配错误,需重建整个知识库。同时,不同嵌入服务的接口形式不同,openai 兼容接口与 ollama 本地接口在鉴权方式、地址格式、调用参数上存在差异,增加了系统集成复杂度。

4、(2)中文检索能力不足:中文文本没有天然空格分隔,单纯依赖向量相似度检索难以准确匹配专有名词、编号、产品型号等精确关键词,容易出现漏检;而单纯全文检索又无法识别同义表达、上下位概念等语义相关内容。

5、(3)知识库维护成本高:现有方案多按分片粒度管理数据,当文档更新或删除时,无法快速定位并删除对应分片,只能重建整个知识库,尤其在大规模知识库场景下维护效率极低。

6、(4)长文档处理效果差:直接将长文档整体向量化会导致语义粒度粗糙,召回准确性下降;简单的固定长度切分又容易切断上下文语义,造成关键信息丢失。

7、因此,亟需一种可动态适配多种嵌入模型、支持中文分词字段、兼顾语义召回与关键词召回、并可按文件粒度维护的知识库构建和检索方法。

技术实现思路

1、有鉴于此,本发明实施例提供了一种多嵌入模型兼容的中文向量知识库构建与混合检索方法,以解决现有技术中嵌入模型切换时维度不匹配、接口不兼容、中文精确检索能力不足、知识库维护复杂的技术问题。该方法包括:

2、接收嵌入模型运行时的配置信息,根据所述配置信息中的模型类型构建相应的嵌入函数;

3、动态获取当前嵌入模型输出的向量维度,根据所述向量维度构建对应向量维度的向量数据库表;

4、对导入文档进行递归切分,生成多个文本片段,对每个所述文本片段进行中文搜索分词生成分词文本,其中,相邻的所述文本片段保留重叠片段;

5、调用当前的嵌入模型对每个所述文本片段生成文档向量,将每个所述文本片段对应的分词文本、文档向量、文件标识、分片序号以及每个所述文本片段写入所述向量数据库表中生成每个所述文本片段对应的一条记录写入向量数据库,并对所述分词文本创建全文检索索引,以构建中文向量知识库;

6、接收用户输入的查询请求,生成所述查询请求的查询向量和查询分词文本,调用当前的嵌入模型对应的嵌入函数,基于所述查询向量和所述查询分词文本在所述中文向量知识库中进行混合检索并返回查询结果。

7、本发明实施例还提供了一种多嵌入模型兼容的中文向量知识库构建与混合检索系统,以解决现有技术中嵌入模型切换时维度不匹配、接口不兼容、中文精确检索能力不足、知识库维护复杂的技术问题。该系统包括:

8、嵌入模型配置模块,用于接收嵌入模型运行时的配置信息,根据所述配置信息中的模型类型构建相应的嵌入函数;

9、数据库表构建模块,用于动态获取当前嵌入模型输出的向量维度,根据所述向量维度构建对应向量维度的向量数据库表;

10、文本切分模块,用于对导入文档进行递归切分,生成多个文本片段,对每个所述文本片段进行中文搜索分词生成分词文本,其中,相邻的所述文本片段保留重叠片段;

11、数据库构建模块,用于调用当前的嵌入模型对每个所述文本片段生成文档向量,将每个所述文本片段对应的分词文本、文档向量、文件标识、分片序号以及每个所述文本片段写入所述向量数据库表中生成每个所述文本片段对应的一条记录写入向量数据库,并对所述分词文本创建全文检索索引,以构建中文向量知识库;

12、检索及结果返回模块,用于接收用户输入的查询请求,生成所述查询请求的查询向量和查询分词文本,调用当前的嵌入模型对应的嵌入函数,基于所述查询向量和所述查询分词文本在所述中文向量知识库中进行混合检索并返回查询结果。

13、本发明实施例还提供了一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述任意的多嵌入模型兼容的中文向量知识库构建与混合检索方法,以解决现有技术中嵌入模型切换时维度不匹配、接口不兼容、中文精确检索能力不足、知识库维护复杂的技术问题。

14、本发明实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质存储有执行上述任意的多嵌入模型兼容的中文向量知识库构建与混合检索方法的计算机程序,以解决现有技术中嵌入模型切换时维度不匹配、接口不兼容、中文精确检索能力不足、知识库维护复杂的技术问题。

15、与现有技术相比,本说明书实施例采用的上述至少一个技术方案能够达到的有益效果至少包括:

16、1.本申请通过配置归一化和运行时动态构建向量数据库表,同时支持openai兼容云端接口和ollama本地接口;

17、2.本申请通过向量维度动态探测,自动适配不同模型的输出维度,切换模型时无需修改代码或重建知识库,大幅提升了系统的灵活性;

18、3.本申请采用多级分隔符优先级的递归切分策略,结合相邻分片的重叠机制,减少硬切分导致的语义断裂,提升长文档检索准确率;

19、4.本申请通过中文分词字段和全文索引,提高中文关键词、专有名词、编号等精确检索能力;

20、5本申请通过向量检索与全文检索混合,提高语义相关内容和关键词相关内容的综合召回效果。

1.一种多嵌入模型兼容的中文向量知识库构建与混合检索方法,其特征在于,包括:

2.如权利要求1所述的中文向量知识库构建与混合检索方法,其特征在于,动态获取当前的嵌入模型的输出的向量维度,包括:

3.如权利要求1所述的中文向量知识库构建与混合检索方法,其特征在于,对导入文档进行递归切分,生成多个文本片段,包括:

4.如权利要求1所述的中文向量知识库构建与混合检索方法,其特征在于,基于所述查询向量和所述查询分词文本在所述中文向量知识库中进行混合检索,包括:

5.如权利要求1所述的中文向量知识库构建与混合检索方法,还包括:

6.如权利要求1所述的中文向量知识库构建与混合检索方法,还包括:

7.如权利要求1所述的中文向量知识库构建与混合检索方法,还包括:

8.一种多嵌入模型兼容的中文向量知识库构建与混合检索系统,其特征在于,包括:

9.一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的多嵌入模型兼容的中文向量知识库构建与混合检索方法。

10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有执行权利要求1至7中任一项所述的多嵌入模型兼容的中文向量知识库构建与混合检索方法的计算机程序。