适用于资源受限终端的本地知识库混合检索系统、方法及设备与流程
本发明涉及检索增强生成,尤其涉及一种适用于资源受限终端的本地知识库混合检索系统、方法及设备。
背景技术:
1、在人工智能ai的实践进程中,检索增强生成rag(retrieval-augmentedgeneration)方案已成为提升大语言模型llm(large language model)实用价值的核心手段之一:其通过将本地知识库(比如个人知识库、企业知识库等)引入大语言模型,能够有效弥补大语言模型自身知识时效性、准确性的不足,显著提升模型输出内容的针对性与可靠性。目前,检索增强生成rag技术已经在许多产品中进行了应用,涵盖了从网络搜索引擎和大语言模型的问答服务到各种数据交互聊天应用。
2、检索增强生成rag系统通常先将本地文档解析为若干文本块,为文本块建立检索索引;当用户提出问题时,系统从索引中找出相关文本块,再由生成模型(比如大语言模型llm)结合所述文本块形成答案。现有系统常见的检索方式包括基于关键词的全文检索、稠密语义向量检索以及二者组合的混合检索。其中,基于关键词的全文检索根据查询词在文档中的出现频率、稀有程度和文档长度进行排序;语义向量检索通过嵌入模型将查询文本和文档文本转换为固定维度向量,再根据向量距离或夹角确定语义相关程度。在纯关键词全文检索方案中,通常使用倒排索引、字符n元组索引或者 bm25算法,根据查询文本和知识文本之间的字面重合程度返回结果;该方案运行开销低,但难以处理同义表达和自然语言改写,容易漏掉语义相同而用词不同的结果。在纯语义向量检索方案中,将每个文本块转换为稠密向量,查询时将问题转换为同维度向量,通过余弦相似度或内积返回最相近的文本块;该方案可以处理语义近似表达,但可能对精确标识符、否定词、数字和关键词边界不敏感,导致错误码、条款号、文件名等检索不稳定。混合检索为全文检索和语义向量检索的混合模式,有效解决了单一检索方式的局限性。作为举例,比如中国专利申请202511969025.7公开了一种基于混合检索与闭环优化的ai本地知识库构建方法,该方法采用语义向量检索与关键词检索并行的混合检索机制,结合重排序模型筛选最相关知识片段,然后利用本地大语言模型生成答案并标注引用来源,确保可追溯性。
3、当前,检索增强生成rag系统普遍沿用面向大规模数据中心的技术架构,使用专门的分布式向量数据库和搜索集群,通常需要部署文档解析服务、关系型数据库、对象存储、全文搜索引擎、缓存服务、向量数据库以及一个或多个本地模型服务等组件,具有完整的用户管理和可视化界面。在实际应用中发现,在小型知识库场景下,知识库中的文档量较小(比如可能仅包括数百篇文档),这些文档经解析后形成文本块数量可能在数千至数万个左右,规模远小于当前互联网搜索或企业级全文搜索场景,上述重量级本地rag系统在于应用于小型知识库场景时,存在部署资源与实际数据规模不匹配的问题,带来了不必要的资源开销(部署上述全部组件会造成较大的磁盘占用和内存消耗),还存在部署难度大和维护负担重等问题。而且,现有的rag系统通常采用向量召回加大模型重排序方案,该类方案先通过向量检索获得候选文本,再使用交叉编码器重排序模型逐对处理“问题—候选文本”,该方案需要额外下载和常驻重排序模型,cpu 推理延迟和内存占用较高,不适用资源受限终端。
4、另一方面,现有系统通常采用单层固定长度切片方案,这类方案按照固定字符数或者固定令牌数切分文档,并将命中的切片直接返回。该方案简单高效,计算成本低,但难以同时兼顾定位精度和证据完整性:在切片过小时容易截断条件、结论、例外和表格上下文,在切片过大时又会引入大量无关内容并降低向量表达的聚焦程度。
5、综上所述,如何提供一种适用于资源受限终端的、易于部署且能够兼顾检索精度和可靠性的本地知识库检索方案,是当前亟需解决的技术问题。
技术实现思路
1、本发明的目的在于:克服现有技术的不足,提供一种适用于资源受限终端的本地知识库混合检索系统、方法及设备。本发明提供的本地知识库混合检索方案适用于资源受限终端部署,降低了资源消耗并提升了检索可靠性和可追溯性。
2、为实现上述目标,本发明提供了如下技术方案:
3、一种适用于资源受限终端的本地知识库混合检索系统,所述系统包括:
4、本地知识库构建组件,用于对本地文档进行结构解析,并根据解析结果对文档进行父子双粒度切片处理和双索引构建;所述父子双粒度包括父知识单元和子知识单元,父知识单元为依据文档结构属性形成的上下文完整单元,用于生成模型理解,子知识单元为从父知识单元中切出的文本块,用于检索时的信息匹配;建立父知识单元和子知识单元的父子映射关系,以及子知识单元之间的相邻映射关系;所述双索引包括用于全文检索的字面全文索引和用于语义向量检索的语义向量索引,对每个子知识单元同时建立字面全文索引和语义向量索引;
5、本地工具接口,用于接收智能代理的检索请求;
6、本地检索组件,用于根据本地工具接口接收的检索请求,基于本地知识库执行混合检索、证据重构和证据返回;其中,在混合检索时,根据候选在不同检索通道中的名次进行候选融合和排序;在证据重构时,对于混合检索得到的命中子知识单元,在预设的预算约束条件下,根据前述父子映射关系和相邻映射关系扩展其父知识单元或相邻子知识单元信息,形成结构化的可追溯证据;将所述结构化的可追溯证据返回至本地工具接口。
7、进一步,所述本地工具接口为受约束接口,用于根据配置的第一约束条件,将符合第一约束条件的命中证据提供给所述智能代理;
8、在证据返回时,将符合前述第一约束条件的结构化证据集合作为命中证据返回至所述本地工具接口。
9、进一步,所述本地文档来自本地目录、只读挂载目录或经授权同步的其他文档源;
10、所述本地工具接口通过标准输入输出、命名管道、本地域套接字或其他受控进程间通信方式接收所述智能代理发出的检索请求。
11、进一步,所述本地知识库构建组件包括文档解析模块,父子切片模块和双索引构建模块;
12、所述文档解析模块,用于根据预先限定的文档源,读取文档源中的知识文档,并对文档进行结构解析;
13、所述父子切片模块,用于根据文档解析确定的标题边界、章节边界、分页边界、表格边界和/或自然段边界信息生成父知识单元,再在所述父知识单元内按预设单元长度生成所述子知识单元;一个父知识单元包括一个或多个子知识单元,相邻的子知识单元具有重叠段;
14、所述双索引构建模块用于构建字面全文索引和语义向量索引,包括字面索引子模块和语义索引子模块;
15、所述字面索引子模块被配置为:对标题、章节路径和子知识单元正文分别建立对应全文的字面全文索引;
16、所述语义索引子模块被配置为:对每个子知识单元的文本添加标题路径或者文档主题前缀进行增强后,将增强后的文本输入本地部署的嵌入模型,得到维度为 d的向量;对所述向量进行归一化处理,得到归一化后的子知识单元向量,按照子知识单元标识的稳定顺序,将各归一化后的子知识单元向量保存为矩阵以形成原始向量矩阵;建立原始向量矩阵的行号与子知识单元标识之间的双向映射。
17、进一步,所述子知识单元的单元长度根据嵌入模型最大输入长度、标题前缀长度和终端可用内存进行配置;
18、所述原始向量矩阵由终端直接加载或以内存映射方式读取。
19、进一步,所述本地检索组件包括依次连接的查询表征模块,双路召回模块,名次融合模块,证据重构模块和证据返回模块;
20、所述查询表征模块,用于对查询文本进行处理,生成归一化查询向量后发送至双路召回模块的语义向量召回子模块;以及生成全文检索表达式后发送至双路召回模块的字面全文召回子模块;
21、所述双路召回模块,用于根据归一化查询向量和全文检索表达式,从语义向量索引获得第一候选集合及其语义排名,从字面全文索引获得第二候选集合及其字面排名,然后将两个候选集合发送至名次融合模块;
22、所述名次融合模块,用于针对接收的候选集合信息,根据候选在不同检索通道中的排名名次进行融合和排序;在融合时,根据候选在各检索通道中的排名名次来计算其基础融合分数,在排序时,基于基础融合分数进行候选排序;
23、所述证据重构模块,用于根据名次融合模块生成的候选排序结果,在预设的预算约束条件下对候选命中的子知识单元进行文本块扩展,恢复命中子知识单元的父知识单元或相邻子知识单元信息;
24、所述证据返回模块,用于根据证据重构模块的结果,生成结构化证据,并将其发送至前述本地工具接口。
25、进一步,还包括修正模块,其对应着名次融合模块设置,用于在所述基础融合分数上,根据子知识单元的结构信息对所述基础融合分数进行修正,在排序时,结合所述基础融合分数和修正得到的修正分数进行候选排序;
26、修正分数的计算表达式如下:
27、s(i) = rrf(i)+ λ1 × a(i)+ λ2 × h(i)+ λ3 × p(i)- λ4 × d(i)
28、其中:i表示命中子知识单元的编号,i为大于等于1的整数;rrf(i)表示子知识单元i的基础融合分数,a(i)表示候选子知识单元i是否同时被语义通道和字面通道召回;h(i)表示查询在文档标题或者章节路径中的命中程度;p(i) 表示查询中的完整短语、编号或数字在正文中的覆盖程度;d(i)表示该候选子知识单元i与已选候选子知识单元之间的重复程度;λ1 至 λ4 为预设的修正系数。
29、进一步,所述预算约束条件包括单证据预算约束和总上下文预算约束;
30、此时,在获取名次融合模块生成的候选排序结果后,所述证据重构模块被配置为:对于候选命中的子知识单元,将子知识单元作为种子,对每个种子子知识单元执行如下步骤:
31、s310,获取其父知识单元标识;
32、s320,判断父知识单元整体长度是否小于预设的单证据预算;判定父知识单元的整体长度小于单证据预算时,执行步骤s330,否则执行步骤s340;
33、s330,将完整的父知识单元信息作为证据返回,直接执行步骤s350;
34、s340,以种子子知识单元为中心,从种子子知识单元向前、向后依次扩展相邻子知识单元,扩展时优先保留标题、定义、条件、结论、例外和表头;扩展后判断是否达到单证据预算,判定未达到单证据预算时继续向前、向后扩展下一相邻子知识单元,直至达到单证据预算时,退出扩展;根据扩展的相邻子知识单元返回一条包括扩展信息的完整证据,执行步骤s350;
35、s350,对返回的证据信息进行去重,并检查预设的总上下文预算;
36、s360,判断当前返回的证据集合是否达到预设的总上下文预算,判定为是时,直接执行步骤s380,否则执行步骤s370;
37、s370,获取排序在后的下一种子子知识单元,返回执行前述步骤s310,直至所述总上下文预算耗尽,执行步骤s380;
38、s380,获取各种子子知识单元的返回证据,生成种子子知识单元范围、扩展范围和来源定位之间的对应关系,得到符合预算约束条件的结构化证据集合。
39、进一步,所述系统还包括增量索引管理模块,所述增量索引管理模块,用于为文档源的每个原始文档和子知识单元计算指纹并保存为元数据,以及在知识库更新时,根据文档的文件指纹和子知识单元的文本块指纹进行增强索引构建和原子版本切换;
40、所述增量索引管理模块被配置为执行如下步骤:扫描知识库目录;对比当前文档清单与活动索引版本中记录的文档清单;根据比对结果确定文档变化信息后,对属于不同变化类型的文档执行不同的文档更新操作,其中,对新增文档执行解析、切片和双索引构建,对发生修改的文档,仅重新处理其修改变化后的文本块,对删除文档,移除对应文本块、向量行和全文索引记录;根据文档的更新操作,在暂存版本中重排向量行号并生成映射信息,以构建暂存元数据和暂存向量;校验元数据数量、向量行数、向量维度、文本块标识唯一性和模型标识;在校验通过后,原子修改活动索引版本指针形成新版本;查询时,当前查询继续使用旧版本,后续查询使用新版本,保留旧版本用于回滚;
41、证据返回时,将活动索引版本信息随检索结果一并返回。
42、进一步,所述系统还包括故障检测和处理模块,用于检测嵌入模型、向量文件、全文索引、元数据映射和活动索引版本指针的状态,并根据检测的状态信息执行对应的降级策略;
43、所述降级策略包括:语义通道不可用且字面通道可用时,执行字面全文检索并设置retrieval_mode=lexical_only;字面通道不可用且语义通道可用时,执行语义向量检索并设置retrieval_mode=semantic_only;两个通道均可用时,执行混合检索并设置retrieval_mode=hybrid ;元数据与向量映射不一致时,拒绝使用损坏版本并回退到最近一个完整版本;两个通道均不可用时返回明确错误,不生成或者伪造知识结果;降级结果携带通道状态、索引版本和错误代码,使智能代理区分未检索到资料状态和检索系统不可用状态;
44、证据返回时,将降级状态信息随检索结果一并返回。
45、本发明还提供了一种基于检索增强生成rag的数据交互系统,所述系统包括前述本地知识库混合检索系统,以及生成模型;
46、所述本地知识库混合检索系统中的本地工具接口将返回的有限证据传输至智能代理后,由智能代理提交至所述生成模型,由生成模型结合用户问题和前述有限证据生成最终答案。
47、本发明还提供了一种适用于资源受限终端的本地知识库混合检索方法,所述方法包括如下步骤:
48、对本地文档进行结构解析,并根据解析结果对文档进行父子双粒度切片处理和双索引构建;所述父子双粒度包括父知识单元和子知识单元,所述父知识单元为依据文档结构属性形成的上下文完整单元,用于生成模型理解,所述子知识单元为从父知识单元中切出的文本块,用于检索时的信息匹配;建立父知识单元和子知识单元的父子映射关系,以及子知识单元之间的相邻映射关系;所述双索引包括用于全文检索的字面全文索引和用于语义向量检索的语义向量索引,对每个子知识单元同时建立字面全文索引和语义向量索引;
49、接收智能代理的检索请求;
50、根据检索请求,基于本地知识库执行混合检索、证据重构和证据返回;其中,在混合检索时,根据候选在不同检索通道中的名次进行候选融合和排序;在证据重构时,对于混合检索得到的命中子知识单元,在预设的预算约束条件下,根据前述父子映射关系和相邻映射关系扩展其父知识单元或相邻子知识单元信息,形成结构化的可追溯证据;将所述结构化的可追溯证据返回至本地工具接口。
51、本发明还提供了一种电子设备,包括:
52、至少一个处理器;以及
53、与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够用于执行如前所述的方法。
54、本发明由于采用以上技术方案,与现有技术相比,作为举例,具有以下的优点和积极效果:本发明通过父子双粒度切片,使得检索阶段可以使用较短文本提高定位精度,证据返回阶段通过证据重构恢复完整上下文,且在证据重构时,基于预设的预算约束条件进行重构,在证据返回时仅返回有限的结构化证据,无需生成最终答案。同时,通过语义通道与字面通道协同,兼顾同义表达召回和精确标识符召回;以及,通过基于名次的融合,避免对异构检索原始分数进行强制同尺度标定。通过采用上述协同机制,可以显著降低资源消耗并提升检索可靠性和证据可追溯性。
55、另一方面,通过轻量嵌入模型和矩阵向量索引,降低小型知识库的磁盘占用、内存占用和服务数量。
56、另一方面,通过受约束本地工具接口,只将有限命中证据提供给调用方,减少完整本地知识库的外发范围。
57、另一方面,通过文本块指纹和暂存版本,仅重建发生变化的内容。同时,通过完整性校验和活动版本原子切换,避免查询读取到元数据和向量不一致的中间状态。以及,通过结构化来源定位和索引版本标识,提高答案的可验证性和问题复现能力。
58、另一方面,通过双通道显式降级,提高部分组件异常时的检索可用性。
59、另一方面,还可以通过去重、同文档限额等措施,减少发送给生成模型的重复内容和无关内容。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com