知识库的构建、检索方法及装置与流程
本说明书一个或多个实施例涉及计算机,尤其涉及一种知识库的构建方法及装置,一种知识库的检索方法及装置,一种计算机可读存储介质,以及一种计算设备。
背景技术:
1、随着人工智能技术的快速发展,大语言模型(large language model, llm)在自然语言处理领域取得了突破性进展。为了克服大语言模型在知识时效性和事实准确性方面的局限,检索增强生成(retrieval-augmented generation, rag)技术应运而生并得到广泛应用。rag技术通过结合外部知识库与大语言模型的生成能力,能够为用户提供基于特定领域知识的精准问答服务,因此在智能客服、政策咨询、法律辅助及企业知识管理等场景中发挥着越来越重要的作用。
2、在rag架构中,知识库的构建质量与检索效率是决定系统整体性能的关键因素。一个高效的知识库系统需要具备对海量非结构化文档进行有效组织、存储以及快速响应查询的能力。
3、然而,在实际的高精度应用场景中,尤其是面对逻辑严密、结构复杂的行业专业文档时,现有的知识库检索方案在检索效果的稳定性和准确性上仍面临挑战。因此,亟需一种能够进一步提升知识库检索效果的方法,以更好地支撑上层智能应用等业务的落地。
技术实现思路
1、本说明书实施例描述一种知识库的构建、检索方法及装置,能够解决上述技术问题。
2、根据第一方面,提供了一种知识库的构建方法。该方法包括:
3、基于第一文本确定顺序排列的多个文本块,形成文本块序列。将当前文本块初始化为所述文本块序列中的首个文本块后,执行多轮迭代处理,得到多个知识片段;其中任一轮迭代处理包括:判断当前文本块是否满足预设条件;所述预设条件包括:大模型针对所述当前文本块之后续接语义终止符的预测分值大于预设分值阈值;若不满足,则将所述当前文本块更新为合并所述文本块序列中相邻的未处理文本块后的结果,并再次执行所述判断;若满足,则将所述当前文本块作为一个知识片段,并将所述当前文本块更新为所述文本块序列中相邻的未处理文本块,用于下一轮迭代处理。将所述多个知识片段存入知识库。
4、在一个实施例中,所述预设条件还包括当前文本块的长度大于预设长度阈值。
5、在一个实施例中,在基于第一文本确定顺序排列的多个文本块之前,所述方法还包括:基于原始文档中的章节标题,将所述原始文档划分为多个章节块;将每个章节块分别作为所述第一文本。
6、在一个实施例中,基于第一文本确定顺序排列的多个文本块,包括:按照预设的滑动窗口大小和重叠长度,对所述第一文本进行滑动窗口切分,得到多个连续且部分重叠的文本块。
7、在一个实施例中,将所述多个知识片段存入知识库,包括:确定各个知识片段对应的向量表示;基于所述向量表示,对知识片段执行聚类处理,得到多个类簇;为每个类簇生成摘要文本,并将所述摘要文本作为父节点,将该类簇中的知识片段作为对应的子节点;迭代执行聚类处理及生成父节点的步骤,自底向上构建包含多层级节点的树形知识结构;将所述树形知识结构中节点的节点标识、对应的原始文本和层级元数据存入所述知识库。
8、进一步地,在一个具体的实施例中,所述知识库包括文本检索子库和向量检索子库;其中,将所述树形知识结构中节点的节点标识、对应的原始文本和层级元数据存入所述知识库,包括:将所述节点标识、对应的原文内容和层级元数据存入所述文本检索子库;其中,所述方法还包括:将所述树形知识结构中节点的所述节点标识、对应的节点向量和所述层级元数据存入向量检索子库,所述节点向量是编码节点对应的原始文本而得到。
9、根据第二方面,提供了一种知识库的检索方法。该方法包括:接收用户输入的查询文本;利用所述查询文本从知识库中召回若干知识片段;其中,所述知识库基于第一方面提供的方法而构建。
10、在一个实施例中,所述知识库中的知识片段被组织为树形知识结构,所述树形知识结构中的叶子节点为知识片段,非叶子节点为针对知识片段的摘要文本。所述知识库包括文本检索子库和向量检索子库,所述文本检索子库和所述向量检索子库中均存储有所述树形知识结构中节点的节点标识及层级元数据;其中,所述文本检索子库中还存储有节点的原始文本,所述向量检索子库中还存储有节点对应的向量表示。
11、其中,所述利用所述查询文本从知识库中召回若干知识片段,包括:利用所述查询文本分别对所述文本检索子库和所述向量检索子库进行检索,得到若干命中节点;针对各个命中节点,若该命中节点为叶子节点,则获取该节点对应的原始文本并归入候选知识片段集;若该命中节点为非叶子节点,则基于所述层级元数据确定该命中节点下属的所有后代叶子节点,获取所述后代叶子节点对应的原始文本并归入候选知识片段集;从所述候选知识片段集中选取所述若干知识片段。
12、进一步,在一个具体的实施例中,从所述候选知识片段集中选取所述若干知识片段,包括:针对所述候选知识片段集中的每个候选知识片段,确定其在向量检索结果中的第一排名,并计算与所述第一排名呈负相关的第一子分数;以及,确定其在文本检索结果中的第二排名,并计算与所述第二排名呈负相关的第二子分数;对所述第一子分数和所述第二子分数进行加权求和,得到该候选知识片段的综合评分;基于所述综合评分对所述候选知识片段集进行降序排列,选取排名前k个候选知识片段作为召回结果。
13、在一个实施例中,所述方法还包括:将所述查询文本和召回的知识片段输入大模型,得到生成的回答内容,用于反馈给用户。
14、根据第三方面,提供一种知识库的构建装置。该装置包括:
15、序列构建模块,配置为基于第一文本确定顺序排列的多个文本块,形成文本块序列。迭代处理模块,配置为将当前文本块初始化为所述文本块序列中的首个文本块后,执行多轮迭代处理,得到多个知识片段;其中任一轮迭代处理通过以下功能单元实现:判断单元,配置为判断当前文本块是否满足预设条件;所述预设条件包括:大模型针对所述当前文本块之后续接语义终止符的预测分值大于预设分值阈值;第一分支单元,配置为若判断出不满足,则将所述当前文本块更新为合并所述文本块序列中相邻的未处理文本块后的结果,并再次执行所述判断;第二分支单元,配置为若判断出满足,则将所述当前文本块作为一个知识片段,并将所述当前文本块更新为所述文本块序列中相邻的未处理文本块,用于下一轮迭代处理。存储模块,配置为将所述多个知识片段存入知识库。
16、根据第四方面,提供一种知识库的检索装置。该装置包括:查询接收模块,配置为接收用户输入的查询文本;召回模块,配置为利用所述查询文本从知识库中召回若干知识片段;其中,所述知识库基于第三方面提供的装置而构建。
17、根据第五方面,提供了一种计算机可读存储介质,其上存储有计算机程序,当该计算机程序在计算机中执行时,令计算机执行第一方面提供的方法。
18、根据第六方面,提供了一种计算设备,包括存储器和处理器,所述存储器中存储有可执行代码,该处理器执行所述可执行代码时,实现第一方面提供的方法。
19、综上,采用本说明书实施例披露的上述方法及装置,采用基于大语言模型eos预测分值的动态语义边界校准机制,有效解决了传统机械式分块导致的语义割裂问题,相应召回的知识片段具有高度的语义完整性与独立性。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com