基于混合检索的企业知识库增强生成方法及系统与流程
本申请涉及企业知识管理与大语言模型增强生成,具体而言,涉及一种基于混合检索的企业知识库增强生成方法及系统。
背景技术:
1、企业知识库的智能问答与内容生成可以有效提升内部信息检索效率、降低知识获取门槛,生成结果的知识准确性与来源匹配度直接决定企业知识库的实际使用价值。当前行业内的企业知识库增强生成大多采用单一检索模式获取候选知识片段的处理模式,仅能依托稠密向量语义匹配或者稀疏词项关键词匹配其中一种路径召回相关内容,单一检索模式容易出现语义匹配偏差或者关键词漏匹配问题,大量与查询请求强相关的知识片段无法被完整召回,后续生成的内容容易出现知识来源错位、关键信息遗漏的问题,难以满足企业内部高精度知识问答与合规内容生成的实际需求。
技术实现思路
1、有鉴于此,本申请的目的在于提供一种基于混合检索的企业知识库增强生成方法及系统。
2、依据本申请的第一方面,提供一种基于混合检索的企业知识库增强生成方法,所述方法包括:
3、获取企业知识库中的知识文档集合,并对所述知识文档集合执行语义切分处理,得到携带来源归属映射关系的多个知识片段单元;
4、对每个知识片段单元同步执行稠密向量检索编码处理和稀疏词项检索索引构建处理,得到每个知识片段单元对应的稠密向量检索表征和稀疏词项检索索引项,所述稠密向量检索表征与所述稀疏词项检索索引项共享同一个知识片段单元标识;
5、获取目标查询请求,对所述目标查询请求同步执行稠密向量查询表征生成处理和稀疏词项查询表征生成处理,得到所述目标查询请求对应的稠密向量查询表征和稀疏词项查询表征;
6、利用所述稠密向量查询表征在稠密向量检索空间中执行相似度近邻搜索处理得到第一候选知识片段集合,并利用所述稀疏词项查询表征在稀疏倒排索引结构中执行词项命中匹配处理得到第二候选知识片段集合,对所述第一候选知识片段集合和所述第二候选知识片段集合执行融合去重处理,得到携带稠密向量检索分值和稀疏词项检索分值的融合候选知识片段集合;
7、对所述融合候选知识片段集合执行文档来源归组处理与检索分值再分配处理,得到再分配检索分值集合,根据所述再分配检索分值集合筛选出目标知识片段集合,基于所述目标知识片段集合与所述目标查询请求生成增强生成输入序列,将所述增强生成输入序列输入预构建的增强生成网络,得到企业知识库增强生成结果。
8、依据本申请的第二方面,提供一种基于混合检索的企业知识库增强生成系统,所述基于混合检索的企业知识库增强生成系统包括机器可读存储介质及处理器,所述机器可读存储介质存储有机器可执行指令,所述处理器在执行所述机器可执行指令时,该基于混合检索的企业知识库增强生成系统实现前述的基于混合检索的企业知识库增强生成方法。
9、依据上述任意一个方面,本申请的技术效果在于:
10、通过获取企业知识库中的知识文档集合,对其执行语义切分处理得到携带来源归属映射关系的多个知识片段单元,对每个知识片段单元同步完成两类检索编码处理,得到共享同一标识的稠密向量检索表征与稀疏词项检索索引项,获取目标查询请求后同步生成对应的两类查询表征,分别在对应检索空间中完成近邻搜索与词项命中匹配得到两类候选知识片段集合,对两类集合执行融合去重处理得到携带两类检索分值的融合候选知识片段集合,对该融合候选知识片段集合完成文档来源归组与检索分值再分配处理得到再分配检索分值集合,依托该再分配检索分值集合筛选出目标知识片段集合,结合目标查询请求构建增强生成输入序列并输入预构建的增强生成网络得到最终的企业知识库增强生成结果。本发明将两类检索模式的优势完全融合,大幅提升相关知识片段的召回完整度,降低生成内容的知识错位与信息遗漏概率,显著提升企业知识库增强生成结果的知识准确性与来源匹配度。
1.一种基于混合检索的企业知识库增强生成方法,其特征在于,所述方法包括:
2.根据权利要求1所述的基于混合检索的企业知识库增强生成方法,其特征在于,所述对每个知识片段单元同步执行稠密向量检索编码处理和稀疏词项检索索引构建处理,得到每个知识片段单元对应的稠密向量检索表征和稀疏词项检索索引项,包括:
3.根据权利要求1所述的基于混合检索的企业知识库增强生成方法,其特征在于,所述获取目标查询请求,对所述目标查询请求同步执行稠密向量查询表征生成处理和稀疏词项查询表征生成处理,得到所述目标查询请求对应的稠密向量查询表征和稀疏词项查询表征,包括:
4.根据权利要求1所述的基于混合检索的企业知识库增强生成方法,其特征在于,所述利用所述稠密向量查询表征在稠密向量检索空间中执行相似度近邻搜索处理得到第一候选知识片段集合,并利用所述稀疏词项查询表征在稀疏倒排索引结构中执行词项命中匹配处理得到第二候选知识片段集合,对所述第一候选知识片段集合和所述第二候选知识片段集合执行融合去重处理,得到携带稠密向量检索分值和稀疏词项检索分值的融合候选知识片段集合,包括:
5.根据权利要求1所述的基于混合检索的企业知识库增强生成方法,其特征在于,所述对所述融合候选知识片段集合执行文档来源归组处理与检索分值再分配处理,得到再分配检索分值集合,根据所述再分配检索分值集合筛选出目标知识片段集合,基于所述目标知识片段集合与所述目标查询请求生成增强生成输入序列,将所述增强生成输入序列输入预构建的增强生成网络,得到企业知识库增强生成结果,包括:
6.根据权利要求1所述的基于混合检索的企业知识库增强生成方法,其特征在于,所述方法还包括:
7.根据权利要求1所述的基于混合检索的企业知识库增强生成方法,其特征在于,所述方法还包括:
8.根据权利要求1所述的基于混合检索的企业知识库增强生成方法,其特征在于,所述方法还包括:
9.根据权利要求1所述的基于混合检索的企业知识库增强生成方法,其特征在于,所述方法还包括:
10.一种基于混合检索的企业知识库增强生成系统,其特征在于,包括处理器以及计算机可读存储介质,所述计算机可读存储介质存储有机器可执行指令,所述机器可执行指令被处理器执行时实现权利要求1-9中任意一项所述的基于混合检索的企业知识库增强生成方法。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com