一种语义检索增强生成方法、装置、电子设备及存储介质与流程
本申请涉及自然语言处理与信息检索,特别是涉及一种语义检索增强生成方法、装置、电子设备及存储介质。
背景技术:
1、随着人工智能技术的不断发展,用户只需输入简短的查询语句,系统便能借助生成模型来输出连贯且相关的文本内容,这极大地提升了信息获取与内容生成效率,但同时也对检索结果的准确性和全面性提出了更高要求。
2、然而,单纯依赖生成模型可能会导致信息遗漏或偏差,尤其是在信息量巨大的开放域环境,并且无法适应多样化的查询意图,在面对分布外或复杂组合式查询时泛化能力有限。
技术实现思路
1、鉴于相关技术中的上述缺陷或不足,期望提供一种语义检索增强生成方法、装置、电子设备及存储介质,能够提升语义匹配的准确性,并提高知识覆盖率和可靠性。
2、第一方面,本申请提供一种语义检索增强生成方法,所述语义检索增强生成方法包括:
3、获取用户查询文本,并对所述用户查询文本进行处理,获得标准查询文本;
4、将所述标准查询文本分别输入预构建模型池的多个目标语义匹配模型,获得各所述目标语义匹配模型的独立召回结果集,所述独立召回结果集包括候选文档以及所述候选文档的相关性得分;
5、对各所述目标语义匹配模型的独立召回结果集进行融合,并基于所述候选文档的融合得分对各所述候选文档进行排序,获得集成召回结果集;
6、将所述集成召回结果集输入生成模型,获得最终输出文本。
7、可选地,本申请一些实施例中所述候选文档的融合得分通过下式计算:
8、;
9、其中,表示候选文档的融合得分,≥1,表示第个目标语义匹配模型对候选文档的相关性得分,≥1,表示第个目标语义匹配模型的权重,且,表示目标语义匹配模型的总个数,≥1。
10、可选地,本申请一些实施例中在预先确定各所述目标语义匹配模型的权重过程中,通过下述目标函数进行优化:
11、;
12、其中,表示训练查询文本,表示正样本候选项,表示负样本候选项,表示正样本候选项与负样本候选项之间的最小得分差约束,表示正样本候选项融合得分,表示负样本候选项融合得分。
13、可选地,本申请一些实施例中实际使用时,在对各所述目标语义匹配模型的独立召回结果集进行融合之前,所述语义检索增强生成方法还包括:
14、将所述用户查询文本映射到包含不同查询类别的预定义标签集,并基于所述用户查询文本对应的查询类别自动调整各所述目标语义匹配模型的权重。
15、可选地,本申请一些实施例中在基于所述候选文档的融合得分对各所述候选文档进行排序,获得集成召回结果集的过程中,还对所述候选文档进行去重、截断和软过滤。
16、可选地,本申请一些实施例中在所述预构建模型池中所述多个目标语义匹配模型的相似系数最小,所述相似系数通过训练召回结果交集与训练召回结果并集的比值计算获得。
17、可选地,本申请一些实施例中所述目标语义匹配模型包括基于表示学习的模型、基于交互学习的模型、基于词汇信息的模型、基于生成式的模型、混合模型以及深度匹配模型中的任意一种。
18、第二方面,本申请提供一种语义检索增强生成装置,所述语义检索增强生成装置包括:
19、查询模块,用于获取用户查询文本,并对所述用户查询文本进行处理,获得标准查询文本;
20、召回模块,用于将所述标准查询文本分别输入预构建模型池的多个目标语义匹配模型,获得各所述目标语义匹配模型的独立召回结果集,所述独立召回结果集包括候选文档以及所述候选文档的相关性得分;
21、融合模块,用于对各所述目标语义匹配模型的独立召回结果集进行融合,并基于所述候选文档的融合得分对各所述候选文档进行排序,获得集成召回结果集;
22、生成模块,用于将所述集成召回结果集输入生成模型,获得最终输出文本。
23、第三方面,本申请提供一种电子设备,所述电子设备包括处理器和存储器,所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集,所述指令、所述程序、所述代码集或所述指令集由所述处理器加载并执行以实现第一方面中任意一项所述语义检索增强生成方法的步骤。
24、第四方面,本申请提供一种计算机可读存储介质,所述计算机可读存储介质存储有一个或者多个程序,所述一个或者多个程序可被一个或者多个处理器执行,以实现第一方面中任意一项所述语义检索增强生成方法的步骤。
25、从以上技术方案可以看出,本申请实施例具有以下优点:
26、本申请实施例提供了一种语义检索增强生成方法、装置、电子设备及存储介质,通过在预构建模型池中集成多个目标语义匹配模型,从而可以充分利用各目标语义匹配模型的独立召回能力,灵活适应不同查询意图,实现更全面地准确捕获,由此融合得到的集成召回结果集能够覆盖更广的潜在相关文档,避免遗漏,有效提高了召回范围与深度,在复杂和跨领域查询环境中表现更优,可为生成环节提供更充分且可信的外部知识依据,便于生成模型输出更准确、逻辑性更强的文本,显著降低了幻觉内容出现概率,提高答案可靠性。
1.一种语义检索增强生成方法,其特征在于,所述语义检索增强生成方法包括:
2.根据权利要求1所述的语义检索增强生成方法,其特征在于,所述候选文档的融合得分通过下式计算:
3.根据权利要求2所述的语义检索增强生成方法,其特征在于,在预先确定各所述目标语义匹配模型的权重过程中,通过下述目标函数进行优化:
4.根据权利要求2所述的语义检索增强生成方法,其特征在于,实际使用时,在对各所述目标语义匹配模型的独立召回结果集进行融合之前,所述语义检索增强生成方法还包括:
5.根据权利要求1所述的语义检索增强生成方法,其特征在于,在基于所述候选文档的融合得分对各所述候选文档进行排序,获得集成召回结果集的过程中,还对所述候选文档进行去重、截断和软过滤。
6.根据权利要求1至5中任意一项所述的语义检索增强生成方法,其特征在于,在所述预构建模型池中所述多个目标语义匹配模型的相似系数最小,所述相似系数通过训练召回结果交集与训练召回结果并集的比值计算获得。
7.根据权利要求6所述的语义检索增强生成方法,其特征在于,所述目标语义匹配模型包括基于表示学习的模型、基于交互学习的模型、基于词汇信息的模型、基于生成式的模型、混合模型以及深度匹配模型中的任意一种。
8.一种语义检索增强生成装置,其特征在于,所述语义检索增强生成装置包括:
9.一种电子设备,其特征在于,所述电子设备包括处理器和存储器,所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集,所述指令、所述程序、所述代码集或所述指令集由所述处理器加载并执行以实现权利要求1至7中任意一项所述语义检索增强生成方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有一个或者多个程序,所述一个或者多个程序可被一个或者多个处理器执行,以实现权利要求1至7中任意一项所述语义检索增强生成方法的步骤。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com