一种基于关键词覆盖感知的检索增强生成上下文构建方法与流程
本发明涉及人工智能,具体涉及一种基于关键词覆盖感知的检索增强生成上下文构建方法。
背景技术:
1、检索增强生成技术是近年来人工智能领域的重要研究方向,其核心思想是通过从外部知识库中检索相关文档,为大语言模型提供上下文信息,从而生成更加准确、可靠的回答。这一技术有效缓解了大语言模型在知识时效性、领域专业性以及事实准确性方面的不足。
2、现有的检索增强生成系统通常采用基于语义相似度的检索策略,即根据查询语句与文档之间的整体语义匹配度对候选文档进行排序和筛选。然而,这种方法存在明显的局限性:当用户查询包含多个关键信息点时,传统检索方法往往只关注与查询整体语义最相似的文档,而忽略了对查询中各关键词的全面覆盖,可能导致检索到的文档仅回答查询的部分内容,而遗漏了用户关心的其他重要信息点,从而使最终生成的回答不够完整或出现信息缺失。
3、此外,现有技术在构建上下文时缺乏对关键词覆盖情况的感知和反馈机制,无法动态调整检索策略以补充缺失的信息。当初次检索的候选文档未能覆盖查询中的所有关键概念时,系统难以识别和补救这一问题,直接导致大语言模型在生成回答时缺少必要的上下文支撑。
4、因此,如何在检索增强生成系统中实现对查询关键词的全面覆盖,并构建更加完整、准确的上下文,成为当前亟待解决的技术问题。
技术实现思路
1、鉴于所述问题,提出了本申请以便提供克服所述问题或者至少部分地解决所述问题的一种基于关键词覆盖感知的检索增强生成上下文构建方法,包括:
2、本申请的上述发明目的一是通过以下技术方案得以实现的:
3、一种基于关键词覆盖感知的检索增强生成上下文构建方法,包括步骤:
4、获取用户端输入的查询语句,并从查询语句中提取多个查询关键词;
5、基于预设的知识库对查询关键词执行检索操作,获得包括至少一个初始候选文档的初始候选文档集合;
6、统计各初始候选文档中查询关键词的出现情况,并基于出现情况计算各初始候选文档对查询关键词的覆盖度值;
7、依据覆盖度值对初始候选文档集合进行排序,并选取若干候选文档;
8、判断所选取的若干候选文档对查询关键词的整体覆盖度值是否满足预设的覆盖阈值,若不满足,则识别未被覆盖的查询关键词,并对未被覆盖的查询关键词重新执行检索操作,将重新检索得到的补充文档添加至候选文档;
9、从候选文档中提取文本片段,并构建用于生成回答的上下文;
10、将构建的上下文输入至预设的大语言模型,生成针对查询语句的回答语句。
11、本申请的上述发明目的二是通过以下技术方案得以实现的:
12、一种基于关键词覆盖感知的检索增强生成上下文构建系统,包括:
13、关键词提取模块,用于获取用户端输入的查询语句,并从查询语句中提取多个查询关键词;
14、知识库检索模块,用于基于预设的知识库对查询关键词执行检索操作,获得包括至少一个初始候选文档的初始候选文档集合;
15、覆盖度计算模块,用于统计各初始候选文档中查询关键词的出现情况,并基于出现情况计算各初始候选文档对查询关键词的覆盖度值;
16、覆盖度排序模块,用于依据覆盖度值对初始候选文档集合进行排序,并选取若干候选文档;
17、覆盖度判断模块,用于判断所选取的若干候选文档对查询关键词的整体覆盖度值是否满足预设的覆盖阈值,若不满足,则识别未被覆盖的查询关键词,并对未被覆盖的查询关键词重新执行检索操作,将重新检索得到的补充文档添加至候选文档;
18、上下文构建模块,用于从候选文档中提取文本片段,并构建用于生成回答的上下文;
19、上下文输入模块,用于将构建的上下文输入至预设的大语言模型,生成针对查询语句的回答语句。
20、本申请还涉及一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述一种基于关键词覆盖感知的检索增强生成上下文构建方法的步骤。
21、本申请具有以下优点:
22、在本申请的实施例中,提供了一种基于关键词覆盖感知的检索增强生成上下文构建方法,通过量化计算关键词覆盖度并动态触发补充检索机制,可以有效解决现有技术中无法精细化覆盖查询关键词、无法识别未覆盖关键词导致的信息缺失问题,能够实现对查询关键词覆盖状态的动态监测以及对未被覆盖的关键词的自动识别并触发补充检索,具有提高检索结果的完整性和上下文构建的准确性的效果。
1.一种基于关键词覆盖感知的检索增强生成上下文构建方法,其特征在于,包括步骤:
2.根据权利要求1所述的基于关键词覆盖感知的检索增强生成上下文构建方法,其特征在于,所述获取用户端输入的查询语句,并从查询语句中提取多个查询关键词的步骤,具体包括:
3.根据权利要求1所述的基于关键词覆盖感知的检索增强生成上下文构建方法,其特征在于,所述基于预设的知识库对查询关键词执行检索操作,获得包括至少一个初始候选文档的初始候选文档集合的步骤,具体包括:
4.根据权利要求3所述的基于关键词覆盖感知的检索增强生成上下文构建方法,其特征在于,所述通过构建的检索查询表达式在预设的知识库中执行多路并行检索,得到各查询关键词对应的初步检索结果集的步骤,具体包括:
5.根据权利要求1所述的基于关键词覆盖感知的检索增强生成上下文构建方法,其特征在于,所述统计各初始候选文档中查询关键词的出现情况,并基于出现情况计算各初始候选文档对查询关键词的覆盖度值的步骤,具体包括:
6.根据权利要求5所述的基于关键词覆盖感知的检索增强生成上下文构建方法,其特征在于,所述判断所选取的若干候选文档对查询关键词的整体覆盖度值是否满足预设的覆盖阈值,若不满足,则识别未被覆盖的查询关键词,并对未被覆盖的查询关键词重新执行检索操作,将重新检索得到的补充文档添加至候选文档的步骤,具体包括:
7.根据权利要求1所述的基于关键词覆盖感知的检索增强生成上下文构建方法,其特征在于,所述将构建的上下文输入至预设的大语言模型,生成针对查询语句的回答语句的步骤,具体包括:
8.根据权利要求7所述的基于关键词覆盖感知的检索增强生成上下文构建方法,其特征在于,所述检测回答语句中是否存在与候选文档中文本片段相对应的引用内容,若存在,则提取引用内容对应的候选文档标识,并将候选文档标识作为引用来源附加至回答语句的步骤,具体包括:
9.一种基于关键词覆盖感知的检索增强生成上下文构建系统,其特征在于,包括:
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储计算机程序,所述计算机程序被处理器执行时实现如权利要求1至8中任一项所述的一种基于关键词覆盖感知的检索增强生成上下文构建方法的步骤。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com