文本转结构化查询语言方法及装置与流程
本技术涉及人工智能,尤其涉及一种文本转结构化查询语言方法及装置。
背景技术:
1、现有文本转结构化查询语言方法(text-to-sql)通常获取自然语言问题以及数据库的模式(schema)信息,并根据自然语言问题和模式信息生成对应的sql(structuredquery language,结构化查询语言)语句。
2、然而,在企业级数据库场景中,数据库的模式信息可能包含数量较多的表信息和字段信息,采用现有方法中的单一模式链接(schema linking)对数据库的模式信息进行过滤,容易出现表信息或字段信息遗漏、错误保留等情况,从而影响结构化查询语句的生成准确性。此外,现有方法在对大语言模型进行训练时,所提供的奖励反馈难以充分反映结构化查询语句的生成质量,影响结构化查询语句的生成准确性。
3、因此,如何解决现有技术中存在的模式链接鲁棒性差以及模型训练反馈不充分的技术问题,提高结构化查询语句的生成准确性,具有十分重要的意义。
技术实现思路
1、本技术提供一种文本转结构化查询语言方法及装置,用以解决现有技术中存在的模式链接鲁棒性差以及模型训练反馈不充分的技术问题,从而提高结构化查询语句的生成准确性。
2、第一方面,本技术提供一种文本转结构化查询语言方法,所述方法包括:
3、根据多个模式链接、自然语言问题以及业务知识,对数据库的初始模式信息进行过滤,得到各模式链接对应的候选模式信息;所述多个模式链接对应不同过滤维度;
4、根据所述各模式链接对应的候选模式信息,确定目标模式信息;
5、将所述自然语言问题和所述目标模式信息输入至目标大语言模型,获取由所述目标大语言模型输出的结构化查询语言;
6、其中,所述目标大语言模型是基于多维奖励函数对初始大语言模型进行强化学习训练得到的。
7、可选地,根据本技术的文本转结构化查询语言方法,所述各模式链接对应的候选模式信息包括第一候选信息、第二候选信息、第三候选信息和第四候选信息;
8、所述根据多个模式链接、自然语言问题以及业务知识,对数据库的初始模式信息进行过滤,得到各模式链接对应的候选模式信息,包括:
9、在第一模式链接中,根据所述业务知识、所述自然语言问题以及所述初始模式信息,确定初始结构化查询语句;根据所述初始结构化查询语句,对所述初始模式信息进行过滤,得到第一候选信息;
10、在第二模式链接中,根据所述自然语言问题、所述业务知识以及所述初始模式信息之间的文本匹配结果,对所述初始模式信息进行过滤,得到第二候选信息;
11、在第三模式链接中,根据所述业务知识和所述自然语言问题,确定业务实体特征;根据所述业务实体特征和所述初始模式信息之间的相似度,对所述初始模式信息进行过滤,得到第三候选信息;
12、在第四模式链接中,将所述初始模式信息的结构关系确定为第四候选信息。
13、可选地,根据本技术的文本转结构化查询语言方法,所述文本匹配结果包括语义相似度和字符相似度;
14、所述根据所述自然语言问题、所述业务知识以及所述初始模式信息之间的文本匹配结果,对所述初始模式信息进行过滤,得到第二候选信息,包括:
15、将所述自然语言问题、所述业务知识以及所述初始模式信息转换为各语义向量;
16、对所述各语义向量进行向量相似度计算,得到所述语义相似度,并根据所述语义相似度,对所述初始模式信息进行过滤,得到候选语义信息;
17、获取所述自然语言问题、所述业务知识以及所述初始模式信息之间的字符相似度;
18、根据所述字符相似度,对所述初始模式信息进行过滤,得到候选字符信息;
19、将所述候选语义信息和所述候选字符信息进行融合,得到第二候选信息。
20、可选地,根据本技术的文本转结构化查询语言方法,所述将所述初始模式信息的结构关系确定为第四候选信息,包括:
21、从所述初始模式信息中提取主键信息和外键信息;
22、根据所述主键信息和所述外键信息,确定所述结构关系,并将所述初始模式信息的结构关系确定为第四候选信息。
23、可选地,根据本技术的文本转结构化查询语言方法,所述目标大语言模型是通过以下步骤训练得到的:
24、获取样本问题和所述样本问题对应的标准查询语句;
25、将所述样本问题输入至所述初始大语言模型,获取由所述初始大语言模型输出的预测查询语句;
26、根据所述多维奖励函数,得到所述预测查询语句对应的多维奖励值;所述多维奖励值包括结果正确奖励值、语法规范奖励值、模式匹配奖励值以及语义正确奖励值;
27、根据所述多维奖励值和预设权重,确定目标奖励值;
28、基于所述目标奖励值对所述初始大语言模型进行参数更新,得到所述目标大语言模型。
29、可选地,根据本技术的文本转结构化查询语言方法,所述得到所述预测查询语句对应的多维奖励值,包括:
30、对所述标准查询语句进行多版本改写,得到至少一个参考查询语句;根据各参考查询语句和所述标准查询语句,确定参考查询集合;
31、获取所述预测查询语句对应的第一关键词集合,以及所述参考查询集合对应的多个第二关键词集合;
32、在所述第一关键词集合与任意一个第二关键词集合相匹配的情况下,确定所述语义正确奖励值为正向奖励;
33、在所述第一关键词集合与所有第二关键词集合均不匹配的情况下,确定所述语义正确奖励值为负向奖励。
34、可选地,根据本技术的文本转结构化查询语言方法,所述得到所述预测查询语句对应的多维奖励值,包括:
35、将所述预测查询语句在数据库中进行执行;
36、在所述预测查询语句在所述数据库中执行成功的情况下,确定所述语法规范奖励值为正向奖励;
37、在所述预测查询语句在所述数据库中执行报错的情况下,确定所述语法规范奖励值为负向奖励。
38、可选地,根据本技术的文本转结构化查询语言方法,所述得到所述预测查询语句对应的多维奖励值,包括:
39、根据所述预测查询语句,确定第一表名集合和第一字段名集合;
40、根据所述标准查询语句,确定第二表名集合和第二字段名集合;
41、在所述第一表名集合与所述第二表名集合相匹配,且所述第一字段名集合与所述第二字段名集合相匹配的情况下,确定所述模式匹配奖励值为正向奖励;
42、在所述第一表名集合与所述第二表名集合不匹配,或者所述第一字段名集合与所述第二字段名集合不匹配的情况下,确定所述模式匹配奖励值为负向奖励。
43、第二方面,本技术还提供一种文本转结构化查询语言装置,所述装置包括:
44、过滤模块,用于根据多个模式链接、自然语言问题以及业务知识,对数据库的初始模式信息进行过滤,得到各模式链接对应的候选模式信息;所述多个模式链接对应不同过滤维度;
45、确定模块,用于根据所述各模式链接对应的候选模式信息,确定目标模式信息;
46、输出模块,用于将所述自然语言问题和所述目标模式信息输入至目标大语言模型,获取由所述目标大语言模型输出的结构化查询语言;
47、其中,所述目标大语言模型是基于多维奖励函数对初始大语言模型进行强化学习训练得到的。
48、第三方面,本技术提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如上述第一方面所述的文本转结构化查询语言方法。
49、第四方面,本技术提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如上述第一方面所述的文本转结构化查询语言方法。
50、第五方面,本技术还提供一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现如上述第一方面所述的文本转结构化查询语言方法。
51、本技术提供的文本转结构化查询语言方法及装置,通过多个模式链接、自然语言问题以及业务知识,从不同过滤维度对数据库的初始模式信息进行过滤,得到各模式链接对应的候选模式信息,使不同过滤维度的筛选结果能够相互补充,从而降低单一过滤维度导致相关模式信息遗漏或者错误匹配的可能性;再通过各模式链接对应的候选模式信息确定目标模式信息,并将自然语言问题和目标模式信息输入至目标大语言模型,获取由目标大语言模型输出的结构化查询语言,目标大语言模型是基于多维奖励函数对初始大语言模型进行强化学习训练得到的,使得该方法及装置能够减少无关模式信息对结构化查询语言生成过程造成的干扰,从而解决现有技术中存在的模式链接鲁棒性差以及模型训练反馈不充分的技术问题,提高结构化查询语句的生成准确性。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com