结构化查询语句的生成方法、装置、设备及存储介质与流程

摘要: 本申请属于人工智能,尤其涉及一种结构化查询语句的生成方法、装置、设备及存储介质。背景技术:1、text-to-sql是一种面向数据库智能查询的自然语言处理技术,...
结构化查询语句的生成方法、装置、设备及存储介质与流程

本申请属于人工智能,尤其涉及一种结构化查询语句的生成方法、装置、设备及存储介质。

背景技术:

1、text-to-sql 是一种面向数据库智能查询的自然语言处理技术,旨在将用户输入的自然语言问题自动转换为结构化查询语言(structured query language,sql)。随着企业数字化转型的深入,text-to-sql已成为连接业务人员与数据库的关键桥梁。

2、目前,基于大语言模型的text-to-sql方法主要包括基于提示学习的方法和基于微调训练的方法。其中,基于提示学习的方法依托检索增强生成技术召回数据库结构、业务规则等外部知识,将其拼接为提示词并输入至大语言模型完成sql生成推理。但该方法随数据库库表数量增多,检索噪音持续增大,提示词长度线性增加,导致推理延迟升高、显存占用剧增,且模型在长上下文中易忽略部分约束而产生幻觉,sql生成的效率与准确率均难以保障。另外,基于微调训练的方法通过标注数据集对模型进行微调训练,将领域知识固化至模型参数,推理仅需提供简易提示词即可。但该方法高度依赖高质量标注数据,高质量数据匮乏易引发模型过拟合或灾难性遗忘,严重影响sql生成的准确性。

3、因此,现有基于大语言模型的text-to-sql方法均难以保证sql生成的效率与准确性。

技术实现思路

1、本申请实施例提供了一种结构化查询语句的生成方法、装置、电子设备、计算机可读存储介质及计算机程序产品,能够提高sql生成的效率和准确性。

2、第一方面,本申请实施例提供了一种结构化查询语句的生成方法,该方法包括:

3、获取多个知识单元,所述知识单元中包括第一自然语言问题及其对应的第一结构化查询语句;

4、从每个所述第一结构化查询语句中提取查询语义要素;

5、基于所述查询语义要素,确定每个所述知识单元的特征信息;

6、基于所述特征信息,确定每个所述知识单元的价值评分;

7、将满足预设评分条件的价值评分对应的知识单元确定为目标知识单元;

8、基于多个所述目标知识单元,对大语言模型进行微调,得到目标大语言模型;

9、利用所述目标大语言模型,生成与自然语言问题对应的结构化查询语句。

10、第二方面,本申请实施例提供了一种结构化查询语句的生成装置,该装置包括:

11、获取模块,用于获取多个知识单元,所述知识单元中包括第一自然语言问题及其对应的第一结构化查询语句;

12、提取模块,用于从每个所述第一结构化查询语句中提取查询语义要素;

13、第一确定模块,用于基于所述查询语义要素,确定每个所述知识单元的特征信息;

14、评分模块,用于基于所述特征信息,确定每个所述知识单元的价值评分;

15、第二确定模块,用于将满足预设评分条件的价值评分对应的知识单元确定为目标知识单元;

16、微调模块,用于基于多个所述目标知识单元,对大语言模型进行微调,得到目标大语言模型;

17、生成模块,用于利用所述目标大语言模型,生成与自然语言问题对应的结构化查询语句。

18、第三方面,本申请实施例提供了一种电子设备,该电子设备包括:处理器以及存储有计算机程序指令的存储器;

19、所述处理器执行所述计算机程序指令时实现上述第一方面中任一种可能的实现方法中的方法。

20、第四方面,本申请实施例提供了一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序指令,计算机程序指令被处理器执行时实现上述第一方面中任一种可能的实现方法中的方法。

21、第五方面,本申请实施例提供了一种计算机程序产品,该计算机程序产品中的指令由电子设备的处理器执行时,使得电子设备执行如上述第一方面中任一种可能的实现方法中的方法。

22、本申请实施例通过获取多个知识单元,从每个知识单元的第一结构化查询语句中提取查询语义要素,基于查询语义要素,确定每个知识单元的特征信息,以及基于特征信息,确定每个知识单元的价值评分,能够基于价值评分确定每个知识单元对大语言模型的微调价值。通过将满足预设评分条件的价值评分对应的知识单元确定为目标知识单元,以及基于多个目标知识单元,对大语言模型进行微调(即基于具备微调价值的目标知识单元对大语言模型进行微调),能够提高微调数据的数据质量,使大语言模型能够更高效地学习高价值知识。如此,一方面,通过基于高价值目标知识单元对大语言模型进行定向微调,能够提高sql生成的准确性。另一方面,通过将高价值目标知识单元内化至大语言模型的模型参数,能够在推理阶段减少对提示词中外部知识的依赖,从而降低提示词长度,提高sql生成效率。

1.一种结构化查询语句的生成方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述特征信息包括字段使用频率、表结构稳定度、语义歧义度和查询逻辑复杂度,所述基于所述特征信息,确定每个所述知识单元的价值评分,包括:

3.根据权利要求2所述的方法,其特征在于,所述查询语义要素包括目标字段,所述特征信息包括字段使用频率,所述基于所述查询语义要素,确定每个所述知识单元的特征信息,包括:

4.根据权利要求2所述的方法,其特征在于,所述查询语义要素包括目标表,所述特征信息包括表结构稳定度,所述基于所述查询语义要素,确定每个所述知识单元的特征信息,包括:

5.根据权利要求2所述的方法,其特征在于,所述查询语义要素包括目标字段,所述特征信息包括语义歧义度,所述基于所述查询语义要素,确定每个所述知识单元的特征信息,包括:

6.根据权利要求2所述的方法,其特征在于,所述查询语义要素包括第一结构特征信息,所述特征信息包括查询逻辑复杂度,所述基于所述查询语义要素,确定每个所述知识单元的特征信息,包括:

7.根据权利要求6所述的方法,其特征在于,所述第一结构特征信息包括嵌套深度、关联表数量、逻辑分支数量和聚合数量,所述基于所述第一结构特征信息,确定所述查询逻辑复杂度,包括:

8.根据权利要求1所述的方法,其特征在于,获取所述知识单元,包括:

9.根据权利要求8所述的方法,其特征在于,所述基于所述第一自然语言问题和所述第一结构化查询语句,生成所述知识单元,包括:

10.根据权利要求1所述的方法,其特征在于,所述将满足预设评分条件的价值评分对应的知识单元确定为目标知识单元,包括:

11.根据权利要求1-10任一项所述的方法,其特征在于,所述基于多个所述目标知识单元,对大语言模型进行微调,包括:

12.根据权利要求11所述的方法,其特征在于,所述对所述第三自然语言问题进行变异处理,得到第四自然语言问题,包括:

13.根据权利要求11所述的方法,其特征在于,所述对所述第三自然语言问题进行变异处理,得到第四自然语言问题,包括:

14.根据权利要求1-10任一项所述的方法,其特征在于,所述基于所述特征信息,确定每个所述知识单元的价值评分之后,所述方法还包括:

15.根据权利要求14所述的方法,其特征在于,所述第二知识单元中包括数据库结构信息和业务术语映射表;将所述自然语言问题和所述第二知识单元共同输入所述目标大语言模型,利用所述目标大语言模型,基于所述第二知识单元,生成与所述自然语言问题对应的结构化查询语句,包括:

16.根据权利要求1-10任一项所述的方法,其特征在于,所述目标知识单元中包括逻辑复杂度标签;所述基于多个所述目标知识单元,对大语言模型进行微调,得到目标大语言模型,包括:

17.一种结构化查询语句的生成装置,其特征在于,所述装置包括:

18.一种电子设备,其特征在于,所述电子设备包括:处理器以及存储有计算机程序指令的存储器;

19.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序指令,所述计算机程序指令被处理器执行时实现如权利要求1-16任意一项所述的结构化查询语句的生成方法。

20.一种计算机程序产品,其特征在于,所述计算机程序产品中的指令由电子设备的处理器执行时,使得所述电子设备执行如权利要求1-16任意一项所述的结构化查询语句的生成方法。