一种数据查询处理方法、装置及相关设备与流程

摘要: 本申请涉及数据处理及查询,具体涉及一种数据查询处理方法、装置及相关设备。背景技术:1、随着企业信息系统中业务数据规模不断增长,用户通过自然语言查询数据库中的业务...
一种数据查询处理方法、装置及相关设备与流程

本申请涉及数据处理及查询,具体涉及一种数据查询处理方法、装置及相关设备。

背景技术:

1、随着企业信息系统中业务数据规模不断增长,用户通过自然语言查询数据库中的业务数据能够有效降低数据使用门槛。因此,基于自然语言生成结构化查询语句(text2sql)的技术被广泛应用于数据分析和信息检索场景。现有的自然语言查询技术通常将用户输入的查询请求以及数据库结构信息(schema)信息提供给大语言模型,由大语言模型理解查询意图并生成对应的sql语句,进而访问数据库获取结果。在实际业务场景中,数据库数据通常具有严格的访问权限要求。为了满足权限控制需求,现有技术通常将业务查询条件与权限控制规则一并提供给大语言模型,或者在模型生成sql后通过预设规则对sql字符串进行直接拼接。

2、然而,上述处理方式存在明显的缺陷:一方面,在生成业务sql阶段实现数据库结构信息级别的业务与权限隔离,容易导致业务查询逻辑与权限控制逻辑相互耦合,增加大语言模型生成结果的不可控性及权限维护的复杂度;另一方面,当业务查询涉及多表关联、表别名(alias)或复杂子查询时,传统的文本处理或正则匹配方式无法解析sql的深层语法结构,难以准确定位表别名与where子句的真实位置关系,极易导致权限条件挂载错位或引发语法错误。

3、因此,有必要提供一种数据查询处理方法,在生成业务sql阶段实现 数据库结构信息 级别的业务与权限隔离,并在生成业务sql后基于抽象语法树(ast)精确解析其语法结构与位置关系,从而提高业务查询与权限控制协同处理的准确性及语法兼容能力。

技术实现思路

1、有鉴于此,本申请实施例提供一种数据查询处理方法、系统及相关设备,以至少或部分解决上述问题。

2、第一方面,本申请实施例提供一种数据查询处理方法,包括:

3、获取输入的自然语言查询请求,根据所述自然语言查询请求召回数据库结构信息,并对所述数据库结构信息中的权限字段进行标记,以区分业务字段和权限字段;

4、根据所述自然语言查询请求和标记后的所述数据库结构信息生成业务sql,其中,所述业务sql包含所述自然语言查询请求对应的业务查询条件,且不包含针对所述权限字段设置的权限条件;

5、对所述业务sql进行语法解析,得到所述业务sql对应的抽象语法树,并根据所述抽象语法树确定所述业务sql所涉及的数据表、所述数据表对应的表名和表别名信息,以及where子句的位置关系;

6、根据所述数据表确定适用的权限规则,并根据所述权限规则和当前查询对应的权限上下文信息生成权限条件;

7、根据所述抽象语法树确定的所述表名、所述表别名信息以及所述where子句的位置关系,将所述权限条件拼接至所述业务sql,得到最终sql。

8、第二方面,基于本申请第一方面所述的数据查询处理方法,本申请实施例还提供一种数据查询处理装置,包括:

9、结构标记模块,用于获取输入的自然语言查询请求,根据所述自然语言查询请求召回数据库结构信息,并对所述数据库结构信息中的权限字段进行标记,以区分业务字段和权限字段;

10、业务sql生成模块,用于根据所述自然语言查询请求和标记后的所述数据库结构信息生成业务sql,其中,所述业务sql包含所述自然语言查询请求对应的业务查询条件,且不包含针对所述权限字段设置的权限条件;

11、语法解析模块,用于对所述业务sql进行语法解析,得到所述业务sql对应的抽象语法树,并根据所述抽象语法树确定所述业务sql所涉及的数据表、所述数据表对应的表名和表别名信息,以及where子句的位置关系;

12、权限条件生成模块,用于根据所述数据表确定适用的权限规则,并根据所述权限规则和当前查询对应的权限上下文信息生成权限条件;

13、权限拼接模块,用于根据所述抽象语法树确定的所述表名、所述表别名信息以及所述where子句的位置关系,将所述权限条件拼接至所述业务sql,得到最终sql。

14、第三方面,本申请实施例还提供一种计算机存储介质,所述计算机存储介质上存储有计算机可执行指令,所述计算机可执行指令被执行时执行如本申请实施例第一方面所述的任意一种数据查询处理方法。

15、第四方面,本申请实施例还提供一种电子设备,包括:处理器、存储器、通信接口和通信总线,所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信;所述存储器用于存储至少一条可执行指令,所述可执行指令使所述处理器执行如本申请实施例第一方面所述的任意一种数据查询处理方法。

16、本申请实施例提供了数据查询处理方法、装置及相关设备,该方法通过在召回数据库结构信息的阶段即对其中的权限字段进行标记以区分业务字段与权限字段,并据此生成仅包含业务查询条件而不包含权限条件的业务sql,将业务语义理解与数据权限控制拆分为两个相互独立的处理阶段,使大语言模型在生成sql时只需专注于业务语义,在数据源头上减少了业务条件与权限条件相互混淆的可能性,既有利于提高sql生成的准确率,又有利于降低权限条件缺失或被业务条件绕过所引发的数据泄露风险;进一步地,该方法对生成的业务sql进行语法解析得到抽象语法树,基于抽象语法树确定所涉及的数据表、表名及表别名信息以及where子句的位置关系,再据此将由权限规则与权限上下文信息生成的权限条件拼接至业务sql,使权限条件的挂载由字符串层面的文本操作转换为语法结构层面的确定性操作,即使在多表关联、存在表别名或包含复杂子查询的场景下也能够准确定位权限条件所应作用的位置,有利于减少权限条件挂载错位与语法错误,并降低由大语言模型直接拼接字符串所引入的sql注入风险;同时,权限条件由权限规则与权限上下文信息动态生成,使权限规则能够独立于业务代码和大语言模型进行配置与更新,无需对大语言模型进行额外训练,也无需增加大语言模型在业务sql生成阶段所承担的权限推理任务,并可降低因权限规则变化而导致的模型提示信息维护成本,在支持部门、用户及自定义sql等多种行级数据权限的同时降低了权限维护成本。

1.一种数据查询处理方法,其特征在于,包括:

2.根据权利要求1所述的数据查询处理方法,其特征在于,所述对所述数据库结构信息中的权限字段进行标记,包括:

3.根据权利要求1所述的数据查询处理方法,其特征在于,所述根据所述自然语言查询请求和标记后的所述数据库结构信息生成业务sql,包括:

4.根据权利要求1所述的数据查询处理方法,其特征在于,所述根据所述数据表确定适用的权限规则,包括:

5.根据权利要求1所述的数据查询处理方法,其特征在于,所述权限规则包括权限类型和带有变量占位符的权限表达式;所述根据所述权限规则和当前查询对应的权限上下文信息生成权限条件,包括:

6.根据权利要求1所述的数据查询处理方法,其特征在于,所述根据所述抽象语法树确定的所述表名、所述表别名信息以及所述where子句的位置关系,将所述权限条件拼接至所述业务sql,包括:

7.根据权利要求6所述的数据查询处理方法,其特征在于,所述基于所述抽象语法树确定的where子句位置关系,将所述权限条件通过逻辑与运算符拼接至所述目标表对应的where条件中,包括以下至少一项:

8.根据权利要求1所述的数据查询处理方法,其特征在于,在得到所述最终sql之后,所述方法还包括对所述最终sql进行安全性验证:

9.一种数据查询处理装置,其特征在于,包括:

10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时,实现权利要求1~8中任一项所述的数据查询处理方法。