测试数据生成方法、设备及存储介质与流程

摘要: 本申请涉及数据处理,尤其涉及一种测试数据生成方法、设备及存储介质。背景技术:1、在当前数仓校验规则测试中,仍依赖人工进行代码白盒检查,并手工构造测试数据、设计测...
测试数据生成方法、设备及存储介质与流程

本申请涉及数据处理,尤其涉及一种测试数据生成方法、设备及存储介质。

背景技术:

1、在当前数仓校验规则测试中,仍依赖人工进行代码白盒检查,并手工构造测试数据、设计测试案例及预期结果。然而,随着校验规则数量持续增长,校验逻辑日趋复杂,且涉及的表结构字段类型多样、跨表关联性强,传统手工方式难以系统性地生成既满足数据库物理约束、又覆盖复杂业务语义逻辑的测试数据集,导致测试数据准备效率低、规则覆盖率不足,难以有效支撑大规模、高复杂度的校验规则验证需求。

2、上述内容仅用于辅助理解本申请的技术方案,并不代表承认上述内容是现有技术。

技术实现思路

1、本申请的主要目的在于提供一种测试数据生成方法、设备及存储介质,旨在解决现有校验规则测试中依赖人工分析表结构和校验规则并手工准备测试数据,导致测试效率低且难以保证覆盖充分性的技术问题。

2、为实现上述目的,本申请实施例提供一种测试数据生成方法,所述测试数据生成方法包括:

3、获取目标数据仓库的ddl文件和校验规则文件;

4、解析所述ddl文件,提取各字段的字段名、数据类型和约束条件,生成insert语句模板;

5、对所述校验规则文件进行语义解析,生成测试数据生成逻辑,并基于所述测试数据生成逻辑生成正向测试案例和反向测试案例;

6、将各测试案例对应的测试数据填充至所述insert语句模板中,生成可执行sql语句,所述可执行sql语句用于向所述目标数据仓库插入测试数据。

7、在一实施例中,所述解析所述ddl文件,提取各字段的字段名、数据类型和约束条件,生成insert语句模板的步骤包括:

8、通过ai模型对所述ddl文件进行结构化解析,识别所述ddl文件中的表定义语句,从所述表定义语句中提取表名、各字段的字段名、数据类型以及约束条件;

9、根据各字段的数据类型确定各字段对应的数据填充格式,根据各字段的约束条件确定各字段的必填属性;

10、根据所述表名、各字段的字段名、所述数据填充格式和所述必填属性,按照所述目标数据仓库的语法格式生成所述insert语句模板。

11、在一实施例中,所述对所述校验规则文件进行语义解析,生成测试数据生成逻辑的步骤包括:

12、通过ai模型对所述校验规则文件进行语义解析,识别所述校验规则文件中的至少一个规则子句;

13、提取所述规则子句中的条件表达式,根据所述条件表达式确定目标校验字段以及所述目标校验字段的取值约束条件;

14、根据所述目标校验字段和所述目标校验字段的取值约束条件,生成正向数据生成逻辑和反向数据生成逻辑,所述正向数据生成逻辑用于生成满足所述条件表达式的测试数据,所述反向数据生成逻辑用于生成不满足所述条件表达式的测试数据。

15、在一实施例中,所述基于所述测试数据生成逻辑生成正向测试案例和反向测试案例的步骤包括:

16、根据所述正向数据生成逻辑,生成符合所述规则子句的所述条件表达式的正向测试数据,并基于所述正向测试数据构建所述正向测试案例,所述正向测试案例的预期结果为校验通过;

17、根据所述反向数据生成逻辑,生成不符合所述规则子句的所述条件表达式的反向测试数据,并基于所述反向测试数据构建所述反向测试案例,所述反向测试案例的预期结果为校验不通过。

18、在一实施例中,所述将各测试案例对应的测试数据填充至所述insert语句模板中,生成可执行sql语句的步骤包括:

19、获取所述insert语句模板中各字段占位符与所述测试数据中各字段值的对应关系;

20、针对每个所述测试案例,根据所述对应关系将所述测试案例的测试数据填入所述insert语句模板中对应的字段占位符处,生成所述测试案例对应的可执行sql语句。

21、在一实施例中,所述针对每个所述测试案例,根据所述对应关系将所述测试案例的测试数据填入所述insert语句模板中对应的字段占位符处,生成所述测试案例对应的可执行sql语句的步骤之后,所述测试数据生成方法还包括:

22、将各所述测试案例对应的所述可执行sql语句进行组合,生成批量sql语句,所述批量sql语句用于向所述目标数据仓库批量插入各所述测试案例对应的测试数据。

23、在一实施例中,所述将各测试案例对应的测试数据填充至所述insert语句模板中,生成可执行sql语句的步骤之后,所述测试数据生成方法还包括:

24、将所述可执行sql语句提交至所述目标数据仓库执行,获取每条所述可执行sql语句的实际执行结果;

25、将所述实际执行结果与所述可执行sql语句对应的所述测试案例的预期结果进行比对,生成比对结果;

26、根据所述比对结果,生成测试验证报告。

27、本申请实施例还提供一种测试数据生成设备,所述测试数据生成设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述计算机程序配置为实现如上文所述的测试数据生成方法的步骤。

28、本申请实施例还提供一种存储介质,所述存储介质为计算机可读存储介质,所述存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如上文所述的测试数据生成方法的步骤。

29、本申请提出的一个或多个技术方案,至少具有以下技术效果:

30、本申请通过获取ddl文件和校验规则文件,为后续自动化处理提供了标准化的输入来源;通过解析ddl文件生成insert语句模板,将表结构定义转化为可供后续填充的动态框架,节省了人工编写insert语句的工作量;通过对校验规则文件进行语义解析并生成正反向测试案例及对应的测试数据,使得测试案例与校验规则之间形成一一对应关系,避免人工分析规则时遗漏边界场景;进一步地,通过将测试数据自动填充至insert语句模板生成可执行sql语句,使得从规则输入到测试脚本输出的全过程实现了端到端自动化。由此,本申请技术方案无需人工逐表分析表结构和逐条分析校验规则并手工编写sql脚本,就能获得用于验证目标数据仓库的测试数据及对应的可执行sql语句,有效提高了测试数据准备效率和测试覆盖率,同时通过预期结果与校验规则的强绑定保障了测试验证的准确性。

1.一种测试数据生成方法,其特征在于,所述测试数据生成方法包括:

2.根据权利要求1所述的测试数据生成方法,其特征在于,所述解析所述ddl文件,提取各字段的字段名、数据类型和约束条件,生成insert语句模板的步骤包括:

3.如权利要求1所述的测试数据生成方法,其特征在于,所述对所述校验规则文件进行语义解析,生成测试数据生成逻辑的步骤包括:

4.如权利要求3所述的测试数据生成方法,其特征在于,所述基于所述测试数据生成逻辑生成正向测试案例和反向测试案例的步骤包括:

5.如权利要求1所述的测试数据生成方法,其特征在于,所述将各测试案例对应的测试数据填充至所述insert语句模板中,生成可执行sql语句的步骤包括:

6.如权利要求5所述的测试数据生成方法,其特征在于,所述针对每个所述测试案例,根据所述对应关系将所述测试案例的测试数据填入所述insert语句模板中对应的字段占位符处,生成所述测试案例对应的可执行sql语句的步骤之后,所述测试数据生成方法还包括:

7.如权利要求1所述的测试数据生成方法,其特征在于,所述将各测试案例对应的测试数据填充至所述insert语句模板中,生成可执行sql语句的步骤之后,所述测试数据生成方法还包括:

8.一种测试数据生成设备,其特征在于,所述测试数据生成设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述计算机程序配置为实现如权利要求1至7中任一项所述的测试数据生成方法的步骤。

9.一种存储介质,其特征在于,所述存储介质为计算机可读存储介质,所述存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的测试数据生成方法的步骤。