数据验证方法、装置及计算设备与流程

摘要: 本技术实施例涉及数据库迁移,尤其涉及一种数据验证方法、装置及计算设备。背景技术:1、随着企业资源计划(enterpriseresourceplanning,er...
数据验证方法、装置及计算设备与流程

本技术实施例涉及数据库迁移,尤其涉及一种数据验证方法、装置及计算设备。

背景技术:

1、随着企业资源计划(enterprise resource planning,erp)在企业业务中的持续运行,会长期积累大量业务数据,且数据类型与业务关联关系日趋复杂。在实际应用中,企业常因系统运行成本较高、数据库架构扩展能力不足,或因国产化替代、云化部署、跨系统整合及系统升级等需求,需要将原有erp系统中的资源数据迁移至新的目标系统或目标数据库,以实现系统架构优化、数据资源统一管理及业务连续性保障。

2、由于erp业务数据通常涉及订单、财务、库存及供应链等核心模块,且各模块之间存在复杂的数据依赖与关联关系,因此在完成数据迁移后,通常需要对迁移结果进行验证,以确保目标系统数据的完整性、一致性及业务正确性。

3、现有技术中,在erp资源数据迁移后,通常预先编写的验证程序对源数据库与目标数据库中的数据进行校验,以确认迁移结果的正确性。然而,由于不同erp系统的数据结构、字段规则以及业务逻辑存在差异,现有验证程序通常需要针对具体迁移场景分别开发,当迁移对象或验证需求发生变化时,需要重新调整验证逻辑,难以适配不同场景下的数据迁移验证需求,导致验证程序开发和维护成本较高。

技术实现思路

1、本技术实施例提供了一种数据验证方法、装置及计算设备,通过将不同类型的验证能力抽象为单一验证算子,并基于用户自定义的验证策略对多个单一验证算子进行编排,能够根据不同迁移场景快速生成对应的验证流程,可以有效适配不同场景下的数据迁移验证需求,降低验证程序的开发和维护成本。

2、为达到上述目的,本技术实施例采用如下技术方案:

3、第一方面,本技术实施例提供了一种数据验证方法,该方法包括:基于用户配置的验证策略,构建待验证数据的验证图结构,验证图结构用于显示多个单一验证算子之间的执行关系,单一验证算子用于对目标数据库中的待验证数据执行基础规则校验;基于执行关系,对待验证数据执行基础规则校验,生成第一验证结果;基于用户配置的配置字段生成交叉验证算子;根据交叉验证算子对待验证数据对应的源数据库的数据以及目标数据库中的数据进行交叉验证,生成第二验证结果,第二验证结果用于表征源数据库中的数据与目标数据库中的数据之间的数据一致性;基于第一验证结果和第二验证结果,生成综合验证结果。

4、基于本方案,根据用户配置的验证策略,对多个单一验证算子之间执行关系进行构建,以得到验证图结构,从而形成适配不同迁移场景的验证流程,可以有效提升数据验证的灵活性与可扩展性;通过将基础规则校验能力和源数据库与目标数据库之间的一致性校验能力分别抽象为对应的验证算子,并根据验证需求进行组合执行,使验证流程能够同时满足目标数据库内部规则校验以及迁移前后数据一致性校验需求,降低因数据迁移导致的数据异常风险;进一步生成综合验证结果,使数据迁移验证结果更加完整且准确,可以有效适配不同场景下的数据迁移验证需求,降低验证程序的开发和维护成本。

5、在一种可能的实现方式中,基于用户配置的验证策略,构建待验证数据的验证结构,包括:获取验证策略对应的节点信息和关联关系;基于各节点信息创建对应的验证算子节点,并配置各验证算子节点对应的验证规则信息;基于关联关系确定各验证算子节点之间的执行依赖关系;基于验证算子节点以及执行依赖关系,生成验证图结构。

6、基于本方案,用获取验证策略对应的节点信息和关联关系,创建对应的验证算子节点,并根据各验证算子节点之间的执行依赖关系建立执行依赖关系,从而自动生成用于表征多个验证算子执行关系的验证图结构。相比于现有技术中需要针对不同验证需求分别开发验证程序的方式,本方案能够将用户配置的验证策略转换为可执行的图结构,实现验证规则逻辑的结构化表达和验证流程的自动化编排。通过基于验证算子节点之间的执行依赖关系构建联合验证流程,无需针对不同验证场景重复开发验证逻辑,即可快速适配不同验证需求,降低验证程序开发和维护复杂度,提高验证流程的灵活性和可扩展性。

7、在另一种可能的实现方式中,执行关系包括串行执行关系和/或并行执行关系;基于验证结构,对待验证数据执行验证,生成第一验证结果,包括:在验证图结构中的多个单一验证算子之间的执行关系为串行执行关系的情况下,按照顺序执行关系依次调用各单一验证算子,对待验证数据逐级执行基础规则校验,以生成第一验证结果。

8、基于本方案,通过在验证图结构中显式定义各单一验证算子之间的顺序或并行执行关系,不仅实现了对验证流程的精细化控制,还能根据预设的依赖关系逐级调用验证算子,将前序校验结果作为后续规则判断的输入或触发条件,从而有效支撑多阶段、递进式的数据质量检查,显著提升验证逻辑的表达能力与校验准确性。

9、在又一种可能的实现方式中,还包括:在验证结构中的多个单一验证算子之间的执行关系为并行执行关系的情况下,基于并行执行关系同时调用多个单一验证算子,对待验证数据执行基础规则校验,以生成第一验证结果。

10、基于本方案,在验证结构中多个单一验证算子之间存在并行执行关系的情况下,可同时调用这些算子,对同一待验证数据分别进行独立的基础规则校验。各算子在互不阻塞的情况下并行执行,并各自生成校验结果,最终将这些结果汇总形成第一验证结果。这样,显著提升了验证效率,尤其适用于规则之间无依赖、可独立执行的场景。

11、在又一种可能的实现方式中,还包括:在验证图结构中的多个单一验证算子的执行关系同时包括串行执行关系和并行执行关系的情况下,基于执行关系将多个单一验证算子划分为至少一个串行执行单元和至少一个并行执行单元;对串行执行单元中的单一验证算子按照顺序依次执行,得到串行验证结果;对并行执行单元中的单一验证算子进行并行执行,得到并行验证结果;基于串行验证结果和并行验证结果,生成第一验证结果。

12、基于本方案,当验证图结构中多个单一验证算子的执行关系同时包含顺序执行与并行执行时,系统可根据该混合执行关系将这些算子划分为至少一个串行执行单元和至少一个并行执行单元。对于串行执行单元,系统按照预设顺序依次调用其中的验证算子,逐级生成串行验证结果;对于并行执行单元,则同时调用其内部的多个验证算子,独立并行地完成校验并生成并行验证结果。最终,系统综合串行验证结果与并行验证结果,融合生成统一的第一验证结果,这样,可以兼顾流程控制的灵活性与执行效率,能够有效支持复杂、混合依赖场景下的数据质量验证需求。

13、在又一种可能的实现方式中,基于用户配置的配置字段生成交叉验证算子包括:获取配置字段中的源数据库信息、目标数据库信息以及字段映射关系;基于配置字段,生成源数据库与目标数据库对应的交叉验证算子;基于源数据库信息、目标数据库信息以及字段映射关系,生成交叉验证算子。

14、基于本方案,通过获取用户配置的源数据库信息、目标数据库信息以及字段映射关系,使验证过程能够根据不同数据迁移场景确定对应的数据关联关系,提高验证方案的适配能力。进一步地,基于配置字段生成源数据库与目标数据库对应的交叉验证算子,将跨数据库的数据一致性校验逻辑进行模块化封装,避免针对不同数据库结构重复开发验证程序,降低验证流程开发和维护成本。

15、在又一种可能的实现方式中,多个单一验证算子包括空值验证算子、唯一性验证算子、正则验证算子、枚举值验证算子、数据精度验证算子中的至少两项。

16、基于本方案,上述多个单一验证算子分别用于校验数据是否为空、字段值是否唯一、是否符合指定正则表达式、是否属于预定义的枚举集合,以及数值或时间等数据类型的精度是否满足要求。通过灵活组合上述基础验证能力,能够作为构建覆盖多种数据质量维度的校验逻辑的基础,从而在统一框架下高效、精准地完成对复杂数据规则的验证任务。

17、在又一种可能的实现方式中,基于用户配置的验证策略构建待验证数据的验证图结构之前,还包括:对待验证数据进行基础有效性校验,以确定待验证数据满足预设验证条件;其中,基础有效性校验包括基于空值验证算子对待验证数据执行空值校验。

18、基于本方案,在基于用户配置的验证策略构建待验证数据的验证图结构之前,通过引入这一前置校验环节,可有效防止因输入数据存在严重质量问题而导致后续验证流程异常、结果失真或资源浪费。同时,也为整个验证体系提供了更健壮的输入保障,提升了整体数据质量评估的可靠性与效率。

19、第二方面,本技术实施例还提供了一种数据验证方法,应用于第一电子设备,包括:显示数据验证编辑界面,数据验证编辑界面用于用户配置验证策略;响应于用户在所述数据验证编辑界面的第一操作,在显示验证图结构,验证图结构用于显示多个单一验证算子之间的执行关系;响应于用户在数据验证编辑界面的第二操作,显示交叉验证界面;响应于用户在所述数据验证编辑界面的第三操作,显示验证结果;第一操作、第二操作与所述第三操作不同。

20、基于本方案,通过在第一电子设备中提供用于配置验证策略的用户界面,使用户能够根据实际验证需求配置对应的验证策略,并基于所配置的验证策略生成验证图结构,以直观展示多个单一验证算子之间的执行关系,实现验证流程的可视化配置和动态调整,从而使数据验证流程能够适配不同迁移场景下的验证需求,提高数据验证流程的灵活性和可扩展性。进一步基于用户配置的操作,显示交叉验证界面,以实现对源数据库与目标数据库之间数据一致性的验证,实现验证流程的可视化以及验证的完整性。

21、在一种可能的实现方式中,数据验证编辑界面包括可视化界面和联合验证界面,响应于用户在所述数据验证编辑界面的第一操作,显示验证图结构,包括:响应于用户在可视化界面对第一验证类别标识的操作,显示联合验证界面;响应于用户在联合验证界面中对多个单一验证算子的操作,显示验证图结构。

22、基于本方案,本实现方式通过图形化交互方式配置验证策略,使用户能够直观地完成验证流程的构建,并通过基于用户操作确定多个验证算子之间的执行关系,显示用于表达验证逻辑的验证图结构,实现复杂验证流程的可视化编排,降低验证策略配置难度,提高验证流程构建效率和灵活性。

23、在另一种可能的实现方式中,响应于用户在所述数据验证编辑界面的第二操作,显示交叉验证界面,包括:响应于用户在所述可视化界面对第二验证类别标识的操作,显示所述交叉验证界面。

24、基于本方案,用户可通过可视化界面直观地完成交叉验证算子搭建:只需对验证类别标识进行操作,即可调出对应的交叉验证配置界面,操作简便、交互友好,在此界面中,用户可直接配置源数据库与目标数据库的相关参数,无需编写代码即可生成用于数据一致性校验的交叉验证算子。这样,有效避免了传统验证规则高度依赖人工编码、开发周期长、难以标准化等问题。通过图形化流程编排与低代码设计,非技术人员也能灵活配置复杂的多算子联合验证逻辑,在显著降低开发与维护成本的同时,提升了验证体系的灵活性。

25、第三方面,本技术实施例还提供了一种数据验证装置,包括:流程编排引擎,用于基于用户配置的验证策略,构建待验证数据的验证图结构;验证图结构用于显示多个单一验证算子之间执行关系,单一验证算子用于对目标数据库中的待验证数据执行基础规则校验;基于验证图结构,对待验证数据执行基础规则校验,生成第一验证结果;基于用户配置的配置字段,获取源数据库与目标数据库对应的交叉验证算子,并基于交叉验证算子对待验证数据和待验证数据对应的源数据库的数据进行交叉验证,生成第二验证结果,第二验证结果用于表征源数据库中的数据与目标数据库中的待验证数据之间的数据一致性。

26、在一种可能的实现方式中,流程编排引擎,用于基于用户配置的验证策略,构建待验证数据的验证结构,包括:获取验证策略对应的节点信息和关联关系;基于各节点信息创建对应的验证算子节点,并配置各验证算子节点对应的验证规则信息;基于关联关系确定各验证算子节点之间的执行依赖关系;基于验证算子节点以及执行依赖关系,生成验证图结构。

27、在另一种可能的实现方式中,流程编排引擎,用于响应于用户在可视化界面对第一验证类别标识的拖拽操作,显示联合验证界面;响应于用户在联合验证界面中对多个单一验证算子的选择操作,确定多个单一验证算子之间的执行关系;基于执行关系构建验证图结构。

28、在又一种可能的实现方式中,执行关系包括串行执行关系和/或并行执行关系,验证任务执行器,于在验证图结构中的多个单一验证算子之间的执行关系为串行执行关系的情况下,按照顺序执行关系依次调用各单一验证算子,对待验证数据逐级执行基础规则校验,以生成第一验证结果。

29、在又一种可能的实现方式中,验证任务执行器,于在验证结构中的多个单一验证算子之间的执行关系为并行执行关系的情况下,基于并行执行关系同时调用多个单一验证算子,对待验证数据执行基础规则校验,以生成第一验证结果。

30、在又一种可能的实现方式中,验证任务执行器,于在验证图结构中的多个单一验证算子的执行关系同时包括串行执行关系和并行执行关系的情况下,基于执行关系将多个单一验证算子划分为至少一个串行执行单元和至少一个并行执行单元;对串行执行单元中的单一验证算子按照顺序依次执行,得到串行验证结果;对并行执行单元中的单一验证算子进行并行执行,得到并行验证结果;基于串行验证结果和并行验证结果,生成第一验证结果。

31、在又一种可能的实现方式中,流程编排引擎,用于获取配置字段中的源数据库信息、目标数据库信息以及字段映射关系;基于配置字段,生成源数据库与目标数据库对应的交叉验证算子;基于源数据库信息、目标数据库信息以及字段映射关系,生成交叉验证算子;基于交叉验证算子,对待验证数据和源数据库中与待验证数据对应的数据之间的一致性进行校验,并生成第二验证结果。

32、在又一种可能的实现方式中,流程编排引擎,用于响应于用户在可视化界面对第二验证类别标识的点击操作,显示交叉验证界面;响应于用户在交叉验证界面中对源数据库和目标数据库的配置字段操作,生成交叉验证算子,以对待验证数据和源数据库中与待验证数据对应的数据之间的数据一致性进行校验,并生成第二验证结果。

33、在又一种可能的实现方式中,验证任务执行器还用于对待验证数据进行基础有效性校验,以确定待验证数据满足预设验证条件;其中,基础有效性校验包括基于空值验证算子对待验证数据执行空值校验。

34、第三方面,本技术实施例还提供了一种计算设备,包括:处理器和存储器;处理器和存储器耦接;存储器用于存储程序指令;处理器用于执行程序指令以执行如上述第一方面和第二方面中任一项的方法。

35、第四方面,本技术实施例提供一种芯片,芯片用于执行如上述第一方面和第二方面中任一项的方法。

36、第五方面,本技术实施例提供一种计算机可读存储介质,计算机可读存储介质中存储有计算机执行指令,计算机执行指令被计算机执行时实现如第一方面和第二方面中任一项的方法。

37、第六方面,本技术实施例提供一种程序产品,包括计算机程序,该计算机程序被处理器执行时实现如第一方面和第二方面中任一项的方法。