数据校对方法、装置、电子设备、介质及产品与流程

本申请涉及数据处理领域，可用于金融科技领域，尤其涉及一种数据校对方法、装置、电子设备、介质及产品。

背景技术：

1、数据校对是指通过技术手段对数据进行比对、验证和纠错，以确保数据在不同系统或表之间的一致性和正确性。在当前的数据资产管理实践中，数据校对通常依赖于人工制定的校对规则或脚本，针对每张数据表单独编写校对逻辑，如字段值范围、字段间关系、主外键一致性等。

2、但是，该方法校对逻辑分散，未从全局角度优化校对脚本的使用，无法在保证校对准确性的前提下，最小化资源消耗。

技术实现思路

1、本申请提供一种数据校对方法、装置、电子设备、介质及产品，用以从整体统筹校对任务，能够在保障校对效果的同时，降低校对资源消耗。

2、第一方面，本申请实施例提供一种数据校对方法，包括：

3、获取待校对的多个数据表，并确定多个数据表之间的加工关系；

4、根据多个数据表之间的加工关系，建立图结构，图结构的每个节点对应一个数据表，图结构的每条边对应数据表之间的直接加工关系；

5、使用图着色算法，为图结构的每个节点对应的数据表分配校对算法，以使图结构中相邻节点对应的校对算法不同；

6、基于每个数据表对应的校对算法，分别对多个数据表执行校对。

7、在一个可能的实施例中，确定多个数据表之间的加工关系，包括：

8、获取多个数据表的加工代码，并对加工代码进行解析，提取得到多个数据表之间的加工关系；

9、和/或，在数据加工的工作流中，确定每个任务的输入表和输出表，从而确定多个数据表之间的加工关系；

10、和/或，使用数据血缘分析工具，分析得到多个数据表之间的加工关系。

11、在一个可能的实施例中，使用图着色算法，为图结构的每个节点对应的数据表分配校对算法，包括：

12、根据校对算法的总数，为各个校对算法分配编号；

13、针对图结构中的每个节点，将该节点的可用编号中的最小值作为该节点对应的编号，以实现向该节点分配校对算法；其中，节点的不可用编号是指该节点的相邻节点对应的编号。

14、在一个可能的实施例中，方法还包括：

15、若当前节点没有可用编号，则将上一节点对应的编号撤销，并将该撤销的编号作为上一节点的不可用编号，返回至为上一节点分配编号的步骤；其中，上一节点是指与所述当前节点的相邻节点中最近一次执行编号分配的节点。

16、在一个可能的实施例中，使用图着色算法，为图结构的每个节点对应的数据表分配校对算法，包括：

17、确定图结构中各个节点的度；

18、按照由高到低的顺序，根据各个节点的度，对各个节点进行排序；

19、为排序后的各个节点依次分配校对算法。

20、在一个可能的实施例中，基于每个数据表对应的校对算法，分别对多个数据表执行校对，包括：

21、基于每个数据表对应的校对算法，对多个数据表进行分组，每组数据表对应同一校对算法；

22、获取各校对算法的脚本，并对每组数据表使用对应的脚本执行校对，得到每个数据表的校对结果。

23、在一个可能的实施例中，方法还包括：

24、根据每组数据表的校对结果，确定该组数据表的平均校对误差；

25、若平均校对误差大于预设阈值，则对该组数据表对应的校对算法执行优化；和/或，重新为图结构的每个节点对应的数据表分配校对算法。

26、在一个可能的实施例中，使用图着色算法，为图结构的每个节点对应的数据表分配校对算法，包括：

27、使用图着色算法，基于分布式图处理框架为图结构的每个节点对应的数据表分配校对算法。

28、第二方面，本申请实施例提供一种数据校对装置，包括：

29、获取模块，用于获取待校对的多个数据表，并确定多个数据表之间的加工关系；

30、建立模块，用于根据多个数据表之间的加工关系，建立图结构，图结构的每个节点对应一个数据表，图结构的每条边对应数据表之间的直接加工关系；

31、分配模块，用于使用图着色算法，为图结构的每个节点对应的数据表分配校对算法，以使图结构中相邻节点对应的校对算法不同；

32、校对模块，用于基于每个数据表对应的校对算法，分别对多个数据表执行校对。

33、第三方面，本申请实施例提供一种电子设备，包括：存储器，处理器；

34、存储器存储计算机执行指令；

35、处理器执行存储器存储的计算机执行指令，使得处理器执行包括上述提供的方法。

36、第四方面，本申请实施例提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机执行指令，计算机执行指令被处理器执行时用于实现包括上述提供的方法。

37、本申请提供的数据校对方法、装置、电子设备、介质及产品，基于待校对的多个数据表之间的加工关系建立图结构，通过图结构的节点表征数据表，通过图结构的边表征数据表之间的加工关系，从而简洁清晰的反映多个数据表之间的加工关系；使用图着色算法为图结构中各节点对应的数据表分配校对算法，相邻节点分配的校对算法不同，能够基于全局的数据表之间的加工关联对多个数据表的校对方式进行有序区分和整体安排，减少针对不同数据表分别配置校对逻辑所带来的脚本冗余，同时确保存在直接加工关系的两个数据表会使用不同的校对算法进行校对，通过判断两次校对的一致性，有效判断加工逻辑的准确性和数据的一致性，在保障校对效果的同时，尽量减少校对算法的总数量，有效节约校对资源，进而能够降低业务关系变化时的维护成本，提升整体数据校对的适应性。

1.一种数据校对方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述确定所述多个数据表之间的加工关系，包括：

3.根据权利要求1所述的方法，其特征在于，所述使用图着色算法，为所述图结构的每个节点对应的数据表分配校对算法，包括：

4.根据权利要求3所述的方法，其特征在于，所述方法还包括：

5.根据权利要求1所述的方法，其特征在于，所述使用图着色算法，为所述图结构的每个节点对应的数据表分配校对算法，包括：

6.根据权利要求1所述的方法，其特征在于，所述基于每个数据表对应的校对算法，分别对所述多个数据表执行校对，包括：

7.根据权利要求6所述的方法，其特征在于，所述方法还包括：

8.根据权利要求1-7任一项所述的方法，其特征在于，所述使用图着色算法，为所述图结构的每个节点对应的数据表分配校对算法，包括：

9.一种数据校对装置，其特征在于，包括：

10.一种电子设备，其特征在于，包括：处理器，以及与所述处理器通信连接的存储器；

11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如权利要求1至8任一项所述的方法。

12.一种计算机程序产品，其特征在于，包括计算机程序，该计算机程序被处理器执行时实现权利要求1至8中任一项所述的方法。