一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

基于数据库精细比对的数据核查方法及装置与流程

2022-05-27 01:16:36 来源:中国专利 TAG:


1.本发明涉及大数据信息技术领域,尤其涉及一种基于数据库精细比对的数据核查方法及装置。


背景技术:

2.随着社会信息化的发展,产生了海量的数据信息,为了保存这些海量的数据信息,目前可通过数据库实现对这些数据信息进行存储,当对数据库进行管理时,存在将数据信息从源数据库迁移到目标数据库的需求。
3.当前,在将数据信息从源数据库迁移到目标数据库后,为了保证数据的一致性,目前通常是通过人工来对数据进行核查,以确定数据信息从源数据库完整准确的迁移到目标数据库中。然而,实践发现,当源数据库中的数据量很大时,通过人工对数据进行核查的过程耗时耗力,使得数据核查效率低;并且,数据的人工核查可能发生错误,导致数据库迁移后的数据核查的准确性不高。


技术实现要素:

4.本发明所要解决的技术问题在于,提供一种基于数据库精细比对的数据核查方法及装置,能够在数据从源数据库迁移到目标数据库后通过确定出的核查模型对数据进行核查,可提高数据核查效率,并且提高数据核查的准确性。
5.为了解决上述技术问题,本发明第一方面公开了一种基于数据库精细比对的数据核查方法,所述方法包括:
6.根据源数据库中的待核查源库表,获取所述待核查源库表的所有源库字段,其中,所述待核查源库表为所述源数据库中的任一源库表;
7.基于确定出的第一sql语句统计所述待核查源库表的所有所述源库字段各自包含的数据对象的数量,得到第一统计结果,将所述第一统计结果记录在第一表中,并将所述第一表导入到目标数据库中;
8.确定映射关系表,并将所述映射关系表导入到所述源数据库和所述目标数据库中,其中,所述映射关系表包括所述源数据库中的所述待核查源库表和所述目标数据库中与所述待核查源库表对应的目标库表的映射信息;
9.当所述映射关系表中的数据满足第一预设条件时,根据所述目标数据库中与所述待核查源库表对应的所述目标库表,获取所述目标库表的所有目标库字段;
10.基于确定出的第二sql语句统计所述目标库表的所有所述目标库字段各自包含的数据对象的数量,得到第二统计结果,将所述第二统计结果记录在第二表中;
11.将所述第一表和所述第二表和所述映射关系表进行关联;
12.通过确定出的核查模型得到目标清单,所述目标清单包括所述源数据库迁移到所述目标数据库的数据核查结果。
13.作为一种可选的实施方式,在本发明第一方面中,所述通过确定出的核查模型得
到目标清单,所述目标清单包括所述源数据库迁移到所述目标数据库的数据核查结果,包括:
14.将所述第一表中的所述待核查源库表的每个所述源库字段包含的数据对象的数量与所述第二表中的与所述待核查源库表的每个所述源库字段对应的所述目标库字段包含的数据对象的数量进行比对,得到第一比对结果;
15.根据所述第一比对结果,通过确定出的核查模型得到目标清单,所述目标清单包括所述源数据库迁移到所述目标数据库的数据核查结果。
16.作为一种可选的实施方式,在本发明第一方面中,所述将所述第一表中的所述待核查源库表的每个所述源库字段包含的数据对象的数量与所述第二表中的与所述待核查源库表的每个所述源库字段对应的所述目标库字段包含的数据对象的数量进行比对,得到第一比对结果,包括:
17.判断所述第一表中的所述待核查源库表的所述待核查源库字段包含的数据对象的数量是否为零个,得到第一判断结果,其中,所述待核查源库字段为所述待核查源库表中的任一源库字段;
18.判断所述第二表中的与所述待核查源库表的待核查源库字段对应的所述目标库字段包含的数据对象的数量是否为零个,得到第二判断结果;
19.当所述第一判断结果为是时,并且所述第二判断结果为是时,则第一比对结果表示所述待核查源库字段的数据转移没有差异;
20.当所述第一判断结果为是时,并且所述第二判断结果为否时,则所述第一比对结果表示所述待核查源库字段的数据转移没有差异;
21.当所述第一判断结果为否时,并且所述第二判断结果为是时,则所述第一比对结果表示所述待核查源库字段的数据转移有差异。
22.作为一种可选的实施方式,在本发明第一方面中,所述将所述第一表中的所述待核查源库表的每个所述源库字段包含的数据对象的数量与所述第二表中的与所述待核查源库表的每个所述源库字段对应的所述目标库字段包含的数据对象的数量进行比对,得到第一比对结果之前,所述方法还包括:
23.按照第二预设条件对所述第一表进行分类,得到完成分类的多个分类表,其中,所述第二预设条件包括所述待核查源库表的业务域;
24.其中,所述将所述第一表中的所述待核查源库表的每个所述源库字段包含的数据对象的数量与所述第二表中的与所述待核查源库表的每个所述源库字段对应的所述目标库字段包含的数据对象的数量进行比对,得到第一比对结果,包括:
25.将多个所述分类表中的所述待核查源库表的每个所述源库字段包含的数据对象的数量与所述第二表中的与所述待核查源库表的每个所述源库字段对应的所述目标库字段包含的数据对象的数量进行并发比对,得到第一比对结果。
26.作为一种可选的实施方式,在本发明第一方面中,所述方法还包括:
27.将所述映射关系表与所述源数据库中的数据进行比对,得到第二比对结果;
28.将所述映射关系表与所述目标数据库中的数据进行比对,得到第三比对结果;
29.当所述第二比对结果表示所述映射关系表与所述源数据库中的数据存在差异和/或所述第三比对结果表示所述映射关系表与所述目标数据库中的数据存在差异时,对所述
映射关系表进行调整。
30.作为一种可选的实施方式,在本发明第一方面中,所述方法还包括:
31.根据所述第二比对结果和所述第三比对结果,生成所述映射关系表的检查报告,其中,所述检查报告包括所述映射关系表中的错误信息;
32.根据所述检查报告,对所述映射关系表中的错误信息进行标记,得到标记信息;
33.其中,所述对所述映射关系表进行调整,包括:
34.对所述映射关系表的标记信息进行调整。
35.作为一种可选的实施方式,在本发明第一方面中,所述第一预设条件具体为:
36.所述源数据库中的所述待核查源库表名等于所述映射关系表中对应的映射源库表名并且所述源数据库中的所述待核查源库表名的源库字段名等于所述映射关系表中对应的映射源库字段名并且触发所述映射关系表中的同意转换操作。
37.本发明第二方面公开了一种基于数据库精细比对的数据核查装置,所述装置包括:
38.获取模块,用于根据源数据库中的待核查源库表,获取所述待核查源库表的所有源库字段,其中,所述待核查源库表为所述源数据库中的任一源库表;
39.统计模块,用于基于确定出的第一sql语句统计所述待核查源库表的所有所述源库字段各自包含的数据对象的数量,得到第一统计结果,将所述第一统计结果记录在第一表中,并将所述第一表导入到目标数据库中;
40.确定模块,用于确定映射关系表,并将所述映射关系表导入到所述源数据库和所述目标数据库中,其中,所述映射关系表包括所述源数据库中的所述待核查源库表和所述目标数据库中与所述待核查源库表对应的目标库表的映射信息;
41.所述获取模块,还用于当所述映射关系表中的数据满足第一预设条件时,根据所述目标数据库中与所述待核查源库表对应的所述目标库表,获取所述目标库表的所有目标库字段;
42.所述统计模块,还用于基于确定出的第二sql语句统计所述目标库表的所有所述目标库字段各自包含的数据对象的数量,得到第二统计结果,将所述第二统计结果记录在第二表中;
43.关联模块,用于将所述第一表和所述第二表和所述映射关系表进行关联;
44.核查模块,用于通过确定出的核查模型得到目标清单,所述目标清单包括所述源数据库迁移到所述目标数据库的数据核查结果。
45.作为一种可选的实施方式,在本发明第二方面中,所述核查模块包括比对子模块和核查子模块,其中:
46.所述比对子模块,用于将所述第一表中的所述待核查源库表的每个所述源库字段包含的数据对象的数量与所述第二表中的与所述待核查源库表的每个所述源库字段对应的所述目标库字段包含的数据对象的数量进行比对,得到第一比对结果;
47.所述核查子模块,用于根据所述第一比对结果,通过确定出的核查模型得到目标清单,所述目标清单包括所述源数据库迁移到所述目标数据库的数据核查结果。
48.作为一种可选的实施方式,在本发明第二方面中,所述比对子模块将所述第一表中的所述待核查源库表的每个所述源库字段包含的数据对象的数量与所述第二表中的与
所述待核查源库表的每个所述源库字段对应的所述目标库字段包含的数据对象的数量进行比对,得到第一比对结果的具体方式为:
49.判断所述第一表中的所述待核查源库表的所述待核查源库字段包含的数据对象的数量是否为零个,得到第一判断结果,其中,所述待核查源库字段为所述待核查源库表中的任一源库字段;
50.判断所述第二表中的与所述待核查源库表的待核查源库字段对应的所述目标库字段包含的数据对象的数量是否为零个,得到第二判断结果;
51.当所述第一判断结果为是时,并且所述第二判断结果为是时,则第一比对结果表示所述待核查源库字段的数据转移没有差异;
52.当所述第一判断结果为是时,并且所述第二判断结果为否时,则所述第一比对结果表示所述待核查源库字段的数据转移没有差异;
53.当所述第一判断结果为否时,并且所述第二判断结果为是时,则所述第一比对结果表示所述待核查源库字段的数据转移有差异。
54.作为一种可选的实施方式,在本发明第二方面中,所述核查模块还包括分类子模块,其中:
55.所述分类子模块,用于在所述比对子模块将所述第一表中的所述待核查源库表的每个所述源库字段包含的数据对象的数量与所述第二表中的与所述待核查源库表的每个所述源库字段对应的所述目标库字段包含的数据对象的数量进行比对,得到第一比对结果之前,按照第二预设条件对所述第一表进行分类,得到完成分类的多个分类表,其中,所述第二预设条件包括所述待核查源库表的业务域;
56.其中,所述比对子模块将所述第一表中的所述待核查源库表的每个所述源库字段包含的数据对象的数量与所述第二表中的与所述待核查源库表的每个所述源库字段对应的所述目标库字段包含的数据对象的数量进行比对,得到第一比对结果的具体方式为:
57.将多个所述分类表中的所述待核查源库表的每个所述源库字段包含的数据对象的数量与所述第二表中的与所述待核查源库表的每个所述源库字段对应的所述目标库字段包含的数据对象的数量进行并发比对,得到第一比对结果。
58.作为一种可选的实施方式,在本发明第二方面中,所述装置还包括:
59.比对模块,用于将所述映射关系表与所述源数据库中的数据进行比对,得到第二比对结果,将所述映射关系表与所述目标数据库中的数据进行比对,得到第三比对结果;
60.调整模块,用于当所述比对模块的第二比对结果表示所述映射关系表与所述源数据库中的数据存在差异和/或所述比对模块的第三比对结果表示所述映射关系表与所述目标数据库中的数据存在差异时,对所述映射关系表进行调整。
61.作为一种可选的实施方式,在本发明第二方面中,所述装置还包括:
62.报告生成模块,用于根据所述第二比对结果和所述第三比对结果,生成所述映射关系表的检查报告,其中,所述检查报告包括所述映射关系表中的错误信息;
63.标记模块,用于根据所述检查报告,对所述映射关系表中的错误信息进行标记,得到标记信息;
64.其中,所述调整模块对所述映射关系表进行调整的具体方式为:
65.对所述映射关系表的标记信息进行调整。
66.作为一种可选的实施方式,在本发明第二方面中,所述第一预设条件具体为:
67.所述源数据库中的所述待核查源库表名等于所述映射关系表中对应的映射源库表名并且所述源数据库中的所述待核查源库表名的源库字段名等于所述映射关系表中对应的映射源库字段名并且触发所述映射关系表中的同意转换操作。
68.本发明第三方面公开了一种基于数据库精细比对的数据核查装置,所述装置包括:
69.存储有可执行程序代码的存储器;
70.与所述存储器耦合的处理器;
71.所述处理器调用所述存储器中存储的所述可执行程序代码,执行本发明第一方面公开的基于数据库精细比对的数据核查方法中的部分或全部步骤。
72.本发明第四方面公开了一种计算机存储介质,所述计算机存储介质存储有计算机指令,所述计算机指令被调用时,用于执行本发明第一方面公开的基于数据库精细比对的数据核查方法中的部分或全部步骤。
73.与现有技术相比,本发明实施例具有以下有益效果:
74.本发明实施例中,根据源数据库中的待核查源库表,获取所述待核查源库表的所有源库字段,基于确定出的第一sql语句统计所述待核查源库表的所有所述源库字段各自包含的数据对象的数量,得到第一统计结果,将所述第一统计结果记录在第一表中,并将所述第一表导入到目标数据库中,其中,所述待核查源库表为所述源数据库中的任一源库表;确定映射关系表,并将所述映射关系表导入到所述源数据库和所述目标数据库中,其中,所述映射关系表包括所述源数据库中的所述待核查源库表和所述目标数据库中与所述待核查源库表对应的目标库表的映射信息;当所述映射关系表中的数据满足第一预设条件时,根据所述目标数据库中与所述待核查源库表对应的所述目标库表,获取所述目标库表的所有目标库字段,基于确定出的第二sql语句统计所述目标库表的所有所述目标库字段各自包含的数据对象的数量,得到第二统计结果,将所述第二统计结果记录在第二表中;将所述第一表和所述第二表和所述映射关系表进行关联;通过确定出的核查模型得到目标清单,所述目标清单包括所述源数据库迁移到所述目标数据库的数据核查结果。可见,本发明能够根据映射关系表确定源数据库中的表和目标数据库中对应的表的映射关系,然后获取目标数据库中与源数据库中待核查源库表对应的表,能够在数据从源数据库迁移到目标数据库后通过确定出的核查模型对数据进行核查,可提高数据核查效率,并且提高数据核查的准确性。
附图说明
75.为了更清楚地说明本发明实施例中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
76.图1是本发明实施例公开的一种基于数据库精细比对的数据核查方法的流程示意图;
77.图2是本发明实施例公开的另一种基于数据库精细比对的数据核查方法的流程示
意图;
78.图3是本发明实施例公开的一种基于数据库精细比对的数据核查装置的结构示意图;
79.图4是本发明实施例公开的另一种基于数据库精细比对的数据核查装置的结构示意图;
80.图5是本发明实施例公开的又一种基于数据库精细比对的数据核查装置的结构示意图。
具体实施方式
81.为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
82.本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象,而不是用于描述特定顺序。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、装置、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
83.在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。
84.本发明实施例公开了一种基于数据库精细比对的数据核查方法及装置,能够根据映射关系表确定源数据库中的表和目标数据库中对应的表的映射关系,然后获取目标数据库中与源数据库中待核查源库表对应的表,能够在数据从源数据库迁移到目标数据库后通过确定出的核查模型对数据进行核查,可提高数据核查效率,并且提高数据核查的准确性。以下分别进行详细说明。
85.实施例一
86.请参阅图1,图1是本发明实施例公开的一种基于数据库精细比对的数据核查方法的流程示意图。如图1所示,该基于数据库精细比对的数据核查方法可以包括以下操作:
87.101、根据源数据库中的待核查源库表,获取待核查源库表的所有源库字段,其中,待核查源库表为源数据库中的任一源库表。
88.本发明实施例中,该源数据库中的待核查源库表,包括对应的信息,包括源表名、源表中文名、源表字段名、源表字段中文名和源表字段类型等信息。
89.本发明实施例中,该源数据库中包括一个或者多个源库表,在将数据从源数据库迁移到目标数据库后,需要对迁移的数据表进行核查,这些需要核查的数据表就是待核查源库表,在每个待核查源库表中包括对应的源库字段(如区域id、邮件地址),获取每个待核查源库表的所有源库字段,并将每个待核查源库表的所有源库字段进行排列,排列方式可以为:将该待核查源库表的所有源库字段分列进行排列,即每个源库字段对应一列,在每个
源库字段下都包括该源库字段对应的数据对象。
90.102、基于确定出的第一sql语句统计待核查源库表的所有源库字段各自包含的数据对象的数量,得到第一统计结果,将第一统计结果记录在第一表中,并将第一表导入到目标数据库中。
91.本发明实施例中,该第一sql语句为源数据库的待核查源库表在存储过程中生成的sql语句,通过该第一sql语句可快速统计该待核查源库表的所有源库字段各自包含的数据对象的数量,源库字段各自包含的数据对象的数量可以为空(即0个),也可以为1个或者多个,当该待核查源库表中的某一源库字段下数据对象的数量为空时,说明该待核查源库表中的该源库字段下没有数据,在后续的数据核对中,可不进行核查。
92.本发明实施例中,该第一表中包括源数据库中所有待核查源库表的信息,例如,该源数据库中包括3个源库表,分别为待核查源库表1、待核查源库表2和待核查源库表3,基于确定出的第一sql语句统计该待核查源库表1的所有源库字段包含的数据对象的数量,得到源库统计结果1;基于确定出的第一sql语句统计该待核查源库表2的所有源库字段包含的数据对象的数量,得到源库统计结果2;基于确定出的第一sql语句统计该待核查源库表3的所有源库字段包含的数据对象的数量,得到源库统计结果3,最后,将待核查源库表1、待核查源库表2和待核查源库表3分别对应的源库统计结果1、源库统计结果2和源库统计结果3分别记录在第一表中。
93.103、确定映射关系表,并将映射关系表导入到源数据库和目标数据库中,其中,映射关系表包括源数据库中的待核查源库表和目标数据库中与待核查源库表对应的目标库表的映射信息。
94.本发明实施例中,该映射关系表中包括源数据库和目标数据库的信息,其中,该源数据库中的信息包括但不限于映射源库表名、映射源库表中文名、映射源库字段名、映射源库字段中文名、映射源库字段类型和是否转换选择信息;该目标数据库中的信息包括但不限于映射目标库表名、映射目标库表中文名、映射目标库字段名、映射目标库字段中文名、映射目标库字段类型和转换方式信息,将上述信息固化到源数据库中和目标数据库中。
95.本发明实施例中,该映射关系表包括该源数据库中的每个待核查源库表和该目标数据库中与该待核查源库表对应的目标库表的映射信息,通过该映射关系表,就将源数据库中的待核查源库表与目标数据库中对应的目标库表通过映射关系实现了连接。
96.104、当映射关系表中的数据满足第一预设条件时,根据目标数据库中与待核查源库表对应的目标库表,获取目标库表的所有目标库字段。
97.本发明实施例中,当满足第一预设条件后,可根据映射关系表中该源数据库和该目标数据库的映射关系,在目标数据库中找到与源数据库中的待核查源库表对应的目标库表,根据源数据库中的待核查源库表的数量,在目标数据库中找到对应数量的目标库表,根据获取的至少一个目标库表,得到所有目标库表各自对应的目标库字段。
98.在一个可选的实施例中,该第一预设条件具体可以为:
99.该源数据库中的该待核查源库表名等于该映射关系表中对应的映射源库表名并且该源数据库中的该待核查源库表名的源库字段名等于该映射关系表中对应的映射源库字段名并且触发该映射关系表中的同意转换操作。
100.可见,该可选的实施例能够根据源数据库中的相关信息与映射关系表中的对应信
息匹配时,来获取目标数据库信息,可提高数据核查过程的自动化程度。
101.105、基于确定出的第二sql语句统计目标库表的所有目标库字段各自包含的数据对象的数量,得到第二统计结果,将第二统计结果记录在第二表中。
102.本发明实施例中,该第二sql语句为根据目标数据库中的目标库表名和目标库字段名在存储过程中生成的sql语句,通过该第二sql语句可快速统计目标库表的所有目标库字段各自包含的数据对象的数量,目标库字段各自包含的数据对象的数量可以为空(即0个),也可以为1个或者多个,当与该待核查源库表对应的目标库表中的某一目标库字段下数据对象的数量为空时,说明该目标库表中的该目标库字段下没有数据。
103.本发明实施例中,该第二表中包括目标数据库中所有与待核查源库表对应的目标库表的信息,例如,该目标数据库中包括与源数据库中待核查源库表对应的3个目标库表,分别为目标库表1、目标库表2和目标库表3,基于确定出的第二sql语句统计该目标库表1的所有目标库字段包含的数据对象的数量,得到目标库统计结果1;基于确定出的第二sql语句统计该目标库表2的所有目标库字段包含的数据对象的数量,得到目标库统计结果2;基于确定出的第二sql语句统计该目标库表3的所有目标库字段包含的数据对象的数量,得到目标库统计结果3,最后,将目标库表1、目标库表2和目标库表3分别对应的目标库统计结果1、目标库统计结果2和目标库统计结果3分别记录在第二表中。
104.106、将第一表和第二表和映射关系表进行关联。
105.107、通过确定出的核查模型得到目标清单,目标清单包括源数据库迁移到目标数据库的数据核查结果。
106.本发明实施例中,该核查模型可根据关联的第一表和第二表和映射关系表的信息,计算得到数据从源数据库迁移到目标数据库的目标清单,该目标清单包括该源数据库中所有源库表迁移到目标数据库中的目标库表的核查数据,该目标清单中的信息包括但不限于映射源库表名、映射源库表中文名、映射源库字段名、映射源库字段中文名、映射源库字段类型和是否转换选择信息、源数据库的待核查源库表中的源库字段包含的数据对象的数量;映射目标库表名、映射目标库表中文名、映射目标库字段名、映射目标库字段中文名、映射目标库字段类型、转换方式信息和目标数据库的目标库表中的目标库字段包含的数据对象的数量。
107.可见,实施本发明实施例所描述的基于数据库精细比对的数据核查方法能够根据映射关系表确定源数据库中的表和目标数据库中对应的表的映射关系,然后获取目标数据库中与源数据库中待核查源库表对应的表,能够在数据从源数据库迁移到目标数据库后通过确定出的核查模型对数据进行核查,可提高数据核查效率,并且提高数据核查的准确性。
108.实施例二
109.请参阅图2,图2是本发明实施例公开的另一种基于数据库精细比对的数据核查方法的流程示意图。如图2所示,该基于数据库精细比对的数据核查方法可以包括以下操作:
110.201、根据源数据库中的待核查源库表,获取待核查源库表的所有源库字段,其中,待核查源库表为源数据库中的任一源库表。
111.202、基于确定出的第一sql语句统计待核查源库表的所有源库字段各自包含的数据对象的数量,得到第一统计结果,将第一统计结果记录在第一表中,并将第一表导入到目标数据库中。
112.203、确定映射关系表,并将映射关系表导入到源数据库和目标数据库中,其中,映射关系表包括源数据库中的待核查源库表和目标数据库中与待核查源库表对应的目标库表的映射信息。
113.204、当映射关系表中的数据满足第一预设条件时,根据目标数据库中与待核查源库表对应的目标库表,获取目标库表的所有目标库字段。
114.205、基于确定出的第二sql语句统计目标库表的所有目标库字段各自包含的数据对象的数量,得到第二统计结果,将第二统计结果记录在第二表中。
115.206、将第一表和第二表和映射关系表进行关联。
116.在一个可选的实施例中,该将该第一表中的该待核查源库表的每个该源库字段包含的数据对象的数量与该第二表中的与该待核查源库表的每个该源库字段对应的该目标库字段包含的数据对象的数量进行比对,得到第一比对结果之前,该方法还可以包括:
117.按照第二预设条件对该第一表进行分类,得到完成分类的多个分类表,其中,该第二预设条件包括该待核查源库表的业务域;
118.其中,该将该第一表中的该待核查源库表的每个该源库字段包含的数据对象的数量与该第二表中的与该待核查源库表的每个该源库字段对应的该目标库字段包含的数据对象的数量进行比对,得到第一比对结果,包括:
119.将多个该分类表中的该待核查源库表的每个该源库字段包含的数据对象的数量与该第二表中的与该待核查源库表的每个该源库字段对应的该目标库字段包含的数据对象的数量进行并发比对,得到第一比对结果。
120.该可选的实施例中,按照第二预设条件对第一表进行分类除了包括根据待核查源库表的业务域对第一表进行分类,也包括按照待核查源库表的不同区域对第一表进行分类,按照固定数据量对第一表进行分类(如将第一表按照10m的大小进行分割),还包括其他分类方式,本发明实施例不做限定。
121.可见,该可选的实施例能够通过对需要核查的数据进行分类,然后通过对分类的数据进行并发比对,使得不同类的数据核对过程可同步进行,可进一步提高数据核对的效率。
122.207、将第一表中的待核查源库表的每个源库字段包含的数据对象的数量与第二表中的与待核查源库表的每个源库字段对应的目标库字段包含的数据对象的数量进行比对,得到第一比对结果。
123.在另一个可选的实施例中,该将该第一表中的该待核查源库表的每个该源库字段包含的数据对象的数量与该第二表中的与该待核查源库表的每个该源库字段对应的该目标库字段包含的数据对象的数量进行比对,得到第一比对结果,可以包括:
124.判断该第一表中的该待核查源库表的该待核查源库字段包含的数据对象的数量是否为零个,得到第一判断结果,其中,该待核查源库字段为该待核查源库表中的任一源库字段;
125.判断该第二表中的与该待核查源库表的待核查源库字段对应的该目标库字段包含的数据对象的数量是否为零个,得到第二判断结果;
126.当该第一判断结果为是时,并且该第二判断结果为是时,则第一比对结果表示该待核查源库字段的数据转移没有差异;
127.当该第一判断结果为是时,并且该第二判断结果为否时,则该第一比对结果表示该待核查源库字段的数据转移没有差异;
128.当该第一判断结果为否时,并且该第二判断结果为是时,则该第一比对结果表示该待核查源库字段的数据转移有差异。
129.该可选的实施例中,对于具体的部分比对过程,通过以下举例进行说明。
130.举例来说,该源数据库中包括3个待核查源库表,分别为待核查源库表1、待核查源库表2和待核查源库表3,其中,该待核查源库表1中包括源库字段1和源库字段2,源库字段1和源库字段2包含的数据对象的数量分别为0个和0个;该目标数据库中包括3个与待核查源库表对应的目标库表,分别为目标库表1、目标库表2和目标库表3,其中,与该待核查源库表1对应的目标库表1中包括目标库字段1和目标库字段2,目标库字段1和目标库字段2包含的数据对象的数量分别为0个和10个,根据以上信息,在将源数据库中待核查源库表1中的数据进行核对中,将待核查源库表1中的源库字段1和源库字段2包含的数据对象的数量分别与该目标库表1中的目标库字段1和目标库字段2包含的数据对象的数量进行比对,其中,该源库字段1包含的数据对象的数量为0个,该对应的目标库字段1包含的数据对象的数量为0个,则说明该待核查源库表1的源库字段1的数据迁移无差异;该源库字段2包含的数据对象的数量为0个,该对应的目标库字段2包含的数据对象的数量为10个,则说明该待核查源库表1的源库字段1的数据迁移无差异,其中,该目标库字段2包含的10个数据对象可能为该源数据库的数据迁移到目标数据库之前就已经存在的数据。
131.举例来说,该源数据库中包括3个待核查源库表,分别为待核查源库表1、待核查源库表2和待核查源库表3,其中,该待核查源库表1中包括源库字段1和源库字段2,源库字段1和源库字段2包含的数据对象的数量分别为0个和10个;该目标数据库中包括3个与待核查源库表对应的目标库表,分别为目标库表1、目标库表2和目标库表3,其中,与该待核查源库表1对应的目标库表1中包括目标库字段1和目标库字段2,目标库字段1和目标库字段2包含的数据对象的数量分别为0个和0个,根据以上信息,在将源数据库中待核查源库表1中的数据进行核对中,将待核查源库表1中的源库字段1和源库字段2包含的数据对象的数量分别与该目标库表1中的目标库字段1和目标库字段2包含的数据对象的数量进行比对,其中,该源库字段1包含的数据对象的数量为0个,该对应的目标库字段1包含的数据对象的数量为0个,则说明该待核查源库表1的源库字段1的数据迁移无差异;该源库字段2包含的数据对象的数量为10个,该对应的目标库字段2包含的数据对象的数量为0个,则说明该待核查源库表1的源库字段1的数据迁移存在差异。
132.可见,该可选的实施例能够根据该待核查源库表的待核查源库字段与对应的目标库字段包含的数据对象的数量是否为零个的判断结果,来确定该源数据库迁移到目标数据库的数据迁移是否有差异,可提高数据核查的效率。
133.208、根据第一比对结果,通过确定出的核查模型得到目标清单,目标清单包括源数据库迁移到目标数据库的数据核查结果。
134.本发明实施例中,针对步骤201-步骤206和步骤208的其它描述,请参照实施例一中针对步骤101-步骤107的详细描述,本发明实施例不再赘述。
135.本发明实施例中,将根据该源数据库得到的第一表中的待核查源库表的每个源库字段包含的数据对象的数量与根据目标数据库得到的第二表中的与待核查源库表的每个
源库字段对应的目标库字段包含的数据对象的数量进行比对,得到第一比对结果,其中,该第一比对结果包括各个对应的字段包含的数据对象的数量的差异状态。
136.可见,实施本发明实施例所描述的基于数据库精细比对的数据核查方法能够根据映射关系表确定源数据库中的表和目标数据库中对应的表的映射关系,然后获取目标数据库中与源数据库中待核查源库表对应的表,根据将待核查源库表中的源库字段与目标库表中对应的目标库字段包含的数据对象的数量进行比对,最后通过核查模型根据比对结果获得数据核查结果,可进一步提高数据核查效率,并且进一步提高数据核查的准确性。
137.在又一个可选的实施例中,该方法还可以包括:
138.将该映射关系表与该源数据库中的数据进行比对,得到第二比对结果;
139.将该映射关系表与该目标数据库中的数据进行比对,得到第三比对结果;
140.当该第二比对结果表示该映射关系表与该源数据库中的数据存在差异和/或该第三比对结果表示该映射关系表与该目标数据库中的数据存在差异时,对该映射关系表进行调整。
141.该可选的实施例中,将该映射关系表与该源数据库中的数据进行比对,可确定该映射关系表中关于该源数据库中的数据是否准确,将该映射关系表与该目标数据库中的数据进行比对,可确定该映射关系表中关于该目标数据库中的数据是否准确。
142.可见,该可选的实施例能够通过将映射关系表分别与源数据库和目标数据库中的数据进行比对,当比对结果存在差异时,则及时对映射关系表进行调整,可进一步提高数据核查的准确性。
143.在又一个可选的实施例中,该方法还可以包括:
144.根据该第二比对结果和该第三比对结果,生成该映射关系表的检查报告,其中,该检查报告包括该映射关系表中的错误信息;
145.根据该检查报告,对该映射关系表中的错误信息进行标记,得到标记信息;
146.其中,该对该映射关系表进行调整,包括:
147.对该映射关系表的标记信息进行调整。
148.可见,该可选的实施例能够根据映射关系表分别与源数据库和目标数据库中的数据进行比对的结果,确定映射关系表中的错误信息并进行标记,可在对映射关系表进行调整时快速定位错误信息,提高对映射关系表的调整效率。
149.实施例三
150.请参阅图3,图3是本发明实施例公开的一种基于数据库精细比对的数据核查装置的结构示意图。如图3所示,该装置可以包括:
151.获取模块301,用于根据源数据库中的待核查源库表,获取该待核查源库表的所有源库字段,其中,该待核查源库表为该源数据库中的任一源库表;
152.统计模块302,用于基于确定出的第一sql语句统计该待核查源库表的所有该源库字段各自包含的数据对象的数量,得到第一统计结果,将该第一统计结果记录在第一表中,并将该第一表导入到目标数据库中;
153.确定模块303,用于确定映射关系表,并将该映射关系表导入到该源数据库和该目标数据库中,其中,该映射关系表包括该源数据库中的该待核查源库表和该目标数据库中与该待核查源库表对应的目标库表的映射信息;
154.该获取模块301,还用于当该映射关系表中的数据满足第一预设条件时,根据该目标数据库中与该待核查源库表对应的该目标库表,获取该目标库表的所有目标库字段;
155.该统计模块302,还用于基于确定出的第二sql语句统计该目标库表的所有该目标库字段各自包含的数据对象的数量,得到第二统计结果,将该第二统计结果记录在第二表中;
156.关联模块304,用于将该第一表和该第二表和该映射关系表进行关联;
157.核查模块305,用于通过确定出的核查模型得到目标清单,该目标清单包括该源数据库迁移到该目标数据库的数据核查结果。
158.可见,实施本发明实施例所描述的基于数据库精细比对的数据核查装置能够根据映射关系表确定源数据库中的表和目标数据库中对应的表的映射关系,然后获取目标数据库中与源数据库中待核查源库表对应的表,能够在数据从源数据库迁移到目标数据库后通过确定出的核查模型对数据进行核查,可提高数据核查效率,并且提高数据核查的准确性。
159.在一个可选的实施例中,该核查模块305包括比对子模块3052和核查子模块3053,其中:
160.该比对子模块3052,用于将该第一表中的该待核查源库表的每个该源库字段包含的数据对象的数量与该第二表中的与该待核查源库表的每个该源库字段对应的该目标库字段包含的数据对象的数量进行比对,得到第一比对结果;
161.该核查子模块3053,用于根据该第一比对结果,通过确定出的核查模型得到目标清单,该目标清单包括该源数据库迁移到该目标数据库的数据核查结果。
162.可见,实施本发明实施例所描述的基于数据库精细比对的数据核查装置能够根据映射关系表确定源数据库中的表和目标数据库中对应的表的映射关系,然后获取目标数据库中与源数据库中待核查源库表对应的表,根据将待核查源库表中的源库字段与目标库表中对应的目标库字段包含的数据对象的数量进行比对,最后通过核查模型根据比对结果获得数据核查结果,可进一步提高数据核查效率,并且进一步提高数据核查的准确性。
163.在另一个可选的实施例中,该比对子模块3052将该第一表中的该待核查源库表的每个该源库字段包含的数据对象的数量与该第二表中的与该待核查源库表的每个该源库字段对应的该目标库字段包含的数据对象的数量进行比对,得到第一比对结果的具体方式为:
164.判断该第一表中的该待核查源库表的该待核查源库字段包含的数据对象的数量是否为零个,得到第一判断结果,其中,该待核查源库字段为该待核查源库表中的任一源库字段;
165.判断该第二表中的与该待核查源库表的待核查源库字段对应的该目标库字段包含的数据对象的数量是否为零个,得到第二判断结果;
166.当该第一判断结果为是时,并且该第二判断结果为是时,则第一比对结果表示该待核查源库字段的数据转移没有差异;
167.当该第一判断结果为是时,并且该第二判断结果为否时,则该第一比对结果表示该待核查源库字段的数据转移没有差异;
168.当该第一判断结果为否时,并且该第二判断结果为是时,则该第一比对结果表示该待核查源库字段的数据转移有差异。
169.可见,该可选的实施例能够根据该待核查源库表的待核查源库字段与对应的目标库字段包含的数据对象的数量是否为零个的判断结果,来确定该源数据库迁移到目标数据库的数据迁移是否有差异,可提高数据核查的效率。
170.在又一个可选的实施例中,该核查模块305还包括分类子模块3051,其中:
171.该分类子模块3051,用于在该比对子模块3052将该第一表中的该待核查源库表的每个该源库字段包含的数据对象的数量与该第二表中的与该待核查源库表的每个该源库字段对应的该目标库字段包含的数据对象的数量进行比对,得到第一比对结果之前,按照第二预设条件对该第一表进行分类,得到完成分类的多个分类表,其中,该第二预设条件包括该待核查源库表的业务域;
172.其中,该比对子模块3052将该第一表中的该待核查源库表的每个该源库字段包含的数据对象的数量与该第二表中的与该待核查源库表的每个该源库字段对应的该目标库字段包含的数据对象的数量进行比对,得到第一比对结果的具体方式为:
173.将多个该分类表中的该待核查源库表的每个该源库字段包含的数据对象的数量与该第二表中的与该待核查源库表的每个该源库字段对应的该目标库字段包含的数据对象的数量进行并发比对,得到第一比对结果。
174.可见,该可选的实施例能够通过对需要核查的数据进行分类,然后通过对分类的数据进行并发比对,使得不同类的数据核对过程可同步进行,可进一步提高数据核对的效率。
175.在又一个可选的实施例中,如图4所示,该装置还可以包括:
176.比对模块306,用于将该映射关系表与该源数据库中的数据进行比对,得到第二比对结果,将该映射关系表与该目标数据库中的数据进行比对,得到第三比对结果;
177.调整模块307,用于当该比对模块306的第二比对结果表示该映射关系表与该源数据库中的数据存在差异和/或该比对模块306的第三比对结果表示该映射关系表与该目标数据库中的数据存在差异时,对该映射关系表进行调整。
178.可见,该可选的实施例能够通过将映射关系表分别与源数据库和目标数据库中的数据进行比对,当比对结果存在差异时,则及时对映射关系表进行调整,可进一步提高数据核查的准确性。
179.在又一个可选的实施例中,如图4所示,该装置还可以包括:
180.报告生成模块308,用于根据该第二比对结果和该第三比对结果,生成该映射关系表的检查报告,其中,该检查报告包括该映射关系表中的错误信息;
181.标记模块309,用于根据该检查报告,对该映射关系表中的错误信息进行标记,得到标记信息;
182.其中,该调整模块307对该映射关系表进行调整的具体方式为:
183.对该映射关系表的标记信息进行调整。
184.可见,该可选的实施例能够根据映射关系表分别与源数据库和目标数据库中的数据进行比对的结果,确定映射关系表中的错误信息并进行标记,可在对映射关系表进行调整时快速定位错误信息,提高对映射关系表的调整效率。
185.在又一个可选的实施例中,该第一预设条件具体为:
186.该源数据库中的该待核查源库表名等于该映射关系表中对应的映射源库表名并
且该源数据库中的该待核查源库表名的源库字段名等于该映射关系表中对应的映射源库字段名并且触发该映射关系表中的同意转换操作。
187.可见,该可选的实施例能够根据源数据库中的相关信息与映射关系表中的对应信息匹配时,来获取目标数据库信息,可提高数据核查过程的自动化程度。
188.实施例四
189.请参阅图5,图5是本发明实施例公开的又一种基于数据库精细比对的数据核查装置的结构示意图。如图5所示,该装置可以包括:
190.存储有可执行程序代码的存储器401;
191.与存储器401耦合的处理器402;
192.处理器402调用存储器401中存储的可执行程序代码,用于执行实施例一或实施例二所描述的基于数据库精细比对的数据核查方法中的步骤。
193.实施例五
194.本发明实施例公开了一种计算机读存储介质,其存储用于电子数据交换的计算机程序,其中,该计算机程序使得计算机执行实施例一或实施例二所描述的基于数据库精细比对的数据核查方法中的步骤。
195.实施例六
196.本发明实施例公开了一种计算机程序产品,该计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质,且该计算机程序可操作来使计算机执行实施例一或实施例二所描述的基于数据库精细比对的数据核查方法中的步骤。
197.以上所描述的装置实施例仅是示意性的,其中作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理模块,即可以位于一个地方,或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
198.通过以上的实施例的具体描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,存储介质包括只读存储器(read-only memory,rom)、随机存储器(random access memory,ram)、可编程只读存储器(programmable read-only memory,prom)、可擦除可编程只读存储器(erasable programmable read only memory,eprom)、一次可编程只读存储器(one-time programmable read-only memory,otprom)、电子抹除式可复写只读存储器(electrically-erasable programmable read-only memory,eeprom)、只读光盘(compact disc read-only memory,cd-rom)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。
199.最后应说明的是:本发明实施例公开的一种基于数据库精细比对的数据核查方法及装置所揭露的仅为本发明较佳实施例而已,仅用于说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解;其依然可以对前述各项实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等
同替换;而这些修改或替换,并不使相应的技术方案的本质脱离本发明各项实施例技术方案的精神和范围。
再多了解一些

本文用于企业家、创业者技术爱好者查询,结果仅供参考。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献