数据校验方法、装置、设备及可读存储介质与流程

技术特征：
1.一种数据校验方法，其特征在于，包括：获取源数据表和目标数据表，确定所述源数据表的表格类型和所述目标数据表的表格类型；若所述源数据表的表格类型和所述目标数据表的表格类型均为全量表格，则分别确定所述源数据表中的数据量和所述目标数据表中的数据量是否大于数据量阈值；若所述源数据表中的数据量和所述目标数据表中的数据量均大于所述数据量阈值，则对所述源数据表进行分区处理，得到至少一个源分区表，以及对所述目标数据表进行分区处理，得到至少一个目标分区表；基于所述至少一个源分区表中的源分区字段和所述至少一个目标分区表中的目标分区字段进行数据校验；若任一源分区表中的源分区字段和对应的目标分区表中的目标分区字段之间的数据校验不通过，则确定所述源数据表与所述目标数据表不一致，所述对应的目标分区表为所述至少一个目标分区表中与所述任一源分区表对应的分区表。2.根据权利要求1所述的方法，其特征在于，所述对所述源数据表进行分区处理，得到至少一个源分区表，包括：基于所述源数据表中的数据量确定针对所述源数据表的等分划分规则，采用所述等分划分规则对所述源数据表进行划分，得到所述至少一个源分区表；或者，基于所述源数据表中字段的字段类型确定针对所述源数据表的字段划分规则，采用所述字段划分规则对所述源数据表进行划分，得到所述至少一个源分区表，所述字段划分规则指示所述预设字段类型。3.根据权利要求1所述的方法，其特征在于，所述数据校验包括字段校验和字段格式校验；所述基于所述至少一个源分区表中的源分区字段和所述至少一个目标分区表中的目标分区字段进行数据校验，包括：对所述源分区字段进行抽样，得到至少一个源抽样字段；对所述目标分区字段进行抽样，得到至少一个目标抽样字段；对所述至少一个源抽样字段和所述至少一个目标抽样字段进行字段校验；若所述字段校验通过，则对所述至少一个源抽样字段的字段格式和所述至少一个目标抽样字段的字段格式进行字段格式校验；若所述字段格式校验通过，则对所述至少一个源分区表中的剩余源分区字段和所述至少一个目标分区表中的剩余目标分区字段进行数据校验。4.根据权利要求3所述的方法，其特征在于，所述若任一源分区表中的源分区字段和对应的目标分区表中的目标分区字段之间的数据校验不通过，则确定所述源数据表与所述目标数据表不一致，包括：若任一源分区表中的源分区字段与对应的目标分区表中的目标分区字段均不匹配，则确定所述源数据表与所述目标数据表不一致；或者，若所述至少一个源分区表中的每个源分区字段与所述至少一个目标分区表中的目标分区字段匹配，且所述至少一个源分区表中存在一个或多个源分区字段的字段格式与所述至少一个目标分区表中的目标分区字段格式均不匹配，则确定所述源数据表与所述目标数
据表不一致。5.根据权利要求1所述的方法，其特征在于，所述确定所述源数据表中的数据量和所述目标数据表中的数据量是否大于数据量阈值之后，所述方法还包括：若所述源数据表中的数据量和所述目标数据表中的数据量均小于或等于所述数据量阈值，则对所述源数据表中的每个源字段与所述目标数据表中的每个目标字段进行字段校验；若所述字段校验通过，则对所述源数据表中的每个源字段的字段格式与所述目标数据表中的每个目标字段的字段格式进行字段格式校验；若所述源数据表中存在一个或多个源字段的字段格式与所述目标数据表中的目标字段的字段格式均不匹配，则确定所述源数据表与所述目标数据表不一致。6.根据权利要求1所述的方法，其特征在于，所述确定所述源数据表的表格类型和所述目标数据表的表格类型之后，所述方法还包括：若所述源数据表的表格类型和所述目标数据表的表格类型均为增量表格，则对所述源数据表中的每个源字段与所述目标数据表中的每个目标字段进行字段校验；若所述字段校验通过，则对所述源数据表中的每个源字段的字段格式与所述目标数据表中的每个目标字段的字段格式进行字段格式校验；若所述源数据表中存在一个或多个源字段的字段格式与所述目标数据表中的目标字段的字段格式均不匹配，则确定所述源数据表与所述目标数据表不一致。7.根据权利要求1所述的方法，其特征在于，所述基于所述至少一个源分区表中的源分区字段和所述至少一个目标分区表中的目标分区字段进行数据校验之前，所述方法还包括：获取所述源数据表与所述目标数据表之间的至少一个中间层级数据表，所述至少一个中间层级数据表包括第一层级数据表和第二层级数据表，所述第一层级数据表是通过对所述源数据表进行数据抽取处理得到的，所述第二层级数据表是通过对所述第一层级数据表进行数据清洗处理得到的，所述目标数据表是通过对所述第二层级数据表进行逻辑加工处理得到的；对所述第一层级数据表中的第一层级字段进行分区处理，得到至少一个第一分区表；对所述第二层级数据表中的第二层级字段进行分区处理，得到至少一个第二分区表；所述若任一源分区表中的源分区字段和对应的目标分区表中的目标分区字段之间的数据校验不通过，则确定所述源数据表与所述目标数据表不一致，包括：若所述源分区字段与所述第一分区字段之间的数据校验不通过，则确定所述源数据表与所述目标数据表不一致；或者，若所述源分区字段与所述第一分区字段之间的数据校验通过，则对所述至少一个第一分区表中的第一分区字段和所述至少一个第二分区表中的第二分区字段进行数据校验；若所述第一分区字段与所述第二分区字段之间的数据校验不通过，则确定所述源数据表与所述目标数据表不一致；或者，若所述第一分区字段与所述第二分区字段之间的数据校验通过，则对所述至少一个第二分区表中的第二分区字段和所述至少一个目标分区表中的目标分区字段进行数据校验，若所述第二分区字段和所述目标分区字段之间的数据校验不通过，则确定所述源数据表与
所述目标数据表不一致，数据校验包括字段校验和字段格式校验。8.一种数据校验装置，其特征在于，包括：数据获取模块，用于获取源数据表和目标数据表，确定所述源数据表的表格类型和所述目标数据表的表格类型；数量确定模块，用于若所述源数据表的表格类型和所述目标数据表的表格类型均为全量表格，则分别确定所述源数据表中的数据量和所述目标数据表中的数据量是否大于数据量阈值；分区处理模块，用于若所述源数据表中的数据量和所述目标数据表中的数据量均大于所述数据量阈值，则对所述源数据表进行分区处理，得到至少一个源分区表，以及对所述目标数据表进行分区处理，得到至少一个目标分区表；数据校验模块，用于基于所述至少一个源分区表中的源分区字段和所述至少一个目标分区表中的目标分区字段进行数据校验；结果确定模块，用于若任一源分区表中的源分区字段和对应的目标分区表中的目标分区字段之间的数据校验不通过，则确定所述源数据表与所述目标数据表不一致，所述对应的目标分区表为所述至少一个目标分区表中与所述任一源分区表对应的分区表。9.一种计算机设备，其特征在于，包括：处理器、存储器以及网络接口；所述处理器与所述存储器、所述网络接口相连，其中，所述网络接口用于提供数据通信功能，所述存储器用于存储程序代码，所述处理器用于调用所述程序代码，以使得所述计算机设备执行权利要求1-7任一项所述的方法。10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序适于由处理器加载并执行，以使得具有所述处理器的计算机设备执行权利要求1-7任一项所述的方法。

技术总结
本申请实施例公开了一种数据校验方法、装置、设备及可读存储介质，涉及人工智能和医疗领域，其中，方法包括：获取源数据表和目标数据表，确定源数据表和目标数据表的表格类型；若源数据表的表格类型和目标数据表的表格类型均为全量表格，分别确定源数据表中的数据量和目标数据表中的数据量是否大于数据量阈值；若是，对源数据表进行分区处理，得到源分区表，以及对目标数据表进行分区处理，得到目标分区表；基于源分区表中的源分区字段和目标分区表中的目标分区字段进行校验；若任一源分区表中的源分区字段和对应的目标分区表中目标分区字段间的数据校验不通过，则确定源数据表与目标数据表不一致。采用本申请实施例，可以提高数据校验效率。数据校验效率。数据校验效率。


技术研发人员：陈双琴
受保护的技术使用者：平安科技（深圳）有限公司
技术研发日：2021.11.29
技术公布日：2022/3/1