一种数据导入校验方法、设备及介质与流程

技术特征：
1.一种数据导入校验方法，其特征在于，所述方法包括：获取待校验数据列，并确定所述待校验数据列依赖的源数据库；分批加载所述待校验数据列中预设行数的待校验数据，并判断所述待校验数据与内存中第一缓存变量的缓存数据是否匹配；若否，则通过结构化查询语言sql脚本，在所述源数据库中对所述待校验数据进行检索，确定检索结果集；将所述检索结果集合并至所述第一缓存变量，并通过所述第一缓存变量中合并后的缓存数据对所述待校验数据进行校验。2.根据权利要求1所述的方法，其特征在于，所述获取待校验数据列，并确定所述待校验数据列依赖的源数据库，具体包括：获取帮助类型的数据列集合；在所述数据列集合中，确定待校验数据列；确定所述待校验数据列依赖的所述源数据库，并根据所述帮助类型对应的元数据，确定所述待校验数据列向所述源数据库的访问方式。3.根据权利要求1所述的方法，其特征在于，所述判断所述待校验数据与内存中第一缓存变量的缓存数据是否匹配，具体包括：通过数据主键加载所述预设行数的待校验数据；判断所述第一缓存变量的缓存数据中是否存在所述待校验数据。4.根据权利要求1所述的方法，其特征在于，所述并通过sql脚本，在所述源数据库中对所述待校验数据进行检索，确定检索结果集，具体包括：将所述待校验数据缓存至第二缓存变量；将所述第二缓存变量的键值转换为数组或list集合；将所述数组或list集合作为参数，通过组织所述sql脚本的in操作，在所述源数据库中对所述待校验数据进行检索，确定所述检索结果集。5.根据权利要求4所述的方法，其特征在于，所述将所述检索结果集合并至所述第一缓存变量，具体包括：确定所述检索结果集的主键值和数据实体为key
‑
value方式；通过所述key
‑
value方式，将所述检索结果集合并至所述第一缓存变量中。6.根据权利要求5所述的方法，其特征在于，所述并通过所述第一缓存变量中合并后的缓存数据对所述待校验数据进行校验，具体包括：通过所述待校验数据的主键值判断所述待校验数据是否存在于所述合并后的缓存数据中，并通过rowindex定位所述待校验数据的数据行在所述待校验数据列中的位置，以标记校验结果。7.根据权利要求1所述的方法，其特征在于，所述并判断所述待校验数据与内存中第一缓存变量的缓存数据是否匹配，具体包括：若是，则获取所述第一缓存变量中对应的校验扩展规则；通过所述校验扩展规则，判断所述待校验数据是否合法；若是，则确定所述待校验数据通过校验。8.根据权利要求1所述的方法，其特征在于，所述分批加载所述待校验数据列中预设行
数的待校验数据，并判断所述待校验数据与内存中第一缓存变量的缓存数据是否匹配，具体包括：分批加载所述待校验数据列中预设行数的待校验数据；按照逐行取值的方式，判断各数据行对应的待校验数据与所述第一缓存变量的缓存数据是否匹配。9.一种数据导入校验设备，其特征在于，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够：获取待校验数据列，并确定所述待校验数据列依赖的源数据库；分批加载所述待校验数据列中预设行数的待校验数据，并判断所述待校验数据与内存中第一缓存变量的缓存数据是否匹配；若否，则通过结构化查询语言sql脚本，在所述源数据库中对所述待校验数据进行检索，确定检索结果集；将所述检索结果集合并至所述第一缓存变量，并通过所述第一缓存变量中合并后的缓存数据对所述待校验数据进行校验。10.一种数据导入校验非易失性计算机存储介质，存储有计算机可执行指令，其特征在于，所述计算机可执行指令设置为：获取待校验数据列，并确定所述待校验数据列依赖的源数据库；分批加载所述待校验数据列中预设行数的待校验数据，并判断所述待校验数据与内存中第一缓存变量的缓存数据是否匹配；若否，则通过结构化查询语言sql脚本，在所述源数据库中对所述待校验数据进行检索，确定检索结果集；将所述检索结果集合并至所述第一缓存变量，并通过所述第一缓存变量中合并后的缓存数据对所述待校验数据进行校验。

技术总结
本申请公开了一种数据导入校验方法、设备及介质，方法包括：获取待校验数据列，并确定待校验数据列依赖的源数据库；分批加载待校验数据列中预设行数的待校验数据，并判断待校验数据与内存中第一缓存变量的缓存数据是否匹配；若否，则通过结构化查询语言SQL脚本，在源数据库中对待校验数据进行检索，确定检索结果集；将检索结果集合并至第一缓存变量，并通过第一缓存变量中合并后的缓存数据对待校验数据进行校验。本申请实施例通过判断待校验数据与内存中第一缓存变量的缓存数据是否匹配，能够对待校验数据进行去重处理，并且通过在源数据库中检索是否存在，并把检索结果集做内存缓存处理，优化了应用系统的数据导入校验性能。优化了应用系统的数据导入校验性能。优化了应用系统的数据导入校验性能。


技术研发人员：王召冠
受保护的技术使用者：浪潮通用软件有限公司
技术研发日：2021.07.22
技术公布日：2021/10/26