数据迁移一致性验证方法、装置、设备及介质与流程

本申请涉及计算机，特别涉及一种数据迁移一致性验证方法、装置、设备及介质。

背景技术：

1、数据迁移（如数据库版本升级、异构数据库迁移、分库分表等）后，通常需要对源数据库与目标数据库的数据进行一致性验证，以确保迁移数据的完整性和准确性。

2、目前，常用的验证方法为全表校验，即将源数据库中的待迁移数据表整体导出，计算整个数据表的校验值，在目标数据库对迁移后的数据表执行同样的计算，通过比对两端的校验值是否一致来判断迁移是否成功。

3、然而，全表校验仅能得出一致或不一致的整体结论，当校验值不一致时，无法确定差异发生在哪些数据行或哪些字段中，需要人工对全表数据进行逐行排查，效率极低。

技术实现思路

1、本申请提供了一种数据迁移一致性验证方法、装置、设备及介质，能够避免因字段顺序和格式差异引起误报、且可以精准定位差异数据块。技术方案如下：

2、根据本申请的一方面，提供了一种数据迁移一致性验证方法，所述方法包括：

3、根据预设的分块策略将源数据库的源数据集合和目标数据库的目标数据集合划分为多个数据块，并记录每个数据块对应的数据范围标识信息；

4、对于每个数据块，按照预设的字段顺序规则调整所述每个数据块内各条记录的字段顺序，并按照预设的字段类型标准化规则对各个字段值进行格式统一化处理，基于调整和统一化处理后的数据内容，确定所述每个数据块的哈希值；

5、对所述源数据集合中数据块的哈希值构成的源哈希集合和所述目标数据集合中数据块的哈希值构成的目标哈希集合分别进行排序，并按照排序后的相同序列位置逐位比对，将哈希值不一致的数据块标记为差异块；

6、对于任一差异块，根据所述差异块的数据范围标识信息所指示的数据记录进行逐条内容比对，确定存在差异的数据记录。

7、根据本申请的另一方面，提供了一种数据迁移一致性验证装置，所述装置包括：

8、划分模块，用于根据预设的分块策略将源数据库的源数据集合和目标数据库的目标数据集合划分为多个数据块，并记录每个数据块对应的数据范围标识信息；

9、第一确定模块，用于对于每个数据块，按照预设的字段顺序规则调整所述每个数据块内各条记录的字段顺序，并按照预设的字段类型标准化规则对各个字段值进行格式统一化处理，基于调整和统一化处理后的数据内容，确定所述每个数据块的哈希值；

10、对比模块，用于对所述源数据集合中数据块的哈希值构成的源哈希集合和所述目标数据集合中数据块的哈希值构成的目标哈希集合分别进行排序，并按照排序后的相同序列位置逐位比对，将哈希值不一致的数据块标记为差异块；

11、第二确定模块，用于对于任一差异块，根据所述差异块的数据范围标识信息所指示的数据记录进行逐条内容比对，确定存在差异的数据记录。

12、根据本申请的另一方面，提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有计算机程序，所述计算机程序由所述处理器加载并执行以实现如上方面所述的数据迁移一致性验证方法。

13、根据本申请的另一方面，提供了一种计算机可读存储介质，所述可读存储介质中存储有计算机程序，所述计算机程序由处理器加载并执行以实现如上方面所述的数据迁移一致性验证方法。

14、根据本申请的另一方面，提供了一种计算机程序产品，该计算机程序产品包括计算机程序，该计算机程序由处理器执行，以实现上述方面的各种可选实现方式中提供的数据迁移一致性验证方法。

15、本申请提供了一种数据迁移一致性验证方案，通过对数据块内各条记录的字段顺序进行调整、对各个字段值进行格式统一化处理，消除了异构数据库之间因字段顺序不同和数据类型格式差异所引入的数据表示不一致，避免了哈希比对时的误报；通过分别对源数据库和目标数据库的哈希集合进行排序后逐位比对，消除了因数据库物理存储顺序不同对验证结果的干扰，进一步保证比对准确性；通过记录各数据块对应的数据范围标识信息，并在哈希比对不一致时根据该标识信息精准定位到具体数据块，实现了差异的快速溯源和精细定位。本方案能够避免因字段顺序和格式差异引起误报、且可以精准定位差异数据块。

1.一种数据迁移一致性验证方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述根据预设的分块策略将源数据库的源数据集合和目标数据库的目标数据集合划分为多个数据块，包括：

3.根据权利要求1或2所述的方法，其特征在于，所述按照预设的字段顺序规则调整所述每个数据块内各条记录的字段顺序，包括：

4.根据权利要求3所述的方法，其特征在于，所述以所述源数据库的源数据表的元数据为基准，确定全局字段排序序列，包括：

5.根据权利要求1至4任一项所述的方法，其特征在于，所述方法还包括：

6.根据权利要求1至5任一项所述的方法，其特征在于，所述按照预设的字段类型标准化规则对各个字段值进行格式统一化处理，包括下述任一项：

7.根据权利要求1至6任一项所述的方法，其特征在于，所述基于调整和统一化处理后的数据内容，确定所述每个数据块的哈希值，包括：

8.根据权利要求1至7任一项所述的方法，其特征在于，所述对于任一差异块，根据所述差异块的数据范围标识信息所指示的数据记录进行逐条内容比对，确定存在差异的数据记录，包括：

9.根据权利要求1至8任一项所述的方法，其特征在于，所述方法还包括：

10.一种数据迁移一致性验证装置，其特征在于，所述装置包括：

11.一种计算机设备，其特征在于，所述计算机设备包括处理器和存储器，所述存储器中存储有计算机程序，所述计算机程序由所述处理器加载并执行以实现如权利要求1至9任一所述的数据迁移一致性验证方法。

12.一种计算机可读存储介质，其特征在于，所述可读存储介质中存储有计算机程序，所述计算机程序由处理器加载并执行以实现如权利要求1至9任一所述的数据迁移一致性验证方法。

13.一种计算机程序产品，其特征在于，所述计算机程序产品包括计算机程序，所述计算机程序由处理器执行，以实现如权利要求1至9任一所述的数据迁移一致性验证方法。