数据处理方法、装置、设备及存储介质与流程

技术特征：
1.一种数据处理方法，其特征在于，包括：获取异构数据源中的待处理数据；按照预设规则，对所述待处理数据的目标字段进行迁移处理，得到迁移数据；将所述待处理数据与所述迁移数据进行对比处理，得到对比结果，所述对比结果用于确定所述待处理数据是否与所述迁移数据一致。2.根据权利要求1所述的数据处理方法，其特征在于，所述按照预设规则，对所述待处理数据的目标字段进行迁移处理，得到迁移数据，包括：按照所述预设规则，对所述待处理数据的目标字段进行规则配置处理，得到规则数据；按照预设任务，对所述规则数据进行聚合处理，得到所述迁移数据。3.根据权利要求1所述的数据处理方法，其特征在于，所述将所述待处理数据与所述迁移数据进行对比处理，得到对比结果，包括：按照预设索引在所述待处理数据中查找第一数据，并在所述迁移数据中查找第二数据；若所述待处理数据中存在所述第一数据，且所述迁移数据中存在所述第二数据，则对所述第一数据携带的第一规则和所述第二数据携带的第二规则进行对比，确定所述第一规则和所述第二规则是否相同；若所述第一规则和所述第二规则相同，则在所述对比结果中记录所述第一数据与所述第二数据一致。4.根据权利要求3所述的数据处理方法，其特征在于，还包括：若所述第一规则和所述第二规则不同，则遍历所述第一规则和所述第二规则中的每个规则；在所述对比结果中记录规则相同的第一数据和第二数据，以及第一数据的数量和第二数据的数量。5.根据权利要求3所述的数据处理方法，其特征在于，还包括：若所述待处理数据中不存在所述第一数据，和/或，所述迁移数据中不存在所述第二数据，则在所述对比结果中记录相关信息，所述相关信息包括所述待处理数据中不存在所述第一数据，所述迁移数据中存在所述第二数据，或所述待处理数据中存在所述第一数据，所述迁移数据中不存在所述第二数据；或所述待处理数据中不存在所述第一数据，所述迁移数据中不存在所述第二数据。6.根据权利要求3至5任一项所述的数据处理方法，其特征在于，所述按照预设索引在所述待处理数据中查找第一数据，并在所述迁移数据中查找第二数据，包括：生成包含所述迁移数据的迁移数据表；对所述预设规则进行分类处理，得到多个规则；采用所述多个规则对所述迁移数据表进行遍历，得到所述迁移数据表的数据大小值；若所述数据大小值小于预设值，则按照所述预设索引对所述迁移数据表和包含待处理数据的待处理数据表执行表间串行查找数据操作；若所述数据大小值大于或者等于所述预设值，则按照所述预设索引对所述迁移数据表和所述待处理数据表执行表间串行查找数据操作，并执行表内并行查找数据操作。7.根据权利要求1至3任一项所述的数据处理方法，其特征在于，所述获取异构数据源
中的待处理数据之后，还包括：按照校验规则，对所述待处理数据进行校验处理。8.一种数据处理装置，其特征在于，包括：获取模块，用于获取异构数据源中的待处理数据；迁移模块，用于按照预设规则，对所述待处理数据的目标字段进行迁移处理，得到迁移数据；对比模块，用于将所述待处理数据与所述迁移数据进行对比处理，得到对比结果，所述对比结果用于确定所述待处理数据是否与所述迁移数据一致。9.一种电子设备，其特征在于，包括：处理器，以及与所述处理器通信连接的存储器；所述存储器存储计算机执行指令；所述处理器执行所述存储器存储的计算机执行指令，以实现如权利要求1至7任一项所述的数据处理方法。10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如权利要求1至7任一项所述的数据处理方法。

技术总结
本申请属于金融领域和数据处理领域，具体涉及一种数据处理方法、装置、设备及存储介质。本申请通过获取异构数据源中的待处理数据；按照预设规则，对待处理数据的目标字段进行迁移处理，得到迁移数据；将待处理数据与迁移数据进行对比处理，得到对比结果，对比结果用于确定待处理数据是否与迁移数据一致。可以在金融系统中产生多源异构数据时，实现验证金融系统的安全性的目的。的安全性的目的。的安全性的目的。


技术研发人员：高悦
受保护的技术使用者：中国民生银行股份有限公司
技术研发日：2022.08.16
技术公布日：2022/11/15