数据处理方法、装置、设备及存储介质与流程

1.本技术涉及金融领域和数据处理领域，尤其涉及一种数据处理方法、装置、设备及存储介质。


背景技术：

2.随着移动互联网的高速发展，更多用户通过各种形式和渠道对金融服务有了更多的了解，因此，如何通过金融数据开展金融服务，服务金融客户，成为了金融数据运用最重要的一点。而金融系统的开发，可以很好的通过金融数据开展金融服务，服务金融客户。
3.相关技术中，金融系统由多个子系统构成，子系统之间可以互相关联、传递数据，在数据传输和汇总的过程中，经过数据转换处理，可以验证数据的正确性、有效性和一致性，从而验证金融系统的安全性。但相关技术中尚未报道针对多源异构数据进行迁移对比的方案，因此，当金融系统中产生多源异构数据时，无法验证金融系统的安全性。


技术实现要素：

4.本技术提供一种数据处理方法、装置、设备及存储介质，用以通过对多源异构数据进行迁移对比，实现验证金融系统的安全性的目的。
5.第一方面，本技术提供一种数据处理方法，包括：获取异构数据源中的待处理数据；按照预设规则，对待处理数据的目标字段进行迁移处理，得到迁移数据；将待处理数据与迁移数据进行对比处理，得到对比结果，对比结果用于确定待处理数据是否与迁移数据一致。
6.在一种可能的实施方式中，按照预设规则，对待处理数据的目标字段进行迁移处理，得到迁移数据，包括：按照预设规则，对待处理数据的目标字段进行规则配置处理，得到规则数据；按照预设任务，对规则数据进行聚合处理，得到迁移数据。
7.在一种可能的实施方式中，将待处理数据与迁移数据进行对比处理，得到对比结果，包括：按照预设索引在待处理数据中查找第一数据，并在迁移数据中查找第二数据；若待处理数据中存在第一数据，且迁移数据中存在第二数据，则对第一数据携带的第一规则和第二数据携带的第二规则进行对比，确定第一规则和第二规则是否相同；若第一规则和第二规则相同，则在对比结果中记录第一数据与第二数据一致。
8.在一种可能的实施方式中，还包括：若第一规则和第二规则不同，则遍历第一规则和第二规则中的每个规则；在对比结果中记录规则相同的第一数据和第二数据，以及第一数据的数量和第二数据的数量。
9.在一种可能的实施方式中，还包括：若待处理数据中不存在第一数据，和/或，迁移数据中不存在第二数据，则在对比结果中记录相关信息，相关信息包括待处理数据中不存在第一数据，迁移数据中存在第二数据，或待处理数据中存在第一数据，迁移数据中不存在第二数据；或待处理数据中不存在第一数据，迁移数据中不存在第二数据。
10.在一种可能的实施方式中，按照预设索引在待处理数据中查找第一数据，并在迁
移数据中查找第二数据，包括：生成包含迁移数据的迁移数据表；对预设规则进行分类处理，得到多个规则；采用多个规则对迁移数据表进行遍历，得到迁移数据表的数据大小值；若数据大小值小于预设值，则按照预设索引对迁移数据表和包含待处理数据的待处理数据表执行表间串行查找数据操作；若数据大小值大于或者等于预设值，则按照预设索引对迁移数据表和待处理数据表执行表间串行查找数据操作，并执行表内并行查找数据操作。
11.在一种可能的实施方式中，获取异构数据源中的待处理数据之后，还包括：按照校验规则，对待处理数据进行校验处理。
12.第二方面，本技术提供一种数据处理装置，包括：获取模块，用于获取异构数据源中的待处理数据；迁移模块，用于按照预设规则，对待处理数据的目标字段进行迁移处理，得到迁移数据；对比模块，用于将待处理数据与迁移数据进行对比处理，得到对比结果，对比结果用于确定待处理数据是否与迁移数据一致。
13.第三方面，本技术提供一种电子设备，包括：处理器，以及与处理器通信连接的存储器；存储器存储计算机执行指令；处理器执行存储器存储的计算机执行指令，以实现第一方面的数据处理方法。
14.第四方面，本技术提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机执行指令，计算机执行指令被处理器执行时用于实现如第一方面的数据处理方法。
15.第五方面，本技术实施例提供一种计算机程序产品，包括计算机程序，计算机程序被处理器执行时实现第一方面的数据处理方法。
16.本技术提供的数据处理方法、装置、设备及存储介质，通过在获取到异构数据源中的待处理数据之后，对待处理数据按照预设规则进行迁移处理，在得到迁移数据之后，将迁移数据和待处理数据进行一致性对比处理，从而确定待处理数据和迁移数据的一致性对比结果，这样就可以根据一致性对比结果确定金融系统的安全性。
附图说明
17.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本技术的实施例，并与说明书一起用于解释本技术的原理。
18.图1为本技术实施例提供的数据处理系统的一种结构示意图；
19.图2为本技术实施例提供的数据处理方法的流程图；
20.图3为本技术实施例提供的规则类型及迁移逻辑示意图；
21.图4为本技术实施例提供的任务类型及聚合逻辑示意图；
22.图5为本技术实施例提供的对数据进行校验的示意图；
23.图6为本技术实施例提供的一种数据处理装置的结构示意图；
24.图7为本技术实施例提供的一种电子设备的结构示意图。
25.通过上述附图，已示出本技术明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本技术构思的范围，而是通过参考特定实施例为本领域技术人员说明本技术的概念，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
具体实施方式
26.这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本技术相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本技术的一些方面相一致的装置和方法的例子。
27.首先对本技术所涉及的名词进行解释：
28.多源异构数据：多个异构数据源产生的数据。异构数据源(disparate data source)是指数据结构、存取方式、形式不一样的多个数据源。
29.背景技术中提供的相关技术中，至少存在以下技术问题：
30.伴随着金融业市场的快速发展和日渐成熟，银行业务的数量、规模和盈利能力，产品和服务的创新发展速度都得到了很大的提高。而伴随着移动互联网的高速发展，更多用户通过各种形式和渠道对金融服务有了更多的了解，如何通过金融数据开展金融服务，服务金融客户，成为了银行金融数据运用最重要的一点。
31.通常来说，金融系统可以由多个子系统构成，各个子系统可以互相关联、传递数据，在数据传输和汇总的过程中，会涉及多模块、多库类型、数据平移、数据转换等。通过数据的转换处理，可以验证数据正确性、有效性、一致性，从而验证金融系统的安全性。但相关技术尚未报道针对多源异构数据源的分库表归一化相关技术方案，如何实现多源异构数据迁移对比方法，相关技术并未给出有效的方案。
32.针对上述的问题，本技术提出一种数据处理方法，通过在获取到异构数据源中的待处理数据之后，对待处理数据按照预设规则进行迁移处理，在得到迁移数据之后，将迁移数据和待处理数据进行一致性对比处理，从而确定待处理数据和迁移数据的一致性对比结果，这样就可以根据一致性对比结果确定金融系统的安全性。
33.在一种实施例中，可以在一种应用场景中应用该数据处理方法。图1为本技术实施例提供的数据处理系统的一种结构示意图，如图1所示，该数据处理系统包括数据源子系统、规则集子系统、检测子系统、任务子系统和报表子系统。
34.在上述场景中，数据源子系统可以用于指定数据源中的数据的相关字段，例如，数据库地址和/或文件地址等相关字段；检测子系统可以用于检测规则集子系统中的数据规则和数据源子系统中的数据有效性；规则集子系统可以用于指定数据源子系统指定的数据的相关字段的规则；任务子系统可以用于批量执行数据源和规则组成的迁移逻辑；报表子系统可以用于对迁移前的数据和迁移后的数据进行一致性对比并给出对比结论。
35.在上述场景中，数据源子系统可以指定数据库和/或文件的地址、端口、帐号、密码、库名、db库类型、文件类型等相关字段；检测子系统可以检测规则集子系统中的数据规则和数据源子系统中的数据有效性，包括执行目录校验、名称校验、字符集校验、分隔符校验、数据量校验等；规则集子系统可以指定数据源子系统指定的相关字段的规则集和迁移方法，以字段为单位，表示新旧数据表中相应字段的映射关系，可以包括新旧表名、索引、字段名、筛选条件、规则等，其中，规则可以包括：平移、映射、截取、补位、运算、转换等；任务子系统可以批量执行数据源和规则组成的迁移逻辑，通过选择数据源子系统中的数据源和规则集子系统中的规则集，同时设定错误阈值，满足该错误阈值的规则的迁移逻辑即时停止；报表子系统可以对迁移前的数据和迁移后的数据的一致性对比结果给出结论，包括：按表
维度的统计数据、按规则(字段)维度的统计数据、错误详情等。
36.具体地，在上述场景中，数据源子系统可以连接多个异构数据源，比如，文本和数据库，用于接收多个异构数据源产生的待处理数据；数据源子系统可以连接规则集子系统，以对数据源子系统接收的待处理数据按照规则进行分类。规则集子系统按照待处理数据的来源方式，对待处理数据进行分类，每个异构数据源的任一目标字段(或数据项)均设定规则，每个异构数据源下的目标字段的规则可以相同，也可以完全不同。任务子系统可以将每个带有规则的待处理数据按照任务执行任务聚合操作，人物子系统可以包括任务执行器，可以通过任务执行器批量执行数据源和规则组成的迁移逻辑。
37.在上述场景中，根据报表操作，报表子系统可以输出每个任务对应的数据表的标准化报表结果，该标准化报表结果可以包括每个任务对应的数据的一致性对比结果，该一致性对比结果可以用于反映对应任务的数据的迁移结果，也即，迁移成功或迁移失败。因此，可以根据一致性对比结果反映的迁移结果来确定金融系统的安全性，也即，迁移成功，则可以说明金融系统的安全性较高，迁移失败，则可以说明金融系统的安全性较低。
38.结合上述场景，下面以具体地实施例对本技术的技术方案以及本技术的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本技术的实施例进行描述。
39.本技术提供一种数据处理方法。图2为本技术实施例提供的数据处理方法的流程图，如图2所示，该方法包括以下步骤：
40.s201：获取异构数据源中的待处理数据。
41.在该步骤中，异构数据源可以为多个，多个异构数据源可以具有不同的结构，可以包括不同的数据呈现类型，比如，文件数据源的待处理数据的数据呈现类型为文本类型，数据库数据源的待处理数据的数据呈现类型为数据库类型等。可选地，不同类型的待处理数据可以具有不同的迁移方式和对比方式。其中，异构数据源至少包括一个，异构数据源也可以称为金融数据源。
42.可选地，异构数据源具有存储数据的功能，因此，不失为一般性，可以认为，在本技术实施例中，异构数据源可以包括文本数据源和数据库数据源，文本数据源可以包括txt类型、csv类型等，数据库数据源可以包括mysql类型、gp类型、hive类型等。
43.可选地，多个异构数据源在产生金融数据后，可以通过分布式网络与测试系统通信，由于多个异构数据源的结构不同，因此，在本技术实施例中，可以将多个异构数据源称为分布式多源异构数据源。则图1中的数据源子系统可以用于接收分布式多源异构数据源产生的待处理数据(或称为金融数据)。
44.可选地，待处理数据可以为文件中存储的数据和/或数据库中存储的数据，其中，文件类型和/或数据库类型可以指定。
45.可选地，可以根据预设周期进行周期性地获取异构数据源中的待处理数据。
46.s202：按照预设规则，对待处理数据的目标字段进行迁移处理，得到迁移数据。
47.在该步骤中，待处理数据中的目标字段可以预先指定，该目标字段可以是待处理数据中的某一个或者多个字段，也可以是待处理数据中的每一个字段。预设规则可以包括平移、映射、截取、补位、运算、转换等，可以在这些规则中选择某一个对待处理数据的目标
字段进行迁移处理，从而得到迁移数据。
48.s203：将待处理数据与迁移数据进行对比处理，得到对比结果。
49.在该步骤中，对比结果用于确定待处理数据是否与迁移数据一致。
50.具体地，在得到迁移数据之后，可以将待处理数据与迁移数据进行一致性对比，得到待处理数据与迁移数据的一致性对比结果，该对比结果可以包括待处理数据是否迁移成功的结论，若待处理数据与迁移数据一致，则可以说明待处理数据迁移成功，若待处理数据与迁移数据不一致，则可以说明待处理数据未迁移成功。
51.具体地，若待处理数据与迁移数据一致，则也可以确定金融系统的安全性较高，相应的，若待处理数据与迁移数据不一致，则可以确定金融系统的安全性较低。
52.本实施例提供的数据处理方法，通过在获取到异构数据源中的待处理数据之后，对待处理数据按照预设规则进行迁移处理，在得到迁移数据之后，将迁移数据和待处理数据进行一致性对比处理，从而确定待处理数据和迁移数据的一致性对比结果，这样就可以根据一致性对比结果确定金融系统的安全性。
53.在一种实施例中，按照预设规则，对待处理数据的目标字段进行迁移处理，得到迁移数据，包括：按照预设规则，对待处理数据的目标字段进行规则配置处理，得到规则数据；按照预设任务，对规则数据进行聚合处理，得到迁移数据。
54.在该方案中，迁移处理可以包括规则配置处理和聚合处理。待处理数据中的目标字段也可以为待处理数据的目标数据项。可以在平移、映射、截取、补位、运算、转换等规则中选择一个规则，对待处理数据中的目标字段进行规则配置处理，得到规则数据，比如，对目标字段进行平移配置，得到规则数据为对应的平移字段，或，对目标字段进行转换配置，得到规则数据为对应的转换字段，如图3所示。可选地，每个目标字段可以对应一个规则，一个规则可以对应多个目标字段。
55.图3为本技术实施例提供的规则类型及迁移逻辑示意图，在图3中，规则集可以包括平移、映射、截取、补位、运算、转换，待处理数据可以包括数据源1数据项1，数据源1数据项2，数据源2数据项1，数据源3数据项1，数据源5数据项1，
…
，数据源n数据项x。在规则集中为待处理数据中的每个数据项选择一个规则进行规则配置处理后，可以得到对应的规则数据，这些规则数据可以包括：对数据源1数据项1进行补位配置之后得到的目标源1数据项1，对数据源1数据项2进行映射配置之后得到的目标源1数据项2，对数据源2数据项1进行转换配置之后得到的目标源3数据项1，对数据源3数据项1进行平移配置之后得到的目标源3数据项2，对数据源5数据项1进行平移配置之后得到的目标源5数据项1，
…
，对数据源n数据项x进行对应规则(比如转换)配置之后得到的目标源n数据项x。
56.在上述方案中，得到规则数据之后，为了可以提高数据处理效率，可以设定多个任务，将规则数据按照任务进行分组，得到多个分组之后，可以将多个分组的规则数据进行聚合处理，得到迁移数据。预设任务可以为设定的多个任务中的一个或多个。
57.具体地，每个任务可以包括一个或多个异构数据源中的数据项、一个或多个规则，如图4所示。可选地，每个分组的规则数据可以对应一个或多个任务，每个任务可以对应一个或多个分组的规则数据。
58.图4为本技术实施例提供的任务类型及聚合逻辑示意图，在图4中，任务集可以包括多个任务，比如，任务1、任务2、任务3、任务4等，将规则数据按照任务进行分组，得到的多
个分组可以包括：数据源1中的数据项1和规则、数据项2和规则；数据源2中的数据项1和规则、数据项2和规则；数据源3中的数据项1和规则、数据项2和规则；
…
，数据源n中的数据项1和规则1、数据项2和规则2。将多个分组的规则数据按照任务进行聚合处理之后，可以生成迁移数据。该迁移数据可以包含在目标表中。
59.可选地，在图4中，在生成迁移数据的过程中，可以设定错误阈值对生成的迁移数据进行错误判定，该错误阈值可以代表每组规则数据的错误计量，对于每组规则数据，若满足该错误阈值，则该组规则数据停止迁移处理，此时开始排查当前出现的错误类型，若不满足该错误阈值，则继续下一组规则数据的迁移处理，直到每组规则数据都正确之后，停止迁移处理。
60.可选地，通过设定多个任务，对完成规则配置的待处理数据进行批量执行迁移处理，可以提高对待处理数据进行迁移的效率。
61.在一种实施例中，将待处理数据与迁移数据进行对比处理，得到对比结果，包括：按照预设索引在待处理数据中查找第一数据，并在迁移数据中查找第二数据；若待处理数据中存在第一数据，且迁移数据中存在第二数据，则对第一数据携带的第一规则和第二数据携带的第二规则进行对比，确定第一规则和第二规则是否相同；若第一规则和第二规则相同，则在对比结果中记录第一数据与第二数据一致。
62.在该方案中，待处理数据在进行迁移处理之后，得到的迁移数据与待处理数据对应，数据类型或者编号可以不变，因此，预设索引可以为待处理数据和迁移数据的编号、类型等，以预设索引为编号为例，按照编号在待处理数据中查找第一数据，并在迁移数据中查找第二数据，则第一数据和第二数据的编号相同。
63.在上述方案中，若可以找到第一数据和第二数据，则可以对第一数据和第二数据携带的规则进行对比，若相同，则在对比结果中记录第一数据和第二数据相同，然后继续在待处理数据和迁移数据中查找下一个第一数据和第二数据，并继续进行规则比较，直到比较完所有的数据，或确定第一数据和第二数据携带的规则不同。可选地，第一数据和第二数据均可以包括多个数据，比如，第一数据为待处理数据中的数据源1中的数据项1和数据项2，第二数据为迁移数据中的目标源1中的数据项1和数据项2，第一规则和第二规则均可以包括多个规则。
64.可选地，通过将待处理数据和迁移数据进行一致性对比，可以通过对比结果中记录的信息确定出是否对待处理数据迁移成功，从而可以验证金融系统的安全性。
65.在一种实施例中，还包括：若第一规则和第二规则不同，则遍历第一规则和第二规则中的每个规则；在对比结果中记录规则相同的第一数据和第二数据，以及第一数据的数量和第二数据的数量。
66.在该方案中，若确定第一数据和第二数据中的某个字段(数据项)携带的规则不同，则对第一数据和第二数据中携带的每个规则进行遍历比较，确定并记录规则相同的第一数据和第二数据和规则不同的第一数据和第二数据，以及记录规则相同的第一数据和第二数据的数量，和规则不同的第一数据和第二数据的数量。
67.可选地，通过将待处理数据和迁移数据进行一致性对比，可以通过对比结果中记录的信息确定出是否对待处理数据迁移成功，从而可以验证金融系统的安全性。
68.在一种实施例中，还包括：若待处理数据中不存在第一数据，和/或，迁移数据中不
存在第二数据，则在对比结果中记录相关信息，相关信息包括待处理数据中不存在第一数据，迁移数据中存在第二数据，或待处理数据中存在第一数据，迁移数据中不存在第二数据；或待处理数据中不存在第一数据，迁移数据中不存在第二数据。
69.在该方案中，在照预设索引在待处理数据中查找第一数据，并在迁移数据中查找第二数据时，若在待处理数据中未查找到第一数据，和/或，在迁移数据中未查找到第二数据，则可以将查找情况记录在对比结果中，以便于根据对比结果确定待处理数据的迁移情况。从而可以通过对比结果中记录的信息确定出是否对待处理数据迁移成功，从而可以验证金融系统的安全性。
70.在一种实施例中，按照预设索引在待处理数据中查找第一数据，并在迁移数据中查找第二数据，包括：生成包含迁移数据的迁移数据表；对预设规则进行分类处理，得到多个规则；采用多个规则对迁移数据表进行遍历，得到迁移数据表的数据大小值；若数据大小值小于预设值，则按照预设索引对迁移数据表和包含待处理数据的待处理数据表执行表间串行查找数据操作；若数据大小值大于或者等于预设值，则按照预设索引对迁移数据表和待处理数据表执行表间串行查找数据操作，并执行表内并行查找数据操作。
71.在该方案中，可以生成包含待处理数据的待处理数据表，以及生成包含迁移数据的迁移数据表。在待处理数据中查找第一数据，并在迁移数据中查找第二数据时，由于待处理数据和迁移数据存储在目标目录下的目标文件中，或者存储在目标数据库的目标表中，因此，可以首先加载并解析规则配置，然后针对待处理数据表，可以将按照预设规则将多个字段进行分类，然后与迁移数据表的相关字段进行查询遍历比对，然后获取迁移数据表的数据大小值，并与预设值进行比较，若迁移数据表的数据大小值小于预设值，则可以对迁移数据表和待处理数据表执行表间串行查找数据操作，若迁移数据表的数据大小值大于或者等于预设值，则可以对迁移数据表和待处理数据表执行表间串行查找数据操作，并执行表内并行查找数据操作，从而可以提高查找数据的效率，进一步可以提高对待处理数据和迁移数据进行一致性对比的效率。
72.可选地，若迁移数据表的数据大小值大于或者等于预设值，则还可以对迁移数据表和待处理数据表进行内容分块处理；然后计算出块数：查询整个表的总大小和总行数，块数＝总大小/预设值 1；然后确定出每块内容的数据行数：每块内容的数据行数＝总行数/块数；确定每块内容的范围：按照预设索引对每个表的数据进行排序，找出每块内容的边界点；最后按照块数读取每个表的数据。也可以按照块数对待处理数据和迁移数据进行一致性对比。其中，在进行内容分块处理时，可以根据数据源的系统的后台处理能力进行内容分块。可选地，对比结果中还可以包括待处理数据的分块方式，便于对相同分块方式的分块进行对比结果分析。
73.可选地，在对每个表对比完成之后，可以更新记录报告。
74.可选地，对比结果中还可以包括金融系统的安全风险值，该安全风险值可以用于表示对应分块的待处理数据对于金融系统的后台处理能力的风险大小。
75.在一种实施例中，获取异构数据源中的待处理数据之后，还包括：按照校验规则，对待处理数据进行校验处理。
76.在该方案中，异构数据源也可以称为金融数据源，产生的待处理数据也可以称为金融数据。需要注意的是，通常情况下，每个金融数据源在产生金融数据时，通常会定期产
生金融数据，这也是最常见的金融数据的产生方式，即金融数据按日产生或定期产生。在同一个金融数据源上产生的金融数据可称为标准化金融数据，这类金融数据可以直接用于金融系统的标准化迁移和一致性对比，不用做任何处理。
77.然而，对于非标准化金融数据，即某个金融数据源某次产生部分金融数据或错误金融数据。该某次产生，是指在某个预设时间段内，并没有在同一个金融数据源出现产生金融数据的流程，而仅仅执行了产生操作，但产生很少的金融数据或者没有产生金融数据或产生错误金融数据。通常，这类金融数据是不完整的，甚至有可能是无效的，无法用于金融系统的标准化迁移和一致性对比，甚至，某些情况下，会被金融系统判定为数据异常。并且发明人发现，这种情况在实际中时有发生，并且符合实际情况，应当纳入标准化迁移和一致性对比的范畴。因此，可以对待处理数据进行校验处理，识别出待处理数据中的无效数据。
78.因此，可以按照校验规则，筛选出待处理数据中的有效数据，后续对有效数据进行迁移处理，并与迁移数据执行一致性对比，可以减少数据处理量，提高数据的迁移效率和对比效率，并可以提高对比结果的准确率。
79.具体地，对待处理数据进行校验处理可以按照图5所示的示意图执行，图5为本技术实施例提供的对数据进行校验的示意图，如图5所示，在获取到待处理数据之后，可以先对待处理数据的目录进行校验，若待处理数据的目录不为空，则对待处理数据的名称进行校验，若待处理数据的名称合法，则对待处理数据的字符集进行校验，若待处理数据的字符集与预设字符集匹配，则对待处理数据的分隔符进行校验，若待处理数据的分隔符合法，则可以对待处理数据的数据量进行校验，若待处理数据的数据量满足预设数据量，则得到校验结果为待处理数据为有效数据。
80.可选地，在对待处理数据进行校验处理时，还可以筛选掉目录为空的数据、筛选掉名称不合法的数据、筛选掉字符集不匹配的数据、筛选掉分隔符不合法的数据，从而得到有效数据。
81.可选地，可以对待处理数据按照每一个字段进行校验处理。
82.从总体上来说，本实施例提供的数据处理方法，可以对分布式异构数据源在不同情况下产生的金融数据进行完整的迁移和一致性对比，从而提高了金融系统的安全性和数据处理效率。
83.本技术实施例还提供一种数据处理装置。图6为本技术实施例提供的一种数据处理装置的结构示意图，如图6所示，该数据处理装置600包括：
84.获取模块601，用于获取异构数据源中的待处理数据；
85.迁移模块602，用于按照预设规则，对待处理数据的目标字段进行迁移处理，得到迁移数据；
86.对比模块603，用于将待处理数据与迁移数据进行对比处理，得到对比结果，对比结果用于确定待处理数据是否与迁移数据一致。
87.可选的，迁移模块602在按照预设规则，对待处理数据的目标字段进行迁移处理，得到迁移数据时，可以具体用于：按照预设规则，对待处理数据的目标字段进行规则配置处理，得到规则数据；按照预设任务，对规则数据进行聚合处理，得到迁移数据。
88.可选的，对比模块603在将待处理数据与迁移数据进行对比处理，得到对比结果时，可以具体用于：按照预设索引在待处理数据中查找第一数据，并在迁移数据中查找第二
数据；若待处理数据中存在第一数据，且迁移数据中存在第二数据，则对第一数据携带的第一规则和第二数据携带的第二规则进行对比，确定第一规则和第二规则是否相同；若第一规则和第二规则相同，则在对比结果中记录第一数据与第二数据一致。
89.可选的，该数据处理装置600还包括第一处理模块(未示出)，该第一处理模块可以具体用于：若第一规则和第二规则不同，则遍历第一规则和第二规则中的每个规则；在对比结果中记录规则相同的第一数据和第二数据，以及第一数据的数量和第二数据的数量。
90.可选的，该数据处理装置600还包括第二处理模块(未示出)，该第二处理模块可以具体用于：若待处理数据中不存在第一数据，和/或，迁移数据中不存在第二数据，则在对比结果中记录相关信息，相关信息包括待处理数据中不存在第一数据，迁移数据中存在第二数据，或待处理数据中存在第一数据，迁移数据中不存在第二数据；或待处理数据中不存在第一数据，迁移数据中不存在第二数据。
91.可选的，对比模块603在按照预设索引在待处理数据中查找第一数据，并在迁移数据中查找第二数据时，可以具体用于：生成包含迁移数据的迁移数据表；对预设规则进行分类处理，得到多个规则；采用多个规则对迁移数据表进行遍历，得到迁移数据表的数据大小值；若数据大小值小于预设值，则按照预设索引对迁移数据表和包含待处理数据的待处理数据表执行表间串行查找数据操作；若数据大小值大于或者等于预设值，则按照预设索引对迁移数据表和待处理数据表执行表间串行查找数据操作，并执行表内并行查找数据操作。
92.可选的，该数据处理装置600还包括校验模块(未示出)，该校验模块可以具体用于：在获取异构数据源中的待处理数据之后，按照校验规则，对待处理数据进行校验处理。
93.本实施例提供的数据处理装置，用于执行前述方法实施例中的数据处理方法的技术方案，其实现原理和技术效果类似，在此不再赘述。
94.本技术实施例还提供一种电子设备。图7为本技术实施例提供的一种电子设备的结构示意图，如图7所示，该电子设备700包括：
95.处理器711，与处理器711通信连接的存储器712，以及交互接口713；
96.存储器712用于存储处理器711可执行的计算机执行指令；
97.其中，处理器711配置为经由执行存储器712存储的计算机执行指令，以实现上述数据处理方法的技术方案。
98.在上述电子设备700中，存储器712，处理器711，以及交互接口713之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可以通过一条或者多条通信总线或信号线实现电性连接，如可以通过总线连接。存储器712中存储有实现数据处理方法的计算机执行指令，包括至少一个可以软件或固件的形式存储于存储器中的软件功能模块，处理器711通过运行存储在存储器712内的软件程序以及模块，从而执行各种功能应用以及数据处理。
99.存储器可以是，但不限于，随机存取存储器(random access memory，简称：ram)，只读存储器(read only memory，简称：rom)，可编程只读存储器(programmable read-only memory，简称：prom)，可擦除只读存储器(erasable programmable read-only memory，简称：eprom)，电可擦除只读存储器(electric erasable programmable read-only memory，简称：eeprom)等。其中，存储器用于存储程序，处理器在接收到执行指令后，执行程序。进一
步地，上述存储器内的软件程序以及模块还可包括操作系统，其可包括各种用于管理系统任务(例如内存管理、存储设备控制、电源管理等)的软件组件和/或驱动，并可与各种硬件或软件组件相互通信，从而提供其他软件组件的运行环境。
100.处理器可以是一种集成电路芯片，具有信号的处理能力。上述的处理器可以是通用处理器，包括中央处理器(central processing unit，简称：cpu)、网络处理器(network processor，简称：np)等。可以实现或者执行本技术实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
101.本技术实施例还提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机执行指令，计算机执行指令被处理器执行时用于实现前述方法实施例中提供的数据处理方法的技术方案。
102.本技术实施例还提供一种计算机程序产品，包括计算机程序，计算机程序被处理器执行时用于实现前述方法实施例中提供的数据处理方法的技术方案。
103.本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本技术的其它实施方案。本技术旨在涵盖本技术的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本技术的一般性原理并包括本技术未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本技术的真正范围和精神由本技术的权利要求书指出。
104.应当理解的是，本技术并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本技术的范围仅由所附的权利要求书来限制。