数据迁移方法、装置、电子设备及计算机可读存储介质与流程

1.本技术涉及数据处理技术领域，具体而言，本技术涉及一种数据迁移方法、装置、电子设备及计算机可读存储介质。


背景技术：

2.随着互联网行业的迅速发展，互联网业务的数据库中通常存储着海量数据，而海量数据通常需要在数据库之间进行迁移等处理操作，例如两个融合项目之间的数据迁移操作。例如，作为数据库中重要的资源，随着数据库系统的升级和重构，数据结构发生变化的同时，数据也需要从源系统迁移至目标系统。相关技术中，数据库之间的数据迁移操作较为繁琐，通常需要根据具体业务开发不同的迁移脚本，例如，数据库连接、数据查询数据处理、并发控制、数据回放、失败处理等机制，均需要在迁移脚本代码中人工编写，由此导致实施数据迁移操作的人工成本过高，数据迁移的效率较低。


技术实现要素：

3.本技术的目的旨在至少能解决上述的技术缺陷之一，特别是迁移效率低的技术缺陷。
4.根据本技术的一个方面，提供了一种数据迁移方法，该方法包括：获取数据迁移任务信息，所述数据迁移任务信息包括数据迁移任务对应的迁移参数；
5.基于预先配置的处理脚本以及所述迁移参数，对所述待迁移数据进行预处理操作；
6.将所述预处理操作后的所述待迁移数据迁移至目标数据系统。
7.可选地，所述对所述待迁移数据进行预处理操作，包括：
8.对待迁移数据进行第一预处理操作，所述第一预处理操作包括以下至少一项：对所述检查和/或更正错误数据，根据所述迁移参数删除和/或合并对应的数据；
9.对待迁移数据进行第二预处理操作，所述第二预处理操作包括：根据所述迁移参数，将所述待迁移数据拆分为对应数量的子任务，并将各个子任务对应的待迁移数据分别存储至缓存数据库。
10.可选地，在将所述预处理操作后的所述待迁移数据迁移至目标数据系统之前，所述方法还包括：
11.从所述缓存数据库中的所述待迁移数据中，获取测试数据；
12.基于所述测试数据执行迁移测试操作，所述迁移测试操作包括将所述测试数据迁移至所述目标数据系统。
13.可选地，所述数据迁移任务信息包括目标数据系统信息，
14.所述将预处理操作后的所述待迁移数据迁移至目标数据系统，包括：
15.若所述迁移测试操作执行成功，则根据所述迁移参数对应的划分方式，将所述待迁移数据划分为多个子数据模块；
16.根据所述目标数据系统信息，分别对各个所述子数据模块进行数据迁移。
17.可选地，所述根据所述目标数据系统信息，分别对各个所述子数据模块进行数据迁移，包括以下方式中的至少一种：
18.将所述数据子模块中的待迁移数据迁移至所述目标数据系统中的对应位置；
19.将所述数据子模块中的待迁移数据根据所述迁移参数中指示的数据处理方式进行处理，将处理后的数据迁移至所述目标数据系统中的对应位置。
20.可选地，所述方法还包括：
21.若所述待迁移数据迁移至所述目标数据系统时检测到异常指示，则通过以下方式中的一种方式进行处理：
22.跳过迁移异常的数据，继续执行数据迁移；
23.暂停数据迁移；
24.以及
25.对异常数据或所述待迁移数据重启数据迁移操作。
26.可选地，所述将所述预处理操作后的所述待迁移数据迁移至目标数据系统之后，所述方法还包括：
27.向用户反馈迁移执行结果信息；所述迁移执行结果信息包括以下至少一种：指示数据迁移是否成功的指示信息，迁移失败的失败数据信息。
28.根据本技术的另一个方面，提供了一种数据迁移装置，该装置包括：
29.信息获取模块，用于获取数据迁移任务信息，所述数据迁移任务信息包括数据迁移任务对应的迁移参数；
30.预处理模块，用于基于预先配置的处理脚本以及所述迁移参数，对所述待迁移数据进行预处理操作；
31.迁移模块，用于将所述预处理操作后的所述待迁移数据迁移至目标数据系统。
32.可选地，预处理模块，具体用于对待迁移数据进行第一预处理操作，所述第一预处理操作包括以下至少一项：对所述检查和/或更正错误数据，根据所述迁移参数删除和/或合并对应的数据；
33.对待迁移数据进行第二预处理操作，所述第二预处理操作包括：根据所述迁移参数，将所述待迁移数据拆分为对应数量的子任务，并将各个子任务对应的待迁移数据分别存储至缓存数据库。
34.可选地，该装置还包括测试模块，具体用于在将所述预处理操作后的所述待迁移数据迁移至目标数据系统之前从所述缓存数据库中的所述待迁移数据中，获取测试数据；
35.基于所述测试数据执行迁移测试操作，所述迁移测试操作包括将所述测试数据迁移至所述目标数据系统。
36.可选地，所述数据迁移任务信息包括目标数据系统信息，
37.迁移模块，具体用于若所述迁移测试操作执行成功，则根据所述迁移参数对应的划分方式，将所述待迁移数据划分为多个子数据模块；
38.根据所述目标数据系统信息，分别对各个所述子数据模块进行数据迁移。
39.可选地，迁移模块，具体用于将所述数据子模块中的待迁移数据迁移至所述目标数据系统中的对应位置；
40.将所述数据子模块中的待迁移数据根据所述迁移参数中指示的数据处理方式进行处理，将处理后的数据迁移至所述目标数据系统中的对应位置。
41.可选地，该装置还包括异常处理模块，具体用于若所述待迁移数据迁移至所述目标数据系统时检测到异常指示，则通过以下方式中的一种方式进行处理：
42.跳过迁移异常的数据，继续执行数据迁移；
43.暂停数据迁移；
44.以及
45.对异常数据或所述待迁移数据重启数据迁移操作。
46.可选地，该装置还包括反馈模块，具体用于在所述将所述预处理操作后的所述待迁移数据迁移至目标数据系统之后，向用户反馈迁移执行结果信息；所述迁移执行结果信息包括以下至少一种：指示数据迁移是否成功的指示信息，迁移失败的失败数据信息。
47.根据本技术的另一个方面，提供了一种电子设备，该电子设备包括：
48.一个或多个处理器；
49.存储器；
50.一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于：执行执行如本技术的第一方面所示的数据迁移方法。
51.例如，本技术的第三方面，提供了一种计算设备，包括：处理器、存储器、通信接口和通信总线，处理器、存储器和通信接口通过通信总线完成相互间的通信；
52.存储器用于存放至少一可执行指令，可执行指令使处理器执行如本技术的第一方面所示的数据迁移方法对应的操作。
53.根据本技术的再一个方面，提供了一种计算机可读存储介质，所述计算机程序被处理器执行时实现本技术的第一方面所示的数据迁移方法。
54.例如，本技术实施例的第四方面，提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该程序被处理器执行时实现执行如本技术的第一方面所示的数据迁移方法。
55.根据本技术的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述第一方面各种可选实现方式中提供的方法。
56.本技术提供的技术方案带来的有益效果是：
57.本技术实施例通过获取数据迁移任务对应的迁移参数，基于预先配置的处理脚本以及所述迁移参数，对所述待迁移数据进行预处理操作；并将所述预处理操作后的所述待迁移数据迁移至目标数据系统，在本技术实施例中，基于预先配置的处理脚本，对待迁移数据执行本技术实施例所涉及的预处理操作以及迁移操作，因此，对于各个数据迁移任务，在进行数据迁移时无需再编写或者建立数据迁移操作的脚本文件，仅需提供数据迁移任务对应的迁移参数，即可实现数据迁移过程所涉及的相应处理，因此实现了节约数据迁移的时间及人员成本，并提高了数据迁移的效率。本技术实施例解决了数据迁移时针对每个迁移任务单独编写大量脚本文件导致的效率低的技术问题。
附图说明
58.为了更清楚地说明本技术实施例中的技术方案，下面将对本技术实施例描述中所需要使用的附图作简单地介绍。
59.图1为本技术实施例提供的一种数据迁移方法的流程示意图之一；
60.图2为本技术实施例提供的一种数据迁移方法的流程示意图之二；
61.图3为本技术实施例提供的一种数据迁移装置的结构示意图；
62.图4为本技术实施例提供的一种数据迁移的电子设备的结构示意图。
具体实施方式
63.下面详细描述本技术的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本技术，而不能解释为对本技术的限制。
64.本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本技术的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
65.为使本技术的目的、技术方案和优点更加清楚，下面将结合附图对本技术实施方式作进一步地详细描述。
66.下面以具体地实施例对本技术的技术方案以及本技术的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本技术的实施例进行描述。
67.本技术实施例所提供的方法可以由计算机设备执行，计算机设备包括但不限于终端或服务器。上述服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、cdn、以及大数据和人工智能平台等基础云计算服务的云服务器。上述终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等，但并不局限于此。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本技术在此不做限制。
68.本技术实施例中提供了一种数据迁移方法，该方法的执行主体可以为具有数据迁移能力的服务器设备或者终端设备，也可以为集成在这些设备上的装置或芯片。如图1所示，该方法包括：
69.s101：获取数据迁移任务信息。其中，所述数据迁移任务信息包括数据迁移任务对应的迁移参数。
70.本技术实施例可应用于数据库领域，在数据迁移的过程中，将待迁移数据由源数据系统迁移至目标数据系统，例如以所述方法应用于异构数据库为例，在项目a与项目b的融合过程中，融合后项目的新系统的数据接口经过重新设计，与原系统差异较大，且新系统
和原系统在一段时间内需要并行，为保证两个系统的数据一致，需在两个系统之间进行数据迁移。
71.具体地，数据迁移任务包括将待迁移数据由源数据系统迁移至目标数据系统的任务；数据迁移任务信息可以包括执行数据迁移任务时涉及的相关信息，例如，数据迁移任务信息可以包括待迁移数据所属的源数据系统的信息、目标数据系统的信息，以及用于表征迁移处理方法的迁移参数，其中，迁移参数与每个数据迁移任务对应。
72.具体的，源数据系统的信息可以包括源数据库系统的ip(internet protocol address，互联网协议地址)地址，源数据系统端口号，待迁移数据对应的来源信息表(来源信息表中可以包括待迁移数据对应的来源字段)，执行数据迁移时单位时间段内所迁移的数据量的限流值，以及进行数据迁移的起始时间等。
73.目标数据系统的信息可以包括目标数据系统的ip地址、目标数据系统中待迁移数据的写入地址，以及执行数据迁移时单位时间段内所迁移的数据量的限流值等。
74.迁移参数可以包括数据迁移过程中涉及的预处理操作相关的参数信息，以及执行迁移操作过程中的相关参数信息。其中，预处理操作可以包括对待迁移数据进行数据删除、数据合并等处理操作，以及对待迁移数据进行转存等处理操作。执行迁移操作过程中可以涉及将待迁移数据拆分为子数据模块以及对待迁移数据进行运算等处理操作，因此，迁移参数可以包括上述预处理操作以及执行迁移操作相关的参数信息。
75.并且，迁移参数可以包括简单的数字、字母、或者文字等形式，还可以包括脚本代码或者脚本文件的形式。
76.s102：基于预先配置的处理脚本以及所述迁移参数，对所述待迁移数据进行预处理操作。
77.预先配置的处理脚本可以包括用于实现数据迁移过程所涉及的各个处理功能的脚本或者脚本模块，所述脚本或脚本模块为预先配置的；例如，以数据连接处理功能为例，其脚本或脚本模块在执行时，可实现连接源数据系统或者连接目标数据系统的处理功能；或者，再以处理数据迁移失败的处理功能为例，其脚本或脚本模块在执行时，可实现重新迁移等失败处理的处理功能。
78.因此，本技术实施例通过预先配置的处理脚本，可以实现数据迁移过程中的数据连接、并发控制、数据回放、数据迁移失败处理、待迁移数据预处理、数据迁移处理等数据迁移过程中涉及的处理操作。针对每个数据迁移任务，可以基于本技术实施例所涉及的预先配置的处理脚本，并依据各个数据迁移任务对应的迁移参数，对待迁移数据执行预处理操作以及迁移操作，这样，对于各个数据迁移任务，在进行数据迁移时，无需针对每个数据迁移任务编写相关处理脚本，从而提高了迁移效率。
79.另外，预处理操作可以包括在执行数据迁移之前，对待迁移数据进行的处理操作，例如预处理操作包括第一预处理操作和/或第二预处理操作。
80.其中，第一预处理操作可以包括根据实际场景对数据的要求，对待迁移数据执行的处理操作，例如，在实际场景中，第一预处理操作可以为数据清洗、数据加工、数据转换等操作。
81.第二预处理操作可以包括根据源数据系统或者目标数据系统的操作要求对待迁移数据执行的处理操作。例如，第二预处理操作可以包括对待迁移数据进行转存的处理操
作。
82.s103：将所述预处理操作后的所述待迁移数据迁移至目标数据系统。
83.对所述待迁移数据进行预处理后，将其写入至目标数据系统，完成数据迁移；这样，迁移过程中基于预先配置的处理脚本，无需再次编写，提升处理效率。
84.本技术实施例中，通过获取数据迁移任务对应的迁移参数，基于预先配置的处理脚本以及所述迁移参数，对所述待迁移数据进行预处理操作；并将所述预处理操作后的所述待迁移数据迁移至目标数据系统，完成数据迁移；这样，基于预先配置的处理脚本，对待迁移数据执行预处理操作以及迁移操作，对于各个数据迁移任务，在进行数据迁移时无需再编写或者建立执行数据迁移操作的脚本文件，仅需提供数据迁移任务对应的迁移参数，即可实现数据迁移过程所涉及的相应处理功能，因此降低了数据迁移的时间成本及人工成本，并提高了数据迁移的效率。本技术实施例解决了相关技术中，数据迁移操作效率较低的技术问题。
85.在本技术的一个实施例中，所述对所述待迁移数据进行预处理操作，包括：
86.对待迁移数据进行第一预处理操作，所述第一预处理操作包括以下至少一项：对所述检查和/或更正错误数据，根据所述迁移参数删除和/或合并对应的数据；
87.对待迁移数据进行第二预处理操作，所述第二预处理操作包括：根据所述迁移参数，将所述待迁移数据拆分为对应数量的子任务，并将各个子任务对应的待迁移数据分别存储至缓存数据库。
88.具体的，预处理操作可以包括第一预处理操作以及第二预处理操作。
89.其中，第一预处理操作可以包括根据实际场景对数据的要求，对待迁移数据执行的处理操作，具体的，第一预处理操作可以包括检查和/或更正错误数据、对数据进行合并、删除等预处理操作；例如，在实际场景中，源数据系统中的待迁移数据中的用户基本信息包括用户的“姓氏”和“名字”两个数据字段，而在目标数据系统的查询和使用过程中，往往对“姓氏”和“名字”不单独查询或者使用，因此，根据该数据迁移业务对应的迁移参数中针对待迁移数据的预处理操作的参数设置，可以对上述待迁移数据中的“姓氏”字段和“名字”字段进行字段合并等预处理。
90.又如，在源数据系统中的待迁移数据中包括用户信息的“身高”及“体重”两个字段的数据，而目标数据系统中的用户信息中仅需要“身高”字段的数据，因此，在对用户信息数据进行数据迁移时，根据该数据迁移业务对应的迁移参数中针对待迁移数据的预处理操作的参数设置，可以执行删除用户信息中的“体重”字段的预处理。
91.第二预处理操作可以包括根据源数据系统或者目标数据系统的操作要求对待迁移数据执行的处理操作。具体的，第二预处理操作可以包括对待迁移数据进行转存的处理操作。
92.具体的，在数据迁移过程中，待迁移数据量较大，持续的数据迁移可能会对源数据系统的正常运行造成影响，因此，为减少数据迁移过程对源数据系统的影响，可以将待迁移数据进行转存处理。例如，可以将待迁移数据先存储至用于缓存数据的离线数据库。
93.其中，转存处理的处理方式可以依据每个数据迁移业务对应的迁移参数；例如，处理方式可以包括单次完成全部待迁移数据的转存以及将全部待迁移数据分为多个子任务进行转存。
94.可选地，将全部待迁移数据分为多个子任务进行转存时，可以根据待迁移数据中，数据所属的各个业务模块，对待迁移数据进行划分。例如，待迁移数据涉及3个业务模块的数据，可以将每个业务模块对应的待迁移数据作为一个子任务。
95.此外，还可以根据离线数据库的数据存储容量以及数据存储速度，对待迁移数据进行划分。例如，离线数据库的存储容量剩余为10％，则可以根据剩余的存储容量，计算下一个转存至离线数据库的子任务对应的待迁移数据的数据量。
96.本技术实施例中，通过对待迁移数据进行检查和/或更正错误数据、删除和/或合并对应的数据；以及根据所述迁移参数，将所述待迁移数据拆分为对应数量的子任务；并将各个子任务对应的待迁移数据分别存储至缓存数据库等预处理操作；通过上述操作，使待迁移数据满足目标数据系统的数据使用需求；以及将待迁移数据转存至离线数据库，从而减少数据迁移过程对源数据系统的影响。
97.在本技术的一个实施例中，在将所述预处理操作后的所述待迁移数据迁移至目标数据系统之前，所述方法还包括：
98.从所述缓存数据库中的所述待迁移数据中，获取测试数据；
99.基于所述测试数据执行迁移测试操作，所述迁移测试操作包括将所述测试数据迁移至所述目标数据系统。
100.具体的，为检测数据迁移能否顺利进行，以免在进行大量待迁移数据进行迁移时出现异常而影响迁移效率，浪费迁移时间，本技术实施例可以在将所述预处理操作后的所述待迁移数据迁移至目标数据系统之前，先以部分数据作为测试数据进行迁移测试操作，例如，可以获取全部待迁移数据的1％，作为测试数据，并将测试数据迁移至目标数据系统，以测试数据迁移能否执行成功。可以理解的是，1％仅作为示例，还可以获取全部待迁移数据的其他比例的数据作为测试数据。
101.本技术实施例中，通过从所述缓存数据库中的所述待迁移数据中，获取部分测试数据；基于所述测试数据执行迁移测试操作，以测试数据迁移能否成功执行，从而可以提前发现数据迁移过程中的问题，以避免对大量待迁移数据进行数据迁移时，若不能成功执行数据迁移而浪费较多的时间。
102.在本技术的一个实施例中，所述数据迁移任务信息包括目标数据系统信息，
103.所述将预处理操作后的所述待迁移数据迁移至目标数据系统，包括：
104.若所述迁移测试操作执行成功，则根据所述迁移参数对应的划分方式，将所述待迁移数据划分为多个子数据模块；
105.根据所述目标数据系统信息，分别对各个所述子数据模块进行数据迁移。
106.具体的，本技术实施例中，如果基于测试数据进行数据迁移测试时可以成功执行，则可以执行对剩余待迁移数据的迁移操作。在进行数据迁移时，为了能够及时发现数据迁移过程中出现的问题，以及缓解持续的数据迁移对目标数据系统造成的压力，避免由于目标系统的处理效率低而造成的待迁移数据堆积的情况，可以根据迁移参数对应的划分方式，将预处理后的待迁移数据划分为多个子数据模块，分别对各个所述子数据模块进行数据迁移。即将转存于离线数据库的待迁移数据划分为多个子数据模块。
107.从而通过这样的方式，一方面在对各个所述子数据模块进行数据迁移的过程中，能够及时发现每个子数据模块迁移过程中的问题，并及时处理，以免影响后续子数据模块
的数据迁移，另一方面，将待迁移数据划分为多个子数据模块进行迁移，每个子数据模块的数据量相对所有待迁移数据的数据量小，从而可以缓解目标数据系统的处理压力。
108.其中，划分方式可以根据待迁移数据所属的业务场景进行拆分，例如，在具体的针对用户信息数据进行迁移的业务场景中，待迁移数据可以包括用户基本信息数据、用户健康信息数据、用户就业信息数据等，那么可以根据用户信息所属的不同类型，将不同类型的数据分别划分为一个子数据模块，即，将用户基本信息数据、用户健康信息数据、用户就业信息数据各自对应的待迁移数据分别划分为一个子数据模块。
109.此外，划分方式还可以根据增量数据进行划分，例如，可以将预设时间周期内完成预处理操作的待迁移数据划分为一个子数据模块，如，将每分钟内完成预处理的待迁移数据划分为一个子数据模块，即，可以将每分钟内转存至离线数据库中的待迁移数据划分为一个子数据模块。
110.进一步的，可以根据所述目标数据系统信息，分别对各个所述子数据模块进行数据迁移。其中，目标数据系统信息可以包括目标数据系统的ip地址信息、端口信息，以及进行数据迁移时，单位时间内可以迁移的数据的最大数据量，即限流值，等信息。
111.需要说明的是，在本技术实施例中，由于构建了预先配置的处理脚本，因此，本技术实施例可以基于上述预先配置的处理脚本，根据目标数据系统信息，实现连接目标数据系统等处理，以及进一步实现数据迁移。
112.本技术实施例通过将所述待迁移数据划分为多个子数据模块，根据所述目标数据系统信息，分别对各个所述子数据模块进行数据迁移，从而，由于待迁移数据是划分为多个子数据模块进行迁移的，因此，在分别对每个子数据模块进行迁移时，若某个子数据模块的迁移过程中出现问题，则可以及时发现，并进行修复，从而不会影响数据迁移业务执行的效率。此外，将待迁移数据划分为多个子数据模块，分别每个子数据模块进行迁移的过程中，可以缓解持续的数据迁移对目标数据系统造成的压力，避免由于目标系统的处理效率低而造成的待迁移数据堆积的情况。
113.在本技术的一个实施例中，所述根据所述目标数据系统信息，分别对各个所述子数据模块进行数据迁移，包括以下方式中的至少一种：
114.将所述数据子模块中的待迁移数据迁移至所述目标数据系统中的对应位置；
115.将所述数据子模块中的待迁移数据根据所述迁移参数中指示的数据处理方式进行处理，将处理后的数据迁移至所述目标数据系统中的对应位置。
116.具体的，在本技术实施例中，根据各个业务场景的不同，每个数据迁移任务所对应的数据迁移方式也不同。
117.其中，数据迁移方式可以包括：将所述数据子模块中的待迁移数据直接迁移至目标位置，即，待迁移数据迁移至目标数据系统中的对应位置。
118.此外，数据迁移方式还可以包括：将数据子模块中的待迁移数据根据迁移参数中指示的数据处理方式进行处理，然后将处理后的数据迁移至目标数据系统中的对应位置。具体的，数据处理方式可以包括将待迁移数据根据迁移参数中指示的方式进行运算处理；例如，在实际应用场景中，待迁移数据中包括用户个人信息中的“身高”字段，以及“体重”字段，可以根据迁移参数中指示的运算方式，对用户的“身高”数据以及“体重”数据进行bmi(body mass index，身体质量指数)指数运算等等。然后，可以将处理后的数据迁移至所述
目标数据系统中的对应位置。
119.可选的，在本技术实施例中，每个迁移任务对应的迁移方式可以以脚本代码的形式包含于迁移参数中，因此，在进行数据迁移时，基于本技术所涉及的预先配置的处理脚本，并依据每个迁移任务对应的迁移参数，对待迁移数据进行数据迁移。
120.因此，本技术实施例通过基于预先配置的处理脚本，并根据迁移参数所对应的迁移方式，对待迁移数据进行迁移，
121.在本技术的一个实施例中，所述方法还包括：
122.若所述待迁移数据迁移至所述目标数据系统时检测到异常指示，则通过以下方式中的一种方式进行处理：
123.跳过迁移异常的数据，继续执行数据迁移；
124.暂停数据迁移；
125.以及
126.对异常数据或所述待迁移数据重启数据迁移操作。
127.具体的，在本技术实施例中，在数据迁移过程中若检测到异常指示，则可以执行异常处理。其中，异常指示可以包括多种形式，本身请实施例对此不做限定，作为一种可选方式，异常指示可以为弹出的异常指示信息对话框。
128.另外，上述针对异常的处理方式可以以脚本的形式包含于每个数据迁移任务的迁移参数中。
129.此外，如上述列举的异常处理方式可以基于本技术实施例所涉及的预先配置的处理脚本执行。从而，在本技术实施例中，当在数据迁移任务执行过程中检测到异常指示时，即可执行异常处理，从而无需针对每个数据迁移任务单独编写异常处理的脚本代码，从而提高了数据迁移的效率。
130.在本技术的一个实施例中，所述将所述预处理操作后的所述待迁移数据迁移至目标数据系统之后，所述方法还包括：
131.向用户反馈迁移执行结果信息；所述迁移执行结果信息包括以下至少一种：指示数据迁移是否成功的指示信息，迁移失败的失败数据信息。
132.具体的，指示数据迁移是否成功的指示信息可以包括：执行成功或者执行失败的指示信息，或者还可以包括成功执行数据迁移的数据的信息，例如，成功执行数据迁移的数据量等。迁移失败的失败数据信息可以包括迁移失败的数据量以及具体的迁移失败的数据等。
133.本技术实施例通过向用户反馈迁移执行结果，以使用户知晓数据迁移任务的执行情况。
134.下面结合图2对基于本身请的数据迁移方法的实际数据迁移流程进行说明。
135.对于任一数据迁移任务，可以先对该数据迁移任务创建任务实例，具体的，可以获取该数据迁移任务对应的源数据系统的相关配置，例如，源数据系统的相关配置可以包括源数据库系统的ip(internet protocol address，互联网协议地址)地址，源数据系统端口号，待迁移数据对应的来源表，以及待迁移数据对应的来源字段，进行数据迁移的数据的限流值，迁移数据的起始时间等。另外，还可以获取目标数据系统的相关配置，例如目标数据系统的相关配置可以包括目标数据系统的ip地址、目标数据系统中待迁移数据的写入地
址，以及进行数据迁移的数据的限流值等。此外，还可以获取针对每个数据迁移任务的迁移处理方法，该迁移处理方法可以为本技术上述实施例中所涉及的迁移参数，迁移参数用于描述迁移过程中的相关处理方法，具体可以包括数字参数、字母参数，以及通过脚本代码表示的参数。
136.然后，基于上述获取到的相关配置数据进行初始化，即，根据上述配置数据，从源数据系统获取待迁移数据，并以迁移参数对应的方式，对待迁移数据进行预处理，例如，预处理可以包括数据加工、清洗、转换等处理，以及将待迁移数据缓存于离线数据库的转存处理。
137.进一步的，可以先从离线数据库中获取一小部分测试数据进行迁移测试，如果基于测试数据的数据迁移可以成功执行，则可以根据迁移参数对应的划分方式，将待迁移数据划分为多个批次的子任务，即多个子数据模块，然后分别执行各个子任务的数据迁移，即对各个子任务中的待迁移数据进行数据迁移。
138.其中，迁移时可以根据迁移参数中对应的迁移方式执行迁移处理，例如，迁移方式可以包括将待迁移数据直接迁移至目标位置，或者将待迁移数据进行运算处理后迁移至目标位置等方式。并且，在数据迁移过程中，若出现迁移异常，则可以根据迁移参数中包含的异常处理方式进行处理，例如，异常处理方式可以包括：忽略错误继续执行数据迁移、暂停处理、回滚当前条数据、回滚待迁移数据等。
139.此外，在完成每个子任务的数据迁移后，可以显示子任务执行成功或者失败的提示信息，以及执行成功或者失败的数据的数据量，或者还可以显示是否重新执行的提示信息。
140.最后，当全部子任务执行完成，可以变更当前任务实例的状态为执行完成。
141.本技术实施例通过获取数据迁移任务对应的迁移参数，基于预先配置的处理脚本以及所述迁移参数，对所述待迁移数据进行预处理操作；并将所述预处理操作后的所述待迁移数据迁移至目标数据系统，从而，在本技术实施例中，由于预先配置了为待迁移数据进行数据迁移的各个环节处理操作的处理脚本，因此，对于各个数据迁移任务，在进行数据迁移时无需再编写或者建立数据迁移操作的脚本文件，仅需提供数据迁移任务对应的迁移参数，即可实现数据迁移过程所涉及的相应处理，因此实现了节约数据迁移的时间及人员成本，并提高了数据迁移的效率。
142.本技术实施例提供了一种数据迁移装置，如图3所示，该数据迁移装置30可以包括：信息获取模块301、预处理模块302以及迁移模块303，其中，
143.信息获取模块301，用于获取数据迁移任务信息，所述数据迁移任务信息包括数据迁移任务对应的迁移参数；
144.预处理模块302，用于基于预先配置的处理脚本以及所述迁移参数，对所述待迁移数据进行预处理操作；
145.迁移模块303，用于将所述预处理操作后的所述待迁移数据迁移至目标数据系统。
146.可选地，预处理模块，具体用于对待迁移数据进行第一预处理操作，所述第一预处理操作包括以下至少一项：对所述检查和/或更正错误数据，根据所述迁移参数删除和/或合并对应的数据；
147.对待迁移数据进行第二预处理操作，所述第二预处理操作包括：根据所述迁移参
数，将所述待迁移数据拆分为对应数量的子任务，并将各个子任务对应的待迁移数据分别存储至缓存数据库。
148.可选地，该装置还包括测试模块，具体用于在将所述预处理操作后的所述待迁移数据迁移至目标数据系统之前从所述缓存数据库中的所述待迁移数据中，获取测试数据；
149.基于所述测试数据执行迁移测试操作，所述迁移测试操作包括将所述测试数据迁移至所述目标数据系统。
150.可选地，所述数据迁移任务信息包括目标数据系统信息，
151.迁移模块，具体用于若所述迁移测试操作执行成功，则根据所述迁移参数对应的划分方式，将所述待迁移数据划分为多个子数据模块；
152.根据所述目标数据系统信息，分别对各个所述子数据模块进行数据迁移。
153.可选地，迁移模块，具体用于将所述数据子模块中的待迁移数据迁移至所述目标数据系统中的对应位置；
154.将所述数据子模块中的待迁移数据根据所述迁移参数中指示的数据处理方式进行处理，将处理后的数据迁移至所述目标数据系统中的对应位置。
155.可选地，该装置还包括异常处理模块，具体用于若所述待迁移数据迁移至所述目标数据系统时检测到异常指示，则通过以下方式中的一种方式进行处理：
156.跳过迁移异常的数据，继续执行数据迁移；
157.暂停数据迁移；
158.以及
159.对异常数据或所述待迁移数据重启数据迁移操作。
160.可选地，该装置还包括反馈模块，具体用于在所述将所述预处理操作后的所述待迁移数据迁移至目标数据系统之后，向用户反馈迁移执行结果信息；所述迁移执行结果信息包括以下至少一种：指示数据迁移是否成功的指示信息，迁移失败的失败数据信息。
161.本实施例的数据迁移装置可执行本技术上述实施例所示的数据迁移方法，其实现原理相类似，此处不再赘述。
162.本技术实施例通过获取数据迁移任务对应的迁移参数，基于预先配置的处理脚本以及所述迁移参数，对所述待迁移数据进行预处理操作；并将所述预处理操作后的所述待迁移数据迁移至目标数据系统，从而，在本技术实施例中，由于预先配置了为待迁移数据进行数据迁移的各个环节处理操作的处理脚本，因此，对于各个数据迁移任务，在进行数据迁移时无需再编写或者建立数据迁移操作的脚本文件，仅需提供数据迁移任务对应的迁移参数，即可实现数据迁移过程所涉及的相应处理，因此实现了节约数据迁移的时间及人员成本，并提高了数据迁移的效率。
163.本技术实施例中提供了一种电子设备，该电子设备包括：存储器和处理器；至少一个程序，存储于存储器中，用于被处理器执行时，与现有技术相比可实现：本技术实施例通过获取数据迁移任务对应的迁移参数，基于预先配置的处理脚本以及所述迁移参数，对所述待迁移数据进行预处理操作；并将所述预处理操作后的所述待迁移数据迁移至目标数据系统，从而，在本技术实施例中，由于预先配置了为待迁移数据进行数据迁移的各个环节处理操作的处理脚本，因此，对于各个数据迁移任务，在进行数据迁移时无需再编写或者建立数据迁移操作的脚本文件，仅需提供数据迁移任务对应的迁移参数，即可实现数据迁移过
程所涉及的相应处理，因此实现了节约数据迁移的时间及人员成本，并提高了数据迁移的效率。
164.在一个可选实施例中提供了一种电子设备，如图4所示，图4所示的电子设备4000包括：处理器4001和存储器4003。其中，处理器4001和存储器4003相连，如通过总线4002相连。可选地，电子设备4000还可以包括收发器4004，收发器4004可以用于该电子设备与其他电子设备之间的数据交互，如数据的发送和/或数据的接收等。需要说明的是，实际应用中收发器4004不限于一个，该电子设备4000的结构并不构成对本技术实施例的限定。
165.处理器4001可以是cpu(central processing unit，中央处理器)，通用处理器，dsp(digital signal processor，数据信号处理器)，asic(application specific integrated circuit，专用集成电路)，fpga(field programmable gate array，现场可编程门阵列)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本技术公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器4001也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，dsp和微处理器的组合等。
166.总线4002可包括一通路，在上述组件之间传送信息。总线4002可以是pci(peripheral component interconnect，外设部件互连标准)总线或eisa(extended industry standard architecture，扩展工业标准结构)总线等。总线4002可以分为地址总线、数据总线、控制总线等。为便于表示，图4中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
167.存储器4003可以是rom(read only memory，只读存储器)或可存储静态信息和指令的其他类型的静态存储设备，ram(random access memory，随机存取存储器)或者可存储信息和指令的其他类型的动态存储设备，也可以是eeprom(electrically erasable programmable read only memory，电可擦可编程只读存储器)、cd
‑
rom(compact disc read only memory，只读光盘)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。
168.存储器4003用于存储执行本技术方案的应用程序代码(计算机程序)，并由处理器4001来控制执行。处理器4001用于执行存储器4003中存储的应用程序代码，以实现前述方法实施例所示的内容。
169.其中，电子设备包括但不限于：移动电话、笔记本电脑、多媒体播放器、台式计算机等。
170.本技术实施例提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，当其在计算机上运行时，使得计算机可以执行前述方法实施例中相应内容。
171.本技术实施例通过获取数据迁移任务对应的迁移参数，基于预先配置的处理脚本以及所述迁移参数，对所述待迁移数据进行预处理操作；并将所述预处理操作后的所述待迁移数据迁移至目标数据系统，从而，在本技术实施例中，由于预先配置了为待迁移数据进行数据迁移的各个环节处理操作的处理脚本，因此，对于各个数据迁移任务，在进行数据迁移时无需再编写或者建立数据迁移操作的脚本文件，仅需提供数据迁移任务对应的迁移参
数，即可实现数据迁移过程所涉及的相应处理，因此实现了节约数据迁移的时间及人员成本，并提高了数据迁移的效率。
172.应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
173.以上所述仅是本发明的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。