数据迁移的处理方法、装置与计算机可读存储介质与流程

1.本发明涉及数据迁移领域，具体而言，涉及一种数据迁移的处理方法、装置与计算机可读存储介质。


背景技术：

2.随着客户量和交易量的不断攀升，过时的业务系统将成为限制业务发展的瓶颈。新旧两代系统不仅关联系统众多，数据迁移范围广、数据量大，同时由于不同时期建设，也使得新旧之间的数据模型差异大，对应关系也相当复杂。在新系统的上线中，需要在保证客户的实时交易不受影响的情况下，完成海量数据的迁移。
3.现有技术中，使用oracle提供的owb(oracle warehouse builder，oracle的数据仓库加载工具)产品组件进行数据迁移，可以从其他数据库经过清洗、转换，将数据加载到数据仓库中，然而采用owb产品组件无法实现实时数据迁移的要求。同时，通过记录发生数据变动的客户信息，根据所记录的客户信息通过源数据库的交易系统提供数据同步交易，根据数据同步交易通过目标数据库的交易系统进行数据实时同步，但是无法实现对海量数据的迁移。
4.因此，现有技术无法在实时交易系统不停止对外服务的情况下实现新旧系统切换和数据迁移。
5.针对上述的问题，目前尚未提出有效的解决方案。


技术实现要素：

6.本发明实施例提供了一种数据迁移的处理方法、装置与计算机可读存储介质，以至少解决现有技术中无法在实时交易系统不停止对外服务的情况下，实现新旧系统的切换和数据迁移的技术问题。
7.根据本发明实施例的一个方面，提供了一种数据迁移的处理方法，包括：获取迁移客户列表，其中，所述迁移客户列表至少包括迁移客户的账户信息；根据所述迁移客户列表发起锁定流程，其中，所述锁定流程至少包括：依次锁定客户信息平台、全局路由和源系统；根据所述迁移客户的账户信息将所述源系统导出的源数据经数据加工得到目标数据，并将所述目标数据导入目标系统，其中，所述目标数据为符合所述目标系统的数据模型结构的数据；根据所述迁移客户列表发起解锁定流程，其中，所述解锁定流程至少包括：依次解锁所述源系统、所述全局路由和所述客户信息平台。
8.可选地，获取迁移客户列表，包括：根据客户活跃度列表，从关联系统获取所述迁移客户列表，其中，所述客户活跃度列表包括客户以及与所述客户关联的活跃度。
9.可选地，在根据客户活跃度列表，从所述关联系统获取所述迁移客户列表之前，所述方法还包括：将未迁移客户列表发送至大数据平台进行未迁移客户的活跃度计算，得到计算结果；从所述大数据平台获取所述计算结果，并根据所述计算结果更新所述客户活跃度列表。
10.可选地，所述数据加工至少包括：数据移出、数据转换、数据核验以及数据导入，其中，所述数据移出为将所述源系统的源数据卸载出来，并将所述源数据传输到数据转换环境；所述数据转换为将所述源系统导出的所述源数据，按数据映射表中的转换关系转换成所述目标系统的所述目标数据；所述数据核验为所述目标数据与所述源数据进行数据准确性、数据一致性对比，并按照数据质量标准进行核验；所述数据导入为将核验后的所述目标数据以批量迁移或者在线迁移的方式加载到所述目标系统。
11.可选地，在根据所述迁移客户的账户信息将所述源系统导出的源数据经数据加工得到目标数据，并将所述目标数据导入目标系统的过程中，所述方法还包括：对数据迁移过程进行管理，和/或，对数据迁移过程进行监控。
12.可选地，对数据迁移过程进行管理包括以下至少之一：对迁移批次以及生成所述迁移批次的规则进行管理；配置任务调度程序所需要的运行参数，并对任务运行情况进行查询；对系统间的报文交互进行管理；对操作用户、角色权限、系统日志、用户登录/登出中的任意一个或者多个进行管理。
13.可选地，对数据迁移过程进行监控包括以下至少之一：对数据迁移过程中的迁移进度进行监控；对数据迁移过程中的迁移异常信息进行监控。
14.根据本发明实施例的另一个方面，提供了一种数据迁移的处理装置，包括：第一获取模块，用于获取迁移客户列表，其中，所述迁移客户列表至少包括迁移客户的账户信息；锁定模块，用于根据所述迁移客户列表发起锁定流程，其中，所述锁定流程至少包括：依次锁定客户信息平台、全局路由和源系统；迁移模块，用于根据所述迁移客户的账户信息将所述源系统导出的源数据经数据加工得到目标数据，并将所述目标数据导入目标系统，其中，所述目标数据为符合所述目标系统的数据模型结构的数据；解锁模块，用于根据所述迁移客户列表发起解锁定流程，其中，所述解锁定流程至少包括：依次解锁所述源系统、所述全局路由和所述客户信息平台。
15.根据本发明实施例的又一方面，还提供了一种计算机可读存储介质，包括：所述计算机可读存储介质包括存储的程序，其中，在所述程序运行时控制所述计算机可读存储介质所在设备执行任意一种所述的数据迁移的处理方法。
16.根据本发明实施例的再一方面，还提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行任意一种所述的数据迁移的处理方法。
17.在本发明实施例中，所述的数据迁移的处理方法中，首先，获取迁移客户列表，其中，所述迁移客户列表至少包括迁移客户的账号信息；然后，根据获取到的迁移客户列表发起锁定流程，之后，根据所述迁移客户的账户信息将所述源系统导出的源数据经数据加工得到目标数据，并将所述目标数据导入目标系统；最后，根据所述迁移客户列表发送解锁定流程，其中，所述锁定流程至少包括：依次锁定客户信息平台、全局路由和源系统，所述解锁定流程至少包括：依次解锁所述源系统、所述全局路由和所述客户信息平台。在本方案中，根据获取到的迁移客户列表发起锁定流程，再根据迁移客户的账户信息，对从源系统中导出的源数据进行加工得到目标数据，并将目标数据导入到目标系统中，最后，根迁移客户列表发送解锁定流程，即本方案通过锁定和解锁定过程保证了在数据迁移的过程中迁移客户状态的一致性以及数据的一致性，且本方案根据迁移客户列表发送锁定流程以及解锁定流程，实现了在实时交易系统不停止对外服务的情况下，对海量数据的迁移，从而解决了现有
技术中无法在实时交易系统不停止对外服务的情况下，实现新旧系统的切换和数据迁移的技术问题。
附图说明
18.此处所说明的附图用来提供对本发明的进一步理解，构成本技术的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
19.图1是根据本发明实施例的数据迁移的处理方法的流程图；
20.图2是根据本发明实施例的数据迁移系统的示意图；
21.图3是根据本发明实施例的迁移客户数据的流程图；
22.图4是根据本发明实施例的迁移任务调度的流程图；
23.图5是根据本发明实施例的数据迁移的处理装置的示意图。
具体实施方式
24.为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
25.需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
26.为了便于描述，以下对本技术实施例涉及的部分名词或术语进行说明：
27.数据迁移：把源系统中数据承载的业务和技术信息，平稳地迁移到目标系统上，并保证迁移前后的所有涉及客户服务数据的业务涵义不发生改变；
28.提前迁移：指在线前一次性迁移所有的数据；
29.增量迁移：指在提前一次性将存量数据迁移后，对切换过渡期间每日产生的增量数据，进行增量迁移，降低在线迁移压力；
30.在线迁移：对签约客户相关数据、非终态登记簿数据在线迁移至新系统(即目标系统)；
31.延迟迁移：指在切换过渡结束后，一次性迁移所有数据至新系统；
32.被动迁移：指在切换过渡期间，进行该户名、改实名证件、主副卡用户迁移等交易后，凭证归属客户发生了变化，且变换前后客户，一个在旧系统，一个已经迁移到新系统。此时出发被动迁移，获取待迁移客户列表，将待迁移客户形成迁移批次，优先进行迁移，导入新系统；
33.任务调度器：用于装载管控子系统生成的批次信息和调度客户数据；
34.任务执行器：针对迁移批次中的客户数据，进行导出、转换、核验和导入等处理。
35.根据本发明实施例，提供了一种数据迁移的处理方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
36.图1是根据本发明实施例的数据迁移的处理方法，如图1所示，该方法包括如下步骤：
37.步骤s102，获取迁移客户列表，其中，上述迁移客户列表至少包括迁移客户的账户信息；
38.步骤s104，根据上述迁移客户列表发起锁定流程，其中，上述锁定流程至少包括：依次锁定客户信息平台、全局路由和源系统；
39.步骤s106，根据上述迁移客户的账户信息将上述源系统导出的源数据经数据加工得到目标数据，并将上述目标数据导入目标系统，其中，上述目标数据为符合上述目标系统的数据模型结构的数据；
40.步骤s108，根据上述迁移客户列表发起解锁定流程，其中，上述解锁定流程至少包括：依次解锁上述源系统、上述全局路由和上述客户信息平台。
41.上述的数据迁移的处理方法中，首先，获取迁移客户列表，其中，上述迁移客户列表至少包括迁移客户的账号信息；然后，根据获取到的迁移客户列表发起锁定流程，之后，根据上述迁移客户的账户信息将上述源系统导出的源数据经数据加工得到目标数据，并将上述目标数据导入目标系统；最后，根据上述迁移客户列表发送解锁定流程，其中，上述锁定流程至少包括：依次锁定客户信息平台、全局路由和源系统，上述解锁定流程至少包括：依次解锁上述源系统、上述全局路由和上述客户信息平台。在本方案中，根据获取到的迁移客户列表发起锁定流程，再根据迁移客户的账户信息，对从源系统中导出的源数据进行加工得到目标数据，并将目标数据导入到目标系统中，最后，根迁移客户列表发送解锁定流程，即本方案通过锁定和解锁定过程保证了在数据迁移的过程中迁移客户状态的一致性以及数据的一致性，且本方案根据迁移客户列表发送锁定流程以及解锁定流程，实现了在实时交易系统不停止对外服务的情况下，对海量数据的迁移，从而解决了现有技术中无法在实时交易系统不停止对外服务的情况下，实现新旧系统的切换和数据迁移的技术问题。
42.在实际的应用过程中，在根据迁移客户列表发送解锁定流程之后，还可以将迁移客户的状态修改为“已迁移”。
43.本技术的一种实施例中，获取迁移客户列表，包括：根据客户活跃度列表，从关联系统获取上述迁移客户列表，其中，上述客户活跃度列表包括客户以及与上述客户关联的活跃度。在该实施例中，根据客户活跃度列表，从关联系统获取迁移客户列表，这样保证了可以较为合理地规划需要进行迁移的迁移客户，后续可以根据迁移客户列表发起锁定流程，进一步地实现了对迁移客户的批量迁移，进一步地保证了迁移的效率较高。
44.为了保证计算得到的未迁移客户的活跃度较为准确，以及进一步地保证后续可以根据未迁移客户的活跃度较为合理地规划需要进行迁移的迁移客户，本技术的另一种实施例中，在根据客户活跃度列表，从上述关联系统获取上述迁移客户列表之前，上述方法还包括：将未迁移客户列表发送至大数据平台进行未迁移客户的活跃度计算，得到计算结果；从
上述大数据平台获取上述计算结果，并根据上述计算结果更新上述客户活跃度列表。
45.在实际的应用过程中，可以由数据迁移系统定期生成未迁移客户列表，并将未迁移客户列发送至大数据平台，分析客户交易行为和账户情况，从而可以合理规划客户迁移窗口，具体步骤可以为：可以由关联系统获取存量客户账户对照关系，定期维护增量数据；定期由大数据平台获取未迁移客户列表进行活跃度计算；由大数据平台返回未迁移客户的活跃度的计算结果；根据客户活跃度列表，重新从关联系统获得客户迁移列表，从而每个客户拆分至每个迁移场景，具体的迁移方式可以为：提前迁移、在线迁移、增量迁移、延迟迁移和被动迁移。
46.另外，客户数据可以分类为静态数据和非静态数据，静态数据为旧系统中历史存储的供查询的数据，以客户维度访问效率低、数据量大、交易过程中使用频率低，采用以数据为维度(非客户维度)批量方式进行提前、切换后迁移，迁移时数据不做转换，按原数据类型进行迁移；非静态数据为数据初次存储后存在后续更新的操作，访问效率较高、数据量相对较小、交易过程中使用频率高，通过锁定的方式以客户为维度联机在线迁移与批量迁移方式迁移。以往的停业迁移以库表及数据记录为维度一对一迁移，联机在线迁移以客户为维度进行在线迁移，迁移降低迁移复杂性和减少客户锁定时长，提升迁移效率和客户体验，同时根据每位客户的客户活跃度形成迁移列表。
47.具体地，在实际的应用过程中，上述未迁移客户的活跃度可以为客户去办理业务的一个活跃时间段，后续可以根据客户所在的活跃时间段，对未迁移客户列表中未迁移客户进行分组，在对未迁移客户进行数据迁移的过程中，可以避开未迁移客户的活跃时间段，在除未迁移客户的活跃时间段其他的时间段进行数据迁移，即本方案充分考虑网联、银联对交易处理时长及交易成功率的敏感性，在交易高峰、日终批处理窗口降低迁移并发量，降低数据迁移对生产系统平稳运行的风险。
48.为了进一步地保证后续能够得到的较为准确的目标数据，以及进一步地保证后续迁移后的数据的一致性较高，本技术的又一种实施例中，上述数据加工至少包括：数据移出、数据转换、数据核验以及数据导入，其中，上述数据移出为将上述源系统的源数据卸载出来，并将上述源数据传输到数据转换环境；上述数据转换为将上述源系统导出的上述源数据，按数据映射表中的转换关系转换成上述目标系统的上述目标数据；上述数据核验为上述目标数据与上述源数据进行数据准确性、数据一致性对比，并按照数据质量标准进行核验；上述数据导入为将核验后的上述目标数据以批量迁移或者在线迁移的方式加载到上述目标系统。
49.本技术的再一种实施例中，在根据上述迁移客户的账户信息将上述源系统导出的源数据经数据加工得到目标数据，并将上述目标数据导入目标系统的过程中，上述方法还包括：对数据迁移过程进行管理，和/或，对数据迁移过程进行监控。在该实施例中，在将目标数据导入到目标系统的过程中，对数据迁移过程进行管理、或者对数据迁移过程进行监控、或者对数据迁移过程进行管理和监控，即本方案实现了对数据迁移的整个过程进行控制，还可以通过监控发现异常并及时对发现的异常进行处理。
50.在实际的应用过程中，在对数据进行迁移之后，还可以提供日报和查询功能，以便于了解数据迁移的情况。
51.为了进一步地保证数据迁移的过程能够较为稳定的执行，以及进一步地保证迁移
前后的所有数据的正确性，本技术的一种实施例中，对数据迁移过程进行管理包括以下至少之一：对迁移批次以及生成上述迁移批次的规则进行管理；配置任务调度程序所需要的运行参数，并对任务运行情况进行查询；对系统间的报文交互进行管理；对操作用户、角色权限、系统日志、用户登录/登出中的任意一个或者多个进行管理。
52.具体地，在迁移开始前，可以根据迁移场景以及迁移规则，生成迁移批次，并对迁移批次进行管理，同时对生成迁移批次的规则进行管理；对系统间的报文交互进行管理包括：与外系统进行交互时，本地报文组包后，调用协议转换wtc(weblogic tuxedo connector)协议转换接口，转成tuxedo协议报文，发送到目标系统，并接收目标系统应答，完成解包处理；外系统调用本系统服务时，调用数据迁移系统暴露给外系统的应用程序编程接口(application programming interface，api)，将tuxedo报文转换为http报文，并进行解包操作。
53.本技术的又一种实施例中，对数据迁移过程进行监控包括以下至少之一：对数据迁移过程中的迁移进度进行监控；对数据迁移过程中的迁移异常信息进行监控。在该实施例中，对数据迁移过程中的迁移进度和迁移异常信息进行监控，进一步地保证了能够较为及时地获取迁移过程中出现的异常，进一步地保证了能够较为及时地对出现的异常进行处理。
54.具体地，对数据迁移运行的全过程进行状态监控和展现，对异常情况要及时通过展现界面或短信进行告警提示，支持一定范围内数据的汇总及生成报表功能，处理过程：监控数据抓取接口，从数据库、文件、日志中抓取涉及监控相关指标的数据，送到监控数据处理接口；监控数据处理接口接到中间数据后，根据监控展现要求，对数据进行格式化处理，并送至表现层；表现层解析数据，展现监控指标关联的可视化界面。
55.本技术实施例还提供了一种数据迁移的处理装置，需要说明的是，本技术实施例的数据迁移的处理装置可以用于执行本技术实施例所提供的用于数据迁移的处理方法。以下对本技术实施例提供的数据迁移的处理装置进行介绍。
56.图5是根据本技术实施例的数据迁移的处理装置的示意图，如图5所示，该装置包括：
57.第一获取模块40，用于获取迁移客户列表，其中，上述迁移客户列表至少包括迁移客户的账户信息；
58.锁定模块42，连接至上述第一获取模块40，用于根据上述迁移客户列表发起锁定流程，其中，上述锁定流程至少包括：依次锁定客户信息平台、全局路由和源系统；
59.迁移模块44，连接至上述锁定模块42，用于根据上述迁移客户的账户信息将上述源系统导出的源数据经数据加工得到目标数据，并将上述目标数据导入目标系统，其中，上述目标数据为符合上述目标系统的数据模型结构的数据；
60.解锁模块46，连接至上述迁移模块44，用于根据上述迁移客户列表发起解锁定流程，其中，上述解锁定流程至少包括：依次解锁上述源系统、上述全局路由和上述客户信息平台。
61.上述的数据迁移的处理装置中，第一获取模块用于获取迁移客户列表，其中，上述迁移客户列表至少包括迁移客户的账户信息；锁定模块用于根据上述迁移客户列表发起锁定流程，其中，上述锁定流程至少包括：依次锁定客户信息平台、全局路由和源系统；迁移模
块用于根据上述迁移客户的账户信息将上述源系统导出的源数据经数据加工得到目标数据，并将上述目标数据导入目标系统，其中，上述目标数据为符合上述目标系统的数据模型结构的数据；解锁模块用于根据上述迁移客户列表发起解锁定流程，其中，上述解锁定流程至少包括：依次解锁上述源系统、上述全局路由和上述客户信息平台。在本方案中，根据获取到的迁移客户列表发起锁定流程，再根据迁移客户的账户信息，对从源系统中导出的源数据进行加工得到目标数据，并将目标数据导入到目标系统中，最后，根迁移客户列表发送解锁定流程，即本方案通过锁定和解锁定过程保证了在数据迁移的过程中迁移客户状态的一致性以及数据的一致性，且本方案根据迁移客户列表发送锁定流程以及解锁定流程，实现了在实时交易系统不停止对外服务的情况下，对海量数据的迁移，从而解决了现有技术中无法在实时交易系统不停止对外服务的情况下，实现新旧系统的切换和数据迁移的技术问题。
62.需要说明的是，在锁定过程中，需要对客户信息平台、全局路由、源系统分别进行锁定。可选地，客户信息平台主要进行查询客户信息、客户锁定状态变更以及锁定客户交易限制操作。全局路由进行查询迁移状态、客户锁定状态变更以及客户末笔交易时间查询功能。源系统进行介质状态变更以及锁定账户交易限制。而数据迁移系统进行客户与介质关系维护、客户锁定状态管理和锁定流程调度。考虑到在锁定过程中应将对客户交易的影响降到最低，因此在对这三个平台进行锁定、解锁定的过程中有顺序的要求。在锁定过程中先对客户信息平台进行客户锁定，再查询客户下所包含的介质，然后在全局路由中将客户的迁移状态变更为迁移中，最后在源系统中将介质锁定状态变更迁移中。完成锁定过程后进行数据的取数、转换及导入。
63.在解锁定过程中，首先对源系统进行解锁，再更新全局路由状态，最后对客户信息平台解锁定。在锁定的过程中最后对源系统进行锁定，在解锁定时最先对源系统进行解锁。可以在锁定过程中尽可能减少源系统锁定的时间，降低对客户交易的影响。
64.在实际的应用过程中，在根据迁移客户列表发送解锁定流程之后，还可以将迁移客户的状态修改为“已迁移”。
65.本技术的一种实施例中，上述第一获取模块包括获取子模块，用于根据客户活跃度列表，从关联系统获取上述迁移客户列表，其中，上述客户活跃度列表包括客户以及与上述客户关联的活跃度。在该实施例中，根据客户活跃度列表，从关联系统获取迁移客户列表，这样保证了可以较为合理地规划需要进行迁移的迁移客户，后续可以根据迁移客户列表发起锁定流程，进一步地实现了对迁移客户的批量迁移，进一步地保证了迁移的效率较高。
66.为了保证计算得到的未迁移客户的活跃度较为准确，以及进一步地保证后续可以根据未迁移客户的活跃度较为合理地规划需要进行迁移的迁移客户，本技术的另一种实施例中，上述处理装置还包括计算模块和第二获取模块，其中，上述计算模块用于在根据客户活跃度列表，从上述关联系统获取上述迁移客户列表之前，将未迁移客户列表发送至大数据平台进行未迁移客户的活跃度计算，得到计算结果；上述第二获取模块用于从上述大数据平台获取上述计算结果，并根据上述计算结果更新上述客户活跃度列表。
67.在实际的应用过程中，可以由数据迁移系统定期生成未迁移客户列表，并将未迁移客户列发送至大数据平台，分析客户交易行为和账户情况，从而可以合理规划客户迁移
窗口，具体步骤可以为：可以由关联系统获取存量客户账户对照关系，定期维护增量数据；定期由大数据平台获取未迁移客户列表进行活跃度计算；由大数据平台返回未迁移客户的活跃度的计算结果；根据客户活跃度列表，重新从关联系统获得客户迁移列表，从而每个客户拆分至每个迁移场景，具体的迁移方式可以为：提前迁移、在线迁移、增量迁移、延迟迁移和被动迁移。
68.另外，客户数据可以分类为静态数据和非静态数据，静态数据为旧系统中历史存储的供查询的数据，以客户维度访问效率低、数据量大、交易过程中使用频率低，采用以数据为维度(非客户维度)批量方式进行提前、切换后迁移，迁移时数据不做转换，按原数据类型进行迁移；非静态数据为数据初次存储后存在后续更新的操作，访问效率较高、数据量相对较小、交易过程中使用频率高，通过锁定的方式以客户为维度联机在线迁移与批量迁移方式迁移。以往的停业迁移以库表及数据记录为维度一对一迁移，联机在线迁移以客户为维度进行在线迁移，迁移降低迁移复杂性和减少客户锁定时长，提升迁移效率和客户体验，同时根据每位客户的客户活跃度形成迁移列表。
69.具体地，在实际的应用过程中，上述未迁移客户的活跃度可以为客户去办理业务的一个活跃时间段，后续可以根据客户所在的活跃时间段，对未迁移客户列表中未迁移客户进行分组，在对未迁移客户进行数据迁移的过程中，可以避开未迁移客户的活跃时间段，在除未迁移客户的活跃时间段其他的时间段进行数据迁移，即本方案充分考虑网联、银联对交易处理时长及交易成功率的敏感性，在交易高峰、日终批处理窗口降低迁移并发量，降低数据迁移对生产系统平稳运行的风险。
70.为了进一步地保证后续能够得到的较为准确的目标数据，以及进一步地保证后续迁移后的数据的一致性较高，本技术的又一种实施例中，上述数据加工至少包括：数据移出、数据转换、数据核验以及数据导入，其中，上述数据移出为将上述源系统的源数据卸载出来，并将上述源数据传输到数据转换环境；上述数据转换为将上述源系统导出的上述源数据，按数据映射表中的转换关系转换成上述目标系统的上述目标数据；上述数据核验为上述目标数据与上述源数据进行数据准确性、数据一致性对比，并按照数据质量标准进行核验；上述数据导入为将核验后的上述目标数据以批量迁移或者在线迁移的方式加载到上述目标系统。
71.本技术的再一种实施例中，上述处理装置还包括管理模块，用于在根据上述迁移客户的账户信息将上述源系统导出的源数据经数据加工得到目标数据，并将上述目标数据导入目标系统的过程中，对数据迁移过程进行管理，和/或，对数据迁移过程进行监控。在该实施例中，在将目标数据导入到目标系统的过程中，对数据迁移过程进行管理、或者对数据迁移过程进行监控、或者对数据迁移过程进行管理和监控，即本方案实现了对数据迁移的整个过程进行控制，还可以通过监控发现异常并及时对发现的异常进行处理。
72.在实际的应用过程中，在对数据进行迁移之后，还可以提供日报和查询功能，以便于了解数据迁移的情况。
73.为了进一步地保证数据迁移的过程能够较为稳定的执行，以及进一步地保证迁移前后的所有数据的正确性，本技术的一种实施例中，上述管理模块包括以下至少之一：第一管理子模块、配置子模块、第二管理子模块、第三管理子模块，其中，上述第一管理子模块用于对迁移批次以及生成上述迁移批次的规则进行管理；上述配置子模块用于配置任务调度
程序所需要的运行参数，并对任务运行情况进行查询；上述第二管理子模块用于对系统间的报文交互进行管理；上述第三管理子模块用于对操作用户、角色权限、系统日志、用户登录/登出中的任意一个或者多个进行管理。
74.具体地，在迁移开始前，可以根据迁移场景以及迁移规则，生成迁移批次，并对迁移批次进行管理，同时对生成迁移批次的规则进行管理；对系统间的报文交互进行管理包括：与外系统进行交互时，本地报文组包后，调用协议转换wtc(weblogic tuxedo connector)协议转换接口，转成tuxedo协议报文，发送到目标系统，并接收目标系统应答，完成解包处理；外系统调用本系统服务时，调用数据迁移系统暴露给外系统的应用程序编程接口(application programming interface，api)，将tuxedo报文转换为http报文，并进行解包操作。
75.本技术的又一种实施例中，上述管理模块还包括以下至少之一：第一监控子模块、第二监控子模块，其中，上述第一监控子模块用于对数据迁移过程中的迁移进度进行监控；上述第二监控子模块用于对数据迁移过程中的迁移异常信息进行监控。在该实施例中，对数据迁移过程中的迁移进度和迁移异常信息进行监控，进一步地保证了能够较为及时地获取迁移过程中出现的异常，进一步地保证了能够较为及时地对出现的异常进行处理。
76.具体地，对数据迁移运行的全过程进行状态监控和展现，对异常情况要及时通过展现界面或短信进行告警提示，支持一定范围内数据的汇总及生成报表功能，处理过程：监控数据抓取接口，从数据库、文件、日志中抓取涉及监控相关指标的数据，送到监控数据处理接口；监控数据处理接口接到中间数据后，根据监控展现要求，对数据进行格式化处理，并送至表现层；表现层解析数据，展现监控指标关联的可视化界面。
77.本技术的一种典型的实施例中，还提供了一种计算机可读存储介质，上述计算机可读存储介质包括存储的程序，其中，在上述程序运行时控制上述计算机可读存储介质所在设备执行任意一种上述的数据迁移的处理方法。
78.本技术的另一种典型的实施例中，还提供了一种处理器，上述处理器用于运行程序，其中，上述程序运行时执行任意一种上述的数据迁移的处理方法。
79.为了使得本领域的技术人员更加清楚明确地了解本技术的技术方案，下面将结合具体的实施例进行说明：
80.实施例1
81.如图2所示，新系统(即目标系统)的在线数据迁移的处理依托于数据迁移系统，核心功能包括管控功能和迁移功能，其中，管控功能包括展示ui、迁移公共管理、任意管理、异常处理、监控、批次管理、系统间交互等管理类功能；迁移功能包括源系统数据导出，数据转换、数据导入目标系统、校验、等迁移类功能，数据迁移系统基于分布式微服务框架来构建，提供了高性能、易扩展的在线数据迁移的处理能力。
82.实施例2
83.如图3所示，迁移客户数据的整体流程为：数据迁移系统定期生成未迁移客户列表，大数据平台分析客户交易行为和账户情况，合理规划客户迁移窗口，具体步骤：
84.(1)由关联系统获取存量客户账户对照关系，定期维护增量数据；
85.(2)定期由大数据平台获取未迁移客户列表并进行活跃度计算。
86.(3)由大数据平台返回未迁移客户活跃度计算的计算结果；
87.(4)依据客户活跃度客户列表，重新从关联系统获得客户迁移列表，从而每个客户拆分至每个迁移场景，迁移方式分为提前迁移、在线迁移、增量迁移、延迟迁移和被动迁移；
88.(5)为了保持迁移过程中数据的一致性，按照客户迁移列表发起锁定，依次锁定客户信息平台、全局路由和源系统。
89.(6)由源系统导出的数据，通过数据迁移的数据加工，转换成符合新系统数据模型结构的数据，导入新系统。数据迁移的数据加工过程主要包括：a.数据移出，指将生产环境的数据卸载出来的过程；数据传输，指将源系统生产环境中的数据传输到数据转换环境；b.数据转换，将源系统导出的源数据，按数据映射表中的转换关系转成新系统的目标数据；c.数据核验，转换后的数据与导出的源数据进行数据准确性、数据一致性对比，并按照数据质量标准进行核验；d.数据导入，将转换后核验的目标数据以批量或者在线迁移的方式加载到新系统环境中的过程，并对迁移数据的正确性进行核验并做好应急处置工作；
90.(7)将目标数据导入目标系统；
91.(8)按照客户迁移列表发起解锁定流程，依次解锁源系统、全局路由和客户信息平台，最后进行对源系统和目标系统进行对账分析后迁移结束。
92.实施例3
93.如图4所示，迁移任务调度流程的具体步骤为：管控系统生成批次并加锁，开始迁移；调用任务调度服务；查询批次明细获取客户数据；任务调度服务根据获取到的客户数据，调用任务执行器，发起客户数据导出处理。
94.实施例4
95.管控功能还提供了人机交互的界面(即图2所示的展示ui)，是数据迁移过程的指挥中枢。迁移前根据数据特点，灵活配置数据的迁移方式，迁移中通过批次和任务的管理，对迁移的整个过程进行控制，通过监控功能发现并处置遇到的异常，迁移后还提供了日报和查询功能方便了解迁移的情况，以下就各模块的功能进行介绍：
96.(1)迁移公共管理模块
97.迁移公共管理模块主要处理：将迁移开始/停止指令发送给任务调度程序、迁移参数维护及管理；
98.(2)迁移异常管理模块
99.迁移异常管理模块主要处理：监控迁移过程中的异常并进行干预及处理；
100.(3)迁移批次管理模块
101.迁移批次管理模块主要处理：在迁移开始前，根据迁移场景及迁移规则，生成迁移批次，并对批次进行管理，同时对生成批次的规则进行管理；
102.(4)任务配置模块
103.任务配置模块主要处理：配置任务调度程序需要的运行参数，并对任务运行情况进行总体查询。
104.(5)监控管理模块
105.监控管理模块主要处理：对数据迁移运行的全过程进行状态监控和展现，对异常情况要及时通过展现界面或短信进行告警提示，支持一定范围内数据的汇总及生成报表功能。处理过程：
106.a.监控数据抓取接口，从数据库、文件、日志中抓取涉及监控相关指标的数据，送
到监控数据处理接口。
107.b.监控数据处理接口接到中间数据后，根据监控展现要求，对数据进行格式化处理，并送至表现层。
108.c.表现层解析数据，展现监控指标关联的可视化界面。
109.(6)系统间交互模块
110.系统间交互模块主要处理：在进行客户锁定及客户信息更新、客户解锁定、告警短信发送等与外系统交互时，与关联系统进行联机报文交互。处理过程：
111.a.与外系统交互时，本地报文组包后，调用协议转换wtc协议转换接口，转成tuxedo协议报文，发送到目标系统，并接收目标系统应答，完成解包处理。
112.b.外系统调用本系统服务时，调用数据迁移系统暴露给外系统的通讯api，将tuxedo报文转换为http报文，并进行解包操作。
113.(7)系统管理模块
114.系统管理模块主要处理：对管控平台的操作用户、角色权限、系统日志、用户登录/登出进行管理。
115.上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
116.在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
117.在本技术所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
118.所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
119.另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
120.所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
121.以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应
视为本发明的保护范围。