一种数据离线迁移的方法、装置、设备和介质与流程

1.本技术涉及云平台技术领域，特别是涉及一种数据离线迁移的方法、装置、设备和计算机可读存储介质。


背景技术：

2.近年来，云计算得到突飞猛进的发展。相比传统架构，云计算的分布式计算、效用计算、负载均衡、并行计算、网络存储、热备份冗杂和虚拟化等计算机技术越来越被人们所认可，越来越多的企业选择把自身业务部署在云平台上。而对于已有业务要上云即存储至云平台，则需要把原有的物理机或者虚拟机迁移到云平台上。
3.迁移方式通常有两种，一种是在线迁移，另一种是离线迁移。在线迁移要求在待迁移源节点业务不中断的情况下，把源节点的数据迁移到云平台上。离线迁移指的是在源节点业务可以停机的情况下，把源节点的数据迁移到云平台上。源节点的磁盘处于使用状态下无法实现在线迁移，因此目前常采用离线迁移的方式实现源节点数据的迁移。
4.目前业内常用的离线迁移手段是开源一个离线迁移工具再生龙，依赖于再生龙将源节点数据迁移至云平台。再生龙是一个基于通用操作系统debian制作的自生系统(livecd)镜像，它只要求源节点和目地节点网络可达，然后通过网络拷贝数据，达到迁移的目的。
5.在具体实现中，需要分别针对于源节点和云平台制作livecd镜像。将源节点重启，使得源节点从livecd镜像上启动，配置ip设置为源节点。目标云平台上也制作livecd镜像，将云平台重启，使得云平台从livecd镜像上启动，配置ip设置为目标节点，然后目标节点即可通过网络拷贝源节点系统盘，待拷贝完成，在目标云平台上用目标节点上的云硬盘启动虚拟机，达到迁移源节点数据的目的。
6.上述操作流程较为复杂，进入livecd镜像后需要进行一系列设置，并且源端和目的端都需要设置。源节点和云平台通过livecd镜像实现离线迁移时，一次只能迁移一块磁盘，若需要迁移的磁盘个数有多个，则完成数据的迁移需要反复重启系统多次，造成数据迁移效率偏低。
7.可见，如何降低数据迁移流程的复杂度，提升数据迁移效率，是本领域技术人员需要解决的问题。


技术实现要素：

8.本技术实施例的目的是提供一种数据离线迁移的方法、装置、设备和计算机可读存储介质，可以降低数据迁移流程的复杂度，提升数据迁移效率。
9.为解决上述技术问题，本技术实施例提供一种数据离线迁移的方法，包括：
10.预先建立livecd镜像；并依据存储后端的管理方式，设置传输端口；
11.启动livecd镜像，根据所述存储后端的数据存储方式，将待传输数据通过所述传输端口传输至所述存储后端，以便于云平台对所述存储后端执行纳管云硬盘的操作，并对
纳管后的云硬盘设置虚拟机。
12.可选地，所述依据存储后端的管理方式，设置数据传输端口包括：
13.在所述存储后端为存储管理一体化的情况下，设置一个用于传输指令和数据的端口作为传输端口；
14.在所述存储后端的存储和管理独立设置的情况下，设置一个用于传输指令的管理端口和一个用于传输数据的业务端口。
15.可选地，所述启动livecd镜像包括：
16.判断livecd镜像是否包含有安装包以及配置文件；
17.若所述livecd镜像包含有安装包和配置文件，则执行所述根据所述存储后端的数据存储方式，将待传输数据通过所述传输端口传输至所述存储后端的步骤；
18.若所述livecd镜像不包含安装包或者配置文件，则在启动livecd镜像之后重新安装对应的安装包和配置文件。
19.可选地，所述在启动livecd镜像之后重新安装对应的安装包和配置文件包括：
20.基于第三方存储端的ip地址，重新获取安装包和配置文件；
21.将重新获取的安装包和配置文件设置于所述livecd镜像中。
22.可选地，在所述存储后端为分布式存储的情况下，所述根据所述存储后端的数据存储方式，将待传输数据通过所述数据传输端口传输至所述存储后端包括：
23.调用所述分布式存储相对应的数据迁移指令，以将待传输数据通过所述数据传输端口传输至所述存储后端。
24.可选地，在所述存储后端为集中式存储的情况下，所述根据所述存储后端的数据存储方式，将待传输数据通过所述数据传输端口传输至所述存储后端包括：
25.接收所述存储后端传输的映射卷；其中，所述映射卷为与源节点上存储待传输数据的磁盘相匹配的卷；
26.利用dd命令将所述待传输数据通过所述数据传输端口传输至所述存储后端的映射卷。
27.本技术实施例还提供了一种数据离线迁移的装置，包括建立单元、设置单元、启动单元和传输单元；
28.所述建立单元，用于预先建立livecd镜像；
29.所述设置单元，用于依据存储后端的管理方式，设置传输端口；
30.所述启动单元，用于启动livecd镜像；
31.所述传输单元，用于根据所述存储后端的数据存储方式，将待传输数据通过所述传输端口传输至所述存储后端，以便于云平台对所述存储后端执行纳管云硬盘的操作，并对纳管后的云硬盘设置虚拟机。
32.可选地，所述设置单元用于在所述存储后端为存储管理一体化的情况下，设置一个用于传输指令和数据的端口作为传输端口；在所述存储后端的存储和管理独立设置的情况下，设置一个用于传输指令的管理端口和一个用于传输数据的业务端口。
33.可选地，所述启动单元包括判断子单元和安装子单元；
34.所述判断子单元用于，用于判断livecd镜像是否包含有安装包以及配置文件；若所述livecd镜像包含有安装包和配置文件，则执行所述根据所述存储后端的数据存储方
式，将待传输数据通过所述传输端口传输至所述存储后端的步骤；
35.所述安装子单元，用于若所述livecd镜像不包含安装包或者配置文件，则在启动livecd镜像之后重新安装对应的安装包和配置文件。
36.可选地，所述安装子单元用于基于第三方存储端的ip地址，重新获取安装包和配置文件；将重新获取的安装包和配置文件设置于所述livecd镜像中。
37.可选地，在所述存储后端为分布式存储的情况下，所述传输单元用于调用所述分布式存储相对应的数据迁移指令，以将待传输数据通过所述数据传输端口传输至所述存储后端。
38.可选地，在所述存储后端为集中式存储的情况下，所述传输单元用于接收所述存储后端传输的映射卷；其中，所述映射卷为与源节点上存储待传输数据的磁盘相匹配的卷；利用dd命令将所述待传输数据通过所述数据传输端口传输至所述存储后端的映射卷。
39.本技术实施例还提供了一种数据离线迁移的方法，包括：
40.存储器，用于存储计算机程序；
41.处理器，用于执行所述计算机程序以实现如上述数据离线迁移的方法的步骤。
42.本技术实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述数据离线迁移的方法的步骤。
43.由上述技术方案可以看出，预先建立livecd镜像；并依据存储后端的管理方式，设置传输端口；通过设置传输端口，可以便于源节点向存储后端传输指令和数据。在执行离线迁移时，源节点会启动livecd镜像，根据存储后端的数据存储方式，将待传输数据通过传输端口传输至存储后端，以便于云平台对存储后端执行纳管云硬盘的操作，并对纳管后的云硬盘设置虚拟机。在该技术方案中，只需在源节点建立livecd镜像，无需在云平台上建立livecd镜像，云平台利用纳管云硬盘的功能纳管拷贝过来的云硬盘，然后直接启动虚拟机，达到离线迁移源节点的目的。该技术方案无需在云平台建立livecd镜像，迁移只需要在源节点侵入一次，简化了数据迁移流程。并且源节点执行一次数据迁移指令，便可以将所有需要迁移的数据依次发送至存储后端，无需反复重启操作，有效的提升了数据迁移效率。并且本方案只需要源节点和存储后端的网络可达即可，具有较强的通用性。
附图说明
44.为了更清楚地说明本技术实施例，下面将对实施例中所需要使用的附图做简单的介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
45.图1为本技术实施例提供的一种数据离线迁移的方法的流程图；
46.图2为本技术实施例提供的一种数据离线迁移所适用的硬件场景示意图；
47.图3为本技术实施例提供的一种数据离线迁移的装置的结构示意图；
48.图4为本技术另一实施例提供的数据离线迁移的设备的结构图。
具体实施方式
49.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完
整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下，所获得的所有其他实施例，都属于本技术保护范围。
50.本技术的说明书和权利要求书及上述附图中的术语“包括”和“具有”以及他们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可包括没有列出的步骤或单元。
51.为了使本技术领域的人员更好地理解本技术方案，下面结合附图和具体实施方式对本技术作进一步的详细说明。
52.接下来，详细介绍本技术实施例所提供的一种数据离线迁移的方法。图1为本技术实施例提供的一种数据离线迁移的方法的流程图，该方法包括：
53.s101：预先建立livecd镜像；并依据存储后端的管理方式，设置传输端口。
54.源节点的磁盘处于使用状态时，源节点无法执行数据的迁移操作，因此在本技术实施例中，通过在源节点上建立livecd镜像，在需要执行数据迁移时，直接重启源节点，此时源节点会从livecd镜像中启动，使得源节点的操作系统处于停止状态，从而可以执行数据的迁移操作。
55.在本技术实施例中，为了降低数据迁移流程的复杂度，通过云平台与存储后端的交互，实现数据的迁移，无需再针对于云平台设置livecd镜像。
56.不同类型的存储后端对应不同的管理方式。其中，管理方式可以包括两种，一种方式为存储管理一体化，另一种方式为存储和管理独立设置。针对不同的管理方式，在执行存储后端与源节点以及云平台的交互时，所需设置的端口方式也有所不同。
57.在具体实现中，可以在存储后端为存储管理一体化的情况下，设置一个用于传输指令和数据的端口作为传输端口。在存储后端的存储和管理独立设置的情况下，设置一个用于传输指令的管理端口和一个用于传输数据的业务端口，此时传输端口包括管理端口和业务端口。
58.s102：启动livecd镜像。
59.配置文件是实现数据迁移操作所需的文件，安装包是与配置文件相对应的工具包，通过调用安装包可以支持源节点执行数据迁移操作。
60.配置文件可以包括存储配置文件和云平台配置文件。
61.存储后端的数据存储方式有多种，可以包括分布式存储(ceph)和集中式存储。相应的，与分布式存储相对应的存储配置文件为ceph配置文件，与分布式存储相对应的安装包为ceph包。与集中式存储相对应的存储配置文件为集中式存储配置文件，与集中式存储相对应的安装包为集中式存储包。
62.在实际应用中，可以基于centos7制作livecd镜像，centos7生态成熟，相关的安装包比较多。初始状态下，源节点在建立livecd镜像时，可以将选定的配置文件和安装包设置在livecd镜像中。考虑到实际应用中，配置文件和安装包的类型多种多样，为了使得配置文件和安装包更加贴合当前的实际需求，在制作livecd镜像可以不设置配置文件和安装包，可以根据需求重新按照对应的安装包和配置文件。
63.在具体实现中，可以判断livecd镜像是否包含有安装包以及配置文件；若livecd镜像包含有安装包和配置文件，则执行s103。若livecd镜像不包含安装包或者配置文件，则
需要在启动livecd镜像之后重新安装对应的安装包和配置文件。
64.在本技术实施例中，可以基于第三方存储端的ip地址，重新获取安装包和配置文件；将重新获取的安装包和配置文件设置于livecd镜像中。
65.s103：根据存储后端的数据存储方式，将待传输数据通过传输端口传输至存储后端，以便于云平台对存储后端执行纳管云硬盘的操作，并对纳管后的云硬盘设置虚拟机。
66.存储后端对应的数据存储方式，相应的源节点向存储后端传输数据的方式也会存在差异。因此在实际应用中，源节点可以根据存储后端的数据存储方式，将待传输数据通过传输端口传输至存储后端。
67.数据存储方式可以有两种，分别为分布式存储和集中式存储。集中式存储常见的方式包括san(storage area network)高速存储。
68.在存储后端为分布式存储的情况下，可以调用分布式存储相对应的数据迁移指令，以将待传输数据通过数据传输端口传输至存储后端。
69.举例说明，在存储后端是ceph时，可直接使用rbd import/dev/sda volumes/xxx来迁移。
70.在存储后端为集中式存储的情况下，存储后端可以创建映射卷，该映射卷为与源节点上存储待传输数据的磁盘相匹配的卷。源节点在接收存储后端传输的映射卷之后，可以利用dd命令将待传输数据通过数据传输端口传输至存储后端的映射卷。
71.举例说明，在存储后端是san存储，则需要在san存储上创建卷，发现源节点，映射卷给源节点，然后使用dd命令来迁移磁盘dd if＝/dev/sda of＝/dev/sdb。其中，sda表示源节点上存储待传输数据的磁盘，sdb表示与源节点上存储待传输数据的磁盘相匹配的卷。源节点在完成数据的迁移后，可以卸载卷。
72.源节点接收到一次数据迁移指令，便可以依赖于源节点与存储后端之间的带宽依次将待传输数据传输至存储后端。在完成迁移后，云平台可以通用纳管云硬盘的方式，将存储后端存储的源节点数据纳管至云硬盘时。此时云硬盘上的数据并不能被管理人员使用，因此云平台可以针对于云硬盘设置虚拟机，以便于管理人员通过虚拟机实现对云硬盘上存储的源节点数据执行操作。
73.图2为本技术实施例提供的一种数据离线迁移所适用的硬件场景示意图，图2中包括源节点、云平台和存储后端，其中，源节点和存储后端的网络连通。图2中以存储后端的存储和管理独立设置为例，此时源节点、云平台和存储后端均设置有管理端口和业务端口，管理端口用于传输指令，业务端口用于传输数据。源节点可以基于存储后端的数据存储方式，将数据传输至存储后端。云平台可以利用纳管云硬盘的方式，将存储后端上存储的数据纳管为云硬盘上的数据。通过在云硬盘上启动虚拟机，完成数据的迁移工作。
74.由上述技术方案可以看出，预先建立livecd镜像；并依据存储后端的管理方式，设置传输端口；通过设置传输端口，可以便于源节点向存储后端传输指令和数据。在执行离线迁移时，源节点会启动livecd镜像，根据存储后端的数据存储方式，将待传输数据通过传输端口传输至存储后端，以便于云平台对存储后端执行纳管云硬盘的操作，并对纳管后的云硬盘设置虚拟机。在该技术方案中，只需在源节点建立livecd镜像，无需在云平台上建立livecd镜像，云平台利用纳管云硬盘的功能纳管拷贝过来的云硬盘，然后直接启动虚拟机，达到离线迁移源节点的目的。该技术方案无需在云平台建立livecd镜像，迁移只需要在源
节点侵入一次，简化了数据迁移流程。并且源节点执行一次数据迁移指令，便可以将所有需要迁移的数据依次发送至存储后端，无需反复重启操作，有效的提升了数据迁移效率。并且本方案只需要源节点和存储后端的网络可达即可，具有较强的通用性。
75.图3为本技术实施例提供的一种数据离线迁移的装置的结构示意图，包括建立单元31、设置单元32、启动单元33和传输单元34；
76.建立单元31，用于预先建立livecd镜像；
77.设置单元32，用于依据存储后端的管理方式，设置传输端口；
78.启动单元33，用于启动livecd镜像；
79.传输单元34，用于根据存储后端的数据存储方式，将待传输数据通过传输端口传输至存储后端，以便于云平台对存储后端执行纳管云硬盘的操作，并对纳管后的云硬盘设置虚拟机。
80.可选地，设置单元用于在存储后端为存储管理一体化的情况下，设置一个用于传输指令和数据的端口作为传输端口；在存储后端的存储和管理独立设置的情况下，设置一个用于传输指令的管理端口和一个用于传输数据的业务端口。
81.可选地，启动单元包括判断子单元和安装子单元；
82.判断子单元用于，用于判断livecd镜像是否包含有安装包以及配置文件；若livecd镜像包含有安装包和配置文件，则执行根据存储后端的数据存储方式，将待传输数据通过传输端口传输至存储后端的步骤；
83.安装子单元，用于若livecd镜像不包含安装包或者配置文件，则在启动livecd镜像之后重新安装对应的安装包和配置文件。
84.可选地，安装子单元用于基于第三方存储端的ip地址，重新获取安装包和配置文件；将重新获取的安装包和配置文件设置于livecd镜像中。
85.可选地，在存储后端为分布式存储的情况下，传输单元用于调用分布式存储相对应的数据迁移指令，以将待传输数据通过数据传输端口传输至存储后端。
86.可选地，在存储后端为集中式存储的情况下，传输单元用于接收存储后端传输的映射卷；其中，映射卷为与源节点上存储待传输数据的磁盘相匹配的卷；利用dd命令将待传输数据通过数据传输端口传输至存储后端的映射卷。
87.图3所对应实施例中特征的说明可以参见图1所对应实施例的相关说明，这里不再一一赘述。
88.由上述技术方案可以看出，预先建立livecd镜像；并依据存储后端的管理方式，设置传输端口；通过设置传输端口，可以便于源节点向存储后端传输指令和数据。在执行离线迁移时，源节点会启动livecd镜像，根据存储后端的数据存储方式，将待传输数据通过传输端口传输至存储后端，以便于云平台对存储后端执行纳管云硬盘的操作，并对纳管后的云硬盘设置虚拟机。在该技术方案中，只需在源节点建立livecd镜像，无需在云平台上建立livecd镜像，云平台利用纳管云硬盘的功能纳管拷贝过来的云硬盘，然后直接启动虚拟机，达到离线迁移源节点的目的。该技术方案无需在云平台建立livecd镜像，迁移只需要在源节点侵入一次，简化了数据迁移流程。并且源节点执行一次数据迁移指令，便可以将所有需要迁移的数据依次发送至存储后端，无需反复重启操作，有效的提升了数据迁移效率。并且本方案只需要源节点和存储后端的网络可达即可，具有较强的通用性。
89.图4为本技术另一实施例提供的数据离线迁移的设备的结构图，如图4所示，数据离线迁移的设备包括：存储器20，用于存储计算机程序；
90.处理器21，用于执行计算机程序时实现如上述实施例数据离线迁移的方法的步骤。
91.本实施例提供的数据离线迁移的设备可以包括但不限于智能手机、平板电脑、笔记本电脑或台式电脑等。
92.其中，处理器21可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器21可以采用dsp(digital signal processing，数字信号处理)、fpga(field－programmable gate array，现场可编程门阵列)、pla(programmable logic array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器21也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称cpu(central processing unit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器21可以在集成有gpu(graphics processing unit，图像处理器)，gpu用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器21还可以包括ai(artificial intelligence，人工智能)处理器，该ai处理器用于处理有关机器学习的计算操作。
93.存储器20可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器20还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。本实施例中，存储器20至少用于存储以下计算机程序201，其中，该计算机程序被处理器21加载并执行之后，能够实现前述任一实施例公开的数据离线迁移的方法的相关步骤。另外，存储器20所存储的资源还可以包括操作系统202和数据203等，存储方式可以是短暂存储或者永久存储。其中，操作系统202可以包括windows、unix、linux等。数据203可以包括但不限于待传输数据等。
94.在一些实施例中，数据离线迁移的设备还可包括有显示屏22、输入输出接口23、通信接口24、电源25以及通信总线26。
95.本领域技术人员可以理解，图4中示出的结构并不构成对数据离线迁移的设备的限定，可以包括比图示更多或更少的组件。
96.可以理解的是，如果上述实施例中的数据离线迁移的方法以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，执行本技术各个实施例方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read
‑
only memory，rom)、随机存取存储器(random access memory，ram)、电可擦除可编程rom、寄存器、硬盘、可移动磁盘、cd
‑
rom、磁碟或者光盘等各种可以存储程序代码的介质。
97.基于此，本发明实施例还提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现如上述任意一项数据离线迁移的方法的步骤。
98.本发明实施例所述计算机可读存储介质的各功能模块的功能可根据上述方法实
施例中的方法具体实现，其具体实现过程可以参照上述方法实施例的相关描述，此处不再赘述。
99.以上对本技术实施例所提供的一种数据离线迁移的方法、装置、设备和计算机可读存储介质进行了详细介绍。说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
100.专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本技术的范围。
101.以上对本技术所提供的一种数据离线迁移的方法、装置、设备和计算机可读存储介质进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本技术进行若干改进和修饰，这些改进和修饰也落入本技术权利要求的保护范围内。