异地灾备方法、系统、电子设备及计算机可读存储介质与流程

1.本发明涉及数据灾备技术领域，特别是涉及一种异地灾备方法、系统、电子设备及计算机可读存储介质。


背景技术：

2.数据灾备全称为数据灾难备份，是指为防止出现操作失误或系统故障导致数据丢失，而将全系统或部分数据集合，从应用主机的硬盘或阵列复制到其他存储介质的过程。
3.异地灾备技术是指需要复制的数据的原存储地址与目标存储地址不在一个地理区域的数据灾备技术。异地灾备技术常需要将大量的需要复制的数据进行跨区域、长距离的传输，对网络带宽的要求较高。


技术实现要素：

4.本发明实施例的目的在于提供一种异地灾备方法、系统、电子设备及计算机可读存储介质，以降低异地灾备对网络带宽的要求。具体技术方案如下：
5.一种异地灾备方法，包括：
6.确定需要异地灾备的源文件，其中，所述源文件的存储地址位于第一地理区域内；
7.将所述源文件进行压缩，获得压缩文件，并将所述压缩文件存储到位于所述第一地理区域内的第一临时存储地址中；
8.将所述第一临时存储地址中的压缩文件从所述第一临时存储地址复制到位于第二地理区域内的第二临时存储地址中，其中，所述第二地理区域与所述第一地理区域为不同的地理区域；
9.对所述第二临时存储地址中的压缩文件进行解压，获得目标文件，并将所述目标文件存储到位于所述第二地理区域内的目标存储地址中。
10.可选的，在所述将所述目标文件存储到位于所述第二地理区域内的目标存储地址中之后，所述方法还包括：
11.删除所述第一临时存储地址中保存的压缩文件；
12.删除所述第二临时存储地址中保存的压缩文件。
13.可选的，所述确定需要异地灾备的源文件，包括：
14.将预设的灾备文件映射表中同步状态为待处理状态的文件确定为需要异地灾备的源文件，所述预设的灾备文件映射表保存有具有映射关系的文件标识及同步状态。
15.可选的，所述方法还包括：
16.对位于所述第一地理区域内的目标存储设备中存储的至少一个文件是否发生变更进行监听；
17.将发生变更的各文件中的至少一个文件的文件标识写入所述预设的灾备文件映射表中，将与写入的所述文件标识具有映射关系的同步状态设置为待处理状态。
18.可选的，所述将发生变更的各文件中的至少一个文件的文件标识写入所述预设的
灾备文件映射表中，包括：
19.基于第一正则表达式清单对发生变更的各文件进行正则表达式匹配，所述第一正则表达式清单中包括至少一个用于匹配需要异地灾备的源文件的文件特征的正则表达式；
20.将匹配成功的发生变更的文件的文件标识写入所述预设的灾备文件映射表中。
21.可选的，所述将发生变更的各文件中的至少一个文件的文件标识写入所述预设的灾备文件映射表中，包括：
22.基于第一正则表达式清单对发生变更的各文件进行正则表达式匹配，所述第一正则表达式清单中包括至少一个用于匹配需要异地灾备的源文件的文件特征的正则表达式；
23.基于第二正则表达式清单对发生变更的各文件进行正则表达式匹配，所述第二正则表达式清单中包括至少一个用于匹配无需异地灾备的源文件的文件特征的正则表达式；
24.将基于所述第一正则表达式清单匹配成功且基于所述第二正则表达式清单匹配失败的文件的文件标识写入所述预设的灾备文件映射表中。
25.一种异地灾备系统，包括：
26.源文件确定单元，用于确定需要异地灾备的源文件，其中，所述源文件的存储地址位于第一地理区域内；
27.压缩单元，用于将所述源文件进行压缩，获得压缩文件，并将所述压缩文件存储到位于所述第一地理区域内的第一临时存储地址中；
28.复制单元，用于将所述第一临时存储地址中的压缩文件从所述第一临时存储地址复制到位于第二地理区域内的第二临时存储地址中，其中，所述第二地理区域与所述第一地理区域为不同的地理区域；
29.解压单元，用于对所述第二临时存储地址中的压缩文件进行解压，获得目标文件，并将所述目标文件存储到位于所述第二地理区域内的目标存储地址中。
30.可选的，所述异地灾备系统还包括：
31.删除单元，用于在所述解压单元将所述目标文件存储到位于所述第二地理区域内的目标存储地址中之后，删除所述第一临时存储地址中保存的压缩文件，删除所述第二临时存储地址中保存的压缩文件。
32.一种电子设备，包括：
33.处理器；
34.用于存储所述处理器可执行指令的存储器；
35.其中，所述处理器被配置为执行指令，以实现上述的任一种异地灾备方法。
36.一种计算机可读存储介质，其上存储有计算机程序，其中，所述程序被处理器执行时实现上述的任一种异地灾备方法。
37.本发明实施例提供的一种异地灾备方法、系统、电子设备及计算机可读存储介质，可以确定需要异地灾备的源文件，其中，源文件的存储地址位于第一地理区域内；将源文件进行压缩，获得压缩文件，并将压缩文件存储到位于第一地理区域内的第一临时存储地址中；将压缩文件从第一临时存储地址复制到位于第二地理区域内的第二临时存储地址中，其中，第二地理区域与第一地理区域为不同的地理区域；对压缩文件进行解压，获得目标文件，并将目标文件存储到位于第二地理区域内的目标存储地址中。由于异地灾备时复制的文件是压缩文件，因此大大降低了需要跨区域、长距离的传输的数据量，有效降低了异地灾
备对网络带宽的要求。
38.当然，实施本发明的任一产品或方法必不一定需要同时达到以上所述的所有优点。
附图说明
39.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
40.图1为本发明一个实施例提供的一种异地灾备方法的流程图；
41.图2为本发明另一个实施例提供的一种异地灾备方法的流程图；
42.图3为本发明又一个实施例提供的一种异地灾备方法的流程图；
43.图4为本发明又一个实施例提供的一种异地灾备方法的流程图；
44.图5为本发明又一个实施例提供的一种异地灾备方法的流程图；
45.图6为本发明一个实施例提供的一种异地灾备系统的框图；
46.图7为本发明一个实施例提供的一种电子设备的框图。
具体实施方式
47.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
48.需要说明的是，本发明提供的异地灾备方法、系统、电子设备及计算机可读存储介质可用于分布式领域或金融领域。上述仅为示例，并不对本发明提供的异地灾备方法、系统、电子设备及计算机可读存储介质的应用领域进行限定。
49.本发明提供的异地灾备方法、系统、电子设备及计算机可读存储介质可用于金融领域或其他领域，例如，可用于金融领域中的金融数据异地灾备应用场景。其他领域为除金融领域之外的任意领域，例如，非金融数据异地灾备领域。上述仅为示例，并不对本发明提供的异地灾备方法、系统、电子设备及计算机可读存储介质的应用领域进行限定。
50.如图1所示，本发明一个可选实施例提供的一种异地灾备方法，可以包括：
51.s100、确定需要异地灾备的源文件，其中，源文件的存储地址位于第一地理区域内。
52.其中，需要异地灾备的源文件可以为发生变更的文件，例如：某文件被修改了，则可以将该文件确定为需要异地灾备的源文件。可以理解的是，文件发生变更的变更类型可以包括：新增、删除和修改等。本技术可以将这三种变更类型中的全部或部分确定为可以触发异地灾备的变更类型。当某文件发生变更，且变更类型为可以触发异地灾备的变更类型时，则可以触发异地灾备并执行本发明图1所示的方法。上述可以触发异地灾备的变更类型可以包括：新增和修改。
53.当然，在另一实施例中，当某文件发生变更，本发明可以首先对变更信息进行记
录，然后按照预设的周期来对本周期内发生变更的文件进行异地灾备。
54.当然，在一实施例中，当某文件发生变更，且变更类型为新增或修改时，则可以立即触发异地灾备并执行本发明图1所示的方法，也可以首先对变更信息进行记录，然后按照预设的周期来对本周期内发生变更的文件进行异地灾备。
55.当某文件发生变更，且变更类型不为新增、修改中的一个时，则可以对变更信息进行记录，将变更信息同步到灾备环境。
56.可选的，本技术的异地灾备方法，可以应用于hadoop分布式文件系统(hadoop distributed file system，hdfs)中。
57.可选的，本发明可以通过hadoop的inotify机制监听位于第一地理区域内的存储地址的文件的变化。
58.s200、将源文件进行压缩，获得压缩文件，并将压缩文件存储到位于第一地理区域内的第一临时存储地址中。
59.可选的，本技术可以采用bzip2进行压缩和解压，bzip2是一个基于burrows-wheeler变换的无损压缩软件，压缩效果比传统的lz77/lz78压缩算法好。它的优点是压缩率非常高，支持hadoopsplit，缺点是压缩/解压缩速度慢，应用场景是适合对速度要求不高，但需要较高的压缩率或者输出数据比较大，处理之后的数据需要压缩存档，同时对单个很大的文本文件像压缩减少存储空间，同时需支持split。本技术通过采用bzip2进行压缩和解压，可以显著减少网络传输带宽，同时充分利用生产环境和灾备环境hadoop的算力。
60.s300、将第一临时存储地址中的压缩文件从第一临时存储地址复制到位于第二地理区域内的第二临时存储地址中，其中，第二地理区域与第一地理区域为不同的地理区域。
61.步骤s300的执行过程即为将文件跨区域、长距离进行传输的过程。可以理解的是，由于压缩后的文件数据量大大降低，因此有效降低了异地灾备对网络带宽的要求。
62.s400、对第二临时存储地址中的压缩文件进行解压，获得目标文件，并将目标文件存储到位于第二地理区域内的目标存储地址中。
63.可选的，在实际应用中，本技术可以通过修改distcp的源码，将现有的异地灾备技术的文件拷贝流程修改为图1所示的流程。
64.可以理解的是，第一临时存储地址中的压缩文件以及第二临时存储地址中的压缩文件，均为临时文件。
65.具体的，修改后的distcp工具中调用了createjob()，在createjob()中将其中的copymapper.class替换为修改的copymapperx.class，copymapperx.class是在copymapper.class基础上修改的类，在copymapperx.class中修改了map方法，map的输入是key-value对，其中key是源文件的文件标识(如：源文件的text格式的存储路径)，value是同步状态(copylistingfilestatus)，在map方法中，修改为在拷贝文件之前，将源文件通过hadoopbzip2压缩到临时工作目录，在通过copyfilewithretry将临时文件点对点拷贝到灾备环境hadoop的临时目录中并通过hadoopbzip2解压缩到灾备环境hadoop的目标目录。这样就完成了文件的异地灾备。其中，灾备环境hadoop的临时目录即为第二临时存储地址。临时工作目录即为：第一临时存储地址。灾备环境hadoop的目标目录即为第二地理区域内的目标存储地址。
66.本发明实施例提供的一种异地灾备方法，可以确定需要异地灾备的源文件，其中，
源文件的存储地址位于第一地理区域内；将源文件进行压缩，获得压缩文件，并将压缩文件存储到位于第一地理区域内的第一临时存储地址中；将压缩文件从第一临时存储地址复制到位于第二地理区域内的第二临时存储地址中，其中，第二地理区域与第一地理区域为不同的地理区域；对压缩文件进行解压，获得目标文件，并将目标文件存储到位于第二地理区域内的目标存储地址中。由于异地灾备时复制的文件是压缩文件，因此大大降低了需要跨区域、长距离的传输的数据量，有效降低了异地灾备对网络带宽的要求。
67.可选的，在步骤s400之后，图1所示方法还可以包括：
68.删除第一临时存储地址中保存的压缩文件；
69.删除第二临时存储地址中保存的压缩文件。
70.通过删除上述压缩文件，可以有效清理临时存储地址中的临时文件，提高存储空间利用率。
71.如图2所示，本发明另一可选实施例提供的一种异地灾备方法，可以包括：
72.s110、将预设的灾备文件映射表中同步状态为待处理状态的文件确定为需要异地灾备的源文件，预设的灾备文件映射表保存有具有映射关系的文件标识及同步状态。
73.其中，源文件的存储地址位于第一地理区域内。
74.步骤s110为图1所示步骤s100的一种具体实施方式。
75.预设的灾备文件映射表中的文件标识可以为文件的存储路径。可选的，上述同步状态可以有多种，如：待处理状态、处理中状态、已完成处理状态、异常状态等。本技术可以基于文件的异地灾备处理的实际进度来调整其同步状态。
76.可以理解的是，待处理状态表征的是还未进行异地灾备处理的文件。处理中状态表征的是正在进行异地灾备处理的文件。已完成处理状态表征的是已完成异地灾备处理的文件。异常状态表征的是异地灾备处理发生异常的文件。
77.s200、将源文件进行压缩，获得压缩文件，并将压缩文件存储到位于第一地理区域内的第一临时存储地址中。
78.s300、将第一临时存储地址中的压缩文件从第一临时存储地址复制到位于第二地理区域内的第二临时存储地址中，其中，第二地理区域与第一地理区域为不同的地理区域。
79.s400、对第二临时存储地址中的压缩文件进行解压，获得目标文件，并将目标文件存储到位于第二地理区域内的目标存储地址中。
80.步骤s200至步骤s400与图1所示实施例相同，不再赘述。
81.在图2所示实施例基础上，如图3所示，本发明又一可选实施例提供的一种异地灾备方法，可以包括：
82.s010、对位于第一地理区域内的目标存储设备中存储的至少一个文件是否发生变更进行监听。
83.可选的，本技术可以采用hadoop的inotify机制监听位于第一地理区域内的目标存储设备中存储的至少一个文件是否发生变更。
84.s020、将发生变更的各文件中的至少一个文件的文件标识写入预设的灾备文件映射表中，将与写入的文件标识具有映射关系的同步状态设置为待处理状态。
85.通过监听，就可以及时发现发生变更的文件。执行步骤s020后，发生变更的文件即可被执行异地灾备处理。
86.s110、将预设的灾备文件映射表中同步状态为待处理状态的文件确定为需要异地灾备的源文件，预设的灾备文件映射表保存有具有映射关系的文件标识及同步状态。
87.其中，源文件的存储地址位于第一地理区域内。
88.s200、将源文件进行压缩，获得压缩文件，并将压缩文件存储到位于第一地理区域内的第一临时存储地址中。
89.s300、将第一临时存储地址中的压缩文件从第一临时存储地址复制到位于第二地理区域内的第二临时存储地址中，其中，第二地理区域与第一地理区域为不同的地理区域。
90.s400、对第二临时存储地址中的压缩文件进行解压，获得目标文件，并将目标文件存储到位于第二地理区域内的目标存储地址中。
91.步骤s110至步骤s400与图2所示实施例相同，不再赘述。
92.在图3所示实施例基础上，如图4所示，本发明又一可选实施例提供的一种异地灾备方法，可以包括：
93.s010、对位于第一地理区域内的目标存储设备中存储的至少一个文件是否发生变更进行监听。
94.步骤s010与图3所示实施例步骤s010相同，不再赘述。
95.s021、基于第一正则表达式清单对发生变更的各文件进行正则表达式匹配，第一正则表达式清单中包括至少一个用于匹配需要异地灾备的源文件的文件特征的正则表达式。
96.通过正则表达式，本技术可以将具有某些特征的文件识别为需要异地灾备的源文件。
97.s022、将匹配成功的发生变更的文件的文件标识写入预设的灾备文件映射表中。
98.s023、将与写入的文件标识具有映射关系的同步状态设置为待处理状态。
99.步骤s021至步骤s023为图3所示实施例中步骤s020的一种具体执行过程。
100.s110、将预设的灾备文件映射表中同步状态为待处理状态的文件确定为需要异地灾备的源文件，预设的灾备文件映射表保存有具有映射关系的文件标识及同步状态。
101.其中，源文件的存储地址位于第一地理区域内。
102.s200、将源文件进行压缩，获得压缩文件，并将压缩文件存储到位于第一地理区域内的第一临时存储地址中。
103.s300、将第一临时存储地址中的压缩文件从第一临时存储地址复制到位于第二地理区域内的第二临时存储地址中，其中，第二地理区域与第一地理区域为不同的地理区域。
104.s400、对第二临时存储地址中的压缩文件进行解压，获得目标文件，并将目标文件存储到位于第二地理区域内的目标存储地址中。
105.步骤s110至步骤s400与图2所示实施例相同，不再赘述。
106.在图3所示实施例基础上，如图5所示，本发明又一可选实施例提供的一种异地灾备方法，可以包括：
107.s010、对位于第一地理区域内的目标存储设备中存储的至少一个文件是否发生变更进行监听。
108.步骤s010与图3所示实施例步骤s010相同，不再赘述。
109.s021、基于第一正则表达式清单对发生变更的各文件进行正则表达式匹配，第一
正则表达式清单中包括至少一个用于匹配需要异地灾备的源文件的文件特征的正则表达式。
110.步骤s021与图4所示实施例步骤s021相同，不再赘述。
111.s024、基于第二正则表达式清单对发生变更的各文件进行正则表达式匹配，第二正则表达式清单中包括至少一个用于匹配无需异地灾备的源文件的文件特征的正则表达式。
112.通过第二正则表达式清单中的正则表达式，本技术可以将具有某些特征的文件识别为无需异地灾备的源文件，从而避免将其进行异地灾备。
113.可选的，步骤s021和步骤s024的执行顺序本发明不做限定，两个步骤谁先执行均可，也可以并行执行。
114.s025、将基于第一正则表达式清单匹配成功且基于第二正则表达式清单匹配失败的文件的文件标识写入预设的灾备文件映射表中。
115.s026、将与写入的文件标识具有映射关系的同步状态设置为待处理状态。
116.步骤s021、步骤s024、步骤s025、步骤s026为图3所示实施例中步骤s020的一种具体执行过程。
117.s110、将预设的灾备文件映射表中同步状态为待处理状态的文件确定为需要异地灾备的源文件，预设的灾备文件映射表保存有具有映射关系的文件标识及同步状态。
118.其中，源文件的存储地址位于第一地理区域内。
119.s200、将源文件进行压缩，获得压缩文件，并将压缩文件存储到位于第一地理区域内的第一临时存储地址中。
120.s300、将第一临时存储地址中的压缩文件从第一临时存储地址复制到位于第二地理区域内的第二临时存储地址中，其中，第二地理区域与第一地理区域为不同的地理区域。
121.s400、对第二临时存储地址中的压缩文件进行解压，获得目标文件，并将目标文件存储到位于第二地理区域内的目标存储地址中。
122.步骤s110至步骤s400与图2所示实施例相同，不再赘述。
123.可选的，本技术还可以提供灾备运维界面，用于运维人员配置第一正则表达式清单匹配和第二正则表达式清单，第一正则表达式清单匹配和第二正则表达式清单可以由生产环境同步到灾备环境。
124.与上述方法实施例相对应，本技术还提供了一种异地灾备系统，如图6所示，可以包括：
125.源文件确定单元001，用于确定需要异地灾备的源文件，其中，源文件的存储地址位于第一地理区域内。
126.压缩单元002，用于将源文件进行压缩，获得压缩文件，并将压缩文件存储到位于第一地理区域内的第一临时存储地址中。
127.复制单元003，用于将第一临时存储地址中的压缩文件从第一临时存储地址复制到位于第二地理区域内的第二临时存储地址中，其中，第二地理区域与第一地理区域为不同的地理区域。
128.解压单元004，用于对第二临时存储地址中的压缩文件进行解压，获得目标文件，并将目标文件存储到位于第二地理区域内的目标存储地址中。
129.可选的，图6所示异地灾备系统还包括：
130.删除单元，用于在解压单元004将目标文件存储到位于第二地理区域内的目标存储地址中之后，删除第一临时存储地址中保存的压缩文件，删除第二临时存储地址中保存的压缩文件。
131.可选的，源文件确定单元001，具体用于：
132.将预设的灾备文件映射表中同步状态为待处理状态的文件确定为需要异地灾备的源文件，预设的灾备文件映射表保存有具有映射关系的文件标识及同步状态。其中，所述源文件的存储地址位于第一地理区域内。
133.可选的，图6所示异地灾备系统还包括：
134.监听单元，用于对位于第一地理区域内的目标存储设备中存储的至少一个文件是否发生变更进行监听。
135.写入单元，用于将发生变更的各文件中的至少一个文件的文件标识写入预设的灾备文件映射表中，将与写入的文件标识具有映射关系的同步状态设置为待处理状态。
136.可选的，写入单元将发生变更的各文件中的至少一个文件的文件标识写入预设的灾备文件映射表中，具体设置为：
137.基于第一正则表达式清单对发生变更的各文件进行正则表达式匹配，第一正则表达式清单中包括至少一个用于匹配需要异地灾备的源文件的文件特征的正则表达式；将匹配成功的发生变更的文件的文件标识写入预设的灾备文件映射表中。
138.可选的，写入单元将发生变更的各文件中的至少一个文件的文件标识写入预设的灾备文件映射表中，具体设置为：
139.基于第一正则表达式清单对发生变更的各文件进行正则表达式匹配，第一正则表达式清单中包括至少一个用于匹配需要异地灾备的源文件的文件特征的正则表达式；基于第二正则表达式清单对发生变更的各文件进行正则表达式匹配，第二正则表达式清单中包括至少一个用于匹配无需异地灾备的源文件的文件特征的正则表达式；将基于第一正则表达式清单匹配成功且基于第二正则表达式清单匹配失败的文件的文件标识写入预设的灾备文件映射表中。
140.本发明实施例提供的一种异地灾备系统，可以确定需要异地灾备的源文件，其中，源文件的存储地址位于第一地理区域内；将源文件进行压缩，获得压缩文件，并将压缩文件存储到位于第一地理区域内的第一临时存储地址中；将压缩文件从第一临时存储地址复制到位于第二地理区域内的第二临时存储地址中，其中，第二地理区域与第一地理区域为不同的地理区域；对压缩文件进行解压，获得目标文件，并将目标文件存储到位于第二地理区域内的目标存储地址中。由于异地灾备时复制的文件是压缩文件，因此大大降低了需要跨区域、长距离的传输的数据量，有效降低了异地灾备对网络带宽的要求。
141.本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，其中，程序被处理器执行时实现上述的任一种异地灾备方法。
142.本发明实施例还提供了一种电子设备，如图7所示，可以包括：
143.处理器701；
144.用于存储处理器701可执行指令的存储器702。
145.其中，处理器701被配置为执行指令，以实现如上述的任一种异地灾备方法。
146.本领域技术人员应明白，本技术的实施例可提供为方法、系统或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
147.需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
148.本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
149.以上仅为本技术的实施例而已，并不用于限制本技术。对于本领域技术人员来说，本技术可以有各种更改和变化。凡在本技术的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本技术的权利要求范围之内。