一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

数据恢复处理方法、装置及系统与流程

2022-06-01 00:18:36 来源:中国专利 TAG:


1.本技术主要涉及数据处理技术领域,更具体地说是涉及一种数据恢复处理方法、装置及系统。


背景技术:

2.在大数据时代,数据备灾即数据灾难备份技术已成为一个不可忽视的问题,其可以在因操作失误或系统故障等异常时,将系统数据备份至其他数据库,避免数据丢失。
3.其中,为了保证备份数据的可用性,在实际业务中,通常会将大量备份数据发送至恢复目标机上,按照预设顺序逐一进行有效性恢复验证。然而,由于不同备份数据的数据量往往会存在一定差别,若对某一数据量较大的备份数据进行恢复验证耗时过长,就会导致其他备份数据的恢复验证作业无法在期望时间内完成,从而无法保证备份数据的可用性和备份任务的有效性。


技术实现要素:

4.有鉴于此,本技术提供了一种数据恢复处理方法,所述方法包括:
5.获取待恢复验证的多个数据库备份文件,以及对所述多个数据库备份文件进行串行恢复验证的待定执行路径;
6.确定对所述多个数据库备份文件进行恢复验证的至少一个第一恢复验证作业以及第二恢复验证作业;所述第一恢复验证作业可并发执行;所述第二恢复验证作业不可并发执行;
7.基于所述待定执行路径以及预设调度优化条件,对所述第一恢复验证作业以及所述第二恢复验证作业进行关键路径优化,获得满足所述预设调度优化条件的最优执行路径;
8.按照所述最优执行路径,控制恢复验证服务器执行所述多个第一恢复验证作业和所述第二恢复验证作业。
9.可选的,所述确定对所述多个数据库备份文件进行恢复验证的至少一个第一恢复验证作业以及第二恢复验证作业,包括:
10.获取所述多个数据库备份文件各自对应数据库的历史恢复验证信息,以及恢复验证服务器的可用资源;
11.基于所述历史恢复验证信息和所述可用资源,获得所述恢复验证服务器按照所述待定执行路径,能够在预设恢复验证时长内完成对所述多个数据库备份文件的恢复验证的第一预测概率;
12.确定所述第一预测概率小于第一概率阈值,生成针对所述待定执行路径的优化调度指令;
13.响应所述优化调度指令,对所述多个数据库备份文件的恢复验证过程进行资源竞合分析;
14.基于不同的资源竞合分析结果,从对所述多个数据库备份文件进行恢复验证的多个恢复验证作业中,确定对应的第一恢复验证作业和第二恢复验证作业。
15.可选的,所述对所述多个数据库备份文件的恢复验证过程进行资源竞合分析,基于不同的资源竞合分析结果,从对所述多个数据库备份文件进行恢复验证的多个恢复验证作业中,确定对应的第一恢复验证作业,包括:
16.确定所述多个数据库备份文件各自的数据库服务器来源;
17.如果同一所述数据库服务器来源对应多个所述数据库备份文件,将对应的恢复验证过程确定为第一恢复验证作业;
18.基于所述数据库备份文件的恢复验证过程所涉及的执行实体,将该第一恢复验证作业分解为多个恢复验证子作业,确定不同所述第一恢复验证作业之间可并发执行的恢复验证子作业;和/或,
19.如果多个所述数据库服务器来源各自对应一个所述数据库备份文件,将该数据库备份文件的恢复验证过程确定为第一恢复验证作业。
20.可选的,所述基于所述待定执行路径以及预设调度优化条件,对所述第一恢复验证作业以及所述第二恢复验证作业进行关键路径优化,获得满足所述预设调度优化条件的最优执行路径,包括:
21.对同一数据库服务器来源对应的多个所述第一恢复验证作业进行执行路径排程;
22.基于所述待定执行路径以及不同恢复作业的恢复验证预测时长,按照与得到的执行路径排程结果对应的调度优化方式,确定针对所述第一恢复验证作业以及所述第二恢复验证作业的候选执行路径;
23.验证按照所述候选执行路径,控制恢复验证服务器执行所述第一恢复验证作业以及所述第二恢复验证作业的预测执行结果满足预设调度优化条件,将所述候选执行路径确定为最优执行路径。
24.可选的,所述验证按照所述候选执行路径,控制恢复验证服务器执行所述第一恢复验证作业以及所述第二恢复验证作业的预测执行结果满足预设调度优化条件,包括:
25.获取所述多个数据库备份文件对应的恢复验证作业,按照所述候选执行路径在预设恢复验证时长内完成的第二预测概率;
26.确定所述第二预测概率小于第二概率阈值,继续对所述候选执行路径进行优化,直至新获取的第二预测概率等于或大于所述第二概率阈值;
27.和/或,
28.确定所述多个数据库备份文件对应的恢复验证作业中,无法在所述预设恢复验证时长内执行的作业范围未减小,继续对所述候选执行路径进行优化,直至无法在所述预设恢复验证时长内执行的作业范围减小;
29.和/或,
30.确定在预设恢复验证时长内无法执行的恢复验证作业在所述候选执行路径中,相对于在所述待定执行路径中的执行顺序未向后移动,继续对所述候选执行路径进行优化,直至该执行顺序向后移动。
31.可选的,所述基于所述待定执行路径以及预设调度优化条件,对所述第一恢复验证作业以及所述第二恢复验证作业进行关键路径优化,获得满足所述预设调度优化条件的
最优执行路径,包括:
32.对同一数据库服务器来源对应的多个所述第一恢复验证作业的执行路径进行排程,得到至少一个第一并发执行路径;
33.对不同数据库服务器来源各自对应的所述第一恢复验证作业的执行路径进行排程,得到至少一个第二并发执行路径;
34.基于所述待定执行路径、所述第一并发执行路径和所述第二并发执行路径,按照调度优化策略,对所述第一恢复验证作业以及所述第二恢复验证作业进行关键路径排程,得到满足预设调度优化条件的最优执行路径;
35.其中,所述预设调度优化条件包括在预设恢复验证时长内完成所述多个数据库备份文件的恢复验证的情况下,减少对所述多个数据库备份文件进行恢复验证所花费的恢复验证时长以及所消耗的资源量。
36.可选的,所述获取对所述多个数据库备份文件进行串行恢复验证的待定执行路径,包括:
37.获取所述多个数据库备份文件各自对应的优先级配置数据;所述优先级配置数据包括所述数据库备份文件对应数据库的历史恢复验证信息、数据库属性、数据库备份方式以及恢复验证预测时长之中的一个或多个组合;
38.基于所述优先级配置数据,确定对所述多个数据库备份文件进行串行恢复验证的恢复验证优先级;
39.按照所述恢复验证优先级,得到所述多个数据库备份文件进行恢复验证的待定执行路径。
40.可选的,所述基于所述优先级配置数据,确定对所述多个数据库备份文件进行串行恢复验证的恢复验证优先级,包括:
41.若所述数据库备份方式包括完全备份方式和增量备份方式,配置采用所述完全备份方式得到的数据库备份文件的恢复处理优先级,高于采用增量备份方式得到的数据库备份文件的恢复处理优先级;
42.和/或,
43.基于所述历史恢复验证信息,确定对应的所述数据库备份文件在相邻的上一预设恢复验证时长内未完成或未成功完成恢复验证,提高该数据库备份文件的恢复验证优先级。
44.本技术还提出了一种数据恢复处理装置,所述装置包括:
45.信息获取模块,用于获取待恢复验证的多个数据库备份文件,以及对所述多个数据库备份文件进行串行恢复验证的待定执行路径;
46.恢复验证作业确定模块,用于确定对所述多个数据库备份文件进行恢复验证的至少一个第一恢复验证作业以及第二恢复验证作业;所述第一恢复验证作业可并发执行;所述第二恢复验证作业不可并发执行;
47.最优执行路径获得模块,用于基于所述待定执行路径以及预设调度优化条件,对所述第一恢复验证作业以及所述第二恢复验证作业进行关键路径优化,获得满足所述预设调度优化条件的最优执行路径;
48.恢复验证处理模块,用于按照所述最优执行路径,控制恢复验证服务器执行所述
多个第一恢复验证作业和所述第二恢复验证作业。
49.本技术还提出了一种数据恢复处理系统,所述系统包括:数据库服务器、备份服务器、恢复验证服务器以及调度设备,所述调度设备包括至少一个通信接口、至少一个存储器以及至少一个处理器,其中:
50.所述存储器,用于存储实现如上述的数据恢复处理方法的程序;
51.所述处理器,用于加载并执行所述存储器存储的程序,实现如上述的数据恢复处理方法。
52.由此可见,本技术提供了一种数据恢复处理方法、装置及系统,对于待恢复验证的多个数据库备份文件,初步确定对其进行串行恢复验证的待定执行路径后,将先初步确定对多个数据库备份文件进行恢复验证的多个恢复验证作业中,可并发执行的至少一个第一恢复验证作业以及不可并发执行的第二恢复验证作业,之后,基于待定执行路径和预设调度优化条件,对这些恢复验证作业进行关键路径优化,确定满足该预设调度优化条件的最优执行路径,这样,调度设备按照该最优执行路径,控制所选定的至少一个恢复验证服务器分成预设路径并发执行这多个恢复验证作业,保证这多个数据库备份文件的恢复验证过程能够在预设恢复验证时长内,且提高恢复验证服务器的资源利用率。
附图说明
53.为了更清楚地说明本技术实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本技术的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
54.图1为适用于本技术提出的数据恢复处理方法的任一应用环境下的数据恢复处理系统的一可选示例的架构示意图;
55.图2为本技术提出的数据恢复处理方法的一可选示例的流程示意图;
56.图3为本技术提出的数据恢复处理方法的又一可选示例的流程示意图;
57.图4为本技术提出的数据恢复处理方法的又一可选示例的流程示意图;
58.图5为本技术提出的数据恢复处理方法的又一可选示例的流程示意图;
59.图6为本技术提出的数据恢复处理装置的一可选示例的结果示意图;
60.图7为本技术提出的数据恢复处理装置的又一可选示例的结果示意图;
61.图8为适用于本技术提出的数据恢复处理方法的调度设备的一可选示例的硬件结构示意图。
具体实施方式
62.针对背景技术部分的描述内容,为了提高多个数据库备份文件的恢复验证效率,提出配置对应数量的恢复验证服务器,分别同时对不同的数据库备份文件进行恢复验证,以保证这多个数据库备份文件都能够在预设恢复验证时长内完成,从而保证数据库备份文件的可用性和有效性,但这种数据恢复处理方式会造成恢复验证服务器资源的大量浪费,并不可取。
63.为了进一步改善上述问题,能够在预设恢复验证时长内完成所备份的多个数据库
备份文件的恢复验证的基础上,尽可能充分利用一个或多个恢复验证服务器的资源,保证各恢复验证服务器正常工作的同时,避免其资源浪费。因此,考虑到不同数据库的数据库备份文件的恢复执行步骤复杂度不同,且在整个恢复验证过程中往往涉及多个执行实体的执行过程中,如对于mysql、postgresql等关系型数据库的备份文件恢复,需要先将该备份文件恢复到本地磁盘,再面向对应的数据库服务器完成备份文件的恢复验证。
64.对此,本技术提出对多个数据库备份文件的恢复验证过程中,可以并发执行的作业进行合理分配,确定需要几个恢复验证服务器进行并发执行,每一路包含哪些数据库备份文件及其执行顺序;甚至对于来自同一数据库服务器的多个数据库备份文件,还可以对其整个恢复验证过程进行分解,结合关键路径优化算法,优化这类多个数据库备份文件各自的分解步骤之间,从什么时间开始可以并行执行的分配问题,实现恢复验证服务器的资源调度优化,以在预设恢复验证时长内保质保量完成所获得的多个数据包备份文件的恢复验证,减少资源浪费,提高恢复验证作业执行效率,解决作业积压问题,保证数据库备份文件的可用性与有效性。
65.下面将结合本技术实施例中的附图,对本技术实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本技术一部分实施例,而不是全部的实施例。基于本技术中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本技术保护的范围。
66.参照图1,为适用于本技术提出的数据恢复处理方法的任一应用环境下的数据恢复处理系统的一可选示例的架构示意图,本技术对该应用环境类型不做限制,如图1所示,该系统可以包括:数据库服务器11、备份服务器12、恢复验证服务器13以及调度设备14,其中,系统中的这几类组成部分各自的数量往往是至少一个,相互之间可以通过有线通信网络或无线通信网络实现通信连接,本技术对各部分之间的通信连接方式不做限制,可以依据场景需求确定,本技术在此不做详述。
67.数据库服务器11可以是提供数据存储服务的服务器,可以是独立的物理服务器,也可以是多个物理服务器构成的服务集群,也可以是云服务器。在实际应用中,数据库服务器11通常分为多种类型,如关系型数据库、非关系型数据库等,可以依据不同业务需求灵活选择用于存储本企业的业务数据的数据库服务器。
68.其中,对于各数据库服务器11中可能配置有一个或多个数据库(即数据库实例),以实现对各类型数据的灵活存储。通常情况下,考虑到数据安全性,通常会针对数据库服务器11配置备灾系统,即按照预设备份周期或备份规则,可以由备份服务器12定时对各数据库的数据进行备份作业,得到对应的数据库备份文件进行存储,以便后续依据业务需求,可以对相应的数据库备份文件进行恢复作业,以得到备份时的数据库实例,本技术对数据库备份作业实现过程不做详述。
69.在实际应用中,对于多个数据库服务器11,可以由对应数量的多个备份服务器并行执行备份作业,得到各自包含的各数据库对应的数据库备份文件。之后,为了保证后续对该数据库备份文件进行恢复作业的有效性,通常会对所得到的数据库备份文件进行恢复有效性验证,该过程可以由服务器验证服务器(即恢复目标机)实现恢复还原,且在该恢复验证过程中,可以由对应的数据库服务器对数据库备份文件进行关键数据内容校验,实现过程不做详述。
70.在本技术中,上述备份服务器12的数量可以为多个,或一个备份服务器上创建多个备份进程/线程,以便按照预设的备份规则执行备份作业,实现对相应数据库服务器中的数据库实例的备份处理,得到该数据库实例的数据库备份文件。对于参与数据恢复处理的恢复验证服务器的数量,以及每一个恢复验证服务器执行该恢复验证处理的处理进程/线程数量,可以依据对本次获取的数据库备份文件进行恢复验证过程中,可并发执行的备份恢复作业的关键路径分析,所得到的最优调度方案确定,本技术在此不做详述。
71.调度设备14可以是对确定所获得的多个数据库备份文件的分析,确定最优调度方案,再依据该最优调度方案,控制实现对本轮获得的多个数据库备份文件的恢复验证的调度控制的计算机设备,可以是终端设备或服务器,该终端设备可以包括但并不局限于智能手机、平板电脑、可穿戴设备、智慧交通设备、智慧医疗设备、机器人、台式计算机等;服务器可以是物理服务器或云服务器等,本技术对调度设备14的产品类型不做限制,可视情况而定。
72.其中,在对每一数据库备份文件的备份验证过程,可以将备份服务器所存储的数据库备份文件发送至请求恢复验证的管理者的本地电子设备,再由该本地电子设备将数据库备份文件恢复还原到备份验证数据库。对于该本地电子设备可以是调度设备14,也可以是区别于调度设备14的另一电子设备,本技术对此不做限制,可视情况而定。
73.应该理解的是,图1所示的数据恢复处理系统结构并不构成对本技术实施例中数据恢复处理系统的限定,在实际应用中,该系统可以包括比图1所示的更多或更少的设备,或者组合设备,本技术在此不做一一列举。
74.参照图2,为本技术提出的数据恢复处理方法的一可选示例的流程示意图,该方法可以由上述调度设备执行,如图2所示,该方法可以包括:
75.步骤s21,获取待恢复验证的多个数据库备份文件,以及对该多个数据库备份文件进行串行恢复验证的待定执行路径;
76.结合上文实施例相应部分的描述,对于各数据库服务器中的数据库实例的备份作业,通常会按照一定周期或时间规则执行,如每24小时对数据库实例执行一次备份作业等,可以将该24小时作为预设恢复验证时长,但并不局限于24小时,可以依据业务需求确定相邻两次执行备份作业的时间间隔,即预设恢复验证时长。
77.对于每个预设恢复验证时长内执行备份作业所得到的多个数据库备份文件,需要对其进行恢复验证处理时,为了解决积压作业无法完成的问题,本技术可以先确定这多个数据库备份文件进行恢复验证优先级,为对应数据库备份文件的恢复验证作业配置对应的恢复验证优先级标记,之后,可以基于该恢复验证优先级标记,优先执行恢复验证优先级高的恢复验证作业,也就是确定多个数据库备份文件进行串行恢复验证的待定执行路径,由此指示按照该待定执行路径顺次执行对这多个数据库备份文件的恢复验证。
78.其中,关于多个数据库备份文件各自的恢复验证优先级的获取方法,也就是在确定上述待定执行路径时,可以依据多个数据库备份文件各自对应的数据库的历史恢复验证信息(如对应数据库的备份文件上一次恢复验证是否完成,完成恢复验证所花费的时长等)、数据库属性(如数据库类型等)、数据库备份方式(如对数据库的所有数据进行备份的完全备份方式、对数据库的部分数据进行备份的增量备份方式)以及恢复验证预测时长(即预测本次对数据库备份文件恢复验证可能会花费的时长等)之中的一个或多个组合,确定
对各数据库备份文件的恢复验证优先级的标记策略,据此确定本次获得的多个数据库备份文件进行串行恢复验证的待定执行路径,即多个数据库备份文件的恢复验证执行顺序,实现过程本技术不做详述。
79.需要说明,关于确定多个数据库备份文件进行串行恢复验证的待定执行路径所依据的标记策略,包括但并不局限于上文描述的内容,可以依据实际业务需求来确定,本技术不做一一举例详述。
80.在一些实施例中,由于确定上述待定执行路径时,通常是以在预设恢复验证时长内执行完毕的恢复验证作业数量最大化为目标,不断调整优化确定的,所以,本技术可以预测若按照该待定执行路径,对多个数据库备份文件恢复验证能否在预设恢复验证时长内完成,若较高概率可以完成,即所得第一预测概率达到第一概率阈值(即表示能够在预设恢复验证时长内完成多个数据库备份文件的恢复验证的预测概率临界值,本技术对其数值不做限制,可视情况而定),可以将该待定执行路径作为目标调度方案,调度设备可以直接按照该待定执行路径,控制多个数据库备份文件顺次进行恢复验证。
81.反之,若按照上文描述的预测处理方式,确定第一预测概率未达到第一概率阈值,需要继续优化对这多个数据库备份文件的恢复验证过程的调度方案,此时可以执行后续步骤,以确定能够在预设恢复验证时长内,充分利用恢复验证服务器的资源下,实现对多个数据库备份文件的恢复验证的目标调度方案。
82.当然,在又一些实施例中,在获得多个数据库备份文件后,也可以结合上文对本技术技术方案的描述内容,结合并行执行恢复作业的技术手段,即基于并发作业关键路径优化的备份恢复任务调度方式,确定这多个数据库备份文件的最优调度方案,提高恢复验证效率。
83.步骤s22,确定对多个数据库备份文件进行恢复验证的至少一个第一恢复验证作业以及第二恢复验证作业;
84.本技术实施例中,可以将对每一个数据库备份文件的恢复验证过程确定为一个恢复验证作业,上述第一恢复验证作业可以指其中可并发执行的恢复验证作业;第二恢复验证作业可以指其中不可并发执行的恢复验证作业,本技术对第一恢复验证作业和第二恢复验证作业的确定方法不做限制,可以参照但并不局限于下文实施例相应部分的描述。
85.需要说明,在一些实施例中,对于本次获得的多个数据库备份文件对应的多个恢复验证作业,可能是部分恢复验证作业为第一恢复验证作业,也可能是全部恢复验证作业都为第一恢复验证作业(即不存在第二恢复验证作业),也可能不包含第一恢复验证作业。在多个恢复验证作业都是第二恢复验证作业的情况下,可以直接按照待定执行路径,控制实现这多个数据库备份文件的恢复验证,本技术对这种情况的处理过程不做详述。
86.其中,在第一恢复验证作业的过程中,可以考虑各恢复验证作业的数据库备份文件所来自的数据库服务器,且对于来自不同的数据库服务器的多个数据库备份文件,直接并发执行这多个数据库备份文件的恢复验证过程,并不利于提高恢复验证效率,对于这种情况下,可以对这类数据库备份文件的恢复验证过程进行分解,得到对应的多个恢复验证子作业,这样,考虑不同恢复验证子作业的执行时长不同,同一数据库备份文件在同一类恢复验证子作业的执行时长也不同,来确定这多个数据库备份文件之间的并发执行策略时,不再局限于从开始执行时间就并发执行,如可以在对某一数据库备份文件执行第二恢复验
证子作业时,同步启动下一数据库备份文件的恢复验证作业的第一恢复验证子作业,以在预设恢复验证时长内实现恢复验证作业的执行数量最大化,以及对恢复验证服务器资源使用的充分性,调度方案的确定过程本技术不做详述。
87.步骤s23,基于待定执行路径以及预设调度优化条件,对第一恢复验证作业以及第二恢复验证作业进行关键路径优化,获得满足预设调度优化条件的最优执行路径;
88.步骤s24,按照最优执行路径,控制恢复验证服务器执行多个第一恢复验证作业和第二恢复验证作业。
89.继上文描述,预设调度优化条件可以包括在预设恢复验证时长内完成多个数据库备份文件(即在一个预设恢复验证时长内执行备份作业所得到的数据库备份文件)的恢复验证的情况下,减少对多个数据库备份文件进行恢复验证所花费的恢复验证时长以及所消耗的资源量,从而解决对这多个数据库备份文件进行串行恢复验证处理,或对这多个数据库备份文件发送至对应数量的多个恢复验证服务器进行并行恢复验证处理存在的技术问题,本技术对预设调度优化条件包含的具体内容不做限制,可视情况而定。
90.结合上文对本技术技术方案的相关描述,本技术考虑不同恢复验证作业的恢复验证预测时长以及恢复验证服务器的可用资源等,对各第一恢复验证作业的并发执行进行排程,即确定每一路并发恢复验证对应的第一恢复验证作业及其执行顺序,也就是确定该路并发恢复验证的第一恢复验证作业队列/执行路径,与此同时,对于能够分解的第一恢复验证作业,在确定第一恢复验证作业的各种执行顺序时,还可以确定不同第一恢复验证作业之间并发执行的各恢复验证子作业的不同开始执行时间,得到多种策略,即所确定的各恢复验证作业的各种执行路径。
91.之后,可以分析按照每一种执行路径(即调度策略),执行多个恢复验证作业(其包含第一恢复验证作业和第二恢复验证作业)所需的恢复验证预测时长,以及所需消耗的恢复验证服务器的资源量等,据此确定出最优执行路径。本技术对上述对多个恢复验证作业执行顺序,满足预设调度优化条件的关键路径优化方法,确定最优解(即最优执行路径)的实现方法不做限制。
92.按照上文描述的方法确定对本次获得的多个数据库备份文件对应的恢复验证做作业的最优执行路径后,调度设备可以按照该最优执行路径,控制多个数据库备份文件恢复还原至对应的恢复验证服务器,顺次实现对所接收到的数据库备份文件的恢复验证,实现过程本技术不做详述。
93.综上,对于待恢复验证的多个数据库备份文件,初步确定对其进行串行恢复验证的待定执行路径后,本技术实施例为了提高恢复验证效率以及对恢复验证服务器的资源利用率,将先初步确定对多个数据库备份文件进行恢复验证的多个恢复验证作业中,可并发执行的至少一个第一恢复验证作业以及不可并发执行的第二恢复验证作业,之后,基于待定执行路径和预设调度优化条件,对这些恢复验证作业进行关键路径优化,确定满足该预设调度优化条件的最优执行路径,即这些恢复验证作业的并发执行组合及其执行顺序等,这样,调度设备按照该最优执行路径,控制所选定的至少一个恢复验证服务器分成预设路径并发执行多个恢复验证作业,保证多个数据库备份文件的恢复验证过程能够在预设恢复验证时长内,且能够实现对恢复验证服务器资源的充分利用,避免资源浪费。
94.参照图3,为本技术提出的数据恢复处理方法的又一可选示例的流程示意图,本实
施例可以是上文描述的数据恢复处理方法的一可选细化实现方法的描述,但并不局限于这种细化实现方法,本实施例可以对上述待定执行路径的获取方法进行细化描述,对于其他处理步骤本实施例不做详述。如图3所示,该细化实现方法可以包括但并不局限于:
95.步骤s31,获取待恢复验证的多个数据库备份文件;
96.步骤s32,获取多个数据库备份文件各自对应的优先级配置数据;
97.本技术实施例中,该优先级配置数据可以包括但并不局限于:数据库备份文件对应数据库的历史恢复验证信息、数据库属性、数据库备份方式以及恢复验证预测时长等之中的一个或多个组合,可以依据业务需求来确定优先级配置数据的内容,本技术对其不做限制。
98.其中,优先级配置数据可以用于指示对应数据库备份文件的恢复验证优先级,即在本次获取的多个数据库备份文件的恢复验证过程中的恢复验证执行顺序,可以依据数据库备份文件的恢复验证优先级配置策略确定,本技术对包括但并不局限于上文列举的各优先级配置数据的获取方式不做限制。
99.步骤s33,基于该优先级配置数据,确定对多个数据库备份文件进行串行恢复验证的恢复验证优先级;
100.步骤s34,按照恢复验证优先级,得到多个数据库备份文件进行恢复验证的待定执行路径;
101.在本技术实施例中,对于上述优先级配置数据包含的数据库备份方式,通常包括完全备份方式和增量备份方式,在实际业务应用中,可以配置采用完全备份方式得到的数据库备份文件的恢复验证优先级,高于采用增量备份方式得到的数据库备份文件的恢复验证优先级,这样,在确定所获得的多个数据库备份文件的恢复验证优先级时,可以确定各数据库备份文件的数据库备份方式,据此确定不同数据库备份方式的数据库备份文件属于较高恢复验证优先级,还是处于较低恢复验证优先级,据此确定这多个数据库备份文件的恢复验证的执行顺序。
102.可选的,若上述优先级配置数据包含上述历史恢复验证信息,由于其能够指示在相邻的上一预设恢复验证时长内未完成或未成功完成对应数据库备份文件的恢复验证,为了保证本次能够可靠完成对应数据库备份文件的恢复验证,可以提高对应数据库备份文件的恢复验证优先级,具体提高优先级级别数可视情况而定,本技术对此不做限制。
103.在又一些实施例中,在调整各数据库备份文件的恢复验证优先级过程中,可以获取各数据库备份文件的恢复验证预测时长,按照本次调整得到的执行顺序累计这多个数据库备份文件的恢复验证预测时长,得到恢复验证总预测时长,确定其是否达到预设恢复验证时长,以使这多个数据库备份文件的恢复验证作业,能够在预设恢复验证时长内执行完毕的作业数量最大化。
104.此外,本技术还可以依据实际业务需求,确定哪类数据库的数据库备份文件需要优先执行恢复验证,哪类数据库的数据库备份文件的恢复验证靠后,由此确定具有较高恢复验证优先级/需要提高恢复验证优先级的数据库属性,以及确定具有较低恢复验证优先级/需要降低恢复验证优先级的数据库属性,后续可以据此实现对多个数据库备份文件的恢复验证优先级配置。
105.在本技术实际应用中,可以结合上文列举的一种或多种恢复验证配置方式,精准
确定各数据库备份文件的恢复验证优先级,将该恢复验证优先级对应配置的优先级标记,与该数据库备份文件的恢复验证作业关联,以便后续依据该优先级标记确定各数据库备份文件的恢复验证执行顺序。
106.当然,在确定多个数据库备份文件进行串行恢复验证的恢复验证优先级后,可以按照该恢复验证优先级对应的数据库备份文件的恢复验证执行顺序,将其作为这多个数据库备份文件的恢复验证的待定执行路径。需要说明,关于该待定执行路径的获取方法,包括但并不局限于上文列举的实现方式,可以依据不同业务需求进行灵活调整,本技术不做一一举例详述。
107.步骤s35,获取恢复验证服务器按照该待定执行路径,能够在预设恢复验证时长内完成对多个数据库备份文件的恢复验证的第一预测概率;
108.步骤s36,确定该第一预测概率小于第一概率阈值,生成针对待定执行路径的优化调度指令;
109.结合上文实施例相应部分的描述,初步确定对多个数据库备份文件进行串行恢复验证的待定执行路径,即确定多个数据库备份文件的恢复验证优先级队列后,可以预测此时各数据库备份文件的恢复验证作业的预测执行时间(即恢复验证预测时长)或预测执行时间区间,按照该待定执行路径的执行顺序,累计对应恢复验证作业的预测执行时间的总和,确定其是否达到预设恢复验证时长,即预测多个数据库备份文件的恢复验证能否在预设恢复验证时长内完成,本技术对该预测实现方法不做限制,可以结合各数据库的历史恢复验证信息、当前恢复验证服务器的可用资源等信息实现,本技术实施例在此不做详述。
110.按照上文描述的方式,预测得到按照该待定执行路径,能够在预设恢复验证时长内完成对多个数据库备份文件的恢复验证的第一预测概率后,可以通过将其预设的第一概率阈值进行比较,来确定多个数据库备份文件的恢复验证能否在预设恢复验证时长内完成,本技术对该第一概率阈值的数值及其获取方式不做限制,可视情况而定。
111.经过上述分析,确定第一预测概率小于第一概率阈值,可以认为按照该待定执行路径,无法在预设恢复验证时长内完成对多个数据库备份文件的恢复验证,此时可以生成优化调度指令,用以指示对待定执行路径做进一步优化处理,本技术对该优化调度指令的生成方式及其内容不做限制。
112.步骤s37,响应该优化调度指令,确定对多个数据库备份文件进行恢复验证的至少一个第一恢复验证作业以及第二恢复验证作业;
113.步骤s38,基于待定执行路径以及预设调度优化条件,对第一恢复验证作业以及第二恢复验证作业进行关键路径优化,获得满足预设调度优化条件的最优执行路径;
114.步骤s39,按照最优执行路径,控制恢复验证服务器执行多个第一恢复验证作业和第二恢复验证作业。
115.关于步骤s37-步骤s39描述的优化调度实现方法,可以参照上文实施例相应部分的描述,本技术实施例在此不做赘述。
116.参照图4,为本技术提出的数据恢复处理方法的又一可选示例的流程示意图,本实施例可以是上文描述的数据恢复处理方法的又一可选细化实现方法的描述,可以对上文实施例提出的调度优化实现方法进行细化描述,但并不局限于本实施例描述的细化实现方法,如图4所示,该方法可以包括:
117.步骤s41,获取待恢复验证的多个数据库备份文件,以及对多个数据库备份文件进行串行恢复验证的待定执行路径;
118.步骤s42,获取该多个数据库备份文件各自对应数据库的历史恢复验证信息,以及恢复验证服务器的可用资源;
119.本技术实施例中,恢复验证服务器可以基于针对所要执行的恢复验证作业创建的任务进程/线程,确定该恢复验证服务器的可用资源,同一恢复验证服务器中并行执行的任务进程数量越多,资源竞争越激烈,可能会影响这多个任务进程所执行的恢复验证进度。所以,在确定多个数据库备份文件的并行恢复验证过程中,需要结合恢复验证服务器的可用资源,来确定恢复验证服务器需要创建的任务进程数量,进而确定每一个任务进程中恢复验证作业队列。
120.步骤s43,基于历史恢复验证信息和可用资源,获得恢复验证服务器按照待定执行路径,能够在预设恢复验证时长内完成对多个数据库备份文件的恢复验证的第一预测概率;
121.步骤s44,确定第一预测概率小于第一概率阈值,生成针对待定执行路径的优化调度指令;
122.结合上文对历史恢复验证信息的相关描述,可以预估本次对获取的多个数据库备份文件进行恢复验证的预测时长,以据此计算本次恢复验证任务无法在预设恢复验证时长内完成的预测概率,或本次恢复验证任务按照待定执行路径(即初步设置的恢复验证优先级队列),在预设恢复验证时长内完成的第一预测概率,在第一预测概率小于第一概率阈值的情况下,说明直接按照待定执行路径,控制多个数据库备份文件串行进行恢复验证无法在预设恢复验证时长内完成,需要对至少部分数据库备份文件进行并行恢复验证,来缩短恢复验证时长,同时实现对所选择的各恢复验证服务器资源的充分利用。
123.步骤s45,响应优化调度指令,对多个数据库备份文件的恢复验证过程进行资源竞合分析;
124.步骤s46,基于不同的资源竞合分析结果,从对多个数据库备份文件进行恢复验证的多个恢复验证作业中,确定对应的第一恢复验证作业和第二恢复验证作业;
125.在实际应用中,每一个数据库服务器中通常会配置一个数据库实例,对其进行备份作业,可以得到对应的数据库备份文件,对于这类来自不同数据库服务器的数据库备份文件之间的恢复验证,往往不存在资源争取情况,可以并行执行恢复验证作业,即不同节点(即数据库服务器)之间的数据库备份文件恢复验证并行作业,可以将该恢复验证作业记为第一恢复验证作业。
126.当然,某些数据库服务器中可能存储有多个或多种数据库,若直接并发执行多个恢复验证过程,并不利于提高恢复效率,直接顺次执行可能会导致无法在预设恢复验证时长内完成恢复验证。为了提高恢复验证执行效率,可以对于这类数据库备份文件的恢复验证过程进行分解,对同一数据库服务器的不同数据库备份文件各自对应的多个恢复验证子作业并行执行,所以说,对于来自同一数据库服务器的多个数据库备份文件各自的恢复验证作业,可以确定为第一恢复验证作业。
127.步骤s47,对同一数据库服务器来源对应的多个第一恢复验证作业进行执行路径排程;
128.由于数据库备份文件的恢复流程通常是,将数据库备份文件发送至本地系统进行解压,再将解压后的恢复还原至恢复验证服务器。如在mysql中,备份文件通过mysqldump命令导出到sql文件,在恢复过程通过sql文件进行恢复。为了提高恢复验证处理效率,可以对每一数据库备份文件的整个恢复验证过程进行分解,如结合执行实体等将对应的一个恢复验证作业分解为多个恢复验证子作业,本技术对来自同一数据库服务器的第一恢复验证作业的并发作业计划分解方法不做限制。
129.在一些实施例中,本技术可以确定多个数据库备份文件各自的数据库服务器来源,如果同一数据库服务器来源对应多个数据库备份文件,将对应的恢复验证过程确定为第一恢复验证作业,之后可以基于数据库备份文件的恢复验证过程所涉及的执行实体,将该第一恢复验证作业分解为多个恢复验证子作业,确定不同第一恢复验证作业之间可并发执行的恢复验证子作业。
130.基于此,在对来自同一数据库服务器的任一数据库备份文件的并发作业分解,得到对应的多个恢复验证子作业时,可以将该数据库备份文件从备份服务器传输至本地设备的过程确定为第一子作业,可以将该可并发执行的作业执行时间段记为t1;将该数据库备份文件从本地设备传输至恢复验证服务器的过程确定为第二子作业,可以将该可并发执行的作业执行时间段记为t2;将该数据库服务器对该数据库备份文件的关键内容验证过程确定为第三子作业,将该作业执行时间段记为t3;将对恢复验证服务器的恢复验证环境的重置过程确定为第四子作业,将该可并发执行的作业执行时间段记为t4。
131.由此可见,对于每一个数据库备份文件的恢复验证过程中,t2和t3作业执行时间段是由不同服务器执行,不会相互影响,可以并行执行,或同一恢复验证作业的不同时间段的子作业,如资源争抢情况不显著,如同一本地设备执行的t1时间段和t2时间段的子作业,也可以并行执行。所以说,对于属于不同数据库备份文件的t1和t2对应的恢复验证子作业可以并发执行,且对于的t2和t3所对应的恢复验证子作业也可以并发执行。
132.示例性的,一个任务进程上的一个恢复验证作业进入到t2阶段的子作业,可以在另一任务进程上同时启动下一个恢复验证作业(按照待定执行路径的执行顺序确定)的t1阶段的子作业;当这一个恢复验证作业进入到t3时间段的子作业时,即在进入t3时间段,另一任务进程上可以同步执行下一恢复验证作业的t2时间段。即在一个恢复验证作业的数据验证过程中,可以同步执行另一数据库服务器上的其他数据库示例或数据库下数据恢复作业。按照这种调度方式,可以实现同一数据库服务器中的多个数据库备份文件的不同恢复验证子作业的并发执行路径,包括但并不局限于本实施例上文列举的并发调度方案。
133.需要说明,对于上述能够分解的可并发执行的第一恢复验证作业,属于同一个第一恢复验证作业的多个恢复验证作业,会按照分解顺序执行,即每一个第一恢复验证作业的t1、t2、t3和t4对应的恢复验证子作业在一个任务进程中串行执行,但在进入某一时间段对应的恢复验证子作业时,可能会同步在另一任务进程中执行下一恢复验证作业的另一恢复验证子作业。
134.按照上文描述的排程依据,可以对同一数据库服务器来源对应的多个第一恢复验证作业包含的各恢复验证子作业进行执行路径排程,确定多种执行路径,每一种执行路径可以包括该恢复验证作业在多个任务进程各自上的队列及其执行顺序。其中,在该执行路径排程过程中,对于上述可并发执行的第一恢复验证作业,可以进行不同恢复验证优先级
的关键路径排程,本技术对该关键路径排程实现方法不做详述,可以结合关键路径分析算法实现。
135.另外,如果多个所述数据库服务器来源各自对应一个数据库备份文件,将该数据库备份文件的恢复验证过程确定为第一恢复验证作业,对于这类第一恢复验证作业可以作为一个整体执行,无需做进一步分解并发调度。对于这类第一恢复验证作业可以分配到不同任务进程,以使位于不同任务进程中的这类第一恢复验证作业并行执行。
136.步骤s48,基于待定执行路径以及不同恢复作业的恢复验证预测时长,按照与得到的执行路径排程结果对应的调度优化方式,确定针对第一恢复验证作业以及第二恢复验证作业的候选执行路径;
137.本技术实施例中,调度优化方式可以包括但并不局限于穷举法、最速下降法、启发式算法等,可以依据执行路径排程结果,选择合适的调度优化方式,来确定多个数据库备份文件对应的恢复验证作业的候选执行路径。
138.在一种可能的实现方式中,如果得到的执行路径排程数量小于第一数量阈值(即并发恢复验证作业的解空间较小),可以采用穷举法确定调度优化方式;如果得到的执行路径排程数量等于或大于第一数量阈值(即并发恢复验证作业的解空间较大),且多个数据库备份文件对应的恢复验证作业,按照待定执行路径在预设恢复验证时长内完成的第一预测概率大于第一概率阈值,如通过经验值得知有较大概率能够在预设恢复验证时长内完成,可以采用最速下降法确定调度优化方式,实现恢复验证作业执行路径的优化处理;如果得到的执行路径排程数量等于或大于第一数量阈值,且第一预测概率小于或等于第一概率阈值,采用启发式算法确定调度优化方式,即使用启发式算法,计算并发恢复验证作业的关键路径,且可以标注可能在预设恢复验证时长内无法完成的恢复验证作业范围,实现方式本技术不做限制。
139.关于如何按照上文描述的各种调度优化方式,确定候选执行路径的实现过程,可以依据该调度优化方式对应算法的运算原理确定,本技术在此不做一一详述。
140.步骤s49,验证按照候选执行路径,控制恢复验证服务器执行第一恢复验证作业以及第二恢复验证作业的预测执行结果满足预设调度优化条件,将候选执行路径确定为最优执行路径;
141.步骤s410,按照该最优执行路径,控制恢复验证服务器执行多个第一恢复验证作业和第二恢复验证作业。
142.本技术实施例按照上文描述的方法进行关键路径进行优化过程中,可以检测每次优化后的执行路径是否满足预设调度优化条件,如是否满足多个数据库备份文件对应的恢复验证作业,按照候选执行路径在预设恢复验证时长内完成的第二预测概率大于第二概率阈值,和/或多个数据库备份文件对应的恢复验证作业中无法在预设恢复验证时长内执行的作业范围减小,和/或在预设恢复时长内无法执行的恢复验证作业在所述候选执行路径中,相对于在待定执行路径中的执行顺序靠后等之中的一个或多个条件内容,若满足,可以采纳本次优化结果,得到最优执行路径,据此开始执行本次恢复验证作业。
143.基于此,上述步骤s49可以包括但并不局限于以下执行步骤:
144.获取多个数据库备份文件对应的恢复验证作业,按照候选执行路径在预设恢复验证时长内完成的第二预测概率,确定第二预测概率小于第二概率阈值,可以按照上文描述
的方法继续对候选执行路径进行优化,直至新获取的第二预测概率等于或大于第二概率阈值;和/或,确定多个数据库备份文件对应的恢复验证作业中,无法在预设恢复验证时长内执行的作业范围未减小,可以按照上文描述的方法继续对所述候选执行路径进行优化,直至无法在预设恢复验证时长内执行的作业范围减小;和/或,确定在预设恢复验证时长内无法执行的恢复验证作业在候选执行路径中,相对于在待定执行路径中的执行顺序未向后移动,可以按照上文描述的方法继续对候选执行路径进行优化,直至在预设恢复验证时长内无法执行的恢复验证作业在候选执行路径中,相对于在待定执行路径中的执行顺序向后移动。
145.需要说明,关于预设调度优化条件的内容,包括但并不局限于上文列举的一种或多种组合条件,可以依据业务需求来确定预设调度优化条件。
146.参照图5,为本技术提出的数据恢复处理方法的又一可选示例的流程示意图,本实施例可以是上文描述的数据恢复处理方法的又一可选细化实现方法的描述,本实施例提出的确定最优执行路径的又一可选实现方式,如图5所示,该方法可以包括:
147.步骤s51,获取待恢复验证的多个数据库备份文件,以及对多个数据库备份文件进行串行恢复验证的待定执行路径;
148.步骤s52,对多个数据库备份文件的恢复验证过程进行资源竞合分析;
149.步骤s53,基于不同的资源竞合分析结果,从对多个数据库备份文件进行恢复验证的多个恢复验证作业中,确定对应的第一恢复验证作业和第二恢复验证作业;
150.步骤s54,对同一数据库服务器来源对应的多个第一恢复验证作业的执行路径进行排程,得到至少一个第一并发执行路径;
151.步骤s55,对不同数据库服务器来源各自对应的第一恢复验证作业的执行路径进行排程,得到至少一个第二并发执行路径;
152.结合上文实施例相应部分的描述,对于同一数据库服务器来源对应的多个第一恢复验证作业,可以对每一个第一恢复验证作业进行并行执行分解,得到多个恢复验证子作业,之后,再对其进行关键路径排程,得到这多个第一恢复验证作业的一个或多个第一并发执行路径,即一个或多个这类第一恢复验证作业队列。同理,对于不同数据库服务器来源各自对应的第一恢复验证作业的执行路径的排程,可以结合恢复验证预测时长以及可用资源,得到这类第一恢复验证作业的一种或多种第二并发执行路径,即一个或多个第一恢复验证作业队列,实现过程本技术不做详述。
153.步骤s56,基于待定执行路径、第一并发执行路径和第二并发执行路径,按照调度优化策略,对第一恢复验证作业以及第二恢复验证作业进行关键路径排程,得到满足预设调度优化条件的最优执行路径;
154.在本实施例实际应用中,可以结合上文描述的包含有多种调度优化方式,确定调度优化策略,实现对上文确定的各种执行路径的组合,得到多个数据库备份文件的恢复验证作业的多种关键路径,之后,可以对按照各关键路径执行恢复验证作业的执行结果,如预估的恢复验证预测时长、所消耗的恢复验证服务器资源等,来确定最优执行路径,以在预设恢复验证时长内完成多个数据库备份文件的恢复验证的情况下,减少对多个数据库备份文件进行恢复验证所花费的恢复验证时长以及所消耗的资源量,实现过程本技术不做详述。
155.步骤s57,按照最优执行路径,控制恢复验证服务器执行多个第一恢复验证作业和
第二恢复验证作业;
156.步骤s58,获取恢复验证服务器执行第一恢复验证作业和第二恢复验证作业产生的作业日志数据;
157.步骤s59,基于作业日志数据确定存在预设恢复验证时长内未成功执行的恢复验证作业,调整最优调度方案;
158.步骤s510,基于调整后的最优调度方案,在下一预设恢复验证时长内,实现对多个数据库备份文件对应数据库的数据库备份文件进行恢复验证。
159.对于按照上文各实施例确定的最优执行路径,执行多个恢复验证作业后,即完成本次恢复验证任务后,可以向管理员报告本次任务的执行情况,即记录上述确定的各第一恢复验证作业和第二恢复验证作业执行所产生的作业日志数据,由其表征对应恢复验证作业的执行情况,基于作业日志数据确定存在预设恢复验证时长内未成功执行的恢复验证作业,可以调整最优调度方案,据此实现在下一预设恢复验证时长内,对多个数据库备份文件的恢复验证处理,也就是说,若确定出未成功执行完毕的恢复验证作业列表,管理员可以根据实际需求调整下一预设恢复验证时长内的恢复验证作业调度方案,且在每次恢复还原作业开始前可以重复上述方法,对多个数据库备份文件进行恢复验证,实现恢复过程中可并发执行作业关键路径的优化,即在优化备份文件恢复的资源调度,保证业务质量的同时,提高运行效率,保证多个数据库备份文件的恢复作业可以在预设恢复验证时长内完成,
160.在本技术提出的一些实施例中,对于上文各实施例描述的最优执行路径(即最优调度方案)的获取方法,可以预先构建通用的调度模型,这样,针对不同业务,按照上文描述的方法,获取多个数据库备份文件以及各自对应的优先级配置数据等信息后,可以直接输入该调度模型,输出当前针对这多个数据库备份文件的恢复验证作业的最优执行路径。本技术对调度模型的构建实现方法不做限制,可以结合上文各步骤描述的执行路径优化方法确定。
161.在本技术提出的又一些实施例中,在某些实际业务中,为了保证更多数据库的数据安全与可用性,以最大化在预设恢复验证时长内能够执行完毕的恢复验证作业个数为目标。在恢复验证作业开始前,估算各个待恢复验证的数据库尺寸与恢复验证作业的预计执行时间(即恢复验证预测时长),计算与执行一个容量大于x gb(即第一数据量阈值,本技术对其数值不做限制)数据库的恢复验证作业的预计时间相近的,一次执行n个容量小于x gb的数据库恢复的预计时间。本技术可以将这n个容量小于xgb的数据库进行捆绑,进行批量统一,从而提升处理性能。例如,openstack数据库中存在若干低频使用的数据库,其尺寸很小,甚至可能压缩后的文件在1mb之内,对此可以通过批量数据库恢复操作,能够有效提升恢复验证效率。
162.基于此,本技术可以确定多个数据库备份文件各自的数据量以及恢复验证预测时长,从而基于恢复验证预测时长和预设恢复验证时长,确定数据量小于第一数据量阈值的多个第一数据库备份文件,即上述n个容量小于x gb的数据库的数据库备份文件,可以将对这多个第一数据库备份文件进行的恢复验证过程确定为一个恢复验证作业,后续仍可以按照上文描述的调度方法,与其他恢复验证作业进行并行执行调度控制,使得小尺寸数据库恢复验证作业可以批量并发执行,实现过程本技术不做详述。
163.另外,由于执行批量数据库备份文件的恢复验证的策略,是与获得对应的数据库
备份文件的备份作业计划共生的,基从数据库服务器中的若干数据库的数据库备份文件导出中,小尺寸数据库的数据库备份文件可以批量导出,并作为一批数据库备份作业进行批量备份。相应地,对这批量数据库备份文件的恢复验证作业也可以按照上文描述的方式批量并发执行,提高恢复处理效率。
164.参照图6,为本技术提出的数据恢复处理装置的一可选示例的结果示意图,如图6所示,该装置可以包括:
165.信息获取模块61,用于获取待恢复验证的多个数据库备份文件,以及对所述多个数据库备份文件进行串行恢复验证的待定执行路径;
166.恢复验证作业确定模块62,用于确定对所述多个数据库备份文件进行恢复验证的至少一个第一恢复验证作业以及第二恢复验证作业;所述第一恢复验证作业可并发执行;所述第二恢复验证作业不可并发执行;
167.最优执行路径获得模块63,用于基于所述待定执行路径以及预设调度优化条件,对所述第一恢复验证作业以及所述第二恢复验证作业进行关键路径优化,获得满足所述预设调度优化条件的最优执行路径;
168.恢复验证处理模块64,用于按照所述最优执行路径,控制恢复验证服务器执行所述多个第一恢复验证作业和所述第二恢复验证作业。
169.在一些实施例中,如图7所示,上述恢复验证作业确定模块62可以包括:
170.第一信息获取单元621,用于获取所述多个数据库备份文件各自对应数据库的历史恢复验证信息,以及恢复验证服务器的可用资源;
171.第一预测概率获得单元622,用于基于所述历史恢复验证信息和所述可用资源,获得所述恢复验证服务器按照所述待定执行路径,能够在预设恢复验证时长内完成对所述多个数据库备份文件的恢复验证的第一预测概率;
172.优化调度指令确定单元623,用于确定所述第一预测概率小于第一概率阈值,生成针对所述待定执行路径的优化调度指令;
173.资源竞合分析单元624,用于响应所述优化调度指令,对所述多个数据库备份文件的恢复验证过程进行资源竞合分析;
174.恢复验证作业确定单元625,用于基于不同的资源竞合分析结果,从对所述多个数据库备份文件进行恢复验证的多个恢复验证作业中,确定对应的第一恢复验证作业和第二恢复验证作业。
175.可选的,上述资源竞合分析单元624可以包括:
176.数据库服务器来源确定单元,用于确定所述多个数据库备份文件各自的数据库服务器来源;
177.上述恢复验证作业确定单元625可以包括:
178.第一确定单元,用于如果同一所述数据库服务器来源对应多个所述数据库备份文件,将对应的恢复验证过程确定为第一恢复验证作业;
179.第二确定单元,用于基于所述数据库备份文件的恢复验证过程所涉及的执行实体,将该第一恢复验证作业分解为多个恢复验证子作业,确定不同所述第一恢复验证作业之间可并发执行的恢复验证子作业;和/或,
180.第三确定单元,用于如果多个所述数据库服务器来源各自对应一个所述数据库备
份文件,将该数据库备份文件的恢复验证过程确定为第一恢复验证作业。
181.在本技术提出的又一些实施例中,如图7所示,上述最优执行路径获得模块63可以包括:
182.执行路径排程单元631,用于对同一数据库服务器来源对应的多个所述第一恢复验证作业进行执行路径排程;
183.候选执行路径确定单元632,用于基于所述待定执行路径以及不同恢复作业的恢复验证预测时长,按照与得到的执行路径排程结果对应的调度优化方式,确定针对所述第一恢复验证作业以及所述第二恢复验证作业的候选执行路径;
184.最优执行路径确定单元633,用于验证按照所述候选执行路径,控制恢复验证服务器执行所述第一恢复验证作业以及所述第二恢复验证作业的预测执行结果满足预设调度优化条件,将所述候选执行路径确定为最优执行路径。
185.可选的,上述最优执行路径确定单元633可以包括:
186.第二预测概率获取单元,用于获取所述多个数据库备份文件对应的恢复验证作业,按照所述候选执行路径在预设恢复验证时长内完成的第二预测概率;
187.第一优化单元,用于确定所述第二预测概率小于第二概率阈值,继续对所述候选执行路径进行优化,直至新获取的第二预测概率等于或大于所述第二概率阈值;
188.和/或,第二优化单元,用于确定所述多个数据库备份文件对应的恢复验证作业中,无法在所述预设恢复验证时长内执行的作业范围未减小,继续对所述候选执行路径进行优化,直至无法在所述预设恢复验证时长内执行的作业范围减小;
189.和/或,第三优化单元,用于确定在预设恢复验证时长内无法执行的恢复验证作业在所述候选执行路径中,相对于在所述待定执行路径中的执行顺序未向后移动,继续对所述候选执行路径进行优化,直至该执行顺序向后移动。
190.在本技术提出的又一些实施例中,上述最优执行路径获得模块63也可以包括:
191.第一排程单元,用于对同一数据库服务器来源对应的多个所述第一恢复验证作业的执行路径进行排程,得到至少一个第一并发执行路径;
192.第二排程单元,用于对不同数据库服务器来源各自对应的所述第一恢复验证作业的执行路径进行排程,得到至少一个第二并发执行路径;
193.第三排程单元,用于基于所述待定执行路径、所述第一并发执行路径和所述第二并发执行路径,按照调度优化策略,对所述第一恢复验证作业以及所述第二恢复验证作业进行关键路径排程,得到满足预设调度优化条件的最优执行路径;
194.其中,所述预设调度优化条件包括在预设恢复验证时长内完成所述多个数据库备份文件的恢复验证的情况下,减少对所述多个数据库备份文件进行恢复验证所花费的恢复验证时长以及所消耗的资源量。
195.在又一些实施例中,如图7所示,上述信息获取模块61可以包括:
196.备份文件获取单元611,用于获取待恢复验证的多个数据库备份文件;
197.优先级配置数据获取单元612,用于获取所述多个数据库备份文件各自对应的优先级配置数据;
198.其中,上述优先级配置数据包括所述数据库备份文件对应数据库的历史恢复验证信息、数据库属性、数据库备份方式以及恢复验证预测时长之中的一个或多个组合;
199.恢复验证优先级确定单元613,用于基于所述优先级配置数据,确定对所述多个数据库备份文件进行串行恢复验证的恢复验证优先级;
200.待定执行路径获得单元614,用于按照所述恢复验证优先级,得到所述多个数据库备份文件进行恢复验证的待定执行路径。
201.可选的,上述恢复验证优先级确定单元613可以包括:
202.第一配置单元,用于若所述数据库备份方式包括完全备份方式和增量备份方式,配置采用所述完全备份方式得到的数据库备份文件的恢复处理优先级,高于采用增量备份方式得到的数据库备份文件的恢复处理优先级;
203.和/或,
204.第二配置单元,用于基于所述历史恢复验证信息,确定对应的所述数据库备份文件在相邻的上一预设恢复验证时长内未完成或未成功完成恢复验证,提高该数据库备份文件的恢复验证优先级。
205.需要说明的是,关于上述各装置实施例中的各种模块、单元等,均可以作为程序模块存储在存储器中,由处理器执行存储在存储器中的上述程序模块,以实现相应的功能,关于各程序模块及其组合所实现的功能,以及达到的技术效果,可以参照上述方法实施例相应部分的描述,本实施例不再赘述。
206.本技术还提供了一种计算机可读存储介质,其上可以存储计算机程序,该计算机程序可以被处理器调用并加载,以实现上述实施例描述的数据恢复处理方法的各个步骤。
207.参照图8,为适用于本技术提出的数据恢复处理方法的调度设备的一可选示例的硬件结构示意图,该调度设备可以包括:至少一个通信接口81、至少一个存储器82以及至少一个处理器83,其中:
208.通信接口81可以包括用于利用无线通信网络实现数据交互的通信模块的接口,该通信模块可以包括但并不局限于wifi模块、5g/6g(第五代移动通信网络/第六代移动通信网络)模块、gprs模块等,以使该调度设备实现与数据恢复处理系统中其他设备的通信连接,实现方法本技术不做详述。另外,通信接口81还可以包括实现调度设备内部组成部件之间的数据交互的通信接口,如usb接口、串/并口、多媒体接口等,本技术对该通信接口81包含的接口类型及数量不做限定,可视情况而定。
209.存储器82可以用于存储实现上述各方法实施例描述的数据恢复处理方法的程序;处理器83可以加载并执行存储器存储的该程序,以实现上述相应方法实施例描述的数据恢复处理方法的各个步骤,具体实现过程可以参照上述实施例相应部分的描述,不再赘述。
210.在实际应用中,通信接口81、存储器82和处理器93可以连接通信总线,通过该通信总线实现相互之间,以及与计算机设备的其他结构组成之间的数据交互,具体可以根据实际需求确定,本技术不做详述。
211.本技术实施例中,存储器82可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件或其他易失性固态存储器件。处理器83,可以为中央处理器(centralprocessing unit,cpu)、特定应用集成电路(application-specific integrated circuit,asic)、数字信号处理器(dsp)、专用集成电路(asic)、现成可编程门阵列(fpga)或者其他可编程逻辑器件等。本技术对上述存储器82和处理器83的结构及其型号不做限定,可以根据实际需求灵活调整。
212.应该理解的是,图8所示的调度设备的结构并不构成对本技术实施例中调度设备的限定,在实际应用中,调度设备可以包括比图8所示的更多的部件,或者组合某些部件。如在调度设备为终端设备的情况下,该调度设备还可以包括如感应触摸显示面板上的触摸事件的触摸感应单元、键盘、鼠标、摄像头、拾音器等至少一个输入组件;如显示器、扬声器、振动机构、灯等至少一个输出组件;天线;传感器模组;电源模组等,本技术在此不做一一列举。
213.最后,需要说明的是,关于上述各实施例中,诸如第一、第二等之类的关系术语仅仅用来将一个操作、单元或模块与另一个操作、单元或模块区分开来,而不一定要求或者暗示这些单元、操作或模块之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法或者系统不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法或者系统所固有的要素。在没有更多限制的情况下,由语句“包括一个
……”
限定的要素,并不排除在包括所述要素的过程、方法或者系统中还存在另外的相同要素。
214.本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置、调度设备、系统而言,由于其与实施例公开的方法对应,所以描述的比较简单,相关之处参见方法部分说明即可。
215.对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本技术。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本技术的精神或范围的情况下,在其它实施例中实现。因此,本技术将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
再多了解一些

本文用于企业家、创业者技术爱好者查询,结果仅供参考。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献