一种连续数据保护的多事务写入方法、系统、设备及存储介质与流程
本技术涉及连续数据保护,更具体的说,是涉及一种连续数据保护的多事务写入方法、系统、设备及存储介质。
背景技术:
1、连续数据保护(continuous data protection,cdp)系统持续捕获磁盘数据变更并生成快照备份,单次备份写入需完成b+树索引插入、数据文件写入、位图标记三项元数据操作。传统方案将三项任务串行执行,随着受保护磁盘容量、数据块数量增长,串行流程成为性能瓶颈。位图标记bitmap操作与数据文件写入opfile无数据依赖可并行,但并行会引发事务一致性难题,子任务部分成功时容易出现数据状态错乱。传统acid事务、2pc等机制协议开销高、阻塞严重,嵌套事务无法适配cdp高吞吐、低延迟的轻量化备份场景。
2、现有串行备份方案无法利用多核并行算力,备份效率低;通用事务模型实现厚重,不适合高频cdp写入;线程池无量化分配规则,易出现任务积压或线程资源争抢,且缺少轻量化线程同步手段,同步操作cpu消耗高。
3、如何在海量数据块写入的场景下,实现连续数据保护的数据块写入的各事务并行进行,同时降低cpu消耗和保证备份一致性,是需要关注的问题。
技术实现思路
1、鉴于上述问题,本技术提供了一种连续数据保护的多事务写入方法、系统、设备及存储介质,以在海量数据块写入的场景下,实现连续数据保护的数据块写入的各事务并行进行,同时降低cpu消耗和保证备份一致性。
2、为了实现上述目的,现提出具体方案如下:
3、一种连续数据保护的多事务写入方法,包括:
4、当接收到数据块的备份写入任务时,检查备份写入任务队列是否未满,若是,将所述备份写入任务加入至所述备份写入任务队列;
5、在所述备份写入任务队列中,创建所述备份写入任务的多个事务,多个所述事务包括一个父事务和多个子事务;
6、向所述父事务分配父事务线程,以及向各个所述子事务分配分别分配子事务线程;
7、通过所述子事务线程执行与之对应的所述子事务,通过所述父事务线程执行所述父事务,其中,所述父事务与各个所述子事务并行执行;
8、在所述父事务线程完成执行所述父事务后,通过所述父事务线程以轮询方式获取各个所述子事务的执行状态;
9、通过所述父事务线程检查各个所述子事务是否均执行完成,若是,则检查所述父事务和各个所述子事务的执行结果;
10、若所述父事务和各个所述子事务的执行结果均无执行失败,则通过所述父事务线程完成提交所述备份写入任务的各个所述事务,否则回滚。
11、可选的,该方法还包括:
12、在各个所述事务被创建时,向所述父事务分配父事务id,向每个所述子事务分配子事务id;
13、通过所述父事务线程以轮询方式获取各个所述子事务的执行状态,包括:
14、当目标子事务执行完成时,通过所述目标子事务的所述子事务线程将所述目标子事务的子事务id置为0;
15、通过所述父事务线程以轮询方式获取所述目标子事务的子事务id。
16、可选的,通过所述父事务线程检查各个所述子事务是否均执行完成,包括:
17、通过所述父事务线程检查各个所述子事务的子事务id是否均为0,若是,则确定各个所述子事务均执行完成,否则继续以轮询方式获取各个所述子事务的执行状态。
18、可选的,该方法还包括:
19、当接收到所述数据块的所述备份写入任务时,若检查到所述备份写入任务队列已满,则进行阻塞等待,并在预设时间后继续检查所述备份写入任务队列是否已满。
20、可选的,所述数据块的所述备份写入任务所得到的基本线程数为:
21、;
22、其中,为跟踪监控磁盘的个数,为每个磁盘的事务数量,其值为所述磁盘的容量除以事务数据量后向上取整的结果,所述事务数据量为所述数据块的大小与分段容量的乘积,为所述备份写入任务的创建事务总数;
23、所述数据块的所述备份写入任务所得到的最大线程数为:
24、。
25、可选的,所述父事务为b+树插入,各个所述子事务包括第一子事务和第二子事务,所述第一子事务为位图标记,所述第二子事务为数据文件写入;
26、所述回滚的过程,包括:
27、清理所述数据块的位图标记;
28、删除所述数据块的已创建数据文件;
29、删除所述数据块在所述b+树中的记录。
30、一种连续数据保护的多事务写入系统,包括:
31、上层接口模块,用于当接收到数据块的备份写入任务时,检查备份写入任务队列是否未满,若是,将所述备份写入任务加入至所述备份写入任务队列;
32、下层处理模块,用于在所述备份写入任务队列中,创建所述备份写入任务的多个事务,多个所述事务包括一个父事务和多个子事务;
33、线程分配模块,用于向所述父事务分配父事务线程,以及向各个所述子事务分配分别分配子事务线程;
34、线程工作模块,用于通过所述子事务线程执行与之对应的所述子事务,通过所述父事务线程执行所述父事务,其中,所述父事务与各个所述子事务并行执行;
35、轮询模块,用于在所述父事务线程完成执行所述父事务后,通过所述父事务线程以轮询方式获取各个所述子事务的执行状态;
36、事务执行完成检查模块,用于通过所述父事务线程检查各个所述子事务是否均执行完成,若是,则执行事务结果检查模块;
37、所述事务结果检查模块,用于检查所述父事务和各个所述子事务的执行结果,若所述父事务和各个所述子事务的执行结果均无执行失败,则通过所述父事务线程完成提交所述备份写入任务的各个所述事务,否则回滚。
38、可选的,该系统还包括:
39、事务id分配模块,用于在各个所述事务被创建时,向所述父事务分配父事务id,向每个所述子事务分配子事务id;
40、所述轮询模块,包括:
41、id轮询模块,用于当目标子事务执行完成时,通过所述目标子事务的所述子事务线程将所述目标子事务的子事务id置为0;
42、子事务id获取模块,用于通过所述父事务线程以轮询方式获取所述目标子事务的子事务id。
43、可选的,所述事务执行完成判断模块,包括:
44、事务id判断模块,用于通过所述父事务线程检查各个所述子事务的子事务id是否均为0,若是,则确定各个所述子事务均执行完成,否则执行所述轮询模块。
45、可选的,该系统还包括:
46、背压触发模块,用于当接收到所述数据块的所述备份写入任务时,若检查到所述备份写入任务队列已满,则进行阻塞等待,并在预设时间后继续检查所述备份写入任务队列是否已满。
47、可选的,所述数据块的所述备份写入任务所得到的基本线程数为:
48、;
49、其中,为跟踪监控磁盘的个数,为每个磁盘的事务数量,其值为所述磁盘的容量除以事务数据量后向上取整的结果,所述事务数据量为所述数据块的大小与分段容量的乘积,为所述备份写入任务的创建事务总数;
50、所述数据块的所述备份写入任务所得到的最大线程数为:
51、。
52、可选的,所述父事务为b+树插入,各个所述子事务包括第一子事务和第二子事务,所述第一子事务为位图标记,所述第二子事务为数据文件写入;
53、该系统还包括:
54、位图标记清理模块,用于清理所述数据块的位图标记;
55、已创建数据文件删除模块,用于删除所述数据块的已创建数据文件;
56、b+树记录删除模块,用于删除所述数据块在所述b+树中的记录。
57、一种连续数据保护的多事务写入设备,包括存储器和处理器;
58、所述存储器,用于存储程序;
59、所述处理器,用于执行所述程序,实现如上所述的连续数据保护的多事务写入方法的各个步骤。
60、一种存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时,实现如上所述的连续数据保护的多事务写入方法的各个步骤。
61、借由上述技术方案,本技术通过当接收到数据块的备份写入任务时,检查备份写入任务队列是否未满,若是,将备份写入任务加入至备份写入任务队列,在备份写入任务队列中,创建备份写入任务的多个事务,多个事务包括一个父事务和多个子事务,向父事务分配父事务线程,以及向各个子事务分配分别分配子事务线程,通过子事务线程执行与之对应的子事务,通过父事务线程执行父事务,其中,父事务与各个子事务并行执行,在父事务线程完成执行父事务后,通过父事务线程以轮询方式获取各个子事务的执行状态,通过父事务线程检查各个子事务是否均执行完成,若是,则检查父事务和各个子事务的执行结果,若父事务和各个子事务的执行结果均无执行失败,则通过父事务线程完成提交备份写入任务的各个事务,否则回滚。由此可见,将备份写入任务拆分父、子事务并行执行,提升备份写入速率,子事务完成时只需一条内存写操作,以轮询方式检测子事务状态,降低了cpu消耗,再统一判断全部事务执行结果,实现原子提交/回滚,保证cdp备份数据一致性。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com