一种数据库资源维护方法、产品、介质与设备与流程

摘要: 本发明涉及数据库,特别是涉及一种数据库资源维护方法、产品、介质与设备。背景技术:1、在传统数据库维护实践中,vacuumfull和reindex等关键任务通常以...
一种数据库资源维护方法、产品、介质与设备与流程

本发明涉及数据库,特别是涉及一种数据库资源维护方法、产品、介质与设备。

背景技术:

1、在传统数据库维护实践中,vacuum full和reindex等关键任务通常以单次全量执行方式实施。例如,vacuum full操作会一次性锁定整个表或索引,释放未使用存储空间并优化数据布局,而reindex操作则重建整个索引结构以消除碎片。这些操作在执行过程中会持续占用高比例i/o带宽(例如达到系统i/o利用率的70%-90%)和cpu计算资源(例如占用单个核心的100%),尤其在大型数据库环境中,单次任务可能持续数小时。

2、现有技术尝试通过定时调度策略、资源限制工具或并行化处理等方式缓解资源冲突。定时调度策略是指将维护任务安排在业务低峰期(如深夜)执行,但无法适应24/7业务场景或突发流量。资源限制工具是指使用cgroups或容器化技术对维护进程施加cpu和内存限制,但可能导致任务执行时间延长数倍,甚至因资源饥饿而失败。并行化处理是指通过并行查询功能分割任务,但仍无法解决单次子任务资源峰值问题。

3、然而,现有技术中的上述方式均未从根本上解决资源占用的脉冲式特征,在业务高峰期仍可能因不可控的资源竞争触发级联性能劣化,存在维护任务在业务高峰期强占i/o与cpu资源,进而触发数据库系统雪崩效应的核心问题。例如,vacuum full和reindex等操作单次执行时,可能瞬间占用超过50%的系统i/o吞吐量和多个cpu核心,存在资源强占问题,导致正常业务查询响应时间激增。当维护任务与高并发业务负载叠加时,系统资源饱和会引发查询队列堆积、连接数耗尽、甚至事务超时中止,形成正反馈的恶性循环,存在雪崩效应风险。另外,现有调度机制缺乏细粒度控制,无法将维护任务的资源消耗动态压制在安全阈值内,难以在保证维护效果的同时维持服务等级协议。

技术实现思路

1、鉴于上述问题,提出了一种克服上述问题或者至少部分地解决上述问题的数据库资源维护方法、产品、介质与设备。

2、本发明的一个目的是提供一种数据库资源维护方法,实现维护任务的精细化拆分,从而实现对资源占用的精细化管制。

3、本发明一个进一步的目的是要将维护任务的资源消耗压制在安全阈值内,从而避免维护任务对业务查询的突发性干扰。

4、本发明另一个进一步的目的是要实现动态决策微任务的启停与执行节奏,在保障业务稳定的前提下最大化维护执行效率。

5、具体地,根据本发明的一个方面,本发明提供了一种数据库资源维护方法,包括:

6、获取目标维护任务及其属性信息,其中,属性信息包括目标维护任务的表尺寸、碎片率和索引层次中的至少一种;

7、基于属性信息将目标维护任务划分为至少一个微任务;

8、监控数据库的资源使用状态信息,并基于资源使用状态信息调度执行各个微任务。

9、可选地,基于属性信息将目标维护任务划分为至少一个微任务的步骤包括:

10、获取与目标维护任务的表尺寸相对应的划分粒度作为基准粒度;

11、根据目标维护任务的碎片率调整基准粒度,得到目标粒度,并基于目标粒度对目标维护任务进行划分,得到微任务;以及

12、在目标维护任务涉及针对索引的维护操作的情况下,根据目标维护任务的索引层次对目标维护任务进行逻辑拆分,得到微任务。

13、可选地,获取与目标维护任务的表尺寸相对应的划分粒度作为基准粒度的步骤包括:

14、将目标维护任务的表尺寸与预设的尺寸阈值区间进行比对,其中,不同尺寸阈值区间分别按照不同工作量的维护任务所对应的表尺寸设定;

15、将与目标维护任务的表尺寸所属的尺寸阈值区间相对应的划分粒度作为基准粒度。

16、可选地,基于资源使用状态信息调度执行各个微任务的步骤包括:

17、将各个微任务放入预设的优先级队列;

18、在执行每个微任务之前,基于实时获取的资源使用状态信息设定每个微任务的执行强度上限;

19、按照优先级队列中的排列顺序,基于每个微任务的执行强度上限依次执行微任务。

20、可选地,数据库的资源使用状态信息包括系统i/o利用率和cpu负载;并且

21、基于实时获取的资源使用状态信息设定每个微任务的执行强度上限的步骤包括:

22、根据实时获取的系统i/o利用率计算微任务的i/o吞吐量上限;

23、根据实时获取的cpu负载划分微任务的cpu时间片分配上限。

24、可选地,在基于实时获取的资源使用状态信息设定每个微任务的执行强度上限的步骤之后,数据库资源维护方法还包括:

25、在执行每个微任务之后,基于实时获取的资源使用状态信息动态调整待执行的各个微任务的执行参数,其中,执行参数包括间隔时间和并发度。

26、可选地,数据库的资源使用状态信息包括业务负载;并且

27、在基于资源使用状态信息调度执行各个微任务的过程中,数据库资源维护方法还包括:

28、判断数据库的业务负载是否满足预设的激增条件;

29、若是,则暂停执行微任务,直至实时获取的业务负载不再满足激增条件后,继续执行微任务。

30、根据本发明的另一个方面,还提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现上述任一种的数据库资源维护方法的步骤。

31、根据本发明的又一个方面,还提供了一种计算机程序产品,其包括计算机程序,该计算机程序被处理器执行时实现上述任一种的数据库资源维护方法的步骤。

32、根据本发明的再一个方面,还提供了一种计算机设备,包括存储器、处理器及存储在存储器上的计算机程序,处理器执行计算机程序以实现上述任一种的数据库资源维护方法的步骤。

33、本发明的数据库资源维护方法,通过获取目标维护任务的包含表尺寸、碎片率和索引层次中的多维度属性信息,并基于多维度属性信息将目标维护任务划分为若干个微任务,实现了将传统单次全量执行的宏观维护任务精细化拆分为资源消耗可控的微操作单元,突破了传统全量维护全有或全无的执行模式,实现对资源占用的精细化管制。同时,本发明的数据库资源维护方法,通过监控数据库的资源使用状态信息,并基于实时的资源使用状态信息依次执行各个微任务,实现了资源适配执行,使得目标维护任务的执行始终与资源使用状态信息相匹配,从而保证了数据库系统整体资源利用率的稳定性。

34、进一步地,本发明的数据库资源维护方法,通过先将各个微任务放入预设的优先级队列,再在执行每个微任务之前,基于实时获取的资源使用状态信息设定每个微任务的执行强度上限,并按照优先级队列中的排列顺序,基于每个微任务的执行强度上限依次执行微任务,实现了单次微任务的资源约束,避免了维护任务的脉冲式资源占用,从而消除了维护任务对业务查询的突发性干扰,从根本上免疫了资源争用导致的雪崩效应,进而提升了数据库系统的稳定性和可用性。

35、更进一步地,本发明的数据库资源维护方法,通过在执行每个微任务之后,基于实时获取的资源使用状态信息动态调整待执行的各个微任务的间隔时间和并发度等执行参数,实现了单次微任务完成后的执行参数动态迭代调整,从而实现了动态决策微任务的启停与执行节奏,保证了维护进度与业务资源需求的动态平衡,在保障业务稳定的前提下最大化维护执行效率,进而提升了维护调度的灵活性与高效性。

36、根据下文结合附图对本发明具体实施例的详细描述,本领域技术人员将会更加明了本发明的上述以及其他目的、优点和特征。