配额的分配方法、装置、电子设备及存储介质与流程

摘要: 本技术涉及计算机,尤其涉及配额的分配方法、装置、电子设备及存储介质。背景技术:1、分布式存储系统作为云计算和大数据处理的重要基础设施,广泛应用于企业级数据管理、...
配额的分配方法、装置、电子设备及存储介质与流程

本技术涉及计算机,尤其涉及配额的分配方法、装置、电子设备及存储介质。

背景技术:

1、分布式存储系统作为云计算和大数据处理的重要基础设施,广泛应用于企业级数据管理、高性能计算及多租户存储服务中。相关技术中,通过服务质量(qos)机制、资源调度算法与分布式协调组件的协同作业,构建了存储资源的动态分配体系。具体地,该技术体系涵盖了从资源监测、配额设定到执行反馈的全过程,包括带宽控制、ops限制、客户端行为分析等关键环节。

2、现有的存储集群qos管理方法中,直接采用静态配额分配或被动调整策略,能会导致资源利用率低下或系统性能波动,无法及时将空闲资源重新分配,从而影响整体响应效率与服务质量。

技术实现思路

1、本技术提供了配额的分配方法、装置、电子设备及存储介质,以至少解决相关技术中无法及时将空闲资源重新分配,从而影响整体响应效率与服务质量的问题。

2、本技术提供了一种配额的分配方法,包括:

3、通过服务器端的校验机制定期获取客户端的带宽使用率;

4、将所述带宽使用率中,小于预设阈值的客户端加入待回收集合,并向该集合中的客户端发送包含回收服务质量等级份额的回收指令;

5、接收客户端返回的回收确认消息,并在所有回收指令发送完成后记录回收起始时间至回收队列;

6、通过定时器周期性检查回收队列中所述回收起始时间是否超过预设超时时间;

7、若超过所述预设超时时间,则移除所述回收起始时间并重新分配服务质量等级份额;

8、若未超过所述预设超时时间,则检查待回收集合中是否存在未回复的客户端,若不存在则移除所述回收起始时间并进行服务质量等级份额分配。

9、可选的,所述通过服务器端的校验机制定期获取客户端的带宽使用率还包括:

10、采用滑动窗口算法对客户端在预设时间窗口内的带宽使用情况进行统计计算,以提高所述校验机制的实时性和准确性;

11、根据客户端的历史使用模式动态调整所述校验机制的计算权重,以适应不同业务场景下的资源使用波动。

12、可选的,所述将所述带宽使用率中,小于预设阈值的客户端加入待回收集合,并向该集合中的客户端发送包含回收服务质量等级份额的回收指令包括:

13、根据客户端当前负载状态和业务优先级,对回收指令中携带服务质量等级份额进行差异化设置;

14、将至少两个待回收客户端的回收指令合并为一个消息组进行发送,以降低网络通信开销。

15、可选的,所述接收客户端返回的回收确认消息,并在所有回收指令发送完成后记录回收起始时间至回收队列包括:

16、对接收到的回收确认消息进行校验,确保客户端正确执行服务质量等级份额的本地缓存更新;

17、采用多线程或异步处理机制,提高回收确认消息的处理效率,缩短所述回收起始时间的记录延迟。

18、可选的,所述方法还包括:

19、根据回收队列中所述回收起始时间的处理状态,动态调整后续服务质量等级份额的分配策略,优先将回收的服务质量等级份额分配给当前负载超过阈值的客户端。

20、可选的,所述方法还包括:

21、当检测到待回收集合中的客户端存在通信异常或回收指令未成功送达时,启动预设的重试机制,按照梯度衰减的重试频率重新发送回收指令;

22、若重试次数达到预设上限仍未成功,则将该客户端对应的待回收服务质量等级份额暂存至临时资源池,并标记所述客户端的异常状态,提升所述客户端的部分服务质量等级份额的回收的处理优先级。

23、可选的,所述方法还包括:

24、实时采集分布式存储系统的全局负载指标,根据所述全局负载指标动态调整所述预设阈值的取值以及服务质量等级份额的分配权重;

25、当全局负载指标高于预设警戒值时,降低所述预设阈值以扩大回收范围,并提高高优先级业务客户端的份额分配权重;

26、当全局负载指标低于预设安全值时,提高所述预设阈值。

27、本技术还提供了一种配额的分配装置,包括:

28、获取单元,用于通过服务器端的校验机制定期获取客户端的带宽使用率;

29、发送单元,用于将所述带宽使用率中,小于预设阈值的客户端加入待回收集合,并向该集合中的客户端发送包含回收服务质量等级份额的回收指令;

30、记录单元,用于接收客户端返回的回收确认消息,并在所有回收指令发送完成后记录回收起始时间至回收队列;

31、检查单元,用于通过定时器周期性检查回收队列中所述回收起始时间是否超过预设超时时间;

32、分配单元,用于当超过所述预设超时时间时,移除所述回收起始时间并重新分配服务质量等级份额;

33、分配单元,还用于当未超过所述预设超时时间时,检查待回收集合中是否存在未回复的客户端,若不存在则移除所述回收起始时间并进行服务质量等级份额分配。

34、可选的,所述获取单元还用于:

35、采用滑动窗口算法对客户端在预设时间窗口内的带宽使用情况进行统计计算,以提高所述校验机制的实时性和准确性;

36、根据客户端的历史使用模式动态调整所述校验机制的计算权重,以适应不同业务场景下的资源使用波动。

37、可选的,所述发送单元还用于:

38、根据客户端当前负载状态和业务优先级,对回收指令中携带服务质量等级份额进行差异化设置;

39、将至少两个待回收客户端的回收指令合并为一个消息组进行发送,以降低网络通信开销。

40、可选的,所述记录单元还用于:

41、对接收到的回收确认消息进行校验,确保客户端正确执行服务质量等级份额的本地缓存更新;

42、采用多线程或异步处理机制,提高回收确认消息的处理效率,缩短所述回收起始时间的记录延迟。

43、可选的,所述装置还包括:

44、调整单元,用于根据回收队列中所述回收起始时间的处理状态,动态调整后续服务质量等级份额的分配策略,优先将回收的服务质量等级份额分配给当前负载超过阈值的客户端。

45、可选的,所述装置还包括:

46、发送单元,还用于当检测到待回收集合中的客户端存在通信异常或回收指令未成功送达时,启动预设的重试机制,按照梯度衰减的重试频率重新发送回收指令;

47、标记单元,用于若重试次数达到预设上限仍未成功,则将该客户端对应的待回收服务质量等级份额暂存至临时资源池,并标记所述客户端的异常状态,提升所述客户端的部分服务质量等级份额的回收的处理优先级。

48、可选的,所述装置还包括:

49、调整单元,还用于实时采集分布式存储系统的全局负载指标,根据所述全局负载指标动态调整所述预设阈值的取值以及服务质量等级份额的分配权重;

50、调整单元,还用于当全局负载指标高于预设警戒值时,降低所述预设阈值以扩大回收范围,并提高高优先级业务客户端的份额分配权重;

51、调整单元,还用于当全局负载指标低于预设安全值时,提高所述预设阈值。

52、本技术还提供了一种电子设备,包括:存储器,用于存储计算机程序;处理器,用于执行计算机程序时实现上述任一种配额的分配方法的步骤。

53、本技术还提供了一种计算机可读存储介质,计算机可读存储介质中存储有计算机程序,其中,计算机程序被处理器执行时实现上述任一种配额的分配方法的步骤。

54、本技术还提供了一种计算机程序产品,包括计算机程序,计算机程序被处理器执行时实现上述任一种配额的分配方法的步骤。

55、通过本技术,由于通过定期监测客户端带宽使用率主动识别空闲资源,对低使用率客户端发起服务质量等级份额回收并设置超时机制保障回收流程高效推进,最终实现资源的动态再分配(避免了静态配额或被动调整无法及时盘活空闲资源的问题),因此,可以解决现有存储集群qos管理方法中因采用静态配额分配或被动调整策略导致的资源利用率低下、系统性能波动、无法及时重新分配空闲资源,从而影响整体响应效率与服务质量的技术问题,达到提高资源利用率、减少系统性能波动、及时重新分配空闲资源,进而提升整体响应效率与服务质量的技术效果。