数据处理方法、装置、设备和存储介质与流程

摘要: 本技术涉及分布式存储,特别是涉及数据处理方法、装置、设备和存储介质。背景技术:1、分布式存储系统架构复杂,运行过程中不可避免会产生软件缺陷,为修复缺陷且不中断前...
数据处理方法、装置、设备和存储介质与流程

本技术涉及分布式存储,特别是涉及数据处理方法、装置、设备和存储介质。

背景技术:

1、分布式存储系统架构复杂,运行过程中不可避免会产生软件缺陷,为修复缺陷且不中断前端业务,行业普遍采用在线升级方案。传统在线升级流程中,为保障数据一致性、降低业务影响,系统会将发往待升级节点的数据写请求标记为故障对象,快速截断对应的写入业务;待节点升级完成并重新对外提供服务后,向后台报坏,后台修复模块需从集群其他数据副本同步全量数据至该节点,以此恢复集群整体数据冗余。但该数据修复环节存在严重写放大问题,放大倍数可达1k至16k倍,会大量消耗集群算力、带宽与磁盘资源,同时大幅拉长升级耗时。综上,现有分布式存储在线升级机制在处理写入业务时,不仅会造成系统资源的重度占用,还会显著降低数据写入的整体处理效率。

技术实现思路

1、基于此,有必要针对上述技术问题,提供一种可有效提升系统升级过程中的数据写入效率,降低系统资源消耗的数据处理方法、装置、设备和存储介质。

2、第一方面,本技术提供了一种数据处理方法,应用于存储系统,该方法包括:

3、在接收到数据写入请求的情况下,确定系统升级状态;

4、在系统升级状态为处于升级中的情况下,从候选存储单元集合中选择目标存储单元集合;其中,目标存储单元集合中各存储单元的单元状态均为升级完成状态;

5、基于目标存储单元集合,执行数据写入操作。

6、在本技术实施例中,现有分布式存储在线升级时,会将发往待升级节点的数据写请求标记为故障对象,节点升级完成后需通过后台修复模块同步副本数据,修复过程存在1k至16k倍的严重写放大,重度占用集群算力、带宽与磁盘资源,拉长升级耗时并降低数据写入处理效率;本技术的数据处理方法,在接收数据写入请求后先判定系统升级状态,若系统处于升级中,则从候选存储单元集合内选取各存储单元均为升级完成状态的目标存储单元集合执行数据写入操作,可避免写请求下发至升级中节点,减少故障对象产生,消除大规模数据修复带来的高写放大问题,减少集群各类系统资源消耗,缩短整体升级时长,提升系统升级过程中的数据写入处理效率。

7、在其中一个实施例中,候选存储单元集合包括第一存储单元集合和第二存储单元集合;第一存储单元集合中各存储单元的单元状态均为处于升级中,第二存储单元集合中各存储单元的单元状态均为升级完成状态;

8、从候选存储单元集合中选择目标存储单元集合,包括:

9、将第二存储单元集合作为目标存储单元集合。

10、在本技术实施例中,将候选存储单元集合划分为第一存储单元集合与第二存储单元集合,第一存储单元集合存放处于升级中的存储单元,第二存储单元集合存放升级完成状态的存储单元,直接选取第二存储单元集合作为目标存储单元集合,筛选逻辑清晰,能够快速完成目标存储单元集合的选定,保障写入操作仅调度升级完成的存储单元,同时仅需管理两个存储单元集合,降低了存储单元集合的管理难度、复杂性,以及系统管理开销。

11、在其中一个实施例中,该方法还包括:

12、获取第一存储单元集合中每一存储单元的单元状态;

13、针对每一存储单元,在存储单元的单元状态为升级完成状态的情况下,将存储单元迁移至第二存储单元集合。

14、在本技术实施例中,可通过持续获取第一存储单元集合内各个存储单元的单元状态,当存储单元切换为升级完成状态时,将该存储单元迁移至第二存储单元集合,不仅实现了动态扩充第二存储单元集合内可用存储单元数量,持续更新可供写入调度的资源范围,还实现了第一存储单元集合和第二存储单元集合的动态更新。

15、在其中一个实施例中,基于目标存储单元集合,执行数据写入操作,包括:

16、获取目标存储单元集合中各存储单元的资源使用情况;

17、根据各存储单元的资源使用情况,从各存储单元中选择目标单元;

18、基于目标单元,执行数据写入操作。

19、在本技术实施例中,通过获取目标存储单元集合内全部存储单元的资源使用情况,并依据各存储单元的资源占用状态筛选出适配的目标单元完成数据写入,可均衡分配写入流量至各存储单元,避免单一存储单元资源过载,优化集群资源调度合理性。

20、在其中一个实施例中,根据各存储单元的资源使用情况,从各存储单元中选择目标单元,包括:

21、根据各存储单元的资源使用情况,确定各存储单元的存储资源使用率;

22、根据存储资源使用率,对各存储单元进行排序,得到排序结果;

23、根据排序结果,从各存储单元中选择目标单元。

24、在本技术实施例中,可依据各存储单元的资源使用情况计算对应的存储资源使用率,再基于存储资源使用率对存储单元排序,并结合排序结果挑选目标单元执行写入,能够优先选用资源占用更低的存储单元承载数据写入请求,均衡分配写入负载,避免单一存储单元资源过载,充分利用目标存储单元集合内的空闲存储资源,进一步提升在线升级过程中数据写入的平稳性与整体处理效率。

25、在其中一个实施例中,在系统升级状态为处于升级中的情况下,从候选存储单元集合中选择目标存储单元集合,包括:

26、在系统升级状态为处于升级中的情况下,获取候选存储单元集合中各存储单元的单元状态;

27、对候选存储单元集合中单元状态为处于升级中的存储单元进行删除,得到目标存储单元集合。

28、在本技术实施例中,仅需删除候选存储单元集合内处于升级中的存储单元即可完成筛选,得到目标存储单元集合,逻辑简单直观,降低了目标存储单元集合的维护复杂度与维护成本,能够快速完成筛选处理,提升目标存储单元集合的确定速度。

29、在其中一个实施例中,在接收到数据写入请求的情况下,确定系统升级状态,包括:

30、接收数据处理请求;

31、在确定数据处理请求为数据写入请求的情况下,确定系统升级状态。

32、在本技术实施例中,在接收到数据处理请求后,先识别请求类型,仅当判定为数据写入请求时,再执行系统升级状态的判断操作,无需针对读取请求执行后续筛选逻辑,精简不必要的处理流程,减少系统运算开销,提升请求整体处理速度。

33、第二方面,本技术还提供了一种数据处理装置,配置于存储系统中,包括:

34、确定模块,用于在接收到数据写入请求的情况下,确定系统升级状态;

35、选择模块,用于在所述系统升级状态为处于升级中的情况下,从候选存储单元集合中选择目标存储单元集合;其中,所述目标存储单元集合中各存储单元的单元状态均为升级完成状态;

36、执行模块,用于基于所述目标存储单元集合,执行数据写入操作。

37、第三方面,本技术还提供了一种计算机设备,包括存储器和处理器,存储器存储有计算机程序,处理器执行计算机程序时实现上述第一方面提供的各数据处理方法实施例中的步骤。

38、第四方面,本技术还提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现上述第一方面提供的各数据处理方法实施例中的步骤。

39、第五方面,本技术还提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现上述第一方面提供的各数据处理方法实施例中的步骤。

40、上述数据处理方法、装置、设备和存储介质中,现有分布式存储在线升级时,会将发往待升级节点的数据写请求标记为故障对象,节点升级完成后需通过后台修复模块同步副本数据,修复过程存在1k至16k倍的严重写放大,重度占用集群算力、带宽与磁盘资源,拉长升级耗时并降低数据写入处理效率;本技术的数据处理方法,在接收数据写入请求后先判定系统升级状态,若系统处于升级中,则从候选存储单元集合内选取各存储单元均为升级完成状态的目标存储单元集合执行数据写入操作,可避免写请求下发至升级中节点,减少故障对象产生,消除大规模数据修复带来的高写放大问题,减少集群各类系统资源消耗,缩短整体升级时长,提升系统升级过程中的数据写入处理效率。