操作存储系统的方法和对存储资源的层级进行分区的方法与流程

摘要: 本公开总体涉及数据处理,更具体地,涉及用于存储资源的分区管理的系统、方法和装置。背景技术:1、存储系统可将存储资源划分为分区,以供一个或多个存储客户端使用。2、...
操作存储系统的方法和对存储资源的层级进行分区的方法与流程

本公开总体涉及数据处理,更具体地,涉及用于存储资源的分区管理的系统、方法和装置。

背景技术:

1、存储系统可将存储资源划分为分区,以供一个或多个存储客户端使用。

2、在该背景技术部分中公开的上述信息仅用于增强对发明的背景的理解,因此,它可包含不构成现有技术的信息。

技术实现思路

1、一种操作存储系统的方法可包括:将存储资源的层级的第一分区分配给第一客户端,其中,所述层级至少部分地作为存储缓存进行操作;将存储资源的所述层级的第二分区分配给第二客户端;监视第一客户端的工作负载;监视第二客户端的工作负载;以及基于监视的第一客户端的工作负载和监视的第二客户端的工作负载将存储资源的所述层级的第一分区重新分配给第一客户端。所述方法还可包括:基于监视的第一客户端的工作负载和监视的第二客户端的工作负载,将存储资源的所述层级的第二分区重新分配给第二客户端。第一分区可基于第一客户端的工作负载的输入和/或输出(i/o)需求被重新分配。第一分区可基于第二客户端的工作负载的i/o需求被重新分配。第一分区可基于第一客户端的工作负载的性能改变估计被重新分配。第一分区可基于第二客户端的工作负载的性能改变估计被重新分配。第一分区可基于第一客户端的工作负载的读写比率被重新分配。第一分区可基于第一客户端的工作负载的工作集被重新分配。第一分区可基于第一客户端的工作负载的工作卷被重新分配。

2、一种系统可包括:存储层,包括存储资源的被配置为至少部分地作为存储缓存进行操作的层级;应用服务器层,被配置为处理来自第一客户端和第二客户端的针对存储层的i/o请求;监视逻辑,被配置为监视第一客户端的工作负载和第二客户端的工作负载;决策逻辑,被配置为基于监视的第一客户端的工作负载和监视的第二客户端的工作负载来确定调整的分区方案;以及分区逻辑,被配置为将存储资源的所述层级的第一分区分配给第一客户端,将存储资源的所述层级的第二分区分配给第二客户端,并且基于调整的分区方案将存储资源的所述层级的第一分区重新分配给第一客户端。监视逻辑可包括i/o滤波器。监视逻辑可包括超级监督者。应用服务器层可包括被配置为将标准化的i/o接口提供给第一客户端和第二客户端的接口。

3、一种对存储资源的层级进行分区的方法可包括:确定所述层级的第一客户端和所述层级的第二客户端的读取工作卷和写入工作卷;基于读取工作卷和写入工作卷来确定工作负载类型;以及基于工作负载类型在第一客户端与第二客户端之间对存储资源的所述层级进行分区。所述方法还可包括基于读取工作卷和写入工作卷确定读取比率;以及基于读取比率来确定工作负载类型。基于读取比率确定工作负载类型的步骤可包括将读取比率与阈值进行比较。所述方法还可包括基于工作负载类型来确定工作集大小;以及基于工作集大小在第一客户端与第二客户端之间对存储资源的所述层级进行分区。所述方法还可包括基于工作负载类型来确定工作卷大小;以及基于工作卷大小在第一客户端与第二客户端之间对存储资源的所述层级进行分区。

4、一种检测存储资源的层级的访问的突发的方法可包括:监视存储资源的所述层级的工作负载,确定工作负载的突发度,以及基于突发度检测访问的突发。基于突发度检测访问的突发的步骤可包括将突发度与突发阈值进行比较。确定工作负载的突发度的步骤可包括确定工作负载的读取强度。确定工作负载的突发度的步骤可包括确定工作负载的工作卷的改变,并且基于工作负载的工作卷的改变来计算突发度。确定工作负载的突发度的步骤可包括确定工作负载的工作集的改变,并且基于工作负载的工作集的改变来计算突发度。

5、一种对存储资源的层级进行分区的方法可包括:监视存储资源的所述层级的工作负载,基于监视的工作负载确定第一客户端的第一缓存需求,基于监视的工作负载确定第二客户端的第二缓存需求,至少部分基于第一缓存需求将存储资源的所述层级的第一分区分配给第一客户端,以及至少部分基于第二缓存需求将存储资源的所述层级的第二分区分配给第二客户端。第一分区和第二分区可至少部分地与第一缓存需求和第二缓存需求成比例被分配。确定第一缓存需求的步骤可包括确定第一客户端的第一工作负载量,确定第二缓存需求的步骤可包括确定第二客户端的第二工作负载量。第一工作负载量和第二工作负载量可至少部分基于监视的工作负载的强度被确定。第一工作负载量可至少部分基于第一客户端的工作卷大小被确定,第二工作负载量可至少部分基于第二客户端的工作卷大小被确定。第一工作负载量可至少部分基于第一客户端的工作集大小被确定,第二工作负载量可至少部分基于第二客户端的工作集大小被确定。所述方法还可包括对第一工作负载量进行加权,以及对第二工作负载量进行加权。所述方法还可包括基于加权的第一工作负载量和加权的第二工作负载量对第一客户端和第二客户端进行排序。所述方法还可包括至少部分基于加权的第一工作负载量将存储资源的所述层级的第一分区分配给第一客户端,以及至少部分基于加权的第二工作负载量将存储资源的所述层级的第二分区分配给第二客户端。

6、一种对存储资源的层级进行分区的方法可包括:确定针对存储资源的所述层级的第一客户端和第二客户端的第一分区计划;基于第一分区计划确定第一预期缓存命中量;确定针对存储资源的所述层级的第一客户端和第二客户端的第二分区计划;基于第二分区计划确定第二预期缓存命中量;以及基于第一预期缓存命中量和第二预期缓存命中量来选择第一分区计划或第二分区计划中的一个。所述方法还可包括:基于第一分区计划来确定第一客户端的第一预期命中率;基于第一分区计划来确定第二客户端的第二预期命中率;基于第一分区计划来确定第一客户端的第一预期工作卷;以及基于第一分区计划来确定第二客户端的第二预期工作卷。确定第一预期缓存命中量的步骤可包括确定第一客户端的第一预期命中率和第一预期工作卷与第二客户端的第二预期命中率和第二预期工作卷的加权和。所述方法还可包括:确定针对存储资源的所述层级的第一客户端和第二客户端的第三分区计划,基于第三分区计划确定第三预期缓存命中量,基于第一预期缓存命中量、第二预期缓存命中量和第三预期缓存命中量来选择第一分区计划、第二分区计划或第三分区计划中的一个。

7、一种确定针对存储资源的层级的客户端的预期缓存命中率的方法可包括:通过客户端针对存储资源的所述层级记录i/o事务;基于记录的i/o事务来确定重用距离;以及基于重用距离确定预期缓存命中率。确定预期缓存命中率的步骤可包括:基于记录的i/o事务来确定重用距离的分布函数,以及基于分布函数确定预期缓存命中率。预期缓存命中率可基于重用距离与缓存大小之间的差。

8、一种确定针对存储资源的层级的客户端的预期工作卷的方法可包括:通过客户端针对存储资源的所述层级记录i/o事务;确定记录的i/o事务的加权平均值,以及基于加权平均值来确定预期工作卷。加权平均值可以以指数方式被加权。

9、一种对存储资源的层级进行分区的方法可包括:将存储资源的所述层级的第一分区分配给客户端,其中,所述层级至少部分地作为存储缓存进行操作;将存储资源的所述层级的第二分区分配给客户端,其中,第二分区的大小可大于第一分区的大小;以及被动更新第二分区。被动更新第二分区的步骤可包括:基于客户端的工作负载的一个或多个i/o事务来更新第二分区。第二分区可基于分区调整和内容更新窗被分配。

10、一种针对存储资源的层级预取数据的方法可包括:将存储资源的所述层级的第一分区分配给客户端,其中,所述层级至少部分地作为存储缓存进行操作;确定客户端的i/o请求大小的模式;将存储资源的所述层级的第二分区分配给客户端,其中,第二分区的大小可大于第一分区的大小;以及使用基于i/o请求大小的模式的预取数据大小来预取第二分区的数据。预取数据大小可包括客户端的高的i/o大小流行度。所述方法还可包括将放大因子应用到预取数据大小。

11、一种对存储资源的层级进行分区的方法可包括:基于第一客户端的特性的预先知识,将存储资源的所述层级的第一区域中的第一分区分配给第一客户端;以及基于第二客户端的特性的预先知识,将存储资源的所述层级的第二区域中的第二分区分配给第二客户端。所述方法还可包括调整第一区域的大小和第二区域的大小。第一区域的大小和第二区域的大小可成比例地被调整。第一区域的大小可基于第一区域的第一需求量被调整,第二区域的大小可基于第二区域的需求量被调整。第一区域可包括读取密集型区域,并且第一区域的大小可基于工作集大小被调整。第一区域可包括写入密集型区域,并且第一区域的大小可基于工作卷大小被调整。第一区域可包括读写密集型区域,并且第一区域的大小可基于工作卷大小被调整。所述特性可包括读取比率、工作卷大小或工作集大小中的至少一个。