异构网络中存储负载的分类方法、装置及相关产品与流程

1.本技术涉及异构技术领域，特别是涉及一种异构网络中存储负载的分类方法、装置及相关产品。


背景技术：

2.随着云计算领域技术的不断发展，各种云平台产品也不断丰富，不同的云服务厂商在私有云，公有云，社区云领域都推出自己的基础社区云平台产品。随着选择越来越多，越来越多的云计算用户也将自身业务部署到不同的云平台之上，呈现混合云，多云部署的发展趋势。
3.发明人在实现本发明的过程中发现，现有技术中心，混合云，多云部署导致存储业务越来越复杂，存储负载也越来越复杂，存储的利用率以及可用性较低。


技术实现要素：

4.基于上述问题，本技术实施例提供了一种异构网络中存储负载的分类方法、装置及相关产品。
5.本技术实施例公开了如下技术方案：
6.一种异构网络中存储负载的分类方法，其包括：
7.根据所述存储负载的类型，将所述存储负载进行分类，得到若干存储负载集合；
8.针对每一所述存储负载集合的每一存储负载，根据其存储带宽比例，判断是否需要对其进行拆分处理形成存储负载子集；
9.若需要进行拆分处理，则对需要拆分的存储负载进行拆分得到若干存储子负载，所述若干存储子负载形成存储负载子集；
10.根据所述存储负载子集中的每个存储子负载的存储带宽比例，确定需要从所述存储负载子集对应存储负载所在的存储负载集合分离出去的存储子负载，以组成新的存储负载集合。
11.可选地，在本技术一实施例中，所述针对每一所述存储负载集合的每一存储负载，根据其存储带宽比例，判断是否需要对其进行拆分处理形成存储负载子集，包括：针对每一所述存储负载集合的每一存储负载，根据其存储带宽比例是否小于等于1，判断是否需要对其进行拆分处理形成存储负载子集；
12.若小于等于1，则判定需要对其进行拆分处理形成存储负载子集，否则，则判定不需要对其进行拆分处理形成存储负载子集。
13.可选地，在本技术一实施例中，所述根据所述存储负载子集中的每个存储子负载的存储带宽比例，确定需要从所述存储负载子集对应存储负载所在的存储负载集合分离出去的存储子负载组成新的存储负载集合，包括：判断所述存储负载子集中的一存储子负载的存储带宽比例是否小于等于1，若小于等于1，则将所述存储带宽比例小于等于1的存储子负载确定为需要从所述存储负载子集对应存储负载所在的存储负载集合分离出去的存储
子负载，组成新的存储负载集合。
14.可选地，在本技术一实施例中，所述根据所述存储负载子集中的每个存储子负载的存储带宽比例，确定需要从所述存储负载子集对应存储负载所在的存储负载集合分离出去的存储子负载，以组成新的存储负载集合，之后，包括：
15.对所述新的存储负载集合中的存储子负载按照存储带宽比例进行降序排序得到存储子负载队列；
16.根据设定的负载容量限值以及存储带宽比例限值，对所述存储子负载队列进行截取处理，使得保留下来的存储子负载的总负载容量不超过设定的负载容量限值，以及保留下来的存储子负载的总存储带宽比例不超过设定存储带宽比例限值。
17.可选地，在本技术一实施例中，所述根据所述存储负载子集中的每个存储子负载的存储带宽比例，确定需要从所述存储负载子集对应存储负载所在的存储负载集合分离出去的存储子负载，以组成新的存储负载集合，之后，包括：
18.建立所述若干存储负载集合与所述新的存储负载集合与存储阵列的对应关系，以将所述若干存储负载集合与所述新的存储负载分配到对应的存储阵列上。
19.可选地，在本技术一实施例中，所述建立所述若干存储负载集合与所述新的存储负载集合与存储阵列的对应关系，以将所述若干存储负载集合与所述新的存储负载分配到对应的存储阵列上，包括：建立所述若干存储负载集合与所述新的存储负载集合与存储阵列的对应关系；根据所述对应关系，生成存储配置表；根据所述存储配置表，将所述若干存储负载集合与所述新的存储负载分配到对应的存储阵列上。
20.一种异构网络中存储负载的分类装置，其包括：
21.分类单元，用于根据所述存储负载的类型，将所述存储负载进行分类，得到若干存储负载集合；
22.拆分单元，用于针对每一所述存储负载集合的每一存储负载，根据其存储带宽比例，判断是否需要对其进行拆分处理形成存储负载子集；若需要进行拆分处理，则对需要拆分的存储负载进行拆分得到若干存储子负载，所述若干存储子负载形成存储负载子集；
23.集合单元，用于根据所述存储负载子集中的每个存储子负载的存储带宽比例，确定需要从所述存储负载子集对应存储负载所在的存储负载集合分离出去的存储子负载，以组成新的存储负载集合。
24.一种电子设备，其包括：存储器以及处理器，所述存储器上存储有计算机可执行程序，所述处理器用于执行所述计算机可执行程序以实施本技术任一项实施例所述的方法。
25.一种计算机存储介质，其特征在于，所述计算机存储介质上存储有计算机可执行程序，所述计算机可执行程序被运行时实施本技术任一项实施例所述的方法。
26.一种数据系统，其包括本技术任一项实施例所述的方法所述的电子设备。
27.本技术实施例中，根据所述存储负载的类型，将所述存储负载进行分类，得到若干存储负载集合；针对每一所述存储负载集合的每一存储负载，根据其存储带宽比例，判断是否需要对其进行拆分处理形成存储负载子集；若需要进行拆分处理，则对需要拆分的存储负载进行拆分得到若干存储子负载，所述若干存储子负载形成存储负载子集；根据所述存储负载子集中的每个存储子负载的存储带宽比例，确定需要从所述存储负载子集对应存储负载所在的存储负载集合分离出去的存储子负载，以组成新的存储负载集合，从而提高了
存储的利用率以及可用性。
附图说明
28.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
29.图1为本技术实施例一中异构网络中存储负载的分类方法的流程示意图；
30.图2为本技术实施例二中异构网络中存储负载的分类方法的流程示意图；
31.图3为本技术实施例三中异构网络中存储负载的分类方法的流程示意图；
32.图4为本技术实施例四中异构网络中存储负载的分类方法的流程示意图；
33.图5为本技术实施例五中异构网络中存储负载的分类方法的流程示意图；
34.图6为本技术六中异构网络中存储负载的分类装置的结构示意图；
35.图7为本技术实施例七中电子设备结构示意图；
36.图8为本技术实施例六中电子设备的硬件结构示意图；
37.图9为本技术实施例九中计算机存储介质的结构示意图。
具体实施方式
38.实施本技术实施例的任一技术方案必不一定需要同时达到以上的所有优点。
39.为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
40.图1为本技术实施例一中异构网络中存储负载的分类方法的流程示意图；如图1所示，其包括：
41.s101、根据所述存储负载的类型，将所述存储负载进行分类，得到若干存储负载集合；
42.可选地，在一应用场景中，所述存储负载的类型与磁盘的类型相关，比如为raid 0、raid 5、raid 1、raid 1/0，或者raid 0、raid 5、raid 1、raid10中某两者的混合。raid 0没有采用冗余信息，使用分块数据存储，有最好的性能，raid 1的每个数据盘都有一个与之对应的镜像盘。对磁盘驱动器进行写操作时，数据同时写到它的镜像盘上；而读操作时，只读取具有最短等待时间和最短寻道时间的磁盘驱动器。当磁盘失效时，可以从其镜像盘中读取数据。raid 1的可靠性很高，且能提供高的i/o带宽，但它需要双倍的存储容量。raid 5采用块交叉和校验信息旋转分布的磁盘阵列，在“小读”、“大块读”和“大块写”情况下的性能都很好。raid 1/0是由raid 0和raid 1演变而来的，通过分块以及镜像来实现，分块技术使多个磁盘驱动器可以并行读写，镜像技术使系统具有最高的可靠性。
43.进一步地，存储负载可以被分为raid 0集合、raid 5集合、raid 1集合、raid 10集合。
44.可选地，在一应用场景中，所述存储负载每秒钟执行i/o的次数，包括写的次数，读
的次数，不做唯一性限定，且每秒钟读的次数和写的次数之间的比例不做唯一性限定。
45.s102、针对每一所述存储负载集合的每一存储负载，根据其存储带宽比例，判断是否需要对其进行拆分处理形成存储负载子集；
46.可选地，在一应用场景中，所述存储带宽比例比如为所需带宽与可提供带宽之间的比例，其具体根据i/o请求的到达率和存储负载可提供服务的时间计算。进一步地，所述存储负载可提供服务的时间根据存储负载的数据传输率以及i/o请求的最大数目。
47.具体地，在一应用场景中，存储带宽比例反映了存储负载是否超过了负荷，如果出现了欠负荷则需要对其进行拆分处理。
48.s103、若需要进行拆分处理，则对需要拆分的存储负载进行拆分得到若干存储子负载，所述若干存储子负载形成存储负载子集；
49.具体地，在一应用场景中，可以按照能平均响应i/o请求的方式对需要拆分的存储负载进行拆分，或者也可以根据应用场景的需求，按照能满足应用场景i/o请求的方式进行拆分。
50.s104、根据所述存储负载子集中的每个存储子负载的存储带宽比例，确定需要从所述存储负载子集对应存储负载所在的存储负载集合分离出去的存储子负载，以组成新的存储负载集合。
51.具体地，在一应用场景中，通过利用存储带宽比例，进一步进行存储子负载的分离，从而可以使得存储子负载可以满足应用场景的带宽要求。
52.图2为本技术实施例二中异构网络中存储负载的分类方法的流程示意图；如图2所示，其包括：
53.s201、根据所述存储负载的类型，将所述存储负载进行分类，得到若干存储负载集合；
54.可选地，本实施例中，步骤s201类似上述实施例一。
55.s202、针对每一所述存储负载集合的每一存储负载，根据其存储带宽比例，判断是否需要对其进行拆分处理形成存储负载子集；
56.可选地，在一应用场景中，所述针对每一所述存储负载集合的每一存储负载，根据其存储带宽比例，判断是否需要对其进行拆分处理形成存储负载子集，包括：针对每一所述存储负载集合的每一存储负载，根据其存储带宽比例是否小于等于1，判断是否需要对其进行拆分处理形成存储负载子集；
57.若小于等于1，则判定需要对其进行拆分处理形成存储负载子集，否则，则判定不需要对其进行拆分处理形成存储负载子集。
58.参见之前所述，所述存储带宽比例如果为所需带宽与可提供带宽之间的比例，若小于等于1，则表明会出现欠负荷的情形，否则表明进行拆分处理。
59.s203、若需要进行拆分处理，则对需要拆分的存储负载进行拆分得到若干存储子负载，所述若干存储子负载形成存储负载子集；
60.s204、根据所述存储负载子集中的每个存储子负载的存储带宽比例，确定需要从所述存储负载子集对应存储负载所在的存储负载集合分离出去的存储子负载，以组成新的存储负载集合。
61.可选地，本实施例中，步骤s203
‑
s204类似上述实施例一。
62.图3为本技术实施例三中异构网络中存储负载的分类方法的流程示意图；如图3所示，其包括：
63.s301、根据所述存储负载的类型，将所述存储负载进行分类，得到若干存储负载集合；
64.s302、针对每一所述存储负载集合的每一存储负载，根据其存储带宽比例，判断是否需要对其进行拆分处理形成存储负载子集；
65.s303、若需要进行拆分处理，则对需要拆分的存储负载进行拆分得到若干存储子负载，所述若干存储子负载形成存储负载子集；
66.本实施例中，步骤s301
‑
s303请参见上述实施例一或者二的记载。
67.s304、根据所述存储负载子集中的每个存储子负载的存储带宽比例，确定需要从所述存储负载子集对应存储负载所在的存储负载集合分离出去的存储子负载，以组成新的存储负载集合。
68.可选地，在本技术一实施例中，所述根据所述存储负载子集中的每个存储子负载的存储带宽比例，确定需要从所述存储负载子集对应存储负载所在的存储负载集合分离出去的存储子负载组成新的存储负载集合，包括：判断所述存储负载子集中的一存储子负载的存储带宽比例是否小于等于1，若小于等于1，则将所述存储带宽比例小于等于1的存储子负载确定为需要从所述存储负载子集对应存储负载所在的存储负载集合分离出去的存储子负载，组成新的存储负载集合，以避免存储负载的浪费，提高存储负载的可用性。
69.图4为本技术实施例四中异构网络中存储负载的分类方法的流程示意图；如图4所示，其包括：
70.s401、根据所述存储负载的类型，将所述存储负载进行分类，得到若干存储负载集合；
71.s402、针对每一所述存储负载集合的每一存储负载，根据其存储带宽比例，判断是否需要对其进行拆分处理形成存储负载子集；
72.s403、若需要进行拆分处理，则对需要拆分的存储负载进行拆分得到若干存储子负载，所述若干存储子负载形成存储负载子集；
73.s404、根据所述存储负载子集中的每个存储子负载的存储带宽比例，确定需要从所述存储负载子集对应存储负载所在的存储负载集合分离出去的存储子负载，以组成新的存储负载集合。
74.本实施例中，上述步骤s401
‑
s404可参见上述实施例的记载。
75.s405、对所述新的存储负载集合中的存储子负载按照存储带宽比例进行降序排序得到存储子负载队列；
76.s406、根据设定的负载容量限值以及存储带宽比例限值，对所述存储子负载队列进行截取处理，使得保留下来的存储子负载的总负载容量不超过设定的负载容量限值，以及保留下来的存储子负载的总存储带宽比例不超过设定存储带宽比例限值。
77.基于存储子负载队列中存储带宽比例又高到低的顺序进行存储子负载的截取，从容保留了高可用的存储子负载，且存储带宽比例尽可能刚好满足应用场景的需求，不存在任何浪费。
78.图5为本技术实施例五中异构网络中存储负载的分类方法的流程示意图；如图5所
示，其包括：
79.s501、根据所述存储负载的类型，将所述存储负载进行分类，得到若干存储负载集合；
80.s502、针对每一所述存储负载集合的每一存储负载，根据其存储带宽比例，判断是否需要对其进行拆分处理形成存储负载子集；
81.s503、若需要进行拆分处理，则对需要拆分的存储负载进行拆分得到若干存储子负载，所述若干存储子负载形成存储负载子集；
82.s504、根据所述存储负载子集中的每个存储子负载的存储带宽比例，确定需要从所述存储负载子集对应存储负载所在的存储负载集合分离出去的存储子负载，以组成新的存储负载集合。
83.s505、建立所述若干存储负载集合与所述新的存储负载集合与存储阵列的对应关系，以将所述若干存储负载集合与所述新的存储负载分配到对应的存储阵列上。
84.可选地，在一应用场景中，所述建立所述若干存储负载集合与所述新的存储负载集合与存储阵列的对应关系，以将所述若干存储负载集合与所述新的存储负载分配到对应的存储阵列上，包括：
85.s515、建立所述若干存储负载集合与所述新的存储负载集合与存储阵列的对应关系；
86.s525、根据所述对应关系，生成存储配置表；
87.s535、根据所述存储配置表，将所述若干存储负载集合与所述新的存储负载分配到对应的存储阵列上。
88.基于存储负载集合与存储阵列的对应关系，快速地实现存储负载的分配，同时，又是基于存储带宽比例，从而可保证使用最少的存储阵列满足存储负载的要求。
89.图6为本技术六中异构网络中存储负载的分类装置的结构示意图；如图6所示，其包括：
90.分类单元601，用于根据所述存储负载的类型，将所述存储负载进行分类，得到若干存储负载集合；
91.拆分单元602，用于针对每一所述存储负载集合的每一存储负载，根据其存储带宽比例，判断是否需要对其进行拆分处理形成存储负载子集；若需要进行拆分处理，则对需要拆分的存储负载进行拆分得到若干存储子负载，所述若干存储子负载形成存储负载子集；
92.集合单元603，用于根据所述存储负载子集中的每个存储子负载的存储带宽比例，确定需要从所述存储负载子集对应存储负载所在的存储负载集合分离出去的存储子负载，以组成新的存储负载集合。
93.可选地，在本技术一实施例中，所述拆分单元在针对每一所述存储负载集合的每一存储负载，根据其存储带宽比例，判断是否需要对其进行拆分处理形成存储负载子集时，包括：针对每一所述存储负载集合的每一存储负载，根据其存储带宽比例是否小于等于1，判断是否需要对其进行拆分处理形成存储负载子集；
94.若小于等于1，则判定需要对其进行拆分处理形成存储负载子集，否则，则判定不需要对其进行拆分处理形成存储负载子集。
95.可选地，在本技术一实施例中，所述集合单元在根据所述存储负载子集中的每个
存储子负载的存储带宽比例，确定需要从所述存储负载子集对应存储负载所在的存储负载集合分离出去的存储子负载组成新的存储负载集合时，包括：判断所述存储负载子集中的一存储子负载的存储带宽比例是否小于等于1，若小于等于1，则将所述存储带宽比例小于等于1的存储子负载确定为需要从所述存储负载子集对应存储负载所在的存储负载集合分离出去的存储子负载，组成新的存储负载集合。
96.可选地，在本技术一实施例中，所述装置还包括截取单元，根据所述存储负载子集中的每个存储子负载的存储带宽比例，确定需要从所述存储负载子集对应存储负载所在的存储负载集合分离出去的存储子负载，以组成新的存储负载集合，之后，所述截取单元用于：
97.对所述新的存储负载集合中的存储子负载按照存储带宽比例进行降序排序得到存储子负载队列；
98.根据设定的负载容量限值以及存储带宽比例限值，对所述存储子负载队列进行截取处理，使得保留下来的存储子负载的总负载容量不超过设定的负载容量限值，以及保留下来的存储子负载的总存储带宽比例不超过设定存储带宽比例限值。
99.可选地，在本技术一实施例中，所述装置还包括：分配单元，在根据所述存储负载子集中的每个存储子负载的存储带宽比例，确定需要从所述存储负载子集对应存储负载所在的存储负载集合分离出去的存储子负载，以组成新的存储负载集合，之后，所述分配单元用于：
100.建立所述若干存储负载集合与所述新的存储负载集合与存储阵列的对应关系，以将所述若干存储负载集合与所述新的存储负载分配到对应的存储阵列上。
101.可选地，在本技术一实施例中，所述分配单元在建立所述若干存储负载集合与所述新的存储负载集合与存储阵列的对应关系，以将所述若干存储负载集合与所述新的存储负载分配到对应的存储阵列上时，包括：建立所述若干存储负载集合与所述新的存储负载集合与存储阵列的对应关系；根据所述对应关系，生成存储配置表；根据所述存储配置表，将所述若干存储负载集合与所述新的存储负载分配到对应的存储阵列上。
102.图7为本技术实施例七中电子设备结构示意图；如图7所示，其包括：存储器701以及处理器702，所述存储器上存储有计算机可执行程序，所述处理器用于执行所述计算机可执行程序以实施本技术任一实施例所述的方法。
103.图8为本技术实施例六中电子设备的硬件结构示意图；如图8所示，该电子设备的硬件结构可以包括：处理器801，通信接口802，计算机可读介质803和通信总线804；
104.其中，处理器801、通信接口802、计算机可读介质803通过通信总线804完成相互间的通信；
105.可选的，通信接口802可以为通信模块的接口，如gsm模块的接口；
106.其中，处理器801具体可以配置为运行存储器上存储的可执行程序，从而执行上述任一方法实施例的所有处理步骤或者其中部分处理步骤。
107.处理器801可以是通用处理器，包括中央处理器(central processing unit，简称cpu)、网络处理器(network processor，简称np)等；还可以是数字信号处理器(dsp)、专用集成电路(asic)、现成可编程门阵列(fpga)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本技术实施例中的公开的各方法、步骤及逻辑
框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
108.本技术实施例的电子设备以多种形式存在，包括但不限于:
109.(1)移动通信设备:这类设备的特点是具备移动通信功能，并且以提供话音、数据通信为主要目标。这类终端包括:智能手机(例如iphone)、多媒体手机、功能性手机，以及低端手机等。
110.(2)超移动个人计算机设备:这类设备属于个人计算机的范畴，有计算和处理功能，一般也具备移动上网特性。这类终端包括:pda、mid和umpc设备等，例如ipad。
111.(3)便携式娱乐设备:这类设备可以显示和播放多媒体内容。该类设备包括:音频、视频播放器(例如ipod)，掌上游戏机，电子书，以及智能玩具和便携式车载导航设备。
112.(4)服务器:提供计算服务的设备，服务器的构成包括处理器710、硬盘、内存、系统总线等，服务器和通用的计算机架构类似，但是由于需要提供高可靠的服务，因此在处理能力、稳定性、可靠性、安全性、可扩展性、可管理性等方面要求较高。
113.(5)其他具有数据交互功能的电子装置。
114.图9为本技术实施例九中计算机存储介质的结构示意图；如图9所示，所述计算机存储介质上存储有计算机可执行程序，所述计算机可执行程序被运行时实施本技术任一实施例所述的方法。
115.本技术实施例还提供一种数据系统，其包括本技术任一实施例所述的电子设备。
116.需要说明的是，本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于设备及系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的设备及系统实施例仅仅是示意性的，其中作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块提示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
117.以上所述，仅为本技术的一种具体实施方式，但本技术的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应该以权利要求的保护范围为准。