一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

性能基线预测方法以及装置与流程

2022-09-14 18:37:46 来源:中国专利 TAG:


1.本技术涉及存储领域,尤其涉及一种性能基线预测方法以及装置。


背景技术:

2.存储输入输出(input/output,i/o)系统是指计算机中由存放程序和数据的各种存储设备、控制部件及管理信息调度的设备(硬件)和算法(软件)所组成的系统。存储i/o系统的性能是非常重要的指标,但是,如何获取存储i/o系统的性能基线是亟需解决的问题。


技术实现要素:

3.为了解决上述问题,本技术提供了一种性能基线预测方法以及装置,能够根第一测试方式下的存储i/o系统的第一性能基线获取得到第二测试方式下的存储i/o系统的第二性能基线。
4.第一方面,提供了一种性能基线预测方法,包括如下步骤:
5.获取存储输入/输出i/o系统的特征以及所述存储i/o系统的第一性能基线,其中,所述第一性能基线反映第一测试方式下的所述存储i/o系统的性能基线;
6.根据所述存储i/o系统的特征,并通过预测模型预测所述存储i/o系统的模式错位,其中,所述存储i/o系统的模式错位反映所述第一性能基线和第二性能基线之间的关系,所述第二性能基线反映第二测试方式下的所述存储i/o系统的性能基线;
7.根据所述第一性能基线以及所述模式错位确定所述第二性能基线。
8.在一些可能的设计中,所述预测模型包括线性回归模型、随机森林模型以及深度学习模型中的一个或者多个。
9.在一些可能的设计中,在获取所述存储i/o系统的第一性能基线之后,根据所述存储i/o系统的特征,并通过预测模型预测所述存储i/o系统的模式错位之前,还包括如下步骤:
10.对第三性能基线进行数据降维得到所述第一性能基线,其中,所述第三性能基线的维度高于所述第一性能基线的维度,所述第三性能基线为第一测试方式下测试得到的所述存储i/o系统的性能基线;
11.根据所述第一性能基线以及所述模式错位确定第二性能基线之后,还包括如下步骤:
12.对所第二性能基线进行数据升维得到第四性能基线,其中,所述第四性能基线的维度高于所述第二性能基线的维度。
13.在一些可能的设计中,所述第一性能基线包括第一随机读带宽、第一随机读索引、第一顺序读带宽、第一顺序读索引、第一随机写带宽、第一随机写索引、第一顺序写带宽以及第一顺序写索引中的一个或者多个;
14.所述第二性能基线包括第二随机读带宽、第二随机读索引、第二顺序读带宽、第二顺序读索引、第二随机写带宽、第二随机写索引、第二顺序写带宽以及第二顺序写索引中的
一个或者多个;
15.所述存储i/o系统的模式错位对应包括以下中的一个或者多个:随机读带宽之比、随机读索引之差、顺序读带宽之比、顺序读索引之差、随机写带宽之比、随机写索引之差、顺序写带宽之比以及顺序写索引之差,其中,所述随机读带宽之比为所述第二随机读带宽与所述第一随机读带宽之比,所述随机读索引之差为所述第二随机读索引与所述第一随机读索引之差;所述顺序读带宽之比为所述第二顺序读带宽与所述第一顺序读带宽之比,所述顺序读索引之差为所述第二顺序读索引与所述第一顺序读索引之差;所述随机写带宽之比为所述第二随机写带宽与所述第一随机写带宽之比,所述随机写索引之差为所述第二随机写索引与所述第一随机写索引之差;所述顺序写带宽之比为所述第二顺序写带宽与所述第一顺序写带宽之比,所述顺序写索引之差为所述第二顺序写索引与所述第一顺序写索引之差。
16.在一些可能的设计中,所述存储i/o系统包括硬盘、背板以及独立磁盘冗余阵列raid卡中的一个或者多个,所述存储i/o系统的特征包括:硬盘特征以及环境特征中的一个或者多个,所述硬盘特征包括硬盘型号、硬盘厂商、接口方式、硬盘容量以及硬盘数量中的一个或者多个;所述环境特征包括raid卡型号、raid卡厂商、raid级别以及是否连接背板中的一个或者多个。
17.在一些可能的设计中,所述第一测试方法为磁盘簇jbod测试方式,所述第二测试方法为raid测试方式。
18.第二方面,提供了一种性能基线预测装置,所述装置包括获取模块、预测模块以及确定模块,
19.所述获取模块用于获取存储输入/输出i/o系统的特征以及所述存储i/o系统的第一性能基线,其中,所述第一性能基线反映第一测试方式下的所述存储i/o系统的性能基线;
20.所述预测模块用于根据所述存储i/o系统的特征,并通过预测模型预测所述存储i/o系统的模式错位,其中,所述存储i/o系统的模式错位反映所述第一性能基线和第二性能基线之间的关系,所述第二性能基线反映第二测试方式下的所述存储i/o系统的性能基线;
21.所述确定模块用于根据所述第一性能基线以及所述模式错位确定所述第二性能基线。
22.在一些可能的设计中,所述预测模型包括线性回归模型、随机森林模型以及深度学习模型中的一个或者多个。
23.在一些可能的设计中,所述装置包括降维模块以及升维模块,
24.所述降维模块用于对第三性能基线进行数据降维得到所述第一性能基线,其中,所述第三性能基线的维度高于所述第一性能基线的维度,所述第三性能基线为第一测试方式下测试得到的所述存储i/o系统的性能基线;
25.所述升维模块用于对所第二性能基线进行数据升维得到第四性能基线,其中,所述第四性能基线的维度高于所述第二性能基线的维度。
26.在一些可能的设计中,所述第一性能基线包括第一随机读带宽、第一随机读索引、第一顺序读带宽、第一顺序读索引、第一随机写带宽、第一随机写索引、第一顺序写带宽以
及第一顺序写索引中的一个或者多个;
27.所述第二性能基线包括第二随机读带宽、第二随机读索引、第二顺序读带宽、第二顺序读索引、第二随机写带宽、第二随机写索引、第二顺序写带宽以及第二顺序写索引中的一个或者多个;
28.所述存储i/o系统的模式错位对应包括以下中的一个或者多个:随机读带宽之比、随机读索引之差、顺序读带宽之比、顺序读索引之差、随机写带宽之比、随机写索引之差、顺序写带宽之比以及顺序写索引之差,其中,所述随机读带宽之比为所述第二随机读带宽与所述第一随机读带宽之比,所述随机读索引之差为所述第二随机读索引与所述第一随机读索引之差;所述顺序读带宽之比为所述第二顺序读带宽与所述第一顺序读带宽之比,所述顺序读索引之差为所述第二顺序读索引与所述第一顺序读索引之差;所述随机写带宽之比为所述第二随机写带宽与所述第一随机写带宽之比,所述随机写索引之差为所述第二随机写索引与所述第一随机写索引之差;所述顺序写带宽之比为所述第二顺序写带宽与所述第一顺序写带宽之比,所述顺序写索引之差为所述第二顺序写索引与所述第一顺序写索引之差。
29.在一些可能的设计中,所述存储i/o系统包括硬盘、背板以及独立磁盘冗余阵列raid卡中的一个或者多个,所述存储i/o系统的特征包括:硬盘特征以及环境特征中的一个或者多个,所述硬盘特征包括硬盘型号、硬盘厂商、接口方式、硬盘容量以及硬盘数量中的一个或者多个;所述环境特征包括raid卡型号、raid卡厂商、raid级别以及是否连接背板中的一个或者多个。
30.在一些可能的设计中,所述第一测试方法为磁盘簇jbod测试方式,所述第二测试方法为raid测试方式。
31.第三方面,提供了一种计算设备,所述计算节点包括处理器以及存储器,所述处理器执行所述存储器中的程序,从而执行如第一方面任一项所述的方法。
32.第四方面,提供了一种计算机可读存储介质,包括指令,当所述指令在计算设备上运行时,使得所述计算设备执行如第一方面任一项所述的方法。
33.第五方面,提供了一种计算机程序产品,所述计算机程序产品运行在所述计算设备时,使得所述计算设备执行如第一方面任一项所述的方法。
34.在上述方案中,通过将存储i/o系统的特征和存储i/o系统的第一性能基线输入预测模型,从而预测得到存储i/o系统的模式错位,再根据第一性能基线以及模式错位确定所述第二性能基线,从而能够根据第一性能基线预测第二性能基线,进而使得用户能够更好地了解存储i/o系统的性能。
附图说明
35.为了更清楚地说明本技术实施例或背景技术中的技术方案,下面将对本技术实施例或背景技术中所需要使用的附图进行说明。
36.图1是本技术提供的一种存储i/o系统的结构示意图;
37.图2是本技术提供的一种存储i/o系统的性能基线中的随机读模式下不同的数据块大小对存储i/o系统进行测试得到的带宽的示意图;
38.图3是本技术提供的一种根据预测得到的随机读带宽、随机读索引还原为随机读
模式下不同的数据块大小对存储i/o系统进行测试得到的带宽的示意图;
39.图4是本技术提供的一种性能基线预测方法的示意图;
40.图5是本技术提供的一种性能基线预测装置的示意图;
41.图6是本技术提供的又一种性能基线预测装置的示意图。
具体实施方式
42.参见图1,图1是本技术提供的一种存储i/o系统的结构示意图。本实施方式的存储i/o系统可以包括硬盘110、背板120以及独立磁盘冗余阵列(redundant arrays of independent disks,raid)卡130。
43.硬盘110是用于存储数据的主要设备,例如,硬式磁盘驱动器(hard disk drive,hdd)或者固态硬盘(solid-state drive,ssd)。
44.背板120用于扩展raid卡可以连接的硬盘的数量。例如,通常raid卡只有4个sas接口,只能外接4个硬盘,通过背板扩展之后,raid卡可以驱动12个硬盘。存储i/o系统也可以不包括背板120,此处不作具体限定。
45.raid卡130是用于实现raid功能的板卡,通常是由i/o处理器、硬盘控制器、硬盘连接器和缓存等一系列零组件构成的。raid功能是一种把多块独立的硬盘(物理硬盘)按不同的方式组合起来形成一个硬盘组(逻辑硬盘),从而提供比单个硬盘更高的存储性能和提供数据备份技术。
46.应理解,上述存储i/o系统只是作为具体的举例,在其他的实施方式中,存储i/o系统也可以不包括背板120等等,此处不作具体限定。
47.下面将分别对存储i/o系统的特征以及性能基线分别进行详细的介绍。
48.存储i/o系统的特征通常包括硬盘特征和环境特征。其中,硬盘特征是硬盘自身具有的特征,环境特征是硬盘所在的外部环境具有的特征。例如,硬盘特征包括:硬盘型号、硬盘厂商、接口方式、硬盘容量以及硬盘数量等等。其中,硬盘型号是指硬盘的性能、规格和大小等等。硬盘厂商是指生产硬盘的厂商。接口方式可以是串行高级技术附件(serial advanced technology attachment,sata)接口或者串行连接scsi(serial attached scsi,sas)接口。硬盘容量决定着数据存储量大小的能力,例如,硬盘容量可以是兆字节(mb)或千兆字节(gb)为单位。硬盘数量可以是1,2,4,8,

。环境特征包括:raid卡型号、raid卡厂商、raid级别、是否连接背板120等等。其中,raid卡型号是指raid卡的性能、规格和大小等等。raid卡厂商是指生产raid卡的厂商。raid级别通常可以分为8个级别,分别为raid 0、1、2、3、4、5、6、10。应理解,上述硬盘特征和环境特征还可以包括其他的物理量,此处不作具体限定。
49.存储i/o系统的性能基线是衡量存储i/o系统性能的评价指标。其中,性能基线为反映所述存储i/o系统的性能参数。性能基线包括四种读写模式(随机读、顺序读、随机写、顺序写)下,使用十种不同大小的数据块(1kb,4kb,8kb,16kb,32kb,64kb,128kb,256kb,512kb,1024kb)对存储i/o系统进行读写测试下得到的带宽中的一种或者多种。即,性能基线可以表示为40维度的向量,具体包括:随机读_1kb_带宽(rr_1kb_bw)、随机读_4kb_带宽(rr_4kb_bw)、随机读_8kb_带宽(rr_8kb_bw)、随机读_16kb_带宽(rr_16kb_bw)、随机读_32kb_带宽(rr_32kb_bw)、随机读_64kb_带宽(rr_64kb_bw)、随机读_128kb_带宽(rr_
测试下得到的存储i/o系统的带宽为1280mb/s;使用大小为256kb的数据块对存储i/o系统进行“随机读”测试下得到的存储i/o系统的带宽为1280mb/s;使用大小为512kb的数据块对存储i/o系统进行“随机读”测试下得到的存储i/o系统的带宽为1280mb/s;使用大小为1024kb的数据块对存储i/o系统进行“随机读”测试下得到的存储i/o系统的带宽为1280mb/s。从上述例子可以看出,在存储i/o系统的带宽没有达到最大值之前,存储i/o系统的带宽与测试用的数据块的大小成正比例,因此,在同一模式下(例如,顺序读模式下),测试用的数据块大小为16kb时对应的带宽应当为测试用的数据块大小为8kb时对应的带宽的2倍左右,当存储i/o系统的带宽达到最大值之后,即使测试用的数据块大小继续增大,存储i/o系统的带宽也基本不会发生变化。
55.在一具体的实施方式中,存储i/o系统的性能基线可以从40维的数据降维为8维的数据,这8维的数据可以包括:随机读带宽、随机读索引、顺序读带宽、顺序读索引、随机写带宽、随机写索引、顺序写带宽以及顺序写索引中一种或者多种。其中,随机读带宽是在随机读模式下,分别使用十种不同大小的数据块对存储i/o系统进行“随机读”测试下得到的存储i/o系统的最大的带宽。随机读索引是在随机读模式下,分别使用十种不同大小的数据块对存储i/o系统进行“随机读”测试下得到的最大的带宽时,最大的带宽对应的数据块的索引。顺序读带宽是在顺序读模式下,分别使用十种不同大小的数据块对存储i/o系统进行“顺序读”测试下得到的存储i/o系统的最大的带宽。顺序读索引是在顺序读模式下,分别使用十种不同大小的数据块对存储i/o系统进行“顺序读”测试下得到的存储i/o系统最大的带宽时,最大的带宽对应的数据块的索引。随机写带宽是在随机写模式下,分别使用十种不同大小的数据块对存储i/o系统进行“随机写”测试下得到的存储i/o系统的最大的带宽。随机写索引是在随机写模式下,分别使用十种不同大小的数据块对存储i/o系统进行“随机写”测试下得到的存储i/o系统最大的带宽时,最大的带宽对应的数据块的索引。顺序写带宽是在顺序写模式下,分别使用十种不同大小的数据块对存储i/o系统进行“顺序写”测试下得到的存储i/o系统的最大的带宽。顺序写索引是在顺序读模式下,分别使用十种不同大小的数据块对存储i/o系统进行“顺序写”测试下得到的存储i/o系统的最大的带宽时,最大的带宽对应的数据块对应的索引。下面将以随机读带宽、随机读索引为例并结合具体的例子详细说明如何将性能基线从40维降维为8维。继续以图2所示的例子为例,使用十种不同大小的数据块对存储i/o系统进行“随机读”测试下得到的存储i/o系统最大的带宽为1280mb/s,随机读索引可以设置为第一个使得存储i/o系统达到最大带宽的数据块大小64k对应的索引6。可以理解,顺序读带宽、顺序读索引、随机写带宽、随机写索引、顺序写带宽以及顺序写索引也可以使用类似的方式得到,此处不作展开描述。
56.此外,降维的方法还可以是主成分分析算法(principal component analysis,pca)、自动编码(auto encoder)、嵌入(embedding)等等。
57.由于对于顺序模式来说,顺序读带宽以及顺序写带宽比较稳定,顺序读索引以及顺序写索引比较不稳定;对于随机模式来说,随机读带宽以及随机写带宽比较不稳定,随机读索引以及随机写索引比较稳定。即,顺序模式和随机模式互有优劣并且互相补充。因此,可以通过如下的构造模式错位中的一种或者多种来进行优势互补:
58.随机读带宽之比=raid随机读带宽/jbod顺序读带宽;
59.随机读索引之差=raid随机读索引-jbod随机读索引;
60.顺序读带宽之比=raid顺序读带宽/jbod顺序读带宽;
61.顺序读索引之差=raid顺序读索引-jbod随机读索引;
62.随机写带宽之比=raid随机写带宽/jbod顺序写带宽;
63.随机写索引之差=raid随机写索引-jbod随机写索引;
64.顺序写带宽之比=raid顺序读带宽/jbod顺序写带宽;
65.顺序写索引之差=raid顺序读索引-jbod随机写索引。
66.可以理解,上述模式错位仅仅是作为具体的示例,在其他的实施方式中,随机读带宽之比也可以等于jbod顺序读带宽/raid随机读带宽等等,此处不应该构成具体的限定。
67.计算设备获取已知的存储i/o系统的特征以及已知的存储i/o系统的特征对应的已知模式错位,并使用已知的存储i/o系统的特征以及已知模式错位对预测模型进行训练。其中,已知模式错位可以是对已知的存储i/o系统的特征对应的已知性能基线进行上述的降维以及构造模式错误得到的。
68.在一具体的实施例中,预测模型可以表示为公式(1):
69.y=f(x)
ꢀꢀꢀ
公式(1)
70.其中,x为存储i/o系统的特征,y为模式错位,f()为存储i/o系统的特征和模式错位之间的映射关系。
71.在一具体的实施例中,预测模型可以是线性回归(linear regression)模型、随机森林(random forest)模型以及深度学习(deep learning,dl)模型等等。以预测模型为随机森林模型为例,随机森林模型包括n个回归树t1,t2,

,tn,那么随机森林得到的模式错位可以表示为公式(2):
[0072][0073]
其中,f(x1)为回归树t1回归得到的结果,f(x2)为回归树t2回归得到的结果,

,f(xn)为回归树tn回归得到的结果。以回归树ti为例,0《i≤n,回归树ti可以表示为公式(3):
[0074][0075]
其中,数据空间被划分成了r1~rm,cm为单元rm中的一个固定的输出值,i()为回归树的输入空间,xi为存储i/o系统的特征,f(xi)为回归树ti回归得到的结果。
[0076]
以回归树ti为例,回归树ti训练过程可以如下:获取大量已知的存储i/o系统的特征以及已知的存储i/o系统的特征对应的已知模式错位。然后,计算回归树ti的输出值与实际值的误差可以表示为公式(4):
[0077][0078]
为了使得公式(4)的平方误差最小化,可以令cm为单元rm中所有实际值的均值,即,
[0079][0080]
然后,选择从xi中选择变量为切分变量,切分变量的取值s为切分点,那么会得到两个区域r1以及r2:
[0081]

[0082]
当j和s固定时,如公式(6)所示,可以找到两个区域r1以及r2各自的代表值c1以及c2使得各自区域上的平方差最小,
[0083][0084]
其中,c1以及c2分别为:
[0085][0086]
通过变量xi中的所有变量,找到最小的平方差,就可以找到最优的j和s,从而得到两个数据空间,并且,经过多次迭代后,就可以确定数据空间r1~rm。
[0087]
可以理解,对回归树t1,t2,

,tn都进行类似的训练,从而得到训练好的回归树t1,t2,

,tn,此处不再展开赘述。
[0088]
这里,不同的预测模型可以用于预测不同的模式错位,例如,如果使用已知存储i/o系统的特征和已知随机读带宽之比对预测模型进行训练,就可以得到第一预测模型;将存储i/o系统的特征输入第一预测模型,就可以预测该存储i/o系统的特征对应的随机读带宽之比。如果使用已知存储i/o系统的特征和已知随机读索引之差对预测模型进行训练,就可以得到第二预测模型;将存储i/o系统的特征输入第二预测模型,就可以预测该存储i/o系统的特征对应的随机读索引之差。如果使用已知存储i/o系统的特征和已知顺序读带宽之比对预测模型进行训练,就可以得到第三预测模型;将存储i/o系统的特征输入第三预测模型,就可以预测该存储i/o系统的特征对应的顺序读带宽之比。如果使用已知存储i/o系统的特征和已知顺序读索引之差对预测模型进行训练,就可以得到第四预测模型;将存储i/o系统的特征输入第四预测模型,就可以预测该存储i/o系统的特征对应的顺序读索引之差。如果使用已知存储i/o系统的特征和已知随机写带宽之比对预测模型进行训练,就可以得到第五预测模型;将存储i/o系统的特征输入第五预测模型,就可以预测该存储i/o系统的特征对应的随机写带宽之比。如果使用已知存储i/o系统的特征和已知随机写索引之差对预测模型进行训练,就可以得到第六预测模型;将存储i/o系统的特征输入第六预测模型,就可以预测该存储i/o系统的特征对应的随机写索引之差。如果使用已知存储i/o系统的特征和已知顺序写带宽之比对预测模型进行训练,就可以得到第七预测模型;将存储i/o系统的特征输入第七预测模型,就可以预测该存储i/o系统的特征对应的顺序写带宽之比。如果使用已知存储i/o系统的特征和已知顺序写索引之差对预测模型进行训练,就可以得到第八预测模型;将存储i/o系统的特征输入第八预测模型,就可以预测该存储i/o系统的特征对应的顺序写索引之差。
[0089]
由于出厂时一般都有存储i/o系统的jbod测试方式下的存储i/o系统的性能基线,因此,根据jbod测试方式下的存储i/o系统的性能基线和预测到的模式错位(例如,预测的随机读带宽之比、预测的随机读索引之差、

、预测的顺序写索引之差)可以确定raid测试方式下的存储i/o系统的性能基线。例如,假设jbod测试方式下的存储i/o系统的顺序读带宽为300mb/s,预测到的顺序读带宽之比为1.96,那么,根据raid测试方式下的存储i/o系统的顺序读带宽=raid顺序读带宽/jbod顺序写带宽*jbod测试方式下的存储i/o系统的顺序
读带宽=1.96*300mb/s=588mb/s。可以理解,通过上述方式可以确定raid测试方式下的存储i/o系统的随机读带宽、raid测试方式下的存储i/o系统的随机读索引、raid测试方式下的存储i/o系统的顺序读带宽、raid测试方式下的存储i/o系统的顺序读索引、raid测试方式下的存储i/o系统的随机写带宽、raid测试方式下的存储i/o系统的随机写索引、raid测试方式下的存储i/o系统的顺序读带宽以及raid测试方式下的存储i/o系统的顺序读索引等等。
[0090]
在获得预测的存储i/o系统的性能基线之后,还可以将预测的存储i/o系统的性能基线从低维数据升维为高维数据。
[0091]
在一具体的实施方式中,假设预测的存储i/o系统的性能基线为8维数据:随机读带宽、随机读索引、顺序读带宽、顺序读索引、随机写带宽、随机写索引、顺序写带宽以及顺序写索引,那么,基于存储i/o系统的性能基线的40维分量之间具有较强的相关性,可以重新还原为上述的40维度的向量。假设预测得到的随机读带宽为1280mb/s,随机读索引为索引6,那么,如图3所示,可以确定使用十种不同大小的数据块对存储i/o系统进行“随机读”测试下得到的存储i/o系统最大的带宽为1280mb/s,第一个使得存储i/o系统达到最大带宽的数据块大小为64kb的数据块(图中最大的点),即,随机读_64kb_带宽(rr_64kb_bw)为1280mb/s。因此,根据在存储i/o系统的带宽没有达到最大值之前,存储i/o系统的带宽与测试用的数据块的大小成正比例,当存储i/o系统的带宽达到最大值之后,即使测试用的数据块大小继续增大,存储i/o系统的带宽也基本不会发生变化,可以还原得到其他数据块大小对应的随机读的带宽。其中,数据块大小32kb对应的随机读的带宽为640mb/s,即,随机读_32kb_带宽(rr_32kb_bw)为640mb/s;数据块大小16kb对应的随机读的带宽为320mb/s,即,随机读_16kb_带宽(rr_16kb_bw)为320mb/s;数据块大小8kb对应的随机读的带宽为160mb/s,即,随机读_8kb_带宽(rr_8kb_bw)为160mb/s;数据块大小4kb对应的随机读的带宽为80mb/s,即,随机读_4kb_带宽(rr_4kb_bw)为80mb/s;数据块大小1kb对应的随机读的带宽为20mb/s,即,随机读_1kb_带宽(rr_1kb_bw)为20mb/s;数据块大小128kb对应的随机读的带宽为1280mb/s,即,随机读_128kb_带宽(rr_128kb_bw)为1280mb/s;数据块大小256kb对应的随机读的带宽为1280mb/s,即,随机读_256kb_带宽(rr_256kb_bw)为1280mb/s;数据块大小512kb对应的随机读的带宽为1280mb/s,即,随机读_512kb_带宽(rr_512kb_bw)为1280mb/s;数据块大小1024kb对应的随机读的带宽为1280mb/s,即,随机读_1024kb_带宽(rr_1024kb_bw)为1280mb/s。可以理解,基于存储i/o系统的性能基线的其他分量也可以通过同样的方法得到,此处不再展开描述。
[0092]
如图4所示,图4是本技术提供的一种性能基线预测方法的示意图。如图4所示,本技术提供的性能基线预测方法,包括:
[0093]
s101:计算设备获取存储i/o系统的特征以及所述存储i/o系统的第一性能基线。
[0094]
在一具体的实施方式中,存储i/o系统可以是包括硬盘以及raid卡的系统,也可以是,硬盘、背板以及raid卡的系统等等。
[0095]
在一具体的实施方式中,存储i/o系统的特征可以参见上文的介绍,此处不再展开描述。
[0096]
在一具体的实施方式中,第一性能基线为第一测试方式下测试得到的所述存储i/o系统的性能基线。其中,第一性能基线可以是高维数据,例如,第一性能基线包括四种读写
模式(随机读、顺序读、随机写、顺序写)下,使用十种不同大小的数据块(1kb,4kb,8kb,16kb,32kb,64kb,128kb,256kb,512kb,1024kb)对存储i/o系统进行读写测试下得到的带宽。
[0097]
在一具体的实施方式中,第一性能基线也可以是对第三性能基线进行降维后得到的,其中,第一性能基线的维度低于第三性能基线的维度,所述第三性能基线为第一测试方式下测试得到的所述存储i/o系统的性能基线。例如,第三性能基线可以是40维数据,包括四种读写模式(随机读、顺序读、随机写、顺序写)下,使用十种不同大小的数据块(1kb,4kb,8kb,16kb,32kb,64kb,128kb,256kb,512kb,1024kb)对存储i/o系统进行读写测试下得到的带宽。第一性能基线可以是8维数据,包括随机读带宽、随机读索引、顺序读带宽、顺序读索引、随机写带宽、随机写索引、顺序写带宽以及顺序写索引。
[0098]
在一具体的实施方式中,第一测试方式可以是jbod测试方式等等。
[0099]
s102:服务器根据所述存储i/o系统的特征,并通过预测模型预测所述存储i/o系统的模式错位。
[0100]
在一具体的实施方式中,预测模型可以使用已知的存储i/o系统的特征以及已知模式错位进行训练得到的。所述预测模型包括线性回归模型、随机森林模型以及深度学习模型中的一个或者多个。
[0101]
在一具体的实施方式中,存储i/o系统的模式错位反映所述第一性能基线和第二性能基线之间的关系。
[0102]
在一具体的实施方式中,第二性能基线为第二测试方式下测试得到的所述存储i/o系统的性能基线。
[0103]
在一具体的实施方式中,第二测试方式可以是raid测试方式。
[0104]
在一具体的实施方式中,第一性能基线和第二性能基线的数据维度是相同的。即,当第一性能基线为40维的数据时,第二性能基线也是40维的数据;当第二性能基线为8维的数据时,第二性能基线也为8维的数据。
[0105]
在一具体的实施方式中,以第一性能基线和第二性能基线均为8维的数据为例,所述第一性能基线包括第一随机读带宽、第一随机读索引、第一顺序读带宽、第一顺序读索引、第一随机写带宽、第一随机写索引、第一顺序写带宽以及第一顺序写索引中的一种或者多种;所述第二性能基线包括第二随机读带宽、第二随机读索引、第二顺序读带宽、第二顺序读索引、第二随机写带宽、第二随机写索引、第二顺序写带宽以及第二顺序写索引中的一种或者多种。
[0106]
在一具体的实施方式中,以第一性能基线和第二性能基线均为8维的数据为例,所述存储i/o系统的模式错位包括以下中的一种或者多种:随机读带宽之比、随机读索引之差、顺序读带宽之比、顺序读索引之差、随机写带宽之比、随机写索引之差、顺序写带宽之比以及顺序写索引之差,其中,所述随机读带宽之比为所述第二随机读带宽与所述第一随机读带宽之比,所述随机读索引之差为所述第二随机读索引与所述第一随机读索引之差;所述顺序读带宽之比为所述第二顺序读带宽与所述第一顺序读带宽之比,所述顺序读索引之差为所述第二顺序读索引与所述第一顺序读索引之差;所述随机写带宽之比为所述第二随机写带宽与所述第一随机写带宽之比,所述随机写索引之差为所述第二随机写索引与所述第一随机写索引之差;所述顺序写带宽之比为所述第二顺序写带宽与所述第一顺序写带宽
object access protocol,soap)协议、简单网络管理协议(simple network management protocol,snmp)协议、公共对象请求代理体系结构(common object request broker architecture,corba)协议以及分布式协议等等。
[0119]
存储器313可以包括易失性存储器(volatile memory),例如随机存取存储器(random access memory,ram);存储器也可以包括非易失性存储器(non-volatile memory),例如只读存储器(read-only memory,rom)、快闪存储器(flash memory)、硬盘(hard disk drive,hdd)或固态硬盘(solid-state drive,ssd)存储器还可以包括上述种类的存储器的组合。
[0120]
其中,所述处理器311通过调用存储器313中的程序代码,用于执行以下步骤:
[0121]
获取存储输入/输出i/o系统的特征以及所述存储i/o系统的第一性能基线,其中,所述第一性能基线反映第一测试方式下的所述存储i/o系统的性能基线;
[0122]
根据所述存储i/o系统的特征,并通过预测模型预测所述存储i/o系统的模式错位,其中,所述存储i/o系统的模式错位反映所述第一性能基线和第二性能基线之间的关系,所述第二性能基线反映第二测试方式下的所述存储i/o系统的性能基线;
[0123]
根据所述第一性能基线以及所述模式错位确定所述第二性能基线。
[0124]
为了简便起见,本实施例中并没有对存储i/o系统的结构、存储i/o系统的性能基线的具体内容、第一测试方式以及第二测试方式的具体内容、如何进行数据降维、如何进行数据升维、如何构造错位模式进行详细的介绍,具体请参见图1至图3以及相关内容,此处不再展开描述。
[0125]
在上述方案中,通过将存储i/o系统的特征和存储i/o系统的第一性能基线输入预测模型,从而预测得到存储i/o系统的模式错位,再根据第一性能基线以及模式错位确定所述第二性能基线,从而能够根据第一性能基线预测第二性能基线,进而使得用户能够更好地了解存储i/o系统的性能。
[0126]
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本技术实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、存储盘、磁带)、光介质(例如,dvd)、或者半导体介质(例如固态存储盘solid state disk(ssd))等。
再多了解一些

本文用于企业家、创业者技术爱好者查询,结果仅供参考。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献