一种存储系统管理方法、装置、设备及可读存储介质与流程

1.本技术涉及计算机技术领域，特别涉及一种存储系统管理方法、装置、设备及可读存储介质。


背景技术：

2.目前，为企业业务系统部署后端存储系统后，该存储系统可能无法与前端业务匹配。如：业务在某一操作下流量会突增，而当前部署的存储系统的某一端口无法承载该突增业务流量，导致后端存储系统出现故障。并且，这类故障在发生后需要花费大量成本来定位和分析，会影响前端业务。
3.因此，如何使后端存储系统适用于前端业务，是本领域技术人员需要解决的问题。


技术实现要素：

4.有鉴于此，本技术的目的在于提供一种存储系统管理方法、装置、设备及可读存储介质，以使后端存储系统适用于前端业务。其具体方案如下：第一方面，本技术提供了一种存储系统管理方法，包括：确定原始存储系统中的任意目标对象的原始资源模型；所述目标对象包括：所述原始存储系统中的应用进程、虚拟机内核和/或文件存储服务；确定所述原始存储系统对应的前端业务类型，在与所述目标对象对应的可用模型库中查询具有所述前端业务类型属性的、与所述原始资源模型的相似程度最大的目标资源模型；通过对比所述原始资源模型和所述目标资源模型确定所述目标对象的软/硬件资源更新策略，并基于所述软/硬件资源更新策略更新所述原始存储系统和/或部署包括所述目标对象的新存储系统。
5.可选地，所述确定原始存储系统中的任意目标对象的原始资源模型，包括：获取一段时间内所述目标对象对所述原始存储系统的资源占用信息；若所述资源占用信息中不存在会触发系统预警的信息，则在系统日志中查询所述资源占用信息对应的业务操作数据，并基于所述资源占用信息和相应的业务操作数据构建所述原始资源模型。
6.可选地，所述资源占用信息包括：cpu占用信息、磁盘读写信息、io延迟信息和/或内存占用信息。
7.可选地，所述获取一段时间内所述目标对象对所述原始存储系统的资源占用信息，包括：若任一时刻的所述资源占用信息超过预设值，则记录当前时刻的所述资源占用信息；否则，不记录当前时刻的所述资源占用信息，同时开始倒计时；若在倒计时结束之前出现超过预设值的所述资源占用信息，则强制结束倒计时，同时记录超过预设值的所述资源占用信息；若在倒计时过程中所述资源占用信息始终未超
过预设值，则汇总记录的所有资源占用信息，得到一段时间内的所述资源占用信息。
8.可选地，还包括：若所述资源占用信息中存在会触发系统预警的信息，则将所述资源占用信息划分为会触发系统预警的告警信息和不会触发系统预警的非告警信息；在系统日志中查询所述告警信息对应的业务操作数据，并基于所述告警信息和相应的业务操作数据生成告警报告；在系统日志中查询所述非告警信息对应的业务操作数据，并基于所述非告警信息和相应的业务操作数据构建所述原始资源模型。
9.可选地，所述通过对比所述原始资源模型和所述目标资源模型确定所述目标对象的软/硬件资源更新策略，包括：对比所述原始资源模型和所述目标资源模型，获得对比结果；基于所述对比结果确定所述目标对象需要更新的软/硬件配置，并基于所述软/硬件配置得到所述软/硬件资源更新策略。
10.可选地，还包括：确定所述原始资源模型对应的原始业务流量模型；确定所述目标资源模型对应的目标业务流量模型；相应地，所述软/硬件资源更新策略通过对比所述原始资源模型和所述目标资源模型、对比原始业务流量模型和所述目标业务流量模型综合确定。
11.第二方面，本技术提供了一种存储系统管理装置，包括：确定模块，用于确定原始存储系统中的任意目标对象的原始资源模型；所述目标对象包括：所述原始存储系统中的应用进程、虚拟机内核和/或文件存储服务；对比模块，用于确定所述原始存储系统对应的前端业务类型，在与所述目标对象对应的可用模型库中查询具有所述前端业务类型属性的、与所述原始资源模型的相似程度最大的目标资源模型；更新模块，用于通过对比所述原始资源模型和所述目标资源模型确定所述目标对象的软/硬件资源更新策略，并基于所述软/硬件资源更新策略更新所述原始存储系统和/或部署包括所述目标对象的新存储系统。
12.第三方面，本技术提供了一种电子设备，包括：存储器，用于存储计算机程序；处理器，用于执行所述计算机程序，以实现前述公开的存储系统管理方法。
13.第四方面，本技术提供了一种可读存储介质，用于保存计算机程序，其中，所述计算机程序被处理器执行时实现前述公开的存储系统管理方法。
14.通过以上方案可知，本技术提供了一种存储系统管理方法，包括：确定原始存储系统中的任意目标对象的原始资源模型；所述目标对象包括：所述原始存储系统中的应用进程、虚拟机内核和/或文件存储服务；确定所述原始存储系统对应的前端业务类型，在与所述目标对象对应的可用模型库中查询具有所述前端业务类型属性的、与所述原始资源模型的相似程度最大的目标资源模型；通过对比所述原始资源模型和所述目标资源模型确定所述目标对象的软/硬件资源更新策略，并基于所述软/硬件资源更新策略更新所述原始存储系统和/或部署包括所述目标对象的新存储系统。
15.可见，本技术能够针对存储系统中的任意应用进程、虚拟机内核和/或文件存储服务确定其对应的原始资源模型，然后在相应的可用模型库中查询具有与原存储系统的前端业务属性的、且与原始资源模型的相似程度最大的目标资源模型。而后通过对比原始资源模型和目标资源模型可确定目标对象的软/硬件资源更新策略，之后基于软/硬件资源更新策略更新原始存储系统和/或部署包括目标对象的新存储系统。可见，该方案可针对一个存储系统中的任意目标对象，在模型库中找到与该目标对象的当前资源模型最为相似的、且具有相同业务类型属性的另一资源模型，通过对比两个模型即可确定该目标对象需要更新的资源，从而据此得到软/硬件资源更新策略，并更新原始存储系统和/或部署包括目标对象的新存储系统。也即：该方案可参考模型库中的模型快速定位原存储系统的薄弱配置对其更新，也可以快速部署适用于前端业务类型的、能够应对突然业务状况的新存储系统。
16.相应地，本技术提供的一种存储系统管理装置、设备及可读存储介质，也同样具有上述技术效果。
附图说明
17.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
18.图1为本技术公开的一种存储系统管理方法流程图；图2为本技术公开的一种流量模块对比示意图；图3为本技术公开的一种存储系统管理装置示意图；图4为本技术公开的一种电子设备示意图。
具体实施方式
19.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
20.目前，为企业业务系统部署后端存储系统后，该存储系统可能无法与前端业务匹配。如：业务在某一操作下流量会突增，而当前部署的存储系统的某一端口无法承载该突增业务流量，导致后端存储系统出现故障。并且，这类故障在发生后需要花费大量成本来定位和分析，会影响前端业务。为此，本技术提供了一种存储系统管理方案，能够参考模型库中的模型快速定位原存储系统的薄弱配置对其更新，也可以快速部署适用于前端业务类型的、能够应对突然业务状况的新存储系统，以使后端存储系统适用于前端业务。
21.参见图1所示，本技术实施例公开了一种存储系统管理方法，包括：s101、确定原始存储系统中的任意目标对象的原始资源模型；目标对象包括：原始存储系统中的应用进程、虚拟机内核和/或文件存储服务。
22.在一种具体实施方式中，确定原始存储系统中的任意目标对象的原始资源模型，包括：获取一段时间内目标对象对原始存储系统的资源占用信息；若资源占用信息中不存
在会触发系统预警的信息，则在系统日志中查询资源占用信息对应的业务操作数据，并基于资源占用信息和相应的业务操作数据构建原始资源模型。可见，目标对象的原始资源模型基于该对象在原始存储系统的资源占用信息以及相应的业务操作数据构建。其中，业务操作数据是出现相应资源占用信息的原因，即：业务操作会引发资源占有。
23.其中，不会触发系统预警的资源占用信息表明：目标对象对原始存储系统的资源占用情况符合存储系统运行要求，又由于资源占用由业务操作引发，因此说明此类业务操作数据符合存储系统运行要求。可见，用于构建原始资源模型的资源占用信息和业务操作数据符合存储系统运行要求，并且是能够代表目标对象正常运行情况的数据，因此原始资源模型符合存储系统运行要求且能够代表目标对象正常运行情况。
24.s102、确定原始存储系统对应的前端业务类型，在与目标对象对应的可用模型库中查询具有前端业务类型属性的、与原始资源模型的相似程度最大的目标资源模型。
25.虽然原始资源模型符合存储系统运行要求，也能够代表目标对象正常运行情况，但由于业务流量突发属于不可预估问题，并且无法预知当前原始存储系统的资源配置是否能够应对业务流量突发等异常情况。既然问题不可预估，那么解决该问题的方案更是无法确定。若是等到问题出现再去解决，必然影响前端业务。
26.本实施例在问题出现之前确定存储系统的更新方案，并更新存储系统。为了确定存储系统更新方向，本实施例在与目标对象对应的可用模型库中查询具有前端业务类型属性的、与原始资源模型的相似程度最大的目标资源模型，并通过对比原始资源模型和目标资源模型确定目标对象的软/硬件资源更新策略，从而可参考目标资源模型确定问题解决方案，从而在问题出现之前就更新存储系统，从而降低存储系统出现问题的概率。
27.s103、通过对比原始资源模型和目标资源模型确定目标对象的软/硬件资源更新策略，并基于软/硬件资源更新策略更新原始存储系统和/或部署包括目标对象的新存储系统。
28.在一种具体实施方式中，通过对比原始资源模型和目标资源模型确定目标对象的软/硬件资源更新策略，包括：对比原始资源模型和目标资源模型，获得对比结果；基于对比结果确定目标对象需要更新的软/硬件配置，并基于软/硬件配置得到软/硬件资源更新策略。
29.需要说明的是，本实施例预先构建有应用进程、虚拟机内核、文件存储服务分别对应的可用模型库，每个可用模型库中存储有经实验验证或经实际运用验证表明：不会导致存储系统突发故障或可降低存储系统突发故障概率的目标资源模型。并且，每个可用模型库中的每个目标资源模型具有相应的属性。属性即前端业务类型，前端业务类型如：oa办公业务、电商业务、金融业务、客服业务等。
30.可见，可用模型库有多个，分别与应用进程、虚拟机内核、文件存储服务一一对应。且每个可用模型库包括多个目标资源模型，分别与oa办公业务、电商业务、金融业务、客服业务等前端业务类型对应。其中，每个目标资源模型的构建过程可参照原始资源模型的构建过程。由此可知：目标资源模型符合存储系统运行要求且能够代表目标对象正常运行情况，更为重要的是，目标资源模型不会导致存储系统突发故障或可以降低存储系统突发故障概率。因此参考目标资源模型确定软/硬件资源更新策略，并基于软/硬件资源更新策略更新原始存储系统和/或部署包括目标对象的新存储系统，可认为更新后的原始存储系统
和部署的新存储系统的突发故障较小，也就得到了适用于前端业务类型的、能够应对突然业务状况的存储系统。
31.可见，本实施例能够针对存储系统中的任意应用进程、虚拟机内核和/或文件存储服务（如osd服务、cifs服务等）确定其对应的原始资源模型，然后在相应的可用模型库中查询具有与原存储系统的前端业务属性的、且与原始资源模型的相似程度最大的目标资源模型。而后通过对比原始资源模型和目标资源模型可确定目标对象的软/硬件资源更新策略，之后基于软/硬件资源更新策略更新原始存储系统和/或部署包括目标对象的新存储系统。可见，该方案可针对一个存储系统中的任意目标对象，在模型库中找到与该目标对象的当前资源模型最为相似的、且具有相同业务类型属性的另一资源模型，通过对比两个模型即可确定该目标对象需要更新的资源，从而据此得到软/硬件资源更新策略，并更新原始存储系统和/或部署包括目标对象的新存储系统。也即：该方案可参考模型库中的模型快速定位原存储系统的薄弱配置对其更新，也可以快速部署适用于前端业务类型的、能够应对突然业务状况的新存储系统。
32.基于上述实施例，需要说明的是，资源占用信息包括：cpu占用信息、磁盘读写信息、io延迟信息和/或内存占用信息。
33.具体的，当目标对象为虚拟机内核时，cpu占用信息可以具体为：相应虚拟机运行时所用的cpu资源与节点物理cpu资源的占比。节点即存储系统（如分布式存储系统）中的一个设备节点，一个设备节点中可部署至少一个虚拟机。相应地，当目标对象为应用进程时，cpu占用信息可以具体为：相应应用进程运行时所用的cpu资源与节点物理cpu资源的占比。可见，当确定某一目标对象后，所统计的cpu占用信息、磁盘读写信息、io延迟信息和/或内存占用信息均与该目标对象对应，也就是该目标对象运行所产生的占用信息。
34.若针对一个目标对象获取了cpu占用信息、磁盘读写信息、io延迟信息和内存占用信息，则可以对这些信息进行加权求和，以获得一个综合信息作为该对象的资源占有信息。当然，也可以将这些信息直接都作为该对象的资源占有信息。
35.在一种具体实施方式中，获取一段时间内目标对象对原始存储系统的资源占用信息，包括：若任一时刻的资源占用信息超过预设值，则记录当前时刻的资源占用信息；否则，不记录当前时刻的资源占用信息，同时开始倒计时；若在倒计时结束之前出现超过预设值的资源占用信息，则强制结束倒计时，同时记录超过预设值的资源占用信息；若在倒计时过程中资源占用信息始终未超过预设值，则汇总记录的所有资源占用信息，得到一段时间内的资源占用信息。
36.其中，预设值可以灵活设定，如10%。具体的，预设值理论上是存储系统自我启动运行需要的资源信息量。例如：假设存储系统的操作系统、输入输出系统等基本软件启动运行后，cpu占用信息（如cpu占用率）为10%，那么预设值即可取10%。当cpu占用率超过10%，则表明存储系统上额外运行了有关业务的软件应用进程。可见，作为监控对象的应用进程、虚拟机内核和/或文件存储服务与存储系统的前端业务具有强相关关系。可利用top指令、sar命令进行监控。
37.其中，倒计时时间为100毫秒。因为存储系统中不同操作的间隔时间大约为100毫秒，因此若100毫秒没有突发数据产生，说明一个操作已结束，所以资源占用信息较小时开始倒计时可区分出不同操作。以倒计时时间为100毫秒为例，假设t1时刻某一对象的资源占
用信息x1超过预设值，则记录t1时刻以及对应的x1，若t1 1时刻该对象的资源占用信息x1 1小于预设值，则不记录x1 1，并开始倒计时100毫秒。若在倒计时开始后5毫秒，即t1 6时刻又出现了超过预设值的资源占用信息x1 6，那么倒计时结束，同时记录t1 6时刻以及对应的x1 6。若在倒计时过程中，始终再未出现超过预设值的资源占用信息，那么最终得到的一段时间（即t1 100毫秒）内的资源占用信息为：“t1时刻：x1”以及这一段时间的长度：t1 100毫秒。
38.在一种具体实施方式中，若资源占用信息中存在会触发系统预警的信息，则将资源占用信息划分为会触发系统预警的告警信息和不会触发系统预警的非告警信息；在系统日志中查询告警信息对应的业务操作数据，并基于告警信息和相应的业务操作数据生成告警报告；在系统日志中查询非告警信息对应的业务操作数据，并基于非告警信息和相应的业务操作数据构建原始资源模型。
39.其中，会触发系统预警的信息的出现意味着对系统稳定运行存在威胁。如：一个节点的空闲cpu占比小于20%，则说明该节点的cpu资源出现资源紧缺，应予以控制，避免cpu占用信息再增加。再如：io延迟信息（如iowait值）大于80，则认为延迟较大，应予以控制，避免io延迟再增加。据此，还可以设置内存占用信息的极限值（如kbbuffers值）、缓存占用信息的极限值（如kbcached值）、磁盘读写速度的极限值（如%util值），以保障系统正常运行所需要的最少信息量。
40.基于上述实施例，需要说明的是，还包括：确定原始资源模型对应的原始业务流量模型；确定目标资源模型对应的目标业务流量模型；相应地，软/硬件资源更新策略通过对比原始资源模型和目标资源模型、对比原始业务流量模型和目标业务流量模型综合确定。
41.其中，业务流量模型可通过业务流量确定，具体可以采集与前端业务具有自相似的代表性流量。其中，原始存储系统为：原业务方正在使用的存储系统，或与原业务方正在使用的存储系统的前端业务相似的其他存储系统。
42.其中，业务流量可通过snmp对存储系统的各端口的流量进行监控来采集，并且可通过第三方软件（如zabbix、cacti等）进行流量数据可视化。具体的，可通过赫斯特指数来判断所采集的流量是否具备自相似性，如选取赫斯特参数h大于0.5的流量来构建业务流量模型。其中，赫斯特参数h处于0.5《h《1时，才表示正相关，即具有自相似性。
43.按照上述方式可以确定出原始业务流量模型和目标业务流量模型，之后通过edr（edit distance on real sequence，轨迹相似性度量方式）确定两个流量模型的异同。如图2所示，横轴表示时间，纵轴表示流量大小，而两个流量模型的流量用曲线表示。若edr值较高，则表明两个流量模型的流量轨迹相似或者相同；否则，表明两个流量模型的流量轨迹不相似。
44.如图2所示，并非每个差异点都需要进行分析，寻找较大的流量差异点进行分析即可。较大的流量差异点大概率会引发系统问题，故可以针对此点设定更新策略。如：图2中画框位置的流量点。通过分析流量差异点，再结合原始资源模型和目标资源模型的对比结果，可综合确定软/硬件资源更新策略。软/硬件资源更新策略如：添加缓存、内存等硬件配置，或开启qos服务来限制某些非即时操作的处理速度。
45.可见，通过分析流量差异点，再结合原始资源模型和目标资源模型的对比结果，可综合判定原始存储系统运行过程中可能遇到的问题，以便提前准备应对措施，降低系统故
障出现概率。
46.下面对本技术实施例提供的一种存储系统管理装置进行介绍，下文描述的一种存储系统管理装置与上文描述的一种存储系统管理方法可以相互参照。
47.参见图3所示，本技术实施例公开了一种存储系统管理装置，包括：确定模块301，用于确定原始存储系统中的任意目标对象的原始资源模型；目标对象包括：原始存储系统中的应用进程、虚拟机内核和/或文件存储服务；对比模块302，用于确定原始存储系统对应的前端业务类型，在与目标对象对应的可用模型库中查询具有前端业务类型属性的、与原始资源模型的相似程度最大的目标资源模型；更新模块303，用于通过对比原始资源模型和目标资源模型确定目标对象的软/硬件资源更新策略，并基于软/硬件资源更新策略更新原始存储系统和/或部署包括目标对象的新存储系统。
48.在一种具体实施方式中，确定模块包括：获取单元，用于获取一段时间内目标对象对原始存储系统的资源占用信息；第一构建单元，用于若资源占用信息中不存在会触发系统预警的信息，则在系统日志中查询资源占用信息对应的业务操作数据，并基于资源占用信息和相应的业务操作数据构建原始资源模型。
49.在一种具体实施方式中，资源占用信息包括：cpu占用信息、磁盘读写信息、io延迟信息和/或内存占用信息。
50.在一种具体实施方式中，获取单元具体用于：若任一时刻的资源占用信息超过预设值，则记录当前时刻的资源占用信息；否则，不记录当前时刻的资源占用信息，同时开始倒计时；若在倒计时结束之前出现超过预设值的资源占用信息，则强制结束倒计时，同时记录超过预设值的资源占用信息；若在倒计时过程中资源占用信息始终未超过预设值，则汇总记录的所有资源占用信息，得到一段时间内的资源占用信息。
51.在一种具体实施方式中，确定模块还包括：划分单元，用于若资源占用信息中存在会触发系统预警的信息，则将资源占用信息划分为会触发系统预警的告警信息和不会触发系统预警的非告警信息；告警单元，用于在系统日志中查询告警信息对应的业务操作数据，并基于告警信息和相应的业务操作数据生成告警报告；第二构建单元，用于在系统日志中查询非告警信息对应的业务操作数据，并基于非告警信息和相应的业务操作数据构建原始资源模型。
52.在一种具体实施方式中，更新模块具体用于：对比原始资源模型和目标资源模型，获得对比结果；基于对比结果确定目标对象需要更新的软/硬件配置，并基于软/硬件配置得到软/硬件资源更新策略。
53.在一种具体实施方式中，还包括：流量模型对比模块，用于确定原始资源模型对应的原始业务流量模型；确定目标资源模型对应的目标业务流量模型；通过对比原始资源模型和目标资源模型、对比原始业
务流量模型和目标业务流量模型综合确定软/硬件资源更新策略。
54.其中，关于本实施例中各个模块、单元更加具体的工作过程可以参考前述实施例中公开的相应内容，在此不再进行赘述。
55.可见，本实施例提供了一种存储系统管理装置，能够参考模型库中的模型快速定位原存储系统的薄弱配置对其更新，也可以快速部署适用于前端业务类型的、能够应对突然业务状况的新存储系统。
56.下面对本技术实施例提供的一种电子设备进行介绍，下文描述的一种电子设备与上文描述的一种存储系统管理方法及装置可以相互参照。
57.参见图4所示，本技术实施例公开了一种电子设备，包括：存储器401，用于保存计算机程序；处理器402，用于执行所述计算机程序，以实现上述任意实施例公开的方法。
58.下面对本技术实施例提供的一种可读存储介质进行介绍，下文描述的一种可读存储介质与上文描述的一种存储系统管理方法、装置及设备可以相互参照。
59.一种可读存储介质，用于保存计算机程序，其中，所述计算机程序被处理器执行时实现前述实施例公开的存储系统管理方法。关于该方法的具体步骤可以参考前述实施例中公开的相应内容，在此不再进行赘述。
60.本技术涉及的“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法或设备固有的其它步骤或单元。
61.需要说明的是，在本技术中涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本技术要求的保护范围之内。
62.本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。
63.结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器（ram）、内存、只读存储器（rom）、电可编程rom、电可擦除可编程rom、寄存器、硬盘、可移动磁盘、cd-rom、或技术领域内所公知的任意其它形式的可读存储介质中。
64.本文中应用了具体个例对本技术的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本技术的方法及其核心思想；同时，对于本领域的一般技术人员，依据本技术的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本技术的限制。