一种分布式集群存储设备的部署方法、装置及电子设备与流程

1.本发明涉及大数据分析技术领域，具体涉及一种视频合成方法、装置及电子设备。


背景技术：

2.近年来，分布式存储在各行业应用场景中取得长足进步。分布式存储、云存储、容器存储的发展，为人类挑战爆炸式数据增长提供了多种灵活的技术手段。数据显示，2021-2026年五年预测期内，分布式存储复合年增长率为25.8％，预计到2026年将达到372.4亿美元的规模。
3.特别是，随着“东数西算”工程的推进，数据存储越来越体现其在新基建中的重要性。分布式存储系统因为具有高可扩展、低成本、高性能的特点，正逐步替代传统存储。同时，随着数据存储规模的增加，分布式存储的集群节点个数日益增大。为了适应这一变化，必须为分布式存储设计自动化的部署平台，使其可以方便得进行创建、管理和扩展。
4.现有的集群部署，由操作人员根据经验手动配置硬盘资源，或者基于各集群节点和硬盘拓扑的容量进行存储资源的部署，导致配置需要耗费大量人力资源和人力成本，并且不能根据当前资源的使用情况合理分配和调度，导致资源配置效率低、存储资源利用率低。


技术实现要素：

5.为了解决上述技术问题，本技术实施例提供了如下技术方案：
6.第一方面，本发明实施例公开了一种分布式集群存储设备的部署方法，所述方法包括：
7.获取先验数据，所述先验数据是对集群做性能测试过程中的与存储资源相关的数据；
8.根据所述先验数据，确定不同硬件部署模式所对应的至少一个约束条件，所述至少一个约束条件用于约束集群存储资源的性能和容量；
9.根据所述至少一种约束条件，利用差分进化算法，求解不同约束条件下对应的至少一个部署参数向量，每个所述部署参数向量对应一种存储资源的部署模式；
10.在所述至少一个部署参数向量中确定目标部署参数向量，以及确定与所述目标部署参数向量相对应的目标部署模式。
11.可选的，在第一方面的一种可能的实现方式中，根据所述先验数据，确定不同硬件部署模式所对应的至少一个约束条件，包括：根据所述先验数据，确定每种部署模式所对应的第一约束条件和第二约束条件，其中所述第一约束条件为性能约束条件，所述第二约束条件为容量约束条件。
12.可选的，在第一方面的另一种可能的实现方式中，所述根据所述先验数据，确定每种部署模式所对应的第一约束条件，包括：根据所述先验数据确定每种部署模式所对应的第一性能参数；获取预设性能指标；根据所述第一性能参数和所述预设性能指标，确定所述
第一约束条件为所述第一性能参数大于等于所述预设性能指标。
13.可选的，在第一方面的又一种可能的实现方式中，根据所述先验数据确定每种部署模式所对应的第一性能参数，包括：利用多项式回归非线性拟合方法，构建三元二阶多项式模型，得到所述三元二阶多项式模型下至少一种资源组合与存储iops性能的拟合函数；基于给定参数确定每一种资源所包含的资源数量参数，所述资源数量参数包括：ssd数量、hdd数量和主机数量；将所述资源数量参数输入至所述拟合函数中，得到所述每种部署模式对应的所述第一性能参数。
14.可选的，在第一方面的又一种可能的实现方式中，利用多项式回归非线性拟合方法，构建三元二阶多项式模型，得到所述模型下至少一种资源组合与存储iops性能的拟合函数，包括：根据至少一组实测数据，得到误差函数；根据所述误差函数，利用高斯牛顿迭代法估计拟合函数的权值，得到所述模型下至少一种资源组合与存储iops性能的拟合函数。
15.可选的，在第一方面的又一种可能的实现方式中，所述根据所述先验数据，确定每种部署模式所对应的第二约束条件，包括：根据所述先验数据确定每种部署模式所对应的第二性能参数；获取预设容量指标；根据所述第二性能参数和所述预设容量指标，确定所述第二约束条件为所述第二性能参数大于等于所述预设容量指标。
16.可选的，在第一方面的又一种可能的实现方式中，根据所述先验数据确定每种部署模式所对应的第二性能参数，包括：分别获取所述每种部署模式所对应的至少一个容量系数，以及所述ssd盘和所述hdd盘的数量，所述至少一个容量系数包括ssd的盘容量系数和hdd盘的容量系数；根据所述至少一个容量系数，所述ssd盘和所述hdd盘的数量，确定所述第二性能参数。
17.其中，所述部署模式包括以下任意一种：通用存储、盘级存储、全闪存储、高密存储、混合存储。
18.第二方面，本发明实施例还公开了一种分布式集群存储设备的部署装置，所述装置包括：
19.获取单元，用于获取先验数据，所述先验数据是对集群做性能测试过程中的与存储资源相关的数据；
20.确定单元，用于根据所述先验数据，确定不同硬件部署模式所对应的至少一个约束条件，所述至少一个约束条件用于约束集群存储资源的性能和容量；
21.计算单元，用于根据所述至少一种约束条件，利用差分进化算法，求解不同约束条件下对应的至少一个部署参数向量，每个所述部署参数向量对应一种存储资源的部署模式；
22.部署单元，用于在所述至少一个部署参数向量中确定目标部署参数向量，以及确定与所述目标部署参数向量相对应的目标部署模式。
23.第三方面，本发明实施例还公开了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器。
24.其中，存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行如第一方面或第一方面任一可实现方式所述的分布式集群存储设备的部署方法的步骤。
25.第四方面，本发明实施方式还公开了一种计算机可读存储介质，其上存储有计算
机程序，所述计算机程序被处理器执行时实现如第一方面或第一方面任一可实现方式所述的分布式集群存储设备的部署方法的步骤。
26.本实施提供的方法，根据先验数据确定不同硬件部署模式所对应的至少一个约束条件，然后再利用至少一种约束条件，通过差分进化算法求解不同约束条件下对应的至少一个部署参数向量，最后在至少一个部署参数向量中确定目标部署参数向量，以及确定与所述目标部署参数向量相对应的目标部署模式。本方法基于至少一个包含性能和容量的约束条件，利用差分进化算法确定部署参数向量，进而确定出目标部署向量，在该目标部署向量中资源利用率最高，本方法实现了分布式存储资源的自动配置，节约了人力成本并且提高了资源配置效率。
附图说明
27.为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
28.图1为本发明实施例中提供的一种分布式集群部署的场景示意图；
29.图2为本发明实施例中提供的一种分布式集群存储设备的部署方法的流程图；
30.图3为本发明实施例中提供的一种基于差分进化算法的场景推荐模式；
31.图4a为本发明实施例中提供的一种通用存储模式的结构图；
32.图4b为本发明实施例中提供的一种盘级存储模式的结构图；
33.图4c为本发明实施例中提供的一种全闪存储模式的结构图；
34.图4d为本发明实施例中提供的一种高密存储模式的结构图；
35.图4e为本发明实施例中提供的一种混合存储模式的结构图；
36.图5为本发明实施例中提供的一种差分进化算法的流程图；
37.图6为本发明实施例中提供的一种分布式集群存储设备的部署装置的结构框图；
38.图7为本发明实施例中提供的一种电子设备的结构示意图。
具体实施方式
39.下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。
40.本技术实施例提供的技术方案应用于一种自动化部署系统，参见图1所示，为一种分布式集群部署的场景示意图。该场景包括：主机服务器、集群节点、硬盘拓扑和操作人员，该场景可用于实现界面服务器管理、界面推荐存储服务部署场景、界面自动化创建存储集群。
41.其中，主机服务器又称为管控接节点或管控服务节点等，用于主机管理、分段部署和推荐算法。集群节点则包括至少一个代理(agent)服务节点。操作人员用于设定集群性能和集群容量，通过主机服务器选取推荐存储模式。主机服务器用于确定推荐存储模式，以及向操作人员返回推荐模式磁盘参数等。
42.其中，本实施例提供的一种分布式集群存储设备自动化部署方法的可包括以下方
法步骤：
43.1、操作人员设定集群性能、集群容量目标；
44.2、主机服务器管理集群节点(又称为服务器管理)，在集群节点上部署agent服务，以及获取集群节点的硬件信息；
45.3、主机服务器可提供通用存储、盘级存储、全闪存储、高密存储、混合存储，共五种部署模式；
46.4、主机服务器设定筛选条件，比如以成本最小为目标，筛选出满足人工设定的集群性能、集群容量为约束条件，利用推荐算法得到五种模式下最低成本磁盘配置参数，包括主机id、该主机的硬盘驱动器(hard disk drive，hdd)和固态硬盘(solid state drives，ssd)个数；当前，主流硬盘一共有ssd硬盘和hdd硬盘两类，其中，ssd硬盘具有速度快、耐用防震、体型小的优点，但同时成本较高；hdd硬盘具有容量大、成本低的优点，但同时具有存储速度慢的缺点，所以需要考虑所需成本，将五种部署模式进行排序，推送给用户。
47.5、用户从五种模式中选取其中一种作为目标部署模式；
48.6、主机服务器根据目标部署模式自动下发部署命令到对应集群主机上；
49.7、集群节点上的agent服务自动完成部署流程，实现分段部署。
50.在创建分布式存储集群的过程中，需要获取集群服务器的信息，从而满足：通过服务器信息，明确可用的服务器资源；以及，根据服务器的软件与硬件配置，设计合理的集群拓扑结构、选择合适存储策略。
51.当前，选择或使用的部署模式有：后台脚本部署和命令行界面(command-line interface，cli)一键部署。其中，后台脚本部署存在操作步骤多、复杂度高、培训难度大等问题，而cli一键部署属于服务器后台操作，虽然操作步骤少，但需要提前在配置文件中定义好数据分布策略模式，例如包含故障域、多副本或纠删码分布方式、机房/机架/存储节点分布单元等，所以依然增加了部署的复杂度，影响部署效率。
52.参见图2，本发明实施例中提供的一种分布式集群存储设备的部署方法，该方法用于解决上述问题，该方法可通过主机服务器来实现。具体地，该方法包括：
53.步骤101，获取先验数据，所述先验数据是对集群做性能测试过程中的与存储资源相关的数据。
54.其中，所述集群可以是如图1所示的分布式集群，先验数据是对该分布式集群做测试、使用过程中得到的数据，其与存储资源相关，比如hdd盘和ssd盘的数量。
55.步骤102，根据所述先验数据，确定不同硬件部署模式所对应的至少一个约束条件，所述至少一个约束条件用于约束集群存储资源的性能和容量。
56.如图3所示，本实施例提供的分布式集群存储部署的方案，对于资源配置来说是一个组合优化问题，其求解复杂度是典型的np完全问题，解空间随着变量数量的增加呈指数级增长。为了得到最佳推荐部署方案，本实施例借鉴启发式思想，通过性能和集群容量的限制条件，提出以最小化成本为目标、以人工设定的集群性能/集群容量要求为约束的差分进化算法，可快速从解空间中得到满足人工设定性能约束的最优配置方案，得到推荐场景下的部署方案。
57.具体地，步骤102包括：根据先验数据，确定每种部署模式所对应的第一约束条件和第二约束条件，其中所述第一约束条件为性能约束条件，所述第二约束条件为容量约束
条件。
58.具体地，根据所述先验数据，确定每种部署模式所对应的第一约束条件，包括：根据先验数据确定每种部署模式所对应的第一性能参数；获取预设性能指标；根据所述第一性能参数和所述预设性能指标，确定所述第一约束条件为所述第一性能参数大于等于所述预设性能指标。
59.设当前可用主机数量为n，si为第i台主机上需部署的ssd硬盘个数，hi为第i台主机上需部署的hdd硬盘个数。本实施例的优化目标为部署该功能所需的成本，建模为公式(1)
[0060][0061]
其中，δ1表示ssd盘成本，δ2表示hdd盘成本，f表示ssd盘成本与hdd盘成本的总成本，n为正整数，且n≥1。
[0062]
在第一性能参数下，设置预设性能指标y
set
，第一性能参数为y(s,h)。具体地，第一性能参数为iops(input/output operations per second)性能，其中iops是一个用于计算机存储设备(如硬盘hdd、固态硬盘ssd或存储区域网络san)性能测试的量测方式，可以视为是每秒的读写次数。每秒读写次数越大，iops性能越好，进而得到第一约束条件为公式(2)表示：
[0063]
y(s,h)≥y
set
ꢀꢀ
(2)
[0064]
其中，iops性能y(s,h)可根据拟合函数得到，s,h表示与ssd硬盘和hdd硬盘资源的参数向量。
[0065]
此外，在第一性能参数下，根据所述先验数据，确定每种部署模式所对应的第二约束条件，包括：根据所述先验数据确定每种部署模式所对应的第二性能参数，获取预设容量指标；根据所述第二性能参数和所述预设容量指标，确定所述第二约束条件为所述第二性能参数大于等于所述预设容量指标。
[0066]
一种可能的实施方式是，设定预设容量指标为c
set
，第二性能参数为c(s,h)，则得到所述第二约束条件通过公式(3)表示：
[0067]
c(s,h)≥c
set
ꢀꢀ
(3)
[0068]
其中，公式(3)表示在任意一种部署模式下，可以配置一个第二预设条件，即配置所需的容量大于等于预设容量指标，从而能够保证存储资源部署分配质量。
[0069]
根据上述公式(2)和(3)所示的约束条件，得到在第一、第二约束条件下得到的iops性能和存储容量需满足预设要求，建模为
[0070][0071]
步骤103，根据所述至少一种约束条件，利用差分进化算法，求解不同约束条件下对应的至少一个部署参数向量，每个所述部署参数向量对应一种存储资源的部署模式。
[0072]
本实施例中，利用差分进化算法模拟生物进化的过程，经过多次迭代，最终筛选出具有最低罚函数值的n维磁盘部署参数向量，假设部署参数向量为p，则该向量p可以通过公式(4)表示：
[0073]
p＝(s1,h1,s2,h2,...,sn,hn)
ꢀꢀ
(4)
[0074]
其中s1，s2，
……
，sn为第1至第n个ssd盘资源，h1，h2，hn为第1至第n个hdd盘资源，并且利用差分进化算法始终保持着一个等量的种群。并且，在种群内候选个体之间进行变异和交叉操作产生新个体。
[0075]
每个部署参数向量p对应一组ssd硬盘和hdd硬盘数量。
[0076]
如图2所示，方法还包括：步骤104，在所述至少一个部署参数向量中确定目标部署参数向量，以及确定与所述目标部署参数向量相对应的目标部署模式。
[0077]
一种确定目标部署参数向量的方式是，根据上述公式(1)成本筛选的方式确定。具体地，将得到的每个部署参数向量p1、p2、p3....等转换成ssd盘成本与hdd盘成本的总成本，然后比较所有总成本f，确定其中总成本最低的一个，对应的向量p为目标部署参数向量。
[0078]
又由于每个部署参数向量都对应一个部署模式，所述部署模式是指不同磁盘介质类型、不同配置组合方式下的存储性能，本实施例提出以下5中部署模式，包括：通用存储、盘级存储、全闪存储、高密存储、混合存储等五种部署模式。
[0079]
具体地，如图4a所示，为一种通用场景部署模式，该模式采用hdd盘为数据盘、以ssd盘为元数据存储盘的方式，兼顾考虑容量、性能、成本。其中，本示例中在ssd盘上划分磁盘分区用作数据盘的日志分区，比如日志分区1、日志分区2和日志分区3。
[0080]
如图4b所示，为一盘级存储部署模式，该模式采用以hdd盘作为数据盘(采用bcache缓存技术)、以ssd盘作为bcache缓存分区盘的方式。其中，ssd盘上划分磁盘分区作为数据盘的缓存分区，ssd盘划分磁盘分区作为数据盘的日志盘，该场景模式的性能较通用场景模式进一步提升。
[0081]
如图4c所示，为一全闪存储部署模式，该模式直接使用ssd分区作为数据盘，一个ssd盘可以划分出多个数据盘，例如数据盘1、数据盘2；同时ssd盘划分磁盘分区作为数据盘的日志分区，比如日志分区1、日志分区2等。该场景模式集群性能最佳，但成本较高。
[0082]
如图4d所示，为一高密存储部署模式，该模式直接使用hdd分区作为数据盘，一个hdd盘上可以划分出多个数据盘，同时hdd盘划分磁盘分区作为数据盘的日志分区。该场景模式存储容量最大。
[0083]
如图4e所示，为一混合存储部署模式，该模式使用hdd盘、ssd盘分区作为数据盘，同时划分ssd分区作为数据盘的日志分区和加速分区。该场景部署模式可提供更灵活的存储盘配置策略，结合了通用场景和全闪场景的优点。
[0084]
在上述步骤104中，如果确定所述目标部署参数向量对应的是混合存储部署模式，则确定该混合存储部署模式为目标部署模式，即采用如图4e所示的目标部署模式/模式进行存储资源配置，得到最优配置方案。
[0085]
本实施例提供的方法，通过至少一种约束条件，利用差分进化算法得到不同存储资源部署模式的最佳磁盘部署参数向量，并在所有部署参数向量中确定一个目标部署参数向量，以及该向量所对应的目标部署模式。在该目标部署模式下，管控平台根据分段部署模式，可自动完成后续所有流程，有效地解决了原来部署过程中主机信息搜集难度大、时间长、出错率高，脚本操作复杂、时间开销大、效率低下等问题。
[0086]
另外，操作者无需研读配置文件规则和定义配置文件，降低了使用难度；同时界面
提供了多种集群存储场景，灵活度提高。
[0087]
在本实施例的一种可能的实施方式中，上述步骤102，根据先验数据确定每种部署模式所对应的第一性能参数，具体包括：
[0088]
利用多项式回归非线性拟合方法，构建三元二阶多项式模型，得到所述三元二阶多项式模型下至少一种资源组合与存储iops性能的拟合函数；基于给定参数确定每一种资源所包含的资源数量参数，所述资源数量参数包括：ssd数量、hdd数量和主机数量；将所述资源数量参数输入至所述拟合函数中，得到所述每种部署模式对应的所述第一性能参数。
[0089]
进一步地，利用多项式回归非线性拟合方法，构建三元二阶多项式模型，得到所述模型下至少一种资源组合与存储iops性能的拟合函数，包括：根据至少一组实测数据，得到误差函数；根据给定参数，利用高斯牛顿迭代法估计拟合函数的权值，得到所述模型下至少一种资源组合与存储iops性能的拟合函数。
[0090]
具体地，上述iops性能约束条件，根据三元二阶多项式模型，在通过拟合函数获得。进一步地，上述公式(2)中的y(s,h)可根据如下公式(5)获得，
[0091][0092]
其中，δ(si hi)是阶跃函数，若si hi＝0，则δ(si hi)＝0；若si hi》0，则δ(si hi)＝1；x1为ssd硬盘的总数量，x2为hdd硬盘的总数量，x3是所有主机总数量。
[0093]
为了快速评估不同存储模式下，不同数量hdd盘、ssd盘和主机个数的组合所对应的存储iops性能，根据典型实测数据，诸如先验数据，得到不同存储集群模式的存储iops性能拟合曲线。然后根据真实设备测试，iops性能与存储盘个数呈非线性关系。基于此，得到上述五种部署模式下不同组合与存储iops性能的拟合函数，如公式(6)所示：
[0094][0095]
其中，y(α,x)为iops性能，x1为ssd数量，x2为hdd数量，x3为主机个数，y为该存储部署模式下该组合的存储iops性能。
[0096]
根据n组实测数据{yi,x
i,1
,x
i,2
,x
i,3
}，得到误差函数e(α)，可通过公式(7)表示为
[0097][0098]
其中，yi为第i组测试数据的iops性能。本实施例为了使得误差函数e(α)最小，利用高斯一牛顿迭代法(gauss-newton iteration method)迭代算法来估计拟合函数的权值，所述高斯一牛顿迭代法是非线性回归模型中求回归参数进行最小二乘的一种迭代方法。该算法具体描述如下：
[0099]
第一步：随机化初始值α＝(α0,α
1,1
,α
1,2
x2,α
1,3
x3,α
2,1
,α
2,2
,α
2,3
)，令k＝0；
[0100]
第二步：做第k 1次迭代，迭代更新权值，根据公式(8)，令第k 1次迭代的值α
(k 1)
[0101]
α
(k 1)
＝α
(k)-[j'(α
(k)
)j(α
(k)
)]-1
j'(α
(k)
)e(α
(k)
)
ꢀꢀ
(8)
[0102]
其中，α
(k)
为第k次迭代得到的权值估计值，j(α
(k)
)为第k次迭代回归函数的雅可比jacobi矩阵，该jacobi矩阵可通过公式(9)表示为
[0103][0104]
第三步：计算误差函数e(α)，一种实施方式是，当误差值e(α
(k)
)与上次迭代得到的误差值e(α
(k 1)
)，二者之差小于等于阈值ε时，即e(α
(k)
)-e(α
(k 1)
)≤ε，退出算法，得到误差函数；否则，重复执行上一步。
[0105]
本实施例中，通过上述第一步至第三步，计算出误差函数e(α)，并基于该误差函数得到n组实测数据下的iops性能的拟合函数，从而得到每个存储部署模式对应的性能参数，最后设置出不同存储模式下的性能约束条件。
[0106]
另外，在上述步骤102中，根据先验数据确定每种部署模式所对应的第二性能参数，具体包括：分别获取所述每种部署模式所对应的至少一个容量系数，以及所述ssd盘和所述hdd盘的数量，所述至少一个容量系数包括ssd的盘容量系数和hdd盘的容量系数；根据所述至少一个容量系数，所述ssd盘和所述hdd盘的数量，确定所述第二性能参数。
[0107]
具体地，在设置不同部署模式下，硬盘存储容量时可根据当前存储模式下ssd盘个数与hdd盘个数得到，参见公式(10)所示，
[0108][0109]
其中，γ1表示当前存储模式(或部署模式)下ssd盘容量系数，γ2表示当前存储模式(或部署模式)下hdd盘容量系数，需要说明的是，不同存储模式(或部署模式)下{γ1,γ2}取值不同。
[0110]
本示例中，当前存储模式或部署模式可以是前述五种部署模式中的任一种。
[0111]
另外，本实施例在上述步骤103，利用差分进化算法在种群中选择最优空间解过程中，如果新个体的成本低于原始个体的成本，则用新个体代替原始个体对种群进行更新。经过若干代更新与筛选后，选择种群中成本最低的个体作为最优解。该算法流程如图5所示，其计算过程包括：初始化种群、变异、交叉、选择和确定最终种群。
[0112]
其中，差分进化算法的参数设置如下：设缩放因子f＝0.5，交叉概率cr＝0.5，最大迭代次数为t＝1000，当前迭代次数为“t”；另外，设种群个体数量为np＝100，种群个体的编号为“i”。
[0113]
根据约束关系，初始化p中一共有(n-4)个自由变量，有4个约束变量。
[0114]
本发明实施例以这(n-4)个自由变量作为个体利用差分进化算法进行优化，并根据约束关系得到另外4个约束变量。差分优化算法具体步骤描述如下：
[0115]
步骤(1)：初始化p的初始种群p0；
[0116]
步骤(2)：对于t＝1到1000，t表示当前迭代次数，迭代更新种群p
t
，并执行步骤(3)至步骤(4)；如果t＝1000，t达到最大迭代次数t，则执行步骤(5)；
[0117]
步骤(3)：对于第i个种群，i＝{1,2,3,......,100}，种群p
t
中的个体进行变异、交叉操作，生成交叉个体并执行第(4)步；
[0118]
步骤(4)：如果交叉个体的译码门限低于种群p
t
中的第i个个体的成本函数，则令否则，令
[0119]
步骤(5)：当t达到最大迭代次数1000时，找出当前个体中具有最小成本的种群p
*
；
[0120]
步骤(6)：算法结束，输出p
*
。
[0121]
通过运行上述差分进化算法，可以求解出不同约束条件下对应的至少一个部署参数向量，进而得到通用存储、盘级存储、全闪存储、高密存储、混合存储五种部署模式的最佳磁盘部署参数，并根据其所需成本进行排列，将结果推送给用户。用户自行选择某种推荐模式，管控平台根据分段部署模式，自动完成后续所有流程。
[0122]
此外，本发明保留手动部署集群的功能。用户可以忽略推荐模式，手动配置部署参数。参数配置完成后，管控平台根据分段部署模式，自动完成后续所有流程。
[0123]
本实施例提供的方法，基于至少一个包含性能和容量的约束条件，利用差分进化算法确定部署参数向量，进而确定出目标部署向量，在该目标部署向量中资源利用率最高，本方法实现了分布式存储资源的自动配置，节约了人力成本并且提高了资源配置效率。
[0124]
本发明实施例还公开了一种分布式集群存储设备的部署装置，如图6所示，该装置包括：获取单元610、确定单元620、计算单元630和部署单元640。此外，该装置还可以包括其他更多或更少的单元/模块，本实施例对此不做限制。
[0125]
其中，获取单元610用于获取先验数据，所述先验数据是对集群做性能测试过程中的与存储资源相关的数据。
[0126]
确定单元620，用于根据所述先验数据，确定不同硬件部署模式所对应的至少一个约束条件，所述至少一个约束条件用于约束集群存储资源的性能和容量。
[0127]
计算单元630，用于根据所述至少一种约束条件，利用差分进化算法，求解不同约束条件下对应的至少一个部署参数向量，每个所述部署参数向量对应一种存储资源的部署模式。
[0128]
部署单元640，用于在所述至少一个部署参数向量中确定目标部署参数向量，以及确定与所述目标部署参数向量相对应的目标部署模式。
[0129]
可选的，在本实施例的一种具体的实施方式中，确定单元620具体用于根据所述先验数据，确定每种部署模式所对应的第一约束条件和第二约束条件，其中所述第一约束条件为性能约束条件，所述第二约束条件为容量约束条件。
[0130]
可选的，在本实施例的另一种具体的实施方式中，确定单元620具体还用于根据所述先验数据确定每种部署模式所对应的第一性能参数；获取预设性能指标；根据所述第一性能参数和所述预设性能指标，确定所述第一约束条件为所述第一性能参数大于等于所述预设性能指标。
[0131]
可选的，在本实施例的又一种具体的实施方式中，确定单元620具体还用于利用多
项式回归非线性拟合方法，构建三元二阶多项式模型，得到所述模型下至少一种资源组合与存储iops性能的拟合函数；基于给定参数确定每一种资源所包含的资源数量参数，所述资源数量参数包括：ssd数量、hdd数量和主机数量；将所述资源数量参数输入至所述拟合函数中，得到所述每种部署模式对应的所述第一性能参数。
[0132]
可选的，在本实施例的又一种具体的实施方式中，确定单元620具体还用于根据至少一组实测数据，得到误差函数；根据所述误差函数，利用高斯牛顿迭代法估计拟合函数的权值，得到所述模型下至少一种资源组合与存储iops性能的拟合函数。
[0133]
可选的，在本实施例的又一种具体的实施方式中，确定单元620，具体还用于根据所述先验数据确定每种部署模式所对应的第二性能参数；获取预设容量指标；根据所述第二性能参数和所述预设容量指标，确定所述第二约束条件为所述第二性能参数大于等于所述预设容量指标。
[0134]
可选的，在本实施例的又一种具体的实施方式中，确定单元620，具体还用于根据所述先验数据确定每种部署模式所对应的第二性能参数，包括：分别获取所述每种部署模式所对应的至少一个容量系数，以及所述ssd盘和所述hdd盘的数量，所述至少一个容量系数包括ssd的盘容量系数和hdd盘的容量系数；根据所述至少一个容量系数，所述ssd盘和所述hdd盘的数量，确定所述第二性能参数。
[0135]
其中，所述部署模式包括以下任意一种：通用存储、盘级存储、全闪存储、高密存储、混合存储。
[0136]
可选的，所述电子设备为一主机服务器，或任一集群节点，比如agent节点，或者其他节点，比如操作人员手持的终端设备等。
[0137]
本实施例提供的分布式集群存储设备的部署装置，具有可靠性高、灵活度高、操作简单，自动化程度高等有益效果。
[0138]
具体地，所谓可靠性高，理由是主机管理模型提供主机信息，该信息由后台自动加载到数据库中，无人工操作，信息可靠性高。所谓灵活度高、适用性好，是指产品的存储场景模型中设计了五种部署模式场景，可以根据用户需求和主机资源灵活使用。所谓操作简单，自动化程度高。理解为用户可以选择场景推荐算法推荐的部署场景(含部署参数)，从而实现自动化一键部署集群存储资源的有益效果。
[0139]
本发明实施例还提供了一种电子设备，如图7所示，该电子设备可以包括处理器710、存储器720和通信接口730。其中，处理器710、存储器720、通信接口730之间可以通过总线或者其他方式连接，本实施例中，图7中以通过总线740相连接。
[0140]
处理器710可以为中央处理器(central processing unit，cpu)。处理器710还可以为其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现场可编程门阵列(field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。
[0141]
存储器720作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本发明实施例中的分布式集群存储设备的部署方法对应的程序指令/模块。处理器710通过运行存储在存储器720中的非暂态软件程序、指令以及模块，从而执行处理器的各种功能应用以及数据处理，即实现上述方法实施例中的方法步
骤。
[0142]
存储器720可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储处理器710所创建的数据等。此外，存储器720可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器720可选包括相对于处理器710远程设置的存储器，这些远程存储器可以通过网络连接至处理器710。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
[0143]
所述一个或者多个模块存储在所述存储器720中，当被所述处理器710执行时，执行如图2所示实施例中的分布式集群存储设备的部署方法。
[0144]
通信接口730，用于实现电子设备与其他设备，比如集群节点之间的通信，或与终端设备之间的通信。
[0145]
应理解，上述电子设备中还可以包括其他更多或更少的部件、结构，比如收发器、输入/输出装置，例如显示屏、麦克风等等，本实施例对此不作限制。
[0146]
本领域技术人员可以理解，实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述存储介质可为磁碟、光盘、只读存储记忆体(read-only memory，rom)、随机存储记忆体(random access memory，ram)、快闪存储器(flash memory)、硬盘(hard disk drive，hdd)或固态硬盘(solid-state drive，ssd)等；所述存储介质还可以包括上述种类的存储器的组合。
[0147]
虽然结合附图描述了本发明的实施例，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下作出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。