集群负载资源调度方法、装置、电子设备及可读存储介质与流程

1.本发明涉及通信网络数据技术领域，尤其涉及一种集群负载资源调度方法、装置、电子设备及可读存储介质。


背景技术：

2.随着通信网络数据技术的发展，基于虚拟化技术的服务器集群规模越来越大，在大规模虚拟化集群环境中，虚拟机的数目甚至达到数万台，为了提高数据中心资源的利用率，一般通过对物理资源的抽象，采用资源隔离技术实现虚拟化。
3.现有技术中，通常采用基于静态的openstack，kubernetes，mesos等资源分配方案，具体的，由系统维护人员，对虚拟机或容器资源进行人工监控，在发现集群资源消耗影响到系统性能的情况下，手动对虚拟机资源进行迁移或对主机资源进行调整，以满足整个集群性能的要求。
4.但是，上述方法是静态配置，若资源下发后，即使未使用，也无法被新任务使用，造成资源空占的现象，浪费资源，而且无法对资源进行动态调整以达到均衡，缺乏灵活性，降低系统性能和增加宕机风险。


技术实现要素：

5.本发明提供一种集群负载资源调度方法、装置、电子设备及可读存储介质，可以充分利用主机的资源，对各类资源均衡进行动态调整，提高灵活性和系统性能。
6.第一方面，本发明提供一种集群负载资源调度方法，所述负载为容器和/或虚拟机，该方法包括：从调度任务队列中获取待调度任务；根据集群中k个主机的m种资源类型的实际资源利用率以及所述待调度任务，确定每一主机的各种资源在增加所述待调度任务后的预测资源利用率；所述m种资源类型包括下述至少两种：中央处理器、内存、磁盘和网络；对于每一主机，根据该主机的m种资源类型的预测资源利用率计算该主机的预测资源利用率的平均值和方差，并根据该主机的所述预测资源利用率的平均值和方差计算该主机的平均资源利用率；将所述待调度任务下发给所述k个主机中平均资源利用率最小的主机。
7.可选的，每一主机的平均资源利用率通过以下公式确定：
[0008][0009][0010]
其中，t表示主机的平均资源利用率；r
i_cur
表示主机的所有任务的第i种资源类型的实际资源利用率；r
i
表示待调度任务的第i种资源类型的资源利用率；表示主机的资源利用率的平均值。
[0011]
可选的，待调度任务的资源利用率通过如下方法确定：
[0012][0013]
其中，r
i
表示待调度任务的第i类资源类型的资源利用率；rr
i
表示待调度任务所声明第i类资源类型使用的资源量；rt
i
表示候选主机的第i类资源类型的总资源量。
[0014]
可选的，每个预设周期，获取k个主机的m种资源类型的实际资源利用率；根据所述k个主机的m种资源类型的实际资源利用率判断所述k个主机的资源利用率是否超过阈值；若任一主机的任一类型的资源利用率超过阈值，则对该主机的任务进行驱逐。
[0015]
可选的，若任一主机的任一类型的资源利用率超过阈值，则对该主机的任务进行驱逐，包括：若任一主机的任一类型的资源利用率超过阈值，则标记该主机的任务待驱逐，并查看调度任务队列是否存在待调度任务；若存在待调度任务，则等待调度任务队列中的待调度任务被下发完成后，对标记的主机的任务进行驱逐；若不存在待调度任务，则直接对标记的主机的任务进行驱逐。
[0016]
可选的，对标记的主机的任务进行驱逐，包括：根据标记的主机的实际资源利用率的平均值、所述主机的m种资源类型的实际资源利用率和所述主机的m种资源类型中每一任务的实际资源利用率，计算每一任务的资源利用率的平均方差；对所述标记的主机中平均方差最小的任务进行驱逐。
[0017]
可选的，每一任务的资源利用率的平均方差通过以下公式确定：
[0018][0019]
其中，s表示主机的资源利用率的平均方差；r
i_cur
表示主机的所有任务的第i种资源类型的实际资源利用率；r
′
i_cur
表示所述任务的第i种资源类型的实际资源利用率；表示主机的实际资源利用率的平均值。
[0020]
可选的，所述方法还包括：将任一标记的主机中的任务进行驱逐后，去除所述主机的标记，若所述主机被再次标记，则重新计算所述主机的每一任务资源利用率的平均方差，并对计算结果为最小值的任务进行驱逐。
[0021]
第二方面，本发明提供一种集群负载资源调度装置，所述负载为容器和/或虚拟机，该装置包括：获取模块，用于从调度任务队列中获取待调度任务；确定模块，用于根据集群中k个主机的m种资源类型的实际资源利用率以及所述待调度任务，确定每一主机的各种资源在增加所述待调度任务后的预测资源利用率；所述m种资源类型包括下述至少两种：中央处理器、内存、磁盘和网络带宽；对于每一主机，计算模块，用于根据该主机的m种资源类型的预测资源利用率计算该主机的预测资源利用率的平均值和方差，并根据该主机的所述预测资源利用率的平均值和方差计算该主机的平均资源利用率；处理模块，用于将所述待调度任务下发给所述k个主机中平均资源利用率最小的主机。
[0022]
第三方面，本发明提供一种电子设备，包括：处理器，存储器以及计算机程序；其中，所述计算机程序被存储在所述存储器中，并且被配置为由所述处理器执行，所述计算机程序包括用于执行如第一方面任一项所述的集群负载资源调度方法的指令。
[0023]
第四方面，本发明提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如第一方面任一项所述
的集群负载资源调度方法。
[0024]
综上所述，本发明提供一种集群负载资源调度方法、装置、电子设备及可读存储介质，该方法可以从调度任务队列中获取待调度任务；进一步的，根据集群中k个主机的m种资源类型的实际资源利用率以及获取的待调度任务，确定每一主机的各种资源在增加待调度任务后的预测资源利用率；进一步的，计算该主机的预测资源利用率的平均值和方差，并根据该主机的预测资源利用率的平均值和方差计算该主机的平均资源利用率；进一步的，将待调度任务下发给k个主机中平均资源利用率最小的主机。这样，不仅可以充分利用主机的资源，还可以对各类资源均衡进行动态调整，提高灵活性和系统性能。
附图说明
[0025]
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
[0026]
图1为本发明实施例提供的一种集群负载资源调度方法的应用场景示意图；
[0027]
图2为本发明实施例提供的一种集群负载资源调度方法的流程示意图；
[0028]
图3为本发明实施例提供的一种基于资源利用率的任务调度方法的流程图；
[0029]
图4为本发明实施例提供的另一种基于资源利用率的任务调度方法的流程图；
[0030]
图5为本发明实施例提供的一种集群负载资源调度装置的结构示意图；
[0031]
图6为本发明实施例提供的一种电子设备的结构示意图。
[0032]
通过上述附图，已示出本发明明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本发明构思的范围，而是通过参考特定实施例为本领域技术人员说明本发明的概念。
具体实施方式
[0033]
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
[0034]
为了便于清楚描述本发明实施例的技术方案，在本发明的实施例中，采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分。例如，第一设备和第二设备仅仅是为了区分不同的设备，并不对其先后顺序进行限定。本领域技术人员可以理解“第一”、“第二”等字样并不对数量和执行次序进行限定，并且“第一”、“第二”等字样也并不限定一定不同。
[0035]
需要说明的是，本发明中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本发明中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其他实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。
[0036]
本发明中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b的情况，其中a，b可以是单数或者复数。字符“/”一般表示前后关
联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指的这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b，或c中的至少一项(个)，可以表示：a，b，c，a
‑
b，a
‑
c，b
‑
c，或a
‑
b
‑
c，其中a，b，c可以是单个，也可以是多个。
[0037]
下面结合附图对本发明实施例进行介绍。图1为本发明实施例提供的一种集群负载资源调度方法的应用场景示意图，本发明提供的集群负载资源调度方法可以应用于如图1所示的应用场景中。该应用场景包括：用户101，服务器102，主机103，主机104和主机105；用户101可以通过服务器102处理业务，服务器102可以将要处理的业务按照时间的先后顺序存放到调度任务队列中，进一步的，可以将这些要处理的业务下发给主机103，主机104和主机105进行处理，从而实现资源调度。
[0038]
需要说明的是，当一个要处理的业务来临时，服务器102会判断将该要处理的业务下发给哪个主机去进行处理，而本发明对主机的数量不作具体限定。
[0039]
现有技术中，通常由系统维护人员，对主机资源进行人工监控，在发现集群资源消耗影响到系统性能的情况下，手动对主机资源进行迁移或对主机资源进行调整，以满足整个集群性能的要求。
[0040]
但是，上述方法是静态配置，若资源下发后，即使未使用，也无法被新任务使用，造成资源空占的现象，浪费资源，而且无法对资源均衡的进行动态调整，缺乏灵活性，降低系统性能。
[0041]
一种可能的实现方式中，可以通过利用加权平均法分别计算主机资源的监测指标在各预设时刻的平均使用率，然后通过双阈值法计算主机资源使用情况，进一步，向主机资源下发待处理业务，从而实现资源调度。也可以通过将已被调度的负载从高负载的节点上剥离，从而均衡资源利用率，进一步，实现资源调度，但是上述方法缺少针对各类资源动态均衡的调整，缺乏灵活性。
[0042]
需要说明的是，现有技术的大多方案仅关注对主机中央处理器或内存的资源进行动态调整以达到均衡。
[0043]
因此，本发明实施例提供了一种集群负载资源调度方法，该方法可以从调度任务队列中获取待调度任务；进一步的，根据集群中k个主机的m种资源类型的实际资源利用率以及获取的待调度任务，确定每一主机的各种资源在增加待调度任务后的预测资源利用率；进一步的，计算该主机的预测资源利用率的平均值和方差，并根据该主机的预测资源利用率的平均值和方差计算k个主机的平均资源利用率；并将待调度任务下发给k个主机中平均资源利用率最小的主机。这样，通过利用预测资源利用率的平均值和方差计算平均资源利用率的方式；确定所以主机中平均资源利用率最小的主机进行任务下发，不仅可以充分利用主机的资源，还可以实现主机中央处理器、内存、磁盘读写速率和网络带宽使用率等各种资源的均衡，提高灵活性和系统性能，减少宕机风险。
[0044]
示例性的，图2为本发明实施例提供的一种集群负载资源调度方法的流程示意图，如图2所示，本发明实施例的方法包括：
[0045]
s201、从调度任务队列中获取待调度任务。
[0046]
本发明实施例中，调度任务队列用于存储待调度任务，且调度任务队列中的待调度任务可以按照时间先后顺序进行排列。
[0047]
示例性的，在图1的应用场景下，服务器102可以从调度任务队列中获取待调度任
务，即要处理的业务。
[0048]
s202、根据集群中k个主机的m种资源类型的实际资源利用率以及所述待调度任务，确定每一主机的各种资源在增加所述待调度任务后的预测资源利用率；所述m种资源类型包括下述至少两种：中央处理器、内存、磁盘和网络。
[0049]
本发明实施例中，实际资源利用率可以指的是实际占用主机资源与主机总资源的百分比，预测资源利用率可以指的是实际占用主机资源和待调度任务占用主机资源的和与主机总资源的百分比。
[0050]
中央处理器(central processing unit，cpu)作为计算机系统的运算和控制核心，是信息处理、程序运行的最终执行单元。
[0051]
内存(memory)是计算机的重要部件之一，也可以称为内存储器和主存储器，用于暂时存放cpu中的运算数据，与硬盘等外部存储器交换数据。
[0052]
磁盘(disk)可以指的是利用磁记录技术存储数据的存储器，可以用于存储大量的二进制数据，磁盘读写速率可以指的是对磁盘的写入和读取速率。
[0053]
网络(network)可以指的是由若干节点和连接这些节点的链路构成的局域网，网络带宽使用率可以指的是对该局域网的带宽使用率。
[0054]
示例性的，在图1的应用场景下，服务器102可以获取3个主机的m种资源类型的实际资源利用率以及需要处理的待调度任务，例如，可以分别获取主机103
‑
105的中央处理器、内存、磁盘和网络的实际资源利用率，分别为主机103的中央处理器的实际资源利用率为20％、内存的实际资源利用率为30％、磁盘的实际资源利用率为25％和网络的实际资源利用率为10％；主机104的中央处理器的实际资源利用率为40％、内存的实际资源利用率为50％、磁盘的实际资源利用率为60％和网络的实际资源利用率为35％；主机105的中央处理器的实际资源利用率为60％、内存的实际资源利用率为75％、磁盘的实际资源利用率为65％和网络的实际资源利用率为45％。
[0055]
进一步的，可以确定待调度任务的预测资源利用率，例如，主机103、主机104、主机105的中央处理器总资源量均为40cpu、内存总资源量均为120g、磁盘总io均为150m/s、网络总带宽为均10g/s；任务声明所使用中央处理器的资源量为14cpu、内存的资源量为54g、磁盘io为45m/s、网络带宽为2.5g/s；则任务在主机103、主机104、主机105上中央处理器资源利用率为14/40＝35％、内存资源利用率为54/120＝45％、磁盘io利用率为45/150＝30％、网络带宽利用率为2.5/10＝40％。
[0056]
进一步的，可以确定主机103
‑
105的各种资源在增加该待调度任务后的预测资源利用率，分别为主机103的中央处理器的预测资源利用率为20％ 35％＝55％、内存的预测资源利用率为30％ 45％＝75％、磁盘的预测资源利用率为25％ 30％＝55％和网络的预测资源利用率为10％ 25％＝35％；主机104的中央处理器的预测资源利用率为40％ 35％＝75％、内存的预测资源利用率为50％ 45％＝95％、磁盘的预测资源利用率为60％ 30％＝90％和网络的预测资源利用率为35％ 25％＝60％；主机105的中央处理器的预测资源利用率为60％ 35％＝95％、内存的预测资源利用率为75％ 45％＝120％、磁盘的预测资源利用率为65％ 30％＝95％和网络的预测资源利用率为45％ 25％＝70％。
[0057]
s203、对于每一主机，根据该主机的m种资源类型的预测资源利用率计算该主机的预测资源利用率的平均值和方差，并根据该主机的所述预测资源利用率的平均值和方差计
算该主机的平均资源利用率。
[0058]
示例性，在图1的应用场景下，以主机103为例，根据该主机的4种资源类型的预测资源利用率计算该主机的预测资源利用率的平均值为(55％ 75％ 55％ 35％)/4＝55％，方差为[(55％
‑
55％)2 (75％
‑
55％)2 (55％
‑
55％)2 (35％
‑
55％)2]/4＝0.02，并根据计算的主机103的预测资源利用率的平均值55％和方差0.02计算主机103的平均资源利用率为55％*0.02＝1.1％。
[0059]
s204、将所述待调度任务下发给所述k个主机中平均资源利用率最小的主机。
[0060]
示例性的，在图1的应用场景下，分别计算主机103，主机104和主机105的平均资源利用率，分别为主机103的平均资源利用率为1.1％，主机104的平均资源利用率为1.5％，主机105的平均资源利用率为2.96875％，在上述3个主机中，主机103的平均资源利用率最小，故将待调度任务下发给主机103。
[0061]
需要说明的是，本发明提供的集群负载资源调度方法是对集群中的负载进行管理，所述负载为容器和/或虚拟机，即可以对容器进行管理，也可以对虚拟机进行管理，还可以对容器和虚拟机两者进行统一管理。
[0062]
因此，本发明实施例提出的集群负载资源调度方法，可以充分利用主机的资源，对m种类型的源均衡进行动态调整，提高灵活性和系统性能。
[0063]
可选的，每一主机的平均资源利用率通过以下公式确定：
[0064][0065][0066]
其中，t表示主机的平均资源利用率；r
i_cur
表示主机的所有任务的第i种资源类型的实际资源利用率；r
i
表示待调度任务的第i种资源类型的资源利用率；表示主机的资源利用率的平均值。
[0067]
本发明实施例中，可以根据每一主机的m种资源类型的实际资源利用率和预测资源利用率计算每一主机的资源利用率的平均值和方差；进一步的，将平均值和方差相乘得到每一个主机的平均资源利用率。
[0068]
示例性的，以一个主机的4种资源类型为例，r
1_cur
表示所有任务的cpu的实际资源利用率，r
2_cur
表示所有任务的memory的实际资源利用率，r
3_cur
表示所有任务的磁盘的实际资源利用率，r
4_cur
表示所有任务的network的实际资源利用率，r1表示待调度任务的cpu资源利用率，r2表示待调度任务的memory资源利用率，r3表示待调度任务的磁盘资源利用率，r4表示待调度任务的network资源利用率，则表示待调度任务的network资源利用率，则进一步的，计算进一步的，计算
[0069]
因此，可以通过上述公式利用平均值和方差可以更快更准确的计算任意一个主机的平均资源利用率，提高准确性。
[0070]
可选的，待调度任务的资源利用率通过如下方法确定：
[0071][0072]
其中，r
i
表示待调度任务的第i类资源类型的资源利用率；rr
i
表示待调度任务所声明第i类资源类型使用的资源量；rt
i
表示候选主机的第i类资源类型的总资源量。
[0073]
示例性的，以一个主机的4种资源类型为例，r1表示待调度任务的cpu资源利用率，r2表示待调度任务的memory资源利用率，r3表示待调度任务的磁盘资源利用率，r4表示待调度任务的network资源利用率，rr1表示待调度任务所声明的cpu使用的资源量，rr2表示待调度任务所声明的memory使用的资源量，rr3表示待调度任务所声明的磁盘使用的资源量，rr4表示待调度任务所声明的network使用的资源量，rt1表示候选主机的cpu的总资源量，rt2表示候选主机的memory的总资源量，rt3表示候选主机的磁盘的总资源量，rt4表示候选主机的network的总资源量，则r1＝rr1/rt1，r2＝rr2/rt2，r3＝rr3/rt3，r4＝rr4/rt4。
[0074]
需要说明的是，本发明实施例对i类资源类型中i的数量不作具体限定，可以视具体情况而定，需要几种类型即可以利用上述公式进行计算求解。
[0075]
因此，可以通过上述公式精确的计算任意一个主机的待调度任务的资源利用率，提高计算速率和计算的准确性。
[0076]
可选的，每个预设周期，获取k个主机的m种资源类型的实际资源利用率；根据所述k个主机的m种资源类型的实际资源利用率判断所述k个主机的资源利用率是否超过阈值；若任一主机的任一类型的资源利用率超过阈值，则对该主机的任务进行驱逐。
[0077]
本发明实施例中，预设周期可以指的是设置的按照一定的时间规律，定期获取主机的实际资源利用率进行任务处理的周期，例如，该预设周期可以为5分钟。
[0078]
阈值可以指的是设置的可以判断主机的资源利用率是否过高的一个阈值，例如，该阈值可以为90％。
[0079]
示例性的，每隔5分钟，服务器就可以分别获取主机1
‑
5的4种资源类型的实际资源利用率；并可以根据该主机1
‑
5的4种资源类型的实际资源利用率判断该主机1
‑
5的资源利用率是否超过90％；若主机1的内存的资源利用率超过90％，则对主机1的任务进行驱逐。
[0080]
可以理解的是，若任一主机的资源利用率均没有超过阈值，则该主机可以从调度任务队列中获取待调度任务进行处理。
[0081]
需要说明的是，本发明实施例对预设周期和阈值的具体数值不作具体限定，可以系统进行设定，也可以人为进行设定。
[0082]
因此，可以通过资源利用率的高低来驱逐负载任务，合理利用主机资源，提高系统性能。
[0083]
可选的，若任一主机的任一类型的资源利用率超过阈值，则对该主机的任务进行驱逐，包括：若任一主机的任一类型的资源利用率超过阈值，则标记该主机的任务待驱逐，并查看调度任务队列是否存在待调度任务；若存在待调度任务，则等待调度任务队列中的待调度任务被下发完成后，对标记的主机的任务进行驱逐；若不存在待调度任务，则直接对标记的主机的任务进行驱逐。
[0084]
示例性的，若存在主机1
‑
5，而主机1的内存的资源利用率超过90％，则标记该主机1的任务待驱逐，进一步的，服务器查看调度任务队列是否还存在待调度任务需要处理；若还存在待调度任务，则需要等待调度任务队列中的待调度任务被下发完成后，才可以对标
记的主机1中的任务进行驱逐处理；若不存在待调度任务，则直接对标记的主机1的任务进行驱逐处理。
[0085]
因此，通过对标记的主机的任务进行驱逐可以合理使用主机的资源，提高资源的利用率，即使在超额配置或突发资源变化的环境下也可以保障应用的稳定运行。
[0086]
可选的，对标记的主机的任务进行驱逐，包括：根据标记的主机的实际资源利用率的平均值、所述主机的m种资源类型的实际资源利用率和所述主机的m种资源类型中每一任务的实际资源利用率，计算每一任务的资源利用率的平均方差；对所述标记的主机中平均方差最小的任务进行驱逐。
[0087]
具体的，每一任务的资源利用率的平均方差通过以下公式确定：
[0088][0089]
其中，s表示主机的资源利用率的平均方差；r
i_cur
表示主机的所有任务的第i种资源类型的实际资源利用率；r
′
i_cur
表示所述任务的第i种资源类型的实际资源利用率；表示主机的实际资源利用率的平均值，示主机的实际资源利用率的平均值，
[0090]
示例性的，若标记的主机1的任务需要进行驱逐处理，则可以根据标记的主机1的实际资源利用率的平均值、主机1的m种资源类型的实际资源利用率和主机1的m种资源类型中每一任务的实际资源利用率，计算每一任务的资源利用率的平均方差；例如，主机1的所有任务的中央处理器的实际资源利用率为65％、所有任务的内存的实际资源利用率为80％、所有任务的磁盘的实际资源利用率为70％和所有任务的网络的实际资源利用率为65％，则主机1的实际资源利用率的平均值70％，主机1的任务1的中央处理器中的实际资源利用率为10％、任务1的内存的实际资源利用率为20％、任务1的磁盘的实际资源利用率为15％和任务1的网络的实际资源利用率为25％；计算该任务1的资源利用率的平均方差为[(65％ 10％
‑
70％)2 (80％ 20％
‑
70％)2 (70％ 15％
‑
70％)2 (65％ 25％
‑
70％)2]/4＝0.03875；利用上述同样的方法，计算该主机1中其他任务的资源利用率的平均方差，并对主机1中平均方差最小的任务进行驱逐。例如，该主机1有5个任务，分别为任务1
‑
5，其中，任务1的平均方差为0.03875，任务2的平均方差为0.039，任务3的平均方差为0.098，任务4的平均方差为0.65，任务5的平均方差为0.08，则将任务1进行驱逐。
[0091]
因此，可以选择对标记的主机中平均方差最小的任务进行驱逐，因为驱逐平均方差最小的任务，对主机影响较小，驱逐后主机就可以接收新的待调度任务，可以合理利用资源，避免资源浪费，提高系统性能。
[0092]
可选的，所述方法还包括：将任一标记的主机中的任务进行驱逐后，去除所述主机的标记，若所述主机被再次标记，则重新计算所述主机的每一任务资源利用率的平均方差，并对计算结果为最小值的任务进行驱逐。
[0093]
具体的，因为将任一标记的主机中的任务进行驱逐后，该主机内的资源利用率会发生变化，因此需要去除所述主机的标记，若该主机被再次标记需要进行任务驱逐，则需要利用该主机内的现有的资源利用率重新计算该主机的每一任务资源利用率的平均方差，并对计算结果为最小值的任务进行驱逐。
[0094]
可以理解的是，对负载驱逐方法也可以使用lru算法(least recently used)，将
主机中的任务按照最近最少资源利用率占比的策略进行驱逐。本发明实施例对此不作具体限定。
[0095]
因此，本发明可以基于主机的资源利用率对资源利用率占比最小的任务进行驱逐，可以提高数据中心资源利用率，达到均衡负载的目的。
[0096]
结合上述实施例，图3为本发明实施例提供的一种基于资源利用率的任务调度方法的流程图。如图3所示，本发明实施例的执行方法步骤包括：
[0097]
步骤a：任务调度开始，集群接收到新任务，并且基于该新任务依次计算集群中主机1，主机2，主机3...主机k接收该新任务后的资源利用率均值，接着，执行步骤b。
[0098]
步骤b：基于步骤a的资源利用率均值，计算主机1，主机2，主机3...主机k的资源利用率的方差，并将主机1，主机2，主机3...主机k资源利用率的平均值作为权值，分别与相应的主机1，主机2，主机3...主机k的资源利用率的方差进行相乘，计算该k个主机的平均资源利用率，接着，执行步骤c。
[0099]
步骤c：判断主机k(k＝1,2
…
k)是否都小于剩余k
‑
k个主机的平均资源利用率，若是，则主机k接收新任务，任务调度结束，若否，则执行步骤d。
[0100]
步骤d：主机的序号变为k 1继续执行步骤c。
[0101]
示例性的，图4为本发明实施例提供的另一种基于资源利用率的任务调度方法的流程图。如图4所示，本发明实施例的具体的执行方法步骤包括：
[0102]
步骤a：任务调度开始，定时获取集群中主机资源利用率信息；该主机资源利用率信息为主机的m种资源类型的所有任务的实际资源利用率，接着执行步骤b。
[0103]
步骤b：基于获取的步骤a中的主机资源利用率信息，判断不同类型的实际资源利用率是否超过阈值，若是，则执行步骤c，若否，则执行步骤e。
[0104]
步骤c：标记主机有任务待驱逐，进一步判断调度队列中是否有待调度任务，若是，则等待调度队列执行完成调度任务，再执行步骤d，若否，则直接执行步骤d。
[0105]
步骤d：按照负载驱逐方法依次计算驱逐任务后主机的资源利用率平均方差，得出计算结果为最小值的任务，并对该任务进行驱逐，去除该主机的标记，执行步骤e。
[0106]
步骤e：获取调度队列中任务，执行基于资源利用率的任务调度方法，寻找平均资源利用率最小的主机，执行步骤f。
[0107]
步骤f：将任务分配给平均资源利用率最小的主机，任务调度结束。
[0108]
这样，可以实现基于资源利用率的动态调度，从而实现均衡资源利用率和复杂场景下的混合调度，而且还尽可能多的使用到主机的资源，提高资源的利用率。
[0109]
在前述实施例中，对本发明实施例提供的集群负载资源调度方法进行了介绍，而为了实现上述本发明实施例提供的方法中的各功能，作为执行主体的电子设备可以包括硬件结构和/或软件模块，以硬件结构、软件模块、或硬件结构加软件模块的形式来实现上述各功能。上述各功能中的某个功能以硬件结构、软件模块、还是硬件结构加软件模块的方式来执行，取决于技术方案的特定应用和设计约束条件。
[0110]
例如，图5为本发明实施例提供的一种集群负载资源调度装置的结构示意图，如图5所示，该装置包括：获取模块510，用于从调度任务队列中获取待调度任务；确定模块520，用于根据集群中k个主机的m种资源类型的实际资源利用率以及所述待调度任务，确定每一主机的各种资源在增加所述待调度任务后的预测资源利用率；所述m种资源类型包括下述
至少两种：中央处理器、内存、磁盘读写速率和网络带宽使用率；对于每一主机，计算模块530，用于根据该主机的m种资源类型的预测资源利用率计算该主机的预测资源利用率的平均值和方差，并根据该主机的所述预测资源利用率的平均值和方差计算该主机的平均资源利用率；处理模块540，用于将所述待调度任务下发给所述k个主机中平均资源利用率最小的主机。
[0111]
可选的，每一主机的平均资源利用率通过以下公式确定：
[0112][0113][0114]
其中，t表示主机的平均资源利用率；r
i_cur
表示主机的所有任务的第i种资源类型的实际资源利用率；r
i
表示待调度任务的第i种资源类型的资源利用率；表示主机的资源利用率的平均值。
[0115]
可选的，待调度任务的资源利用率通过如下方法确定：
[0116][0117]
其中，r
i
表示待调度任务的第i类资源类型的资源利用率；rr
i
表示待调度任务所声明第i类资源类型使用的资源量；rt
i
表示候选主机的第i类资源类型的总资源量。
[0118]
可选的，每个预设周期，获取模块510，还用于获取k个主机的m种资源类型的实际资源利用率；处理模块540，还用于根据所述k个主机的m种资源类型的实际资源利用率判断所述k个主机的资源利用率是否超过阈值；若任一主机的任一类型的资源利用率超过阈值，则对该主机的任务进行驱逐。
[0119]
可选的，处理模块540具体用于，若任一主机的任一类型的资源利用率超过阈值，则标记该主机的任务待驱逐，并查看调度任务队列是否存在待调度任务；若存在待调度任务，则等待调度任务队列中的待调度任务被下发完成后，对标记的主机的任务进行驱逐；若不存在待调度任务，则直接对标记的主机的任务进行驱逐。
[0120]
可选的，处理模块540具体用于，根据标记的主机的实际资源利用率的平均值、所述主机的m种资源类型的实际资源利用率和所述主机的m种资源类型中每一任务的实际资源利用率，计算每一任务的资源利用率的平均方差；对所述标记的主机中平均方差最小的任务进行驱逐。
[0121]
可选的，每一任务的资源利用率的平均方差通过以下公式确定：
[0122][0123]
其中，s表示主机的资源利用率的平均方差；r
i_cur
表示主机的所有任务的第i种资源类型的实际资源利用率；r
′
i_cur
表示所述任务的第i种资源类型的实际资源利用率；表示主机的实际资源利用率的平均值。
[0124]
可选的，处理模块540还用于，将任一标记的主机中的任务进行驱逐后，去除所述主机的标记，若所述主机被再次标记，则重新计算所述主机的每一任务资源利用率的平均
方差，并对计算结果为最小值的任务进行驱逐。
[0125]
本发明实施例还提供一种电子设备的结构示意图，图6为本发明实施例提供的一种电子设备的结构示意图，如图6所示，该电子设备可以包括：存储器601和处理器602；该存储器601存储计算机程序；该处理器602执行该存储器601存储的计算机程序，使得该处理器602执行上述任一实施例所述的方法。
[0126]
其中，存储器601和处理器602可以通过总线603连接。
[0127]
本发明实施例提供的集群负载资源调度装置的具体实现原理和效果可以参见上述实施例对应的相关描述和效果，此处不做过多赘述。
[0128]
本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质存储有计算机程序执行指令，计算机执行指令被处理器执行时用于实现如本发明前述任一实施例中的集群负载资源调度方法。
[0129]
本发明实施例还提供一种运行指令的芯片，该芯片用于执行如本发明前述任一实施例中由电子设备所执行的集群负载资源调度方法。
[0130]
本发明实施例还提供一种计算机程序产品，该程序产品包括计算机程序，该计算机程序被处理器执行时可实现如本发明前述任一实施例中由电子设备所执行的集群负载资源调度方法。
[0131]
在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。
[0132]
作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案。
[0133]
另外，在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个单元中。上述模块成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
[0134]
上述以软件功能模块的形式实现的集成的模块，可以存储在一个计算机可读取存储介质中。上述软件功能模块存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器执行本发明各个实施例所述方法的部分步骤。
[0135]
应理解，上述处理器可以是中央处理单元(central processing unit，cpu)，还可以是其它通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合发明所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。
[0136]
存储器可能包含高速随机存取存储器(random access memory，ram)，也可能还包括非不稳定的存储器(non
‑
volatile memory，nvm)，例如至少一个磁盘存储器，还可以为u
盘、移动硬盘、只读存储器、磁盘或光盘等。
[0137]
总线可以是工业标准体系结构(industry standard architecture，isa)总线、外部设备互连(peripheral component interconnect，pci)总线或扩展工业标准体系结构(extended industry standard architecture，eisa)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，本发明附图中的总线并不限定仅有一根总线或一种类型的总线。
[0138]
上述存储介质可以是由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(sram)，电可擦除可编程只读存储器(eeprom)，可擦除可编程只读存储器(eprom)，可编程只读存储器(prom)，只读存储器(rom)，磁存储器，快闪存储器，磁盘或光盘。存储介质可以是通用或专用计算机能够存取的任何可用介质。
[0139]
一种示例性的存储介质耦合至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于专用集成电路(application specific integrated circuits，asic)中。当然，处理器和存储介质也可以作为分立组件存在于电子设备或主控设备中。
[0140]
以上所述，仅为本发明实施例的具体实施方式，但本发明实施例的保护范围并不局限于此，任何在本发明实施例揭露的技术范围内的变化或替换，都应涵盖在本发明实施例的保护范围之内。因此，本发明实施例的保护范围应以所述权利要求的保护范围为准。