基于温度预测的数据中心作业调度方法及系统与流程

1.本发明涉及数据中心作业调度技术领域，特别是涉及基于温度预测的数据中心作业调度方法及系统。


背景技术：

2.本部分的陈述仅仅是提到了与本发明相关的背景技术，并不必然构成现有技术。
3.随着目前数据中心的高速发展，数据中心的计算性能有了大幅度的提升，计算规模也不断扩大。但是，大规模的计算集群系统消耗了越来越多的能量。数据中心能耗主要分为两个部分：计算能耗和冷却能耗。计算能耗主要包括服务器系统，网络系统等产生的能耗。冷却能耗主要为空调等冷却设施消耗的能耗。
4.数据中心产生高能耗的原因主要有两个方面：第一个方面是资源利用率低，由于作业的调度策略不同，会导致大量作业部署到很多台服务器上，导致数据中心的服务器处于低负载状态，从而数据中心整体资源利用率低，从而提高了数据中心计算能耗。第二个方面是热点问题，目前数据中心主要采用混合负载调度，服务器无法知道运行作业的类型以及大小，造成部分机柜出现热点问题，从而降低空调设定温度，导致数据中心冷却能耗增加。
5.针对上述存在的问题，现有的节能技术主要从硬件和软件两个层面进行考虑的。硬件方面主要是采用动态电业频率调整技术(dvfs)，根据芯片运行的程序对计算能力的需求不同，动态调整频率和电压从而实现节能，但是如果调度程序对任务没有精确的了解，调度程序就不能保证给定频率能降低能耗。在软件层面主要采用感知和节点分配技术，现有的技术主要选择温度低的服务器节点对作业进行分配，从而避免了热点的出现。或者选择将作业集中分配到一台或多台服务器上，提高资源的利用率。但是，并没有将温度和资源利用率一起考虑，选择一个温度低且资源合适的服务器进行作业调度从而达到数据中心能耗最小化的目标。


技术实现要素：

6.为了解决现有技术的不足，本发明提供了基于温度预测的数据中心作业调度方法及系统；通过机器学习对数据中心机柜的温度进行预测，选出温度最低的机柜。在此基础上通过本发明提出的算法将服务器与作业进行映射。旨在解决相关技术中心存在的优化片面、节能效率低的问题，实现降低数据中心整体能耗的最终目标。
7.第一方面，本发明提供了基于温度预测的数据中心作业调度方法；
8.基于温度预测的数据中心作业调度方法，包括：
9.获取数据中心机柜相关参数、机柜中服务器的相关参数、作业队列中待调度作业所需资源大小和冷却设备的相关参数；
10.对获取的数据进行预处理，对于预处理后的数据进行特征筛选；基于训练后的机器学习模型和筛选得到的特征，预测出未来设定时间段内机柜的温度，选出温度最低的机
柜；
11.将待调度作业，在温度最低的机柜的若干个服务器中进行初始调度和优化调度，通过多次迭代，选出服务器与待调度作业之间的最佳映射方案；根据最佳映射方案实现待调度作业的调度。
12.第二方面，本发明提供了基于温度预测的数据中心作业调度系统；
13.基于温度预测的数据中心作业调度系统，包括：
14.资源监控模块，其被配置为：获取数据中心机柜相关参数、机柜中服务器的相关参数、作业队列中待调度作业所需资源大小和冷却设备的相关参数；
15.温度预测模块，其被配置为：对获取的数据进行预处理，对于预处理后的数据进行特征筛选；基于训练后的机器学习模型和筛选得到的特征，预测出未来设定时间段内机柜的温度，选出温度最低的机柜；
16.作业调度模块，其被配置为：将待调度作业，在温度最低的机柜的若干个服务器中进行初始调度和优化调度，通过多次迭代，选出服务器与待调度作业之间的最佳映射方案；根据最佳映射方案实现待调度作业的调度。
17.与现有技术相比，本发明的有益效果是：
18.通过本发明，采集当前数据中心内机柜和服务器的相关数据、作业队列中作业的资源需求以及数据中心中空调设备的相关参数，按照设定的机器学习方法对采集到的部分数据进行模型训练，预测未来一段时间机柜的温度。选择预测温度最低的机柜进行随机调度和优化调度，最终得到优化后的调度方案。将作业部署在平均温度最低的机柜，解决数据中心存在的热点问题，降低了数据中心空调能耗。同时将多个作业在满足资源利用率阈值的条件下分配到一个或多个服务器中，对空闲的服务器进行关机和休眠，解决了数据中心资源利用率低的问题，降低了数据中心的计算能耗，从而整体上达到了降低数据中心能耗的目标。
附图说明
19.构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
20.图1是本发明实施例一提供的基于温度预测的数据中心作业调度方法流程图；
21.图2是本发明实施例一提供的基于温度预测的数据中心作业调度方法架构图；
22.图3是本发明实施例一提供的资源监控模块示意图；
23.图4是本发明实施例一提供的作业调度操作流程图。
具体实施方式
24.应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
25.需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，术语“包括”和“具有”以及他们的任何变形，
意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
26.在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
27.本实施例所有数据的获取都在符合法律法规和用户同意的基础上，对数据的合法应用。
28.实施例一
29.本实施例提供了基于温度预测的数据中心作业调度方法；
30.如图1所示，基于温度预测的数据中心作业调度方法，包括：
31.s100：获取数据中心机柜相关参数、机柜中服务器的相关参数、作业队列中待调度作业所需资源大小和冷却设备的相关参数；
32.s200：对获取的数据进行预处理，对于预处理后的数据进行特征筛选；基于训练后的机器学习模型和筛选得到的特征，预测出未来设定时间段内机柜的温度，选出温度最低的机柜；
33.s300：将待调度作业，在温度最低的机柜的若干个服务器中进行初始调度和优化调度，通过多次迭代，选出服务器与待调度作业之间的最佳映射方案；根据最佳映射方案实现待调度作业的调度。
34.进一步地，所述数据中心机柜相关参数，包括：机柜cabn的功率机柜列表为cab＝{cab1,cab2,
…
,cabn}。
35.进一步地，所述机柜中服务器的相关参数，包括：服务器si中可用的cpu大小和服务器si中可用的内存大小服务器列表为s＝{s1,s2,
…
,sn}。
36.进一步地，所述作业队列中待调度作业所需资源大小，包括：服务器si中作业jj所需的cpu大小和服务器si作业jj所需的内存大小作业列表为j＝{j1,j2,
…
,jn}。
37.进一步地，所述冷却设备的相关参数，包括：空调设备进风温度t
in
、空调设备出风温度t
out
、空调水冷系统的进水温度空调水冷系统的回水温度空调设备的进风湿度h
in
和空调设备的出风湿度h
out
。
38.进一步地，所述对获取的数据进行预处理，包括：
39.删除不完整的数据和空数据，并对清洗后的数据进行合并。
40.示例性地，所述对获取的数据进行预处理，包括：
41.将值为0的数据和不完整的数据进行过滤，同时将各个字段按照时间为主键进行合并。
42.进一步地，所述对于预处理后的数据进行特征筛选，包括：
43.针对预处理后的数据，选择与机柜温度相关的特征值，具体特征值包括：机柜cabn的功率空调设备进风温度t
in
、空调设备出风温度t
out
、空调水冷系统的进水温度空调水冷系统的回水温度空调设备的进风湿度h
in
和空调设备的出风湿度h
out
。
44.选出与机柜温度相关的特征值，具体特征值如表1所示：
45.表1机柜温度相关的特征值
46.时间机柜功率回风湿度回风温度出水温度进水温度送风湿度送风温度2021/12/1 0:00:004.3632.8321.0218.2516.642.9618.232021/12/1 0:05:004.7823.1431.220.316.539.5719.62021/12/1 0:10:004.7622.9431.2320.2716.539.5419.6
47.进一步地，所述基于训练后的机器学习模型和筛选得到的特征，预测出未来设定时间段内机柜的温度，选出温度最低的机柜，其中，训练后的机器学习模型；具体训练过程包括：
48.构建机器学习预测模型；
49.构建训练集；所述训练集，包括：若干个机柜的数值，每个机柜的数值均包括：已知当前时间点机柜温度的历史时间段内若干个特征值；
50.训练集中的特征值，包括：机柜cabn的功率空调设备进风温度t
in
、空调设备出风温度t
out
、空调水冷系统的进水温度空调水冷系统的回水温度空调设备的进风湿度h
in
和空调设备的出风湿度h
out
；
51.将训练集输入到机器学习模型中，对模型进行训练，当模型的损失函数值不再下降时，或者，迭代次数达到设定次数时，停止训练，得到训练后的机器学习模型。
52.所述机器学习预测模型，选用随机森林模型。
53.模型训练，采用机器学习模型对上述特征值进行训练，预测未来一段时间数据中心内机柜的温度，预测行为表示如公式(1)所示：
[0054][0055]
进一步地，所述选出温度最低的机柜采用的公式如公式(2)所示：
[0056][0057]
其中，表示机柜cabn的预测温度；表示预测温度最低的机柜cabn。
[0058]
进一步地，所述将待调度作业，在温度最低的机柜的若干个服务器中进行初始调度和优化调度，通过多次迭代，选出服务器与待调度作业之间的最佳映射方案；根据最佳映射方案实现待调度作业的调度；具体过程包括：
[0059]
初始调度：将作业队列中的作业j＝{j1,j2,
…
,jn}与温度最低的机柜中的服务器s＝{s1,s2,
…
,sn}进行随机映射；
[0060]
优化调度：根据初始调度的结果进行进一步的优化，计算每一台服务器s中的剩余资源大小并进行升序，根据排序顺序判断剩余资源最小的服务器能否满足剩余资源最大的服务器中的作业需求并且在设定的资源利用率阈值k以内，若能满足，将作业重新分配，否则继续遍历。
[0061]
进一步地，如图4所示，所述优化调度；具体包括：
[0062]
步骤1)：根据初始调度的结果，计算当前调度方案中每个服务器si中的剩余资源
大小并将得到的按照从小到大的顺序进行排列；执行步骤2)；
[0063]
步骤2)：按照排序后的剩余资源大小对对应的服务器节点进行遍历，并选取当前排序第一的服务器节点，和排序倒数第一的服务器节点，执行步骤3)；
[0064]
步骤3)：判断当前排序第一的服务器节点中的剩余资源大小是否满足排序倒数第一的服务器节点中作业jj所需的cpu大小和作业jj所需的内存大小若满足，则执行步骤4)，若不满足，执行步骤7)；
[0065]
步骤4)：将排序倒数第一的服务器节点中的作业分配到排序第一的服务器节点中，并将排序倒数第一的服务器节点从队列中移除，更新服务器队列位置信息，执行步骤5)；
[0066]
步骤5)：判断排序第一的服务器是否在满足资源利用率阈值k的条件下还有剩余资源；若满足则继续执行步骤4)；否则，执行步骤6)；
[0067]
步骤6)：将当前排序第一的服务器节点从所有服务器队列中删除，并更新服务器队列的排序信息，然后返回步骤2)；
[0068]
步骤7)：判断服务器节点队列是否遍历结束，若没结束，则执行步骤6)；若结束，则得到最终的映射关系，调度结束。
[0069]
进一步地，所述步骤1)，替换为：
[0070]
根据初始调度的结果，判断每一台服务器si资源利用率是否大于等于设定的资源利用率阈值k；如果是，则重新进行初始调度；如果否，则计算当前调度方案中每个服务器si中的剩余资源大小并将得到的按照从小到大的顺序进行排列。
[0071]
进一步地，所述当前调度方案中每个服务器si中的剩余资源大小计算过程为，如公式(3)所示：
[0072][0073]
其中，表示服务器si中的cpu总量；表示服务器si中的内存总量。
[0074]
进一步地，所述选出服务器与待调度作业之间的最佳映射方案；具体包括：
[0075]
按照优化调度的过程，得到优化后的服务器与作业之间的映射关系，计算当前映射关系下服务器si的计算功耗如公式(4)所示：
[0076][0077]
其中，表示服务器si中cpu的能耗；表示服务器si中内存的能耗；
[0078]
对初始调度和优化调度进行多次迭代，最终选择最低的映射关系作为最佳映射方案。
[0079]
示例性地，参照图3，资源监控流程；具体包括：
[0080]
步骤s321：根据随机映射的结果，判断每一台服务器si资源利用率是否大于等于设定的资源利用率阈值k。
[0081]
步骤s322：若是则重新进行初始调度。
[0082]
步骤s323：若否，根据公式计算服务器剩余资源并升序排序。
[0083]
步骤s324：遍历上述排序，并将i，j进行初始化i＝0，j＝n。其中i，j分别代表服务器的下标。
[0084]
步骤s325：判断服务器si剩余资源是否满足服务器sj中作业的所需资源。
[0085]
步骤s326:若是，则计算sj中作业分到si后服务器si的资源利用率。
[0086]
步骤s3261：继续判断si中资源利用率是否超过设定的资源利用率阈值k。
[0087]
步骤s3262:若是，则令i＝i 1，并返回步骤s324。
[0088]
步骤s3263：若否，则将sj中的作业重新分配到si中。
[0089]
步骤s3264：令j＝j-1,并返回步骤s325。
[0090]
步骤s327：若否，则继续判断是否遍历完服务器与作业之间的映射关系。
[0091]
步骤s328：若否，则令i＝i 1，并返回步骤s324。
[0092]
步骤s329：若是，则得到最终映射方法，并结束。
[0093]
步骤s330：最终调度方案：根据上述两个步骤最终确定出一种调度方案，计算该映射关系下的计算能耗经过多次迭代上述步骤，选择其中最小的映射关系进行调度。
[0094]
本发明实施例旨在保护提出的一种基于温度预测的数据中心作业调度方法，其具有如下效果：根据监控到的数据进行基于机器学习的机柜温度预测，可以得到未来一段时间内数据中心每一个机柜的温度，选择其中温度最低的机柜进行作业调度，可以避免数据中心内热点的出现，从而避免了过度降低空调温度，减少了数据中心冷却能耗。在温度最低的机柜内进行初始调度和优化调度两个步骤，可以避免机柜中出现部分服务器资源利用率低的情况，从而提高了服务器的的资源利用率，降低了数据中心的计算能耗。因此，在总体上实现了降低数据中心整体能耗的目标。
[0095]
实施例二
[0096]
本实施例提供了基于温度预测的数据中心作业调度系统；
[0097]
如图2所示，基于温度预测的数据中心作业调度系统，包括：
[0098]
资源监控模块，其被配置为：获取数据中心机柜相关参数、机柜中服务器的相关参数、作业队列中待调度作业所需资源大小和冷却设备的相关参数；
[0099]
温度预测模块，其被配置为：对获取的数据进行预处理，对于预处理后的数据进行特征筛选；基于训练后的机器学习模型和筛选得到的特征，预测出未来设定时间段内机柜的温度，选出温度最低的机柜；
[0100]
作业调度模块，其被配置为：将待调度作业，在温度最低的机柜的若干个服务器中进行初始调度和优化调度，通过多次迭代，选出服务器与待调度作业之间的最佳映射方案；根据最佳映射方案实现待调度作业的调度。
[0101]
此处需要说明的是，上述资源监控模块、温度预测模块和作业调度模块对应于实施例一中的步骤s101至s103，上述模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例一所公开的内容。需要说明的是，上述模块作为系统的一部分可以在诸如一组计算机可执行指令的计算机系统中执行。
[0102]
上述实施例中对各个实施例的描述各有侧重，某个实施例中没有详述的部分可以参见其他实施例的相关描述。
[0103]
所提出的系统，可以通过其他的方式实现。例如以上所描述的系统实施例仅仅是示意性的，例如上述模块的划分，仅仅为一种逻辑功能划分，实际实现时，可以有另外的划分方式，例如多个模块可以结合或者可以集成到另外一个系统，或一些特征可以忽略，或不执行。
[0104]
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。