基于温度预测的数据中心作业调度方法及系统与流程

技术特征：
1.基于温度预测的数据中心作业调度方法，其特征是，包括：获取数据中心机柜相关参数、机柜中服务器的相关参数、作业队列中待调度作业所需资源大小和冷却设备的相关参数；对获取的数据进行预处理，对于预处理后的数据进行特征筛选；基于训练后的机器学习模型和筛选得到的特征，预测出未来设定时间段内机柜的温度，选出温度最低的机柜；将待调度作业，在温度最低的机柜的若干个服务器中进行初始调度和优化调度，通过多次迭代，选出服务器与待调度作业之间的最佳映射方案；根据最佳映射方案实现待调度作业的调度。2.如权利要求1所述的基于温度预测的数据中心作业调度方法，其特征是，所述将待调度作业，在温度最低的机柜的若干个服务器中进行初始调度和优化调度，通过多次迭代，选出服务器与待调度作业之间的最佳映射方案；根据最佳映射方案实现待调度作业的调度；具体过程包括：初始调度：将作业队列中的作业j＝{j1，j2，...，j
n
}与温度最低的机柜中的服务器s＝{s1，s2，...，s
n
}进行随机映射；优化调度：根据初始调度的结果进行进一步的优化，计算每一台服务器s中的剩余资源大小并进行升序，根据排序顺序判断剩余资源最小的服务器能否满足剩余资源最大的服务器中的作业需求并且在设定的资源利用率阈值k以内，若能满足，将作业重新分配，否则继续遍历。3.如权利要求1或2所述的基于温度预测的数据中心作业调度方法，其特征是，所述优化调度；具体包括：步骤1)：根据初始调度的结果，计算当前调度方案中每个服务器s
i
中的剩余资源大小并将得到的按照从小到大的顺序进行排列；执行步骤2)；步骤2)：按照排序后的剩余资源大小对对应的服务器节点进行遍历，并选取当前排序第一的服务器节点，和排序倒数第一的服务器节点，执行步骤3)；步骤3)：判断当前排序第一的服务器节点中的剩余资源大小是否满足排序倒数第一的服务器节点中作业j
j
所需的cpu大小和作业j
j
所需的内存大小若满足，则执行步骤4)，若不满足，执行步骤7)；步骤4)：将排序倒数第一的服务器节点中的作业分配到排序第一的服务器节点中，并将排序倒数第一的服务器节点从队列中移除，更新服务器队列位置信息，执行步骤5)；步骤5)：判断排序第一的服务器是否在满足资源利用率阈值k的条件下还有剩余资源；若满足则继续执行步骤4)；否则，执行步骤6)；步骤6)：将当前排序第一的服务器节点从所有服务器队列中删除，并更新服务器队列的排序信息，然后返回步骤2)；步骤7)：判断服务器节点队列是否遍历结束，若没结束，则执行步骤6)；若结束，则得到最终的映射关系，调度结束。4.如权利要求3所述的基于温度预测的数据中心作业调度方法，其特征是，所述步骤1)，替换为：根据初始调度的结果，判断每一台服务器s
i
资源利用率是否大于等于设定的资源利用
率阈值k；如果是，则重新进行初始调度；如果否，则计算当前调度方案中每个服务器s
i
中的剩余资源大小并将得到的按照从小到大的顺序进行排列。5.如权利要求4所述的基于温度预测的数据中心作业调度方法，其特征是，所述当前调度方案中每个服务器s
i
中的剩余资源大小计算过程为：其中，表示服务器s
i
中的cpu总量；表示服务器s
i
中的内存总量，α和β表示权重。6.如权利要求1所述的基于温度预测的数据中心作业调度方法，其特征是，所述选出服务器与待调度作业之间的最佳映射方案；具体包括：按照优化调度的过程，得到优化后的服务器与作业之间的映射关系，计算当前映射关系下服务器s
i
的计算功耗的计算功耗其中，表示服务器s
i
中cpu的能耗；表示服务器s
i
中内存的能耗；对初始调度和优化调度进行多次迭代，最终选择最低的映射关系作为最佳映射方案。7.如权利要求1所述的基于温度预测的数据中心作业调度方法，其特征是，所述对于预处理后的数据进行特征筛选，包括：针对预处理后的数据，选择与机柜温度相关的特征值，具体特征值包括：机柜cab
n
的功率空调设备进风温度t
in
、空调设备出风温度t
out
、空调水冷系统的进水温度空调水冷系统的回水温度空调设备的进风湿度h
in
和空调设备的出风湿度h
out
。8.基于温度预测的数据中心作业调度系统，其特征是，包括：资源监控模块，其被配置为：获取数据中心机柜相关参数、机柜中服务器的相关参数、作业队列中待调度作业所需资源大小和冷却设备的相关参数；温度预测模块，其被配置为：对获取的数据进行预处理，对于预处理后的数据进行特征筛选；基于训练后的机器学习模型和筛选得到的特征，预测出未来设定时间段内机柜的温度，选出温度最低的机柜；作业调度模块，其被配置为：将待调度作业，在温度最低的机柜的若干个服务器中进行初始调度和优化调度，通过多次迭代，选出服务器与待调度作业之间的最佳映射方案；根据最佳映射方案实现待调度作业的调度。9.如权利要求8所述的基于温度预测的数据中心作业调度系统，其特征是，其特征是，所述将待调度作业，在温度最低的机柜的若干个服务器中进行初始调度和优化调度，通过多次迭代，选出服务器与待调度作业之间的最佳映射方案；根据最佳映射方案实现待调度作业的调度；具体过程包括：初始调度：将作业队列中的作业j＝{j1，j2，...，j
n
}与温度最低的机柜中的服务器s＝{s1，s2，...，s
n
}进行随机映射；
优化调度：根据初始调度的结果进行进一步的优化，计算每一台服务器s中的剩余资源大小并进行升序，根据排序顺序判断剩余资源最小的服务器能否满足剩余资源最大的服务器中的作业需求并且在设定的资源利用率阈值k以内，若能满足，将作业重新分配，否则继续遍历。10.如权利要求8所述的基于温度预测的数据中心作业调度系统，其特征是，所述优化调度；具体包括：步骤1)：根据初始调度的结果，计算当前调度方案中每个服务器s
i
中的剩余资源大小并将得到的按照从小到大的顺序进行排列；执行步骤2)；步骤2)：按照排序后的剩余资源大小对对应的服务器节点进行遍历，并选取当前排序第一的服务器节点，和排序倒数第一的服务器节点，执行步骤3)；步骤3)：判断当前排序第一的服务器节点中的剩余资源大小是否满足排序倒数第一的服务器节点中作业j
j
所需的cpu大小和作业j
j
所需的内存大小若满足，则执行步骤4)，若不满足，执行步骤7)；步骤4)：将排序倒数第一的服务器节点中的作业分配到排序第一的服务器节点中，并将排序倒数第一的服务器节点从队列中移除，更新服务器队列位置信息，执行步骤5)；步骤5)：判断排序第一的服务器是否在满足资源利用率阈值k的条件下还有剩余资源；若满足则继续执行步骤4)；否则，执行步骤6)；步骤6)：将当前排序第一的服务器节点从所有服务器队列中删除，并更新服务器队列的排序信息，然后返回步骤2)；步骤7)：判断服务器节点队列是否遍历结束，若没结束，则执行步骤6)；若结束，则得到最终的映射关系，调度结束。

技术总结
本发明公开了基于温度预测的数据中心作业调度方法及系统，包括：获取数据中心机柜相关参数、机柜中服务器的相关参数、作业队列中待调度作业所需资源大小和冷却设备的相关参数；对获取的数据进行预处理，对于预处理后的数据进行特征筛选；基于训练后的机器学习模型和筛选得到的特征，预测出未来设定时间段内机柜的温度，选出温度最低的机柜；将待调度作业，在温度最低的机柜的若干个服务器中进行初始调度和优化调度，通过多次迭代，选出服务器与待调度作业之间的最佳映射方案；根据最佳映射方案实现待调度作业的调度。方案实现待调度作业的调度。方案实现待调度作业的调度。


技术研发人员：杨美红 陈泳杰 王继彬 郭莹
受保护的技术使用者：山东省计算中心（国家超级计算济南中心）
技术研发日：2022.04.11
技术公布日：2022/7/29