基于模型健康度的云数据中心能耗优化方法与流程

摘要: 本发明涉及云计算及数据中心节能控制,具体是基于模型健康度的云数据中心能耗优化方法。背景技术:1、随着云计算、大数据和人工智能等业务的快速发展,数据中心机房规模持...
基于模型健康度的云数据中心能耗优化方法与流程

本发明涉及云计算及数据中心节能控制,具体是基于模型健康度的云数据中心能耗优化方法。

背景技术:

1、随着云计算、大数据和人工智能等业务的快速发展,数据中心机房规模持续扩大,服务器数量和功率密度不断提高,导致数据中心整体能耗快速增长,运行成本和碳排放压力显著增加;为了降低能耗,业内已经提出了多种节能控制技术,主要包括虚拟机放置与迁移优化、服务器频率和功率管理、冷却系统优化与送风温度控制和联合优化框架;另一方面,在数据中心运维、建筑节能以及机器学习运维等领域,已有工作提出利用预测模型或健康度指标对系统和模型状态进行评估,例如:依据温度和气流分布计算冷却效果指标,评估制冷系统是否健康、是否存在局部过冷或热点;基于预测误差、数据分布漂移等指标构建模型健康度,用于触发模型重训练或异常告警;在部分控制方案中,将模型不确定性或置信度引入控制算法,在节能收益和约束越限风险之间进行权衡;然而现有技术中仍旧存在一定缺陷,多数联合能耗优化方法默认功耗预测模型和温度预测模型在全生命周期内可靠,缺乏对模型健康状态的持续评估,当模型失配或参数老化时仍然执行激进节能策略,容易导致能耗预测偏差、机柜温度越限或服务质量下降;已有健康度或置信度相关研究,往往只将健康度用于单一目的,例如用于报警、用于某个控制参数的简单修正,或用于触发模型重训练,并未将统一的模型健康度指标与虚拟机放置策略、温度安全裕度、虚拟机迁移规模及能耗优化触发周期进行协同联动控制;在云数据中心长期运行场景下,需要在节能收益、模型失配风险、虚拟机迁移扰动以及优化计算开销之间取得平衡,现有方案对这些因素的综合考虑不足,缺少面向长期运行的闭环机制,难以在业务和环境持续变化的条件下保持稳定可靠的节能效果。

技术实现思路

1、本发明的目的在于提供基于模型健康度的云数据中心能耗优化方法,以解决现有技术中提出的问题。

2、为实现上述目的,本发明提供如下技术方案:基于模型健康度的云数据中心能耗优化方法,方法包括以下步骤:

3、s1、设置时间片划分与运行数据采集机制用于将云数据中心的运行时间划分为连续的优化时间片,并采集物理服务器及在物理服务器上运行的虚拟机的运行数据;

4、s2、设置功耗与温度预测模型在线更新机制用于根据历史数据缓冲区中的资源利用率、历史功率测量值以及历史温度测量值,对预先建立的服务器功耗预测模型和服务器温度预测模型进行在线参数更新;

5、s3、构建用于表征功耗预测模型健康状态的第一健康度指标和用于表征温度预测模型健康状态的第二健康度指标,并将第一健康度指标和第二健康度指标加权融合获取统一模型健康度;

6、s4、设置多维联动控制参数确定机制用于将统一模型健康度与第一阈值和第二阈值进行比较,并通过预先设定的关于统一模型健康度的分段连续映射函数确定控制参数;

7、s5、联合能耗优化求解获取虚拟机到目标物理服务器的放置方案、各物理服务器的处理器运行频率以及冷却系统的送风温度设定值,并在长期运行中对方案进行优化;

8、设置健康度偏低预测及处理机制用于预测耗能优化过程中物理服务器的运行状态,若预测到物理服务器存在温度超过温度安全裕度确定的上限且统一模型健康度持续低于第一阈值的情况,则触发保守控制策略。

9、进一步的,在步骤s1中:所述时间片划分与运行数据采集机制所述时间片划分与运行数据采集机制用于将云数据中心的运行时间划分为连续的优化时间片,在每个优化时间片内,采集各物理服务器及其上运行的虚拟机的资源利用率信息,比如cpu利用率、内存利用率等,以及功率测量值以及处理器温度或者内存温度的测量值,并将采集的数据存入历史数据缓冲区。

10、进一步的,在步骤s2中:所述功耗与温度预测模型在线更新机制基于历史数据缓冲区中的资源利用率、历史功率测量值以及历史温度测量值,对预先建立的服务器功耗预测模型和服务器温度预测模型进行在线参数更新;所述在线更新采用带遗忘因子的递归最小二乘算法或者卡尔曼滤波算法对模型参数进行增量式修正,使模型能够跟踪数据中心环境、业务负载结构及设备性能随时间的变化;利用更新后的功耗预测模型和温度预测模型,分别计算当前优化时间片内各物理服务器的功耗预测值和温度预测值,以跟踪数据中心环境、负载结构及设备性能随时间的缓慢变化,提高所述预测模型在长期运行过程中的适应性。

11、进一步的,在步骤s3中:在以当前优化时间片为末端的预设滑动时间窗口内,分别构造功耗预测误差序列和温度预测误差序列,基于误差的绝对值或平方值计算得到功耗预测误差统计量和温度误差统计量;利用单调递减的归一化函数,将功耗预测误差统计量映射为第一健康度指标,将温度预测误差统计量映射为第二健康度指标,设置权重系数对第一健康度指标和第二健康度指标进行加权融合,获取统一的模型健康度h,h的取值范围为0至1。

12、进一步的,所述滑动时间窗口的长度根据云数据中心业务负载的波动周期进行自适应调整,以在窗口长度过短导致的健康度剧烈波动与窗口长度过长导致的健康度迟滞之间取得平衡;所述第一健康度指标基于所述滑动时间窗口内功耗预测误差的绝对值或平方值计算得到误差统计量,并通过单调递减的归一化函数映射到0至1区间,用于表征功耗预测模型在所述滑动时间窗口内的健康状态,所述第二健康度指标基于所述滑动时间窗口内温度预测误差的绝对值或平方值计算得到误差统计量,并通过单调递减的归一化函数映射到0至1区间,用于表征温度预测模型在所述滑动时间窗口内的健康状态;其中,当误差偏小时与误差对应的健康度趋于1,当误差超过预设上限时与误差对应的健康度趋于0;所述统一模型健康度用于联合表征功耗预测模型与温度预测模型的统计可靠性,以及由模型失配导致温度约束、功率约束或服务等级协议约束被违反的风险水平。

13、进一步的,在步骤s4中:所述多维联动控制参数确定机制用于设置第一阈值hlow和第二阈值hhigh,其中0<hlow<hhigh<1,并将统一模型健康度h与第一阈值和第二阈值进行比较,并通过预先设定的关于统一模型健康度的分段连续映射函数确定控制参数,所述控制参数包括虚拟机放置优化算法的类型、服务器运行的温度安全裕度、每个优化时间片允许执行的虚拟机迁移数量上限和相邻两次能耗优化之间的触发周期长度。

14、进一步的,所述分段连续映射函数被配置为:

15、若h≥hhigh,判断预测模型的统一健康度处于高健康度区间,判断预测模型可靠性高,则采用激进节能策略;采用启发式虚拟机放置算法,例如首次适应算法、最佳适应算法等,以降低算法复杂度并缩短求解时间;将温度安全裕度设置为偏小值,允许服务器或机柜运行温度接近安全上限,以便提高冷却系统送风温度、减少冷却能耗;将虚拟机迁移数量上限设置为偏大值,以便更充分地进行虚拟机整合;并将能耗优化触发周期设置为长周期,例如多个时间片触发一次,以降低优化计算开销;

16、若h≤hlow,判断预测模型的统一健康度处于低健康度区间,判断预测模型的可靠度低,则采用保守控制策略;采用元启发式虚拟机放置算法,例如遗传算法、粒子群算法或模拟退火算法,以在更大的解空间中寻找满足安全约束的保守方案;将温度安全裕度设置为偏大值,将允许的目标温度上限下调,以增加温度冗余;将虚拟机迁移数量上限设置为偏小值,减少业务扰动;并将能耗优化触发周期设置为短周期,以便更频繁地根据模型误差变化调整控制策略;

17、若hlow

18、进一步的,所述虚拟机放置优化算法的类型包括启发式算法、元启发式算法和启发式算法与元启发式算法的混合算法;所述服务器运行的温度安全裕度为约束服务器或机柜的最高允许控制温度;所述每个优化时间片允许执行的虚拟机迁移数量上限为用于限制虚拟机迁移带来的业务扰动;所述相邻两次能耗优化之间的触发周期长度为用于控制能耗优化求解的调用频率及优化计算开销。

19、进一步的,在步骤s5中:在步骤s4确定的虚拟机放置优化算法类型、温度安全裕度、虚拟机迁移数量上限及触发周期约束下,以云数据中心在当前优化时间片内的总能耗为目标函数,以各物理服务器的资源容量、所述温度安全裕度以及服务等级协议约束为约束条件,求解得到各虚拟机到目标物理服务器的放置方案、各物理服务器的处理器运行频率以及冷却系统的送风温度设定值;按照求解得到的所述放置方案、处理器运行频率和送风温度设定值控制云数据中心在当前优化时间片内的运行,当前优化时间片结束后进入下一优化时间片并返回步骤s1,从而在长期运行过程中在节能收益、模型失配风险、虚拟机迁移扰动及优化计算开销之间实现综合平衡。

20、进一步的,设置健康度偏低预测及处理机制,用于预测某一物理服务器在未来一个或m个优化时间片内的运行状态,若物理服务器存在温度超过温度安全裕度确定的上限且统一模型健康度h持续低于第一阈值hlow的情况,则触发保守控制策略,所述保守控制策略为:降低该物理服务器的处理器运行频率;将该物理服务器上运行的部分虚拟机迁移至其它物理服务器;提高数据中心的全局温度安全裕度;从而降低模型失配情况下的温度越限风险,并在模型恢复或重训练前保持云数据中心运行安全和业务稳定。

21、与现有技术相比,本发明的有益效果是:

22、本发明通过对功耗预测误差和温度预测误差进行滑动统计并归一化,构建统一的模型健康度,将功耗预测模型与温度预测模型在一定时间窗口内的统计可靠性统一表示为单一指标,使模型健康状态可以被量化感知;模型健康度不仅反映误差大小,还用于表征温度越限、能耗偏差及服务质量违约的风险水平,为后续策略调整提供统一的风险度量基础,通过引入统一模型健康度,显式刻画预测模型可靠性及风险水平;通过将模型健康度与关键控制量的多维联动,提高了联合优化的鲁棒性;

23、本发明并非仅将模型健康度用于告警或触发模型重训练,而是利用统一的模型健康度同时驱动虚拟机放置算法类型、温度安全裕度、虚拟机迁移数量上限及能耗优化触发周期四个关键控制量,通过分段连续映射实现多维联动控制;当模型健康度较高时,系统在保证安全约束的前提下采用更激进的节能策略;当模型健康度降低时,系统自动切换为更保守的控制策略,有效避免了在模型失配阶段继续执行过度激进的能耗优化,显著提升联合优化在长期运行场景下的鲁棒性,并采用分段连续映射和平滑插值,避免策略剧烈切换;

24、本发明通过设置第一阈值和第二阈值,将模型健康度区间划分为高健康度区间、低健康度区间和中间过渡区间,并在中间过渡区间采用线性插值方式,使温度安全裕度、虚拟机迁移数量上限及能耗优化触发周期随h连续、单调变化;该分段连续映射方式避免了控制参数在不同健康度区间跳变,减少了频繁切换策略对系统稳定性和业务性能的影响,有利于数据中心在实际工程运行中的平滑过渡;

25、本发明兼顾节能效果、业务扰动与优化计算开销;在联合能耗优化中显式引入虚拟机迁移数量上限和能耗优化触发周期两个控制量,并由模型健康度动态调节;一方面,通过限制每个时间片的虚拟机迁移规模,避免频繁、大规模迁移对业务造成显著扰动;另一方面,在模型健康度较高时延长能耗优化触发周期,以减少优化求解的调用次数和计算开销,在模型健康度较低时缩短触发周期,以提高系统对模型失配和环境变化的响应能力,从而在节能收益、业务扰动和计算开销之间取得平衡;通过在线参数更新机制,本发明达到了跟踪数据中心环境、负载结构及设备性能随时间的变化,维持功耗预测模型和温度预测模型的有效性;通过滑动时间窗口内的模型健康度评估,能够及时发现模型性能下降的趋势,并在统一模型健康度的驱动下调整联合优化策略及关键控制参数,使能耗优化过程具备面向长期运行的自适应能力;即使在模型健康度持续偏低的阶段,通过触发保守控制策略,仍可保障云数据中心运行安全和业务稳定,为后续模型恢复或重训练留出缓冲时间窗口;综上,本发明在已有虚拟机调度、频率控制和冷却控制技术基础上,引入统一模型健康度及多维联动控制机制,从系统整体角度改善云数据中心能耗优化的可靠性和长期效果,具有良好的工程应用前景。