一种数据中心多任务算力任务能耗识别与校正方法及系统与流程

摘要: 本技术涉及数据中心能耗监测,更具体地说,本技术涉及一种数据中心多任务算力任务能耗识别与校正方法及系统。背景技术:1、随着人工智能训练、模型推理、视频处理、科学计...
一种数据中心多任务算力任务能耗识别与校正方法及系统与流程

本技术涉及数据中心能耗监测,更具体地说,本技术涉及一种数据中心多任务算力任务能耗识别与校正方法及系统。

背景技术:

1、随着人工智能训练、模型推理、视频处理、科学计算和大数据分析任务在数据中心中的持续增长,数据中心能耗监测技术已成为绿色算力基础设施建设的重要支撑技术,该技术能够对服务器、处理器、显卡、机柜等不同层级的功率数据进行持续采集和管理,为能耗核算、资源调度、任务迁移和算力资源优化提供基础数据,尤其在多任务共享运行环境下,能耗监测结果不仅关系到数据中心整体能耗管理水平,也直接影响不同算力任务的能耗评估和绿色调度决策。

2、在现有技术中,数据中心通常能够获取服务器整机功率、处理器功率、显卡功率或机柜电表功率,但这些功率数据多属于设备级或部件级监测结果,难以直接反映单个算力任务的实际能耗贡献,为了获得任务级能耗,现有方法常采用资源占比分摊、功耗预测模型或聚合功率分解等方式进行估计,然而在同一服务器同时运行多个容器、进程或gpu任务时,目标任务的启动、结束或负载变化往往会与其他任务的资源波动相互叠加,导致服务器功率变化来源难以区分,若直接按照资源占比进行分配,容易忽略不同任务对功率变化的差异;若仅依赖整体功率曲线进行拆分,又容易受到背景任务变化、监控数据缺失和共享资源竞争的影响,造成任务能耗高估或低估,进而影响后续能耗预测和绿色调度判断,因此,如何实现数据中心多任务共享运行环境下单个算力任务能耗贡献的准确识别,从而提高任务级能耗评估结果的可信度成为了业界面临的难题。

技术实现思路

1、本技术提供一种数据中心多任务算力任务能耗识别与校正方法及系统,可实现数据中心多任务共享运行环境下单个算力任务能耗贡献的准确识别,从而提高任务级能耗评估结果的可信度。

2、第一方面,本技术提供一种数据中心多任务算力任务能耗识别与校正方法,包括如下步骤:

3、采集同一服务器上目标算力任务和其他算力任务的资源使用数据和服务器功率数据;

4、对采集的资源使用数据和服务器功率数据进行时间对齐,得到资源序列和功率序列;

5、根据目标算力任务的运行事件构建事件前分析窗口和事件后分析窗口,基于所述事件前分析窗口和所述事件后分析窗口对所述功率序列进行双窗基线差分,得到目标算力任务在关键事件下引发的功率变化特征;

6、通过所述资源序列中其他算力任务的资源变化量识别出其他算力任务对服务器功率变化产生的干扰特征信息;

7、通过所述干扰特征信息和所述功率变化特征对目标算力任务进行干扰校正与能量增量分析,得到目标算力任务的增量功率和增量能耗结果;

8、通过所述增量功率和所述增量能耗结果生成带可信度的任务级能耗标签。

9、在本实施例中,对采集的资源使用数据和服务器功率数据进行时间对齐,得到资源序列和功率序列具体包括:

10、设定全局统一的时间窗口长度,将连续的系统运行时间轴划分为互不重叠的离散时间窗口序列;

11、以所述离散时间窗口为对齐基准,对采集的服务器功率数据进行聚合计算,得到所述离散时间窗口序列内每个时间窗口的服务器平均功率值,并构成功率序列;

12、以所述离散时间窗口为对齐基准,对采集的资源使用数据进行聚合计算,得到所述离散时间窗口序列内每个时间窗口的各算力任务平均资源使用向量,并构成资源序列。

13、在本实施例中,根据目标算力任务的运行事件构建事件前分析窗口和事件后分析窗口具体包括:

14、以目标算力任务发生关键事件的时间点为锚点,设定预设时长的跳过时间;

15、在所述跳过时间之前,向前截取第一预设时段作为事件前分析窗口;

16、在所述跳过时间之后,向后截取第二预设时段作为事件后分析窗口。

17、在本实施例中,基于所述事件前分析窗口和所述事件后分析窗口对所述功率序列进行双窗基线差分,得到目标算力任务在关键事件下引发的功率变化特征具体包括:

18、从所述功率序列中提取所述事件前分析窗口内的功率采样值,得到所述事件前分析窗口的平均功率;

19、从所述功率序列中提取所述事件后分析窗口内的功率采样值,得到所述事件后分析窗口的平均功率;

20、根据所述事件后分析窗口的平均功率与所述事件前分析窗口的平均功率之间的差异特征确定所述目标算力任务在关键事件下引发的功率变化特征。

21、在本实施例中,根据所述事件后分析窗口的平均功率与所述事件前分析窗口的平均功率之间的差异特征确定所述目标算力任务在关键事件下引发的功率变化特征具体包括:

22、从所述功率序列中读取所述事件前分析窗口和所述事件后分析窗口内的服务器平均功率值,并对所述服务器平均功率值进行有效采样筛选,得到有效功率采样点;

23、根据硬件功率读数误差和历史稳定运行窗口内的功率偏离幅度设置预设偏离范围,并基于所述预设偏离范围对所述有效功率采样点进行稳态采样筛选,得到稳态功率采样点;

24、根据所述稳态功率采样点和所述事件前分析窗口、所述事件后分析窗口内有效功率采样点的数量确定有效性权重;

25、通过所述有效性权重对所述事件后分析窗口的平均功率与所述事件前分析窗口的平均功率之间的差异特征进行修正,得到所述目标算力任务在关键事件下引发的功率变化特征。

26、在本实施例中,通过所述资源序列中其他算力任务的资源变化量识别出其他算力任务对服务器功率变化产生的干扰特征信息具体包括:

27、从所述资源序列中提取所述事件前分析窗口和所述事件后分析窗口内其他算力任务的资源使用量,进而确定所述资源序列中其他算力任务的资源变化量;

28、根据其他算力任务的资源变化量结合不同资源类型对功率变化的影响权重确定背景环境波动的资源变化度;

29、当所述资源变化度大于稳定性阈值时,判定其他算力任务发生明显变化,并根据其他算力任务的资源变化量以及预先构建的资源功率映射模型确定其他算力任务对服务器功率变化产生的干扰特征信息。

30、在本实施例中,通过所述干扰特征信息和所述功率变化特征对目标算力任务进行干扰校正与能量增量分析,得到目标算力任务的增量功率和增量能耗结果具体包括:

31、根据所述目标算力任务的关键事件类型设定事件方向系数,并评估服务器的基础缓变功率;

32、通过所述干扰特征信息对所述功率变化特征进行干扰扣除处理,得到消除干扰后的功率变化值;

33、根据消除干扰后的功率变化值、所述事件方向系数和所述基础缓变功率确定目标算力任务的增量功率;

34、根据所述增量功率和事件后分析窗口的持续时间确定事件后分析窗口内的增量能耗值;

35、在目标算力任务的整个生命周期内,对事件后分析窗口内的增量能耗值进行累积,得到目标算力任务的增量能耗结果。

36、在本实施例中,根据消除干扰后的功率变化值、所述事件方向系数和所述基础缓变功率确定目标算力任务的增量功率具体包括:

37、根据消除干扰后的功率变化值和所述事件方向系数确定方向调整后的功率变化值;

38、根据方向调整后的功率变化值和所述基础缓变功率确定扣除缓变影响后的功率值;

39、对扣除缓变影响后的功率值执行非负截断处理,得到目标算力任务的增量功率。

40、在本实施例中,通过所述增量功率和所述增量能耗结果生成带可信度的任务级能耗标签具体包括:

41、在能耗计算过程中,同步采集评估上下文质量参数;

42、根据历史校准数据为所述评估上下文质量参数设置惩罚权重;

43、根据所述评估上下文质量参数和所述惩罚权重确定所述增量功率和所述增量能耗结果的可信度得分;

44、将所述增量功率、所述增量能耗结果和所述可信度得分按照标准化格式进行封装,生成结构化的任务级能耗标签。

45、第二方面,本技术提供一种数据中心多任务算力任务能耗识别与校正系统,用于执行一种数据中心多任务算力任务能耗识别与校正方法,所述能耗识别与校正系统包括:

46、资源功率采集模块,用于采集同一服务器上目标算力任务和其他算力任务的资源使用数据和服务器功率数据;

47、时间对齐序列模块,用于对采集的资源使用数据和服务器功率数据进行时间对齐,得到资源序列和功率序列;

48、双窗基线差分模块,用于根据目标算力任务的运行事件构建事件前分析窗口和事件后分析窗口,基于所述事件前分析窗口和所述事件后分析窗口对所述功率序列进行双窗基线差分,得到目标算力任务在关键事件下引发的功率变化特征;

49、干扰特征识别模块,用于通过所述资源序列中其他算力任务的资源变化量识别出其他算力任务对服务器功率变化产生的干扰特征信息;

50、干扰校正增量模块,用于通过所述干扰特征信息和所述功率变化特征对目标算力任务进行干扰校正与能量增量分析,得到目标算力任务的增量功率和增量能耗结果;

51、能耗标签生成模块,用于通过所述增量功率和所述增量能耗结果生成带可信度的任务级能耗标签。

52、本技术公开的实施例提供的技术方案具有以下有益效果:

53、采集同一服务器上目标算力任务和其他算力任务的资源使用数据和服务器功率数据;对采集的资源使用数据和服务器功率数据进行时间对齐,得到资源序列和功率序列;根据目标算力任务的运行事件构建事件前分析窗口和事件后分析窗口,基于所述事件前分析窗口和所述事件后分析窗口对所述功率序列进行双窗基线差分,得到目标算力任务在关键事件下引发的功率变化特征;通过所述资源序列中其他算力任务的资源变化量识别出其他算力任务对服务器功率变化产生的干扰特征信息;通过所述干扰特征信息和所述功率变化特征对目标算力任务进行干扰校正与能量增量分析,得到目标算力任务的增量功率和增量能耗结果;通过所述增量功率和所述增量能耗结果生成带可信度的任务级能耗标签。

54、由此可见本技术中,可以通过所述增量功率和所述增量能耗结果生成带可信度的任务级能耗标签;其中,首先,通过采集同一服务器上目标算力任务和其他算力任务的资源使用数据以及服务器功率数据,能够将目标算力任务自身运行状态、同机其他任务资源波动和服务器整体功率变化纳入同一能耗识别基础中,避免仅依据设备级功率数据直接推断单个任务能耗所造成的归因偏差;其次,通过对资源使用数据和服务器功率数据进行时间对齐,得到资源序列和功率序列,使不同来源、不同采样频率的数据能够在统一时间基准下进行比对,降低因采样错位导致的能耗估计误差;进一步地,通过目标算力任务的运行事件构建事件前分析窗口和事件后分析窗口,并对功率序列进行双窗基线差分,能够以目标算力任务启动、结束或负载变化前后的功率差异作为识别依据,从服务器整体功率变化中提取目标算力任务在关键事件下引发的功率变化特征,减少传统资源占比分摊方式对固定比例假设的依赖;进一步地,通过其他算力任务的资源变化量识别干扰特征信息,能够将同一服务器上其他任务的资源突增、资源下降或共享资源竞争对服务器功率变化造成的影响显式区分出来,避免将其他任务引起的功率波动错误归因于目标算力任务;最后,通过所述干扰特征信息和所述功率变化特征对目标算力任务进行干扰校正和能量增量分析,得到目标算力任务的增量功率和增量能耗结果,并进一步生成带可信度的任务级能耗标签,使任务能耗结果能够更清楚地反映目标算力任务对服务器功率增量的实际贡献,同时便于后续能耗预测、绿色调度和能耗核算过程中优先采用质量较高的能耗标签,降低背景任务波动对任务级能耗管理结果的干扰。

55、综上所述,本技术采用的技术方案可实现数据中心多任务共享运行环境下单个算力任务能耗贡献的准确识别,提高任务级能耗评估结果的可信度。