一种面向算力中心的电算联合感知及可迁移性画像方法及系统与流程

摘要: 本发明涉及资源调度,具体为一种面向算力中心的电算联合感知及可迁移性画像方法及系统。背景技术:1、随着算力网络的快速发展和大规模算力中心的建设,数据中心承载的计算...
一种面向算力中心的电算联合感知及可迁移性画像方法及系统与流程

本发明涉及资源调度,具体为一种面向算力中心的电算联合感知及可迁移性画像方法及系统。

背景技术:

1、随着算力网络的快速发展和大规模算力中心的建设,数据中心承载的计算任务呈现出海量化和异构化的趋势。在算力中心的日常运营中,如何高效地进行算力资源的统筹调度以及实现能耗的精准管理,已成为保障算力基础设施稳定运行和绿色节能的关键。算电协同调度作为提升资源利用率和降低整体运营成本的重要手段,对底层运行数据的感知精度、任务特性的量化评估以及功耗预测的准确性提出了越来越高的要求。

2、在现有的算力集群调度与能耗管理流程中,调度系统通常通过调用异构算力集群管理平台的上层接口来获取任务状态和资源分配信息,以此作为业务调度的基础数据。在任务分配方面,系统多依据实时的可用资源容量执行调度动作。而在针对算力节点的电力功耗预测环节,传统的负荷建模方法主要依靠提取算力节点当前处于运行状态任务的硬件资源利用率等直观运行指标,并将这些指标直接作为输入特征导入常规的预测模型中,进而输出节点的预期功耗数值。

3、然而,上述常规方法在实际应用中存在多方面局限。首先,仅依赖平台层接口获取数据缺乏与底层物理节点硬件运行状况的深度融合,导致系统在复杂环境下的感知数据不够全面。其次,现有方案往往将计算任务视为刚性负载,未从时间延迟容忍度、空间传输成本及中断恢复等维度对任务的可迁移灵活性进行客观量化,导致跨域调度缺乏有效的弹性参考依据。此外,传统功耗预测模型直接使用当前运行态资源的利用率作为特征,未将任务排队等待阶段造成的系统底层调度开销与资源预留消耗纳入测算。当系统处于高并发拥堵状态时,这种忽略排队等效负荷的做法会使输入数据产生偏差,导致模型在业务高峰期系统性地低估实际的电力功耗,无法满足精准能耗管理的实际需求。

技术实现思路

1、针对现有技术的不足,本发明提供了一种面向算力中心的电算联合感知及可迁移性画像方法及系统,解决了现有技术存在异构系统数据感知不全面、缺乏对算力任务可迁移性的多维量化,以及在系统拥堵时因忽略排队等效负荷导致节点电力功耗预测不准的问题。

2、为实现以上目的,本发明通过以下技术方案予以实现:

3、第一方面,本发明提供一种面向算力中心的电算联合感知及可迁移性画像方法,包括以下步骤:

4、执行异构系统的双源数据采集与预处理:通过并行开启的平台api调用通道与本地监控通道分别获取平台级运行数据和节点级时序数据,将采集的平台级运行数据和节点级时序数据经清洗后转化为统一标准格式并写入与时序数据库中,所述时序数据库与算力节点本地监控程序数据库建立物理隔离;

5、从所述时序数据库中提取算力任务的多维度需求属性,生成所述算力任务的标准化表征向量,依据所述标准化表征向量分别计算时间可迁移性、空间可迁移性及中断可恢复性并加权得到综合可迁移性指数,依据所述综合可迁移性指数划定灵活性类别,输出包含灵活性类别标签的所述算力任务的标准化可迁移画像快照。

6、优选的,所述执行异构系统的双源数据采集与预处理,具体包括:

7、在算力节点以容器化方式部署电算联合感知器并执行硬件基线采集,提取所述算力节点的静态配置信息;

8、启动周期性采集循环,并行开启平台api调用通道与本地监控通道;

9、通过多源api统一适配层调用异构算力集群管理平台接口获取平台级运行数据,并通过基于角色的访问控制rbac模型对所述电算联合感知器赋予只读监控权限;

10、通过所述本地监控通道读取设备底层运行状态获取节点级时序数据;

11、对双源并行获取的多源异构数据执行异常值剔除、缺失值填充、时间戳对齐及单位标准化,转换为统一的标准schema结构化格式写入所述时序数据库中。

12、优选的,所述多维度需求属性由任务类型、服务等级协议约束集合、计算资源需求集合、网络传输需求集合以及任务迁移属性集合构成;

13、所述服务等级协议约束集合包括截止时间、最大可延迟时长、检查点间隔及数据本地化要求;

14、所述计算资源需求集合包括图形处理器需求卡数、中央处理器需求核数、内存容量需求及网络带宽需求;

15、所述网络传输需求集合包括端到端延迟要求、带宽需求及网络抖动容忍度;

16、所述任务迁移属性集合包括跨节点迁移数据量、任务恢复时间及重算成本。

17、优选的,所述依据标准化表征向量分别计算时间可迁移性、空间可迁移性及中断可恢复性并加权得到综合可迁移性指数,具体包括:

18、所述时间可迁移性依据最大可延迟时长与预计执行时长的比值计算;

19、所述空间可迁移性依据跨节点迁移数据量与带宽需求的比值经网络成本系数调节后计算;

20、所述中断可恢复性依据检查点间隔是否大于零的指示函数与重算成本占比计算;

21、对所述时间可迁移性、所述空间可迁移性以及所述中断可恢复性进行加权计算,所述综合可迁移性指数满足:

22、;

23、式中,为综合可迁移性指数;为时间权重系数;为时间可迁移性;为空间权重系数;为空间可迁移性;为中断权重系数;为中断可恢复性;权重系数、、满足数值相加之和为1。

24、优选的,所述依据综合可迁移性指数划定灵活性类别,输出标准化可迁移画像快照,具体包括:

25、将所述综合可迁移性指数数值限定在0至1之间,预设数值划分区间,依据所述综合可迁移性指数落入的具体数值区间自动划定灵活性类别,所述灵活性类别包括刚性、时间弹性、空间弹性以及完全弹性;

26、通过序列化方式保存任务的运行上下文,生成轻量级的标准化可迁移画像快照,所述标准化可迁移画像快照包括综合可迁移性指数、灵活性类别、任务调度优先级、多维迁移成本及电力功耗敏感度,将包含灵活性类别标签的标准化多维可迁移成本画像封装输出。

27、优选的,输出标准化可迁移画像快照之后,还包括以下步骤:从所述时序数据库中提取任务到达率、任务服务率及并行服务节点数量参数,建立面向算力任务多节点并行调度场景的m/m/c排队论模型,计算系统空闲概率及任务平均排队时延,将所述任务到达率、所述任务平均排队时延与预设的单个排队任务平均等效资源占用系数连乘得到排队等效负荷,将所述排队等效负荷与当前运行态任务资源占用量相加,生成修正后的综合有效负荷序列。

28、优选的,所述建立m/m/c排队论模型,计算系统空闲概率及任务平均排队时延,具体包括:

29、计算当前算力系统的业务强度:

30、式中,为业务强度;为任务到达率;为并行服务节点数量;为任务服务率;

31、判断业务强度ρ是否严格小于1以确认系统满足稳定运行条件;

32、在确认系统满足稳定条件后,计算系统空闲概率,并基于所述系统空闲概率计算任务平均排队时延。

33、优选的,所述排队等效负荷满足:

34、;

35、式中,为排队等效负荷;为任务到达率;为任务平均排队时延;为单个排队任务的平均等效资源占用系数;

36、所述综合有效负荷满足:

37、;

38、式中,为综合有效负荷;为处于运行状态的任务集合索引;为第个运行态任务的资源占用系数;为当前所有处于运行态任务的资源占用量之和。

39、优选的,生成修正后的综合有效负荷序列之后,还包括以下步骤:提取所述综合有效负荷序列并同步读取所述时序数据库中的硬件运行时序特征,将二者拼接组合生成多尺度特征矩阵,将所述多尺度特征矩阵输入预先训练的集成学习模型中,输出算力节点对应的电力功耗预测值。

40、优选的,所述预先训练的集成学习模型采用lightgbm模型与sequential神经网络相融合的网络架构;

41、利用所述lightgbm模型处理所述多尺度特征矩阵中的离散特征与结构化数据,利用所述sequential神经网络提取所述多尺度特征矩阵中时间序列的动态特征;

42、所述硬件运行时序特征包括中央处理器利用率、图形处理器利用率以及内存占用数据。

43、优选的,输出电力功耗预测值之后,还包括:

44、接收并记录所述电力功耗预测值与所述标准化可迁移画像快照;

45、通过标准数据输出接口将功耗预测结果与任务弹性参数反馈给外部调度系统,执行算力任务迁移调度及系统运行优化。

46、本发明第二方面,一种面向算力中心的电算联合感知及可迁移性画像系统,包括数据采集层和建模分析层;

47、所述数据采集层,通过并行开启的平台api调用通道与本地监控通道分别获取平台级运行数据和节点级时序数据,将采集的平台级运行数据和节点级时序数据经清洗后转化为统一标准格式并写入与时序数据库中,所述时序数据库与算力节点本地监控程序数据库建立物理隔离;

48、所述建模分析层,用于从所述时序数据库中提取算力任务的多维度需求属性,生成所述算力任务的标准化表征向量,依据所述标准化表征向量分别计算时间可迁移性、空间可迁移性及中断可恢复性并加权得到综合可迁移性指数,依据所述综合可迁移性指数划定灵活性类别,输出包含灵活性类别标签的所述算力任务的标准化可迁移画像快照。

49、优选的,所述数据采集层配置有协议转换中间件和电算联合感知器;

50、所述协议转换中间件用于接收异构算力集群管理平台发出的restful协议请求、grpc协议请求及系统私有远程过程调用协议请求,将其统一解析并重组为系统内部标准消息格式;

51、所述电算联合感知器以容器化方式部署于算力节点,用于调用本地监控脚本读取设备底层运行状态获取节点级时序数据;

52、所述数据采集层内嵌基于角色的访问控制rbac模型,用于对所述电算联合感知器赋予只读监控权限。

53、优选的,所述建模分析层包括画像生成模块与负荷建模模块;

54、所述画像生成模块用于提取算力任务的多维度需求属性构建标准化表征向量,分别计算时间可迁移性、空间可迁移性及中断可恢复性并加权得到综合可迁移性指数,依据所述综合可迁移性指数划定灵活性类别并输出标准化可迁移画像快照。

55、优选的,还包括应用服务层;所述应用服务层用于从所述时序数据库中提取任务到达率、任务服务率及并行服务节点数量参数,建立面向算力任务多节点并行调度场景的m/m/c排队论模型,计算系统空闲概率及任务平均排队时延,将所述任务到达率、所述任务平均排队时延与预设的单个排队任务平均等效资源占用系数连乘得到排队等效负荷,将所述排队等效负荷与当前运行态任务资源占用量相加,生成修正后的综合有效负荷序列。

56、优选的,还包括输出终端层;所述输出终端层用于提取所述综合有效负荷序列并同步读取所述时序数据库中的硬件运行时序特征,将二者拼接组合生成多尺度特征矩阵,将所述多尺度特征矩阵输入预先训练的集成学习模型中,输出算力节点对应的电力功耗预测值。

57、优选的,所述应用服务层配置有标准数据输出接口,用于向算力调度终端与能源管理终端提供数据查询与读取服务;

58、所述应用服务层将所述电力功耗预测值与所述标准化可迁移画像快照记录于应用数据库中,通过所述标准数据输出接口将功耗预测结果与任务弹性参数反馈给外部调度系统,为算电跨域协同调度及绿色算能交易提供数据依据。

59、第三方面,一种计算机设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现所述面向算力中心的电算联合感知及可迁移性画像方法的步骤。

60、第四方面,一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现所述面向算力中心的电算联合感知及可迁移性画像方法的步骤。

61、本发明提供了一种面向算力中心的电算联合感知及可迁移性画像方法及系统。具备以下有益效果:

62、本发明通过在算力节点部署电算联合感知器,并行开启平台api调用通道与本地监控通道,实现了对异构系统多源运行数据的全面采集。同时,将清洗并转化为标准格式的时序数据写入独立建立物理隔离机制的时序数据库中,有效消除了高并发采集场景下的数据读写冲突风险,保障了底层感知系统在数据收集阶段的稳定运行。

63、本发明通过提取算力任务的服务等级协议约束、计算资源和网络传输等多维度需求属性构建标准化表征向量,并在此基础上分别计算时间可迁移性、空间可迁移性及中断可恢复性。该方式将复杂的任务运行特征转化为具体的综合可迁移性指数,并划定相应的灵活性类别生成画像快照,为后续系统执行跨域任务调度提供了客观量化的数据基础。

64、本发明针对算力任务多节点并行调度场景建立了m/m/c排队论模型,将排队拥堵状态下的排队等效负荷与当前运行状态任务的资源占用量相加,生成修正后的综合有效负荷序列。这种建模方式纠正了传统负荷模型在系统拥堵时对底层调度开销与资源预留消耗测算不足的缺陷,结合集成学习模型,有效提升了算力节点电力功耗预测的准确性。