一种基于算电协同的智算中心运维管控方法
本发明涉及智算中心,具体为一种基于算电协同的智算中心运维管控方法。
背景技术:
1、智算中心承载大量 ai 训练、大数据运算等高密度算力业务,机柜内部 gpu、计算节点功耗高、负载动态波动剧烈,算力任务的启停、调度会带来瞬时功率冲击。智算中心运行过程中,算力负载、配电供电能力、制冷散热条件三者相互耦合,若算力调度仅考虑算力资源分配,忽略电力容量、制冷能力的约束,容易出现局部机柜功率超限、散热不足等问题,引发设备过热、供电过载,严重时会造成硬件故障停机。
2、但现有的智算中心管控方法仍然存在不足之处,具体为:现有的现有智算中心运维管控方案大多将算力调度、电力监控、制冷控制相互独立开展,算力调度系统侧重算力任务分配,难以跟随算力-功耗动态变化实现协同调控,缺乏对未来算力与功耗变化的预测能力,无法实现事前风险预判。
技术实现思路
1、本发明的目的在于提供一种基于算电协同的智算中心运维管控方法,以解决上述背景技术中提出的问题。
2、为实现上述目的,本发明提供如下技术方案:
3、一种基于算电协同的智算中心运维管控方法,包括以下步骤:
4、s1,采集智算中心历史运行数据,对采集的数据进行清洗、过滤和标准化预处理,消除数据中的噪声和异常值,基于预处理后的数据并采用长期短期记忆神经网络lstm-cnn混合神经网络算法构建算力功耗预测模型,将智算中心的运行任务数据输入算力功耗预测模型内,得到预测算力和预测功耗;
5、s2,将预测算力和预测功耗数据与智算中心的当前运行数据之间进行比对处理,根据比对结果将算力设备分为高、中、低三个等级,并根据高、中、低三个风险等级为算力设备执行不同运行策略;
6、s3,为智算中心中的每一台算力设备设定初始健康评分,智能巡检机器人基于预设的巡检项对算力设备进行周期性检测,当任一巡检项的检测结果异常时,根据该巡检项预设的扣分规则及权重对算力设备的健康评分进行扣减,根据算力设备的健康评分调整智能巡检机器人的巡检策略。
7、作为本发明优选的方案,所述历史运行数据包括算力数据和电力数据,算力数据包括智算中心各计算节点实时算力占用率、gpu 负载、待调度 ai 任务队列、任务优先级、任务预估功耗、任务预计运行时长、计算硬件故障上报,电力数据包括智算中心总可用配电容量、机柜功率上限、母线实时功率、ups 负载率、储能电池 soc、配电设备健康度、电价分时标签。
8、作为本发明优选的方案,所述s1中算力功耗预测模型的构建方法为:将处理后的数据分为训练集和测试集,根据lstm神经网络预测的算力需求趋势和cnn神经网络分析的算力需求特征,融合构建混合神经网络模型,利用测试集数据训练融合后的混合神经网络模型,基于adam优化算法调整相关参数,使得损失函数收敛至最小边界,参数调整完成,判断损失函数的收敛性,反复执行上述步骤直到损失函数达到收敛状态时,退出迭代,得到混合神经网络模型经过训练后的最优参数,将参数代入模型内部,得到算力功耗预测模型。
9、作为本发明优选的方案,所述s2中并根据高、中、低三个风险等级执行不同运行策略的具体方法为:当该算力设备处于低级风险时,将处于高风险等级中的低优先级算力任务迁移至该算力设备中;当该算力设备处于中级风险时,禁止新增大功耗高优先级任务部署,对非核心、低优先级任务做算力降档、任务暂停,调用储能子系统释放储能容量补偿瞬时功率缺口,同步提升对应区域制冷输出;当该算力设备处于高级风险时,下发紧急降载指令,优先终止最低优先级任务,快速下压整机实时功率,同时禁止接入新算力任务,储能全力放电缓冲功率冲击,同时调运智能巡检机器人对该算力设备进行实时监测。
10、作为本发明优选的方案,所述s2中为算力设备执行不同运行策略后,采集智算中心实时数据并根据实时数据与预测趋势进行能耗异常检测以及根因定位,生成能耗损失效率,若能耗损失效率超过阈值,则采用梯度下降算法,以损失函数最小化为目标,对算力功耗预测模型的系数进行小步长微调,微调步长为0.001-0.01,将微调后的系数更新至算力功耗预测模型中,完成算力功耗预测模型的在线迭代优化。
11、作为本发明优选的方案,所述s3中调整智能巡检机器人的巡检策略的具体方法为:根据扣减后的健康评分对算力设备进行排序,将健康评分低于阈值的算力设备的巡检等级提高到二级,智能巡检机器人以高巡检频次对该算力设备进行巡检,同时计算得到算力设备的历史健康评分与当前健康评分的损失值,当损失值超过损失阈值后,将该算力设备的巡检等级提高到一级,调动空闲的智能巡检机器人对该算力设备进行常驻巡检。
12、作为本发明优选的方案,所述adam优化算法调整相关参数的具体方法为:初始化模型参数及各参数的对应最优化学习率,计算模型损失函数中参数在当前迭代次数时的梯度,再基于动量因数计算梯度的指数加权移动平均数计算得到梯度的动量估计,接着根据梯度计算得到rmsprop优化器的二次动量估计,使得损失函数收敛至最小边界,结合动量估计和rmsprop估计得到当前迭代和下一次迭代时的模型参数,根据当前迭代和下一次迭代时的模型参数调整混合神经网络模型。
13、作为本发明优选的方案,s1中对采集的数据进行清洗、过滤和标准化预处理的方法为:短时缺失采用线性插值补全,长时连续缺失标记为无效样本予以剔除,采用滑动窗口下中值滤波与加权移动平均相结合的方式滤除传感器高频毛刺噪声,采用统计阈值结合智算中心业务物理逻辑双重判别方式识别异常值,将无任务事件对应的越界数据作为故障异常值处理,将伴随算力任务启停的越界跳变识别为真实业务数据并予以保留,采用 minmax 归一化将各维特征映射至 [0,1] 区间,并保存各特征最大、最小值参数用于预测结果反标准化,并且对多源采集数据执行时间戳重采样,完成多传感器数据时间对齐。
14、与现有技术相比,本发明的有益效果是:
15、1、本发明中,通过任务数据、电力运行参数、制冷环境数据融合分析,通过 lstmcnn 混合神经网络对未来算力及功耗进行预测,不再依赖事后阈值告警,能够提前预判任务调度带来的功率冲击。依据预测结果划分高、中、低风险等级执行差异化调度策略,中风险阶段通过任务降档、暂停以及储能补偿瞬时功率缺口,同步联动制冷调节;高风险工况下快速降载、抑制功率超限,避免出现供电过载、设备过热停机,降低硬件故障概率。同时充分利用低风险区域任务量少、功率裕度充足的特点,将高风险区域低优先级任务迁移至低风险区域,在规避运行风险的前提下充分挖掘机房现有算力资源,提升资源利用率,同时每次风险调度执行完成后,采集现场真实运行数据开展能耗异常检测与根因定位,当能耗损失效率超出阈值时,采用小步长梯度下降算法对模型系数进行在线微调更新,解决了现有的现有智算中心运维管控方案大多将算力调度、电力监控、制冷控制相互独立开展,算力调度系统侧重算力任务分配,难以跟随算力-功耗动态变化实现协同调控,缺乏对未来算力与功耗变化的预测能力,无法实现事前风险预判的问题。
16、2、本发明中,通过依据巡检项异常情况及权重扣减健康评分,结合设备当前健康评分以及健康评分损失值双重维度动态调整巡检等级与巡检频次,对健康状态良好的设备降低巡检开销;对健康状态劣化、隐患较大的设备提高巡检频次,调度空闲巡检机器人开展持续重点监测,并且能够与算电协同风险等级联动,高风险工况下自动强化对应设备巡检力度,及时发现潜在故障隐患,合理释放有限的巡检机器人资源,减少无效巡检,兼顾故障发现能力与巡检资源使用效率。
17、3、本发明中,通过采用短时插值补全、长时无效样本剔除的缺失值处理方案,结合中值滤波与加权移动平均滤除高频毛刺噪声,采用统计阈值结合业务物理逻辑双重判别机制,区分传感器故障异常点与ai任务启停产生的真实业务跳变,避免误将有效业务信号剔除,配合 min-max归一化与多源数据时间戳重采样对齐,消除量纲差异与时钟不同步带来的干扰,为模型输入高质量样本数据,提升算力、功耗预测的准确性。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com