节点算力评分方法、装置、计算机设备及存储介质与流程

摘要: 本发明实施例涉及计算机,尤其涉及一种节点算力评分方法、装置、计算机设备及存储介质。背景技术:1、在分布式人工智能训练场景中,图形处理器(graphicsproc...
节点算力评分方法、装置、计算机设备及存储介质与流程

本发明实施例涉及计算机,尤其涉及一种节点算力评分方法、装置、计算机设备及存储介质。

背景技术:

1、在分布式人工智能训练场景中,图形处理器(graphics processing unit,gpu)集群规模持续扩大,单次训练任务可能涉及数百甚至数千个gpu节点。训练开始前对目标节点执行算力健康检测,是判断节点是否具备启动训练条件、避免因单节点故障拖垮整个训练任务的核心环节。现有技术中,算力健康检测的裁决普遍采用预先设定统一的性能指标阈值,节点检测值超出阈值即判为失败、否则判为通过。

2、然而,现有技术存在明显缺陷。首先,不同批次、不同老化程度的gpu硬件之间存在天然性能差异,用统一阈值必然导致对新卡阈值过松而漏检、对旧卡阈值过严而误判。其次,现有方案通常仅基于单一或少数几个算力指标进行判定,无法综合显存带宽、通信带宽、系统配置等多维度指标进行综合裁决,也缺乏针对不同训练负载类型(计算密集型、通信密集型、io密集型)的自适应调整能力,导致检测结果与实际训练需求脱节。

3、综上,现有算力健康检测方案对不同硬件节点使用统一固定阈值进行判定,适配性差,如何为不同gpu节点建立区别于统一固定阈值的个性化性能基准,并据此对节点算力健康度进行量化评分成为现在亟待解决的问题。

技术实现思路

1、鉴于此,为解决上述技术问题或部分技术问题,本发明实施例提供一种节点算力评分方法、装置、计算机设备及存储介质。

2、第一方面,本发明实施例提供一种节点算力评分方法,包括:

3、获取集群内每个节点的历史算力检测数据,所述历史算力检测数据包含各检测指标在历史检测时刻的数值;

4、针对每个节点,基于历史算力检测数据建立每个检测指标的概率分布模型,并基于所述概率分布模型生成每个检测指标对应的性能基线,所述性能基线包含节点在正常工况下检测指标波动的基准区间;

5、获取待执行的训练任务对应的负载类型,基于所述负载类型为每个检测指标确定权重参数,所述权重参数用于表征检测指标在所述训练任务中的重要性;

6、针对参与所述训练任务的目标节点获取实时算力检测数据,计算所述实时算力检测数据中每个检测指标的实测数值与对应的基准区间的偏离度,并结合所述权重参数对每个检测指标的偏离度进行加权求和,得到所述目标节点的算力健康度评分。

7、在一个可能的实施方式中,所述针对每个节点,基于历史算力检测数据建立每个检测指标的概率分布模型,并基于所述概率分布模型生成每个检测指标对应的性能基线,包括:

8、对每个节点的历史算力检测数据按照检测指标进行拆分,得到每个检测指标对应的历史数值序列;

9、对每个检测指标对应的历史数值序列进行概率分布拟合,生成用于表征该检测指标在历史正常运行状态下数值分布特征的概率分布模型;

10、基于所述概率分布模型确定对应检测指标在预设置信水平下的数值区间范围,作为所述检测指标的性能基线;

11、针对无历史算力检测数据的新节点,获取与所述新节点同类型节点的性能基线,结合所述新节点的首次算力检测数据,通过迁移学习方式生成所述新节点的每个检测指标的性能基线。

12、在一个可能的实施方式中,所述获取待执行的训练任务对应的负载类型,基于所述负载类型为每个检测指标确定权重参数,包括:

13、获取待执行的所述训练任务的负载类型,所述负载类型至少包括以下一个:计算密集型任务、通信密集型任务和输入输出密集型任务,所述计算密集型任务指计算密度高于第一阈值的任务,所述通信密集型任务指节点间通信频次高于第二阈值的任务,所述输入输出密集型任务指存储读写量高于第三阈值的任务;

14、根据预设的负载类型与权重参数分配规则之间的对应关系,确定对每个所述检测指标分配的权重参数,所述权重参数分配规则包括:计算密集型任务对应的权重参数分配规则为算力指标和显存指标的权重高于其他检测指标,通信密集型任务对应的权重参数分配规则为通信指标的权重高于其他检测指标,输入输出密集型任务对应的权重参数分配规则为存储输入输出指标和系统配置指标的权重高于其他检测指标,且每个所述检测指标的权重参数之和为1。

15、在一个可能的实施方式中,所述方法还包括:

16、在所述训练任务运行过程中,按照预设周期获取所述训练任务的实际负载特征,所述实际负载特征包括当前周期内的计算密度、节点间通信频次和存储读写量中的至少一种;

17、根据所述实际负载特征确定所述训练任务在当前周期的负载类型,并根据所述负载类型与权重参数分配规则之间的对应关系,确定所述当前周期的负载类型对应的权重参数分配规则;

18、按照当前周期对应的权重参数分配规则重新确定每个所述检测指标的权重参数,得到每个所述检测指标在当前周期的权重参数;

19、基于每个所述检测指标在当前周期的权重参数,对每个所述检测指标的偏离度进行加权求和,更新所述目标节点的算力健康度评分。

20、在一个可能的实施方式中,所述针对参与所述训练任务的目标节点获取实时算力检测数据,计算所述实时算力检测数据中每个检测指标的实测数值与对应的基准区间的偏离度,包括:

21、获取所述训练任务待分配运行的目标节点的实时算力检测数据,所述实时算力检测数据包含每个所述检测指标的实测数值;

22、针对每个检测指标,将所述实测数值与对应检测指标的性能基线中的基准区间进行对比;

23、当所述实测数值处于所述基准区间内的情况下,确定偏离度为零,当所述实测数值超出所述基准区间上限或低于所述基准区间下限的情况下,计算所述实测数值与最接近的所述基准区间的边界值的差值,确定所述差值为对应的检测指标的偏离度,其中,所述偏离度表征目标节点在执行所述训练任务过程中检测指标相对于正常工况分布范围的偏离程度。

24、在一个可能的实施方式中,所述结合所述权重参数对每个检测指标的偏离度进行加权求和,得到所述目标节点的算力健康度评分,包括:

25、根据每个所述检测指标的偏离度分别确定每个所述检测指标的单项指标得分,所述偏离度与所述单项指标得分呈负相关;

26、根据每个所述检测指标的权重参数对每个所述检测指标的单项指标得分进行加权求和,得到所述目标节点的初始算力健康度评分;

27、当所述目标节点存在硬件故障或配置不一致的情况下,将所述初始算力健康度评分调整为小于预设评分阈值;

28、当所述目标节点存在多指标联合异常、时序趋势异常或软故障异常中的至少一个异常类型的情况下,根据异常类型对应的预设扣分规则对所述初始算力健康度评分执行阶梯式扣分,得到所述目标节点的算力健康度评分。

29、在一个可能的实施方式中,所述得到所述目标节点的算力健康度评分之后,所述方法还包括:

30、将所述算力健康度评分与第一预设评分阈值和第二预设评分阈值进行比较,所述第一预设评分阈值大于所述第二预设评分阈值;

31、当所述算力健康度评分大于或等于所述第一预设评分阈值时,输出通过等级的分级裁决结果,所述通过等级表示允许启动所述训练任务;

32、当所述算力健康度评分大于或等于所述第二预设评分阈值且小于所述第一预设评分阈值时,输出警告等级的分级裁决结果,所述警告等级表示有条件允许启动所述训练任务;

33、当所述算力健康度评分小于所述第二预设评分阈值时,输出失败等级的分级裁决结果,所述失败等级表示禁止启动所述训练任务。

34、在一个可能的实施方式中,所述方法还包括

35、当所述分级裁决结果为通过等级或警告等级且所述训练任务被启动并执行完毕后,获取所述训练任务的实际运行状态,所述实际运行状态包括训练任务是否成功完成以及训练任务运行过程中是否存在性能衰减;

36、当所述分级裁决结果为通过等级且所述实际运行状态为训练任务失败或存在性能衰减的情况下,将所述基准区间的范围缩小预设值,当所述分级裁决结果为警告等级且所述实际运行状态为训练任务成功完成且不存在性能衰减的情况下,将所述基准区间的范围扩大预设值。

37、第二方面,本发明实施例提供一种节点算力评分装置,包括:

38、获取集群内每个节点的历史算力检测数据,所述历史算力检测数据包含各检测指标在历史检测时刻的数值;

39、针对每个节点,基于历史算力检测数据建立每个检测指标的概率分布模型,并基于所述概率分布模型生成每个检测指标对应的性能基线,所述性能基线包含节点在正常工况下检测指标波动的基准区间;

40、获取待执行的训练任务对应的负载类型,基于所述负载类型为每个检测指标确定权重参数,所述权重参数用于表征检测指标在所述训练任务中的重要性;

41、针对参与所述训练任务的目标节点获取实时算力检测数据,计算所述实时算力检测数据中每个检测指标的实测数值与对应的基准区间的偏离度,并结合所述权重参数对每个检测指标的偏离度进行加权求和,得到所述目标节点的算力健康度评分。

42、第三方面,本发明实施例提供一种计算机设备,包括:处理器和存储器,所述处理器用于执行所述存储器中存储的节点算力评分程序,以实现上述第一方面中任一项所述的节点算力评分方法。

43、第四方面,本发明实施例提供一种存储介质,所述存储介质存储有一个或者多个程序,所述一个或者多个程序可被一个或者多个处理器执行,以实现上述第一方面中任一项所述的节点算力评分方法。

44、本发明实施例提供的节点算力评分方法,通过获取集群内每个节点的历史算力检测数据;针对每个节点,基于历史算力检测数据建立每个检测指标的概率分布模型,并基于概率分布模型生成每个检测指标对应的性能基线;获取待执行的训练任务对应的负载类型,基于负载类型为每个检测指标确定权重参数; 针对参与训练任务的目标节点获取实时算力检测数据,计算实时算力检测数据中每个检测指标的实测数值与对应的基准区间的偏离度,并结合权重参数对每个检测指标的偏离度进行加权求和,得到目标节点的算力健康度评分。由此,通过为每个gpu节点建立了区别于统一固定阈值的个性化性能基线,并根据训练任务的负载类型自适应分配检测指标的权重,最终输出量化的算力健康度评分。相比现有固定阈值方案,能够适配不同卡型、不同老化程度节点的个体差异,实现节点算力健康度的个性化和量化评估,有效降低了节点健康的误判率和漏检率,同时为调度系统提供了精细化的节点优先级依据。