开放加速组件及异常处理方法、装置、设备和存储介质与流程

摘要: 本发明涉及智能硬件,尤其涉及一种开放加速组件及异常处理方法、装置、设备和存储介质。背景技术:1、随着人工智能(artificialintelligence,ai...
开放加速组件及异常处理方法、装置、设备和存储介质与流程

本发明涉及智能硬件,尤其涉及一种开放加速组件及异常处理方法、装置、设备和存储介质。

背景技术:

1、随着人工智能(artificial intelligence,ai)、高性能计算(high performancecomputing,hpc)、大数据等应用领域的飞速发展,对于计算性能的要求也越来越高,传统的中央处理器(central processing unit,cpu)服务器难以满足新业务的性能需求,采用cpu、图形处理器(graphics processing unit,gpu)、现场可编程逻辑门阵列(fieldprogrammable gate array,fpga)、asic芯片(application specific integratedcircuit)等处理器组合而成的异构计算模式来进行数据训练或推理,逐渐成为主流。

2、在此背景下,设立了oai(open accelerator module)规范,在该规范下,提出了开放加速模块与通用基板组合形成的开放加速组件。上述开放加速组件的运维主要靠结果来进行驱动,只有在开放加速组件出现故障的情况下,运维人员才发现问题,进而接入排查,寻找导致问题的原因。

3、然而,当前ai服务器数据中心已来到万卡级别,依靠人工运维的方式效率低下,无法满足现阶段的运维需求。

技术实现思路

1、本发明提供一种开放加速组件及异常处理方法、装置、设备和存储介质,用以解决现有技术中人工运维的方式效率低下,无法满足现阶段的运维需求的缺陷。

2、本发明提供一种开放加速组件,包括如下部件。

3、基板;

4、一个或多个开放加速模块,设于所述基板;

5、信号重定时器,设于所述基板,通过所述基板上的第一连接线路与所述开放加速模块连接;

6、连接器,设于所述基板,通过所述基板上的第二连接线路与所述信号重定时器连接;

7、检测模块,设于所述基板,所述检测模块的第一连接端与所述开放加速模块连接,用于获取所述开放加速模块的第一运行参数;所述检测模块的第二连接端与所述信号重定时器连接,用于获取所述信号重定时器的第二运行参数,所述检测模块的第三连接端与所述连接器连接,用于获取所述连接器的第三运行参数,所述检测模块用于:

8、将所述第一运行参数、所述第二运行参数和所述第三运行参数分别与对应的参数阈值进行比较,确定所述开放加速组件的告警等级;

9、执行与所述告警等级对应的调度策略。

10、根据本发明提供的一种开放加速组件,所述检测模块,具体用于:

11、将所述第一运行参数在预设检测周期或预设时长内的衰减比例与所述第一运行参数对应的第一阈值进行比较,得到第一比较结果;

12、将所述第二运行参数分别与所述第二运行参数对应的第二阈值和所述第二运行参数对应的第三阈值进行比较,得到第二比较结果;

13、将所述第三运行参数与所述第三运行参数对应的第四阈值进行比较,得到第三比较结果;

14、基于所述第一比较结果、所述第二比较结果、所述第三比较结果以及预先构建的告警等级评估规则,确定所述开放加速组件的告警等级;

15、其中,所述第三阈值大于所述第二阈值。

16、根据本发明提供的一种开放加速组件,所述检测模块具体用于:

17、若仅检测到所述第二运行参数大于所述第二运行参数对应的第二阈值、或仅检测到所述第二运行参数与所述第二运行参数对应的第三阈值之间的差值大于预设差值,确定所述开放加速组件的告警等级为第一等级;

18、若检测到所述第一运行参数在预设检测周期或预设时长内的衰减比例大于或等于所述第一运行参数对应的第一阈值、所述第二运行参数与所述第二运行参数对应的第三阈值之间的差值小于预设差值、所述第三运行参数大于所述第三运行参数对应的第四阈值中的一种或多种成立,确定所述开放加速组件的告警等级为第二等级;

19、其中,所述第二等级的告警等级高于所述第一等级的告警等级。

20、根据本发明提供的一种开放加速组件,所述第一运行参数包括所述开放加速模块接收信号的信号幅度和/或所述开放加速模块接收信号的信号质量;

21、所述第二运行参数包括所述信号重定时器的误码率、前向纠错的纠正次数和前向纠错的错误累积次数中的一种或多种;

22、所述第三运行参数包括所述连接器的运行电流、运行电压和运行温度中的至少一种。

23、根据本发明提供的一种开放加速组件,所述检测模块还用于:

24、在检测到所述第三运行参数大于所述第三运行参数对应的第四阈值的情况下,输出计算任务迁移信号;

25、其中,与所述开放加速组件通信的系统调度器在接收到所述计算任务迁移信号的情况下,将所述开放加速组件的计算任务迁移至其它开放加速组件。

26、根据本发明提供的一种开放加速组件,所述检测模块具体用于:

27、基于所述开放加速组件的告警等级为第一等级,记录日志和/或推送运维提示;

28、基于所述开放加速组件的告警等级为第二等级,向所述开放加速模块发送降频指令;

29、其中,所述开放加速模块在接收到所述降频指令的情况下,执行降频操作。

30、根据本发明提供的一种开放加速组件的异常处理方法,所述开放加速组件包括基板、设于所述基板的一个或多个开放加速模块、设于所述基板,且通过所述基板上的第一连接线路与所述开放加速模块连接的信号重定时器、设于所述基板,且通过所述基板上的第二连接线路与所述信号重定时器连接的连接器,所述开放加速组件的异常处理方法包括:

31、获取所述开放加速模块的第一运行参数,获取所述信号重定时器的第二运行参数,以及获取所述连接器的第三运行参数;

32、将所述第一运行参数、所述第二运行参数和所述第三运行参数分别与对应的参数阈值进行比较,确定所述开放加速组件的告警等级;

33、执行与所述告警等级对应的调度策略。

34、根据本发明提供的一种开放加速组件的异常处理方法,所述将所述第一运行参数、所述第二运行参数和所述第三运行参数分别与对应的参数阈值进行比较,确定所述开放加速组件的告警等级,包括:

35、将所述第一运行参数在预设检测周期或预设时长内的衰减比例与所述第一运行参数对应的第一阈值进行比较,得到第一比较结果;

36、将所述第二运行参数分别与所述第二运行参数对应的第二阈值和所述第二运行参数对应的第三阈值进行比较,得到第二比较结果;

37、将所述第三运行参数与所述第三运行参数对应的第四阈值进行比较,得到第三比较结果;

38、基于所述第一比较结果、所述第二比较结果、所述第三比较结果以及预先构建的告警等级评估规则,确定所述开放加速组件的告警等级;

39、其中,所述第三阈值大于所述第二阈值。

40、根据本发明提供的一种开放加速组件的异常处理方法,所述基于所述第一比较结果、所述第二比较结果、所述第三比较结果以及预先构建的告警等级评估规则,确定所述开放加速组件的告警等级,包括:

41、若仅检测到所述第二运行参数大于所述第二运行参数对应的第二阈值、或仅检测到所述第二运行参数与所述第二运行参数对应的第三阈值之间的差值大于预设差值,确定所述开放加速组件的告警等级为第一等级;

42、若检测到所述第一运行参数在预设检测周期或预设时长内的衰减比例大于或等于所述第一运行参数对应的第一阈值、所述第二运行参数与所述第二运行参数对应的第三阈值之间的差值小于预设差值、所述第三运行参数大于所述第三运行参数对应的第四阈值中的一种或多种成立,确定所述开放加速组件的告警等级为第二等级;

43、其中,所述第二等级的告警等级高于所述第一等级的告警等级。

44、根据本发明提供的一种开放加速组件的异常处理方法,所述开放加速组件的异常处理方法还包括:

45、在检测到所述第三运行参数大于所述第三运行参数对应的第四阈值的情况下,输出计算任务迁移信号;

46、其中,与所述开放加速组件通信的系统调度器在接收到所述计算任务迁移信号的情况下,将所述开放加速组件的计算任务迁移至目标加速链路;

47、其中,所述目标加速链路中至少包括一个用于执行所述开放加速组件的计算任务的其它开放加速组件。

48、根据本发明提供的一种开放加速组件的异常处理方法,所述执行与所述告警等级对应的调度策略,包括:

49、基于所述开放加速组件的告警等级为第一等级,记录日志和/或推送运维提示;

50、基于所述开放加速组件的告警等级为第二等级,向所述开放加速模块发送降频指令;

51、其中,所述开放加速模块在接收到所述降频指令的情况下,执行降频操作。

52、本发明还提供一种开放加速组件的异常处理装置,所述开放加速组件包括基板、设于所述基板的一个或多个开放加速模块、设于所述基板,且通过所述基板上的第一连接线路与所述开放加速模块连接的信号重定时器、设于所述基板,且通过所述基板上的第二连接线路与所述信号重定时器连接的连接器,所述开放加速组件的异常处理装置包括:

53、获取模块,用于获取所述开放加速模块的第一运行参数,获取所述信号重定时器的第二运行参数,以及获取所述连接器的第三运行参数;

54、确定模块,用于将所述第一运行参数、所述第二运行参数和所述第三运行参数分别与对应的参数阈值进行比较,确定所述开放加速组件的告警等级;

55、执行模块,用于执行与所述告警等级对应的调度策略。

56、本发明还提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如上述任一种所述开放加速组件的异常处理方法。

57、本发明还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如上述任一种所述开放加速组件的异常处理方法。

58、本发明还提供一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现如上述任一种所述开放加速组件的异常处理方法。

59、本发明提供的一种开放加速组件及异常处理方法、装置、设备和存储介质,通过在基板上布局检测模块,并使其三个物理连接端分别与开放加速模块、信号重定时器及连接器建立带外连接,实现了对计算处理层、信道时钟重整层和物理接口层的数据全量汇聚。当系统在高密高功耗下运行时,检测模块将采集到的第一运行参数、第二运行参数和第三运行参数实时输入其内部的比对评估引擎。评估引擎并非进行单一孤立的参数越限比对,而是通过多维度的参数阈值交叉关联比对,能够在开放加速组件硬件损坏之前,提前评估开放加速组件的告警等级。最终,该告警等级直接映射并触发对应的调度策略,使得开放加速组件能够在微秒级或毫秒级内自动执行参数微调自愈、功耗降频或计算任务的主动热迁移。

60、通过开放加速模块、信号重定时器和连接器的全链条运行数据在检测模块处的统一收敛与联动分析,实现了物理链路微劣化阶段的精准感知与主动、渐进式自愈,降低了ai服务器集群在大模型训练等长时间高负载任务中的任务中断概率,保障了异构计算系统的整体可靠性与运维效率。