一种AI计算一体机的全生命周期智能运维管理方法与流程

摘要: 本发明涉及计算机系统运行监控,特别是一种ai计算一体机的全生命周期智能运维管理方法。背景技术:1、ai计算一体机是面向训练任务和推理任务部署的集成化计算设备,通...
一种AI计算一体机的全生命周期智能运维管理方法与流程

本发明涉及计算机系统运行监控,特别是一种ai计算一体机的全生命周期智能运维管理方法。

背景技术:

1、ai计算一体机是面向训练任务和推理任务部署的集成化计算设备,通常由ai加速器、处理器、存储资源、网络接口、散热单元和机箱环境监测部件共同构成。随着ai计算任务在一体化硬件环境中持续运行,设备运行状态与ai加速器负载、散热状态、运行频率及任务执行耗时之间存在紧密关联,因此需要对计算设备运行过程进行连续监控,并结合运行异常识别、任务分配控制和维护验证保障ai计算任务稳定执行。

2、然而,现有方法仍存在两方面的局限性:一方面,温度、风扇转速、运行频率和任务耗时通常分项监测,难以在任务耗时尚未超出正常运行参照时识别ai加速器已经出现异常温控调节;另一方面,性能异常后的任务分配、任务迁移、维护验证和运行状态归类之间缺少连续关联,难以形成面向ai加速器全生命周期的闭环运维管理。

技术实现思路

1、鉴于上述现有技术存在的问题,提出了本发明。

2、因此,本发明提供了一种ai计算一体机的全生命周期智能运维管理方法,解决了现有ai计算一体机运维管理中,ai加速器温控调节增强难以及时识别,并难以与性能退化判断、任务迁移和维护验证形成闭环的问题。

3、为解决上述技术问题,本发明提供如下技术方案:

4、本发明提供了一种ai计算一体机的全生命周期智能运维管理方法,其包括,采集ai计算一体机的运行记录,按照任务执行信息划分同类ai计算任务,并基于同类ai计算任务的正常任务记录形成运行基准和温控调节比范围;将当前ai计算任务与同类ai计算任务的运行基准进行匹配,在当前ai计算任务表面运行正常且机箱进风口温度位于运行基准中的机箱进风口温度的正常变化边界内时,根据风扇转速与ai加速器运行频率相对于运行基准的比值关系计算温控调节比,并判断参与当前ai计算任务的ai加速器是否出现温控调节增强;在参与当前ai计算任务的ai加速器出现温控调节增强之后,沿匹配到的同类ai计算任务持续跟踪温控调节增强的ai加速器的ai加速器计算时间,在排除运行错误记录和机箱进风口温度异常影响后,通过ai加速器计算时间相对于运行基准的变化判断温控调节增强的ai加速器是否发生性能退化;根据温控调节增强结果和性能退化结果控制ai计算任务分配,将温控调节增强期间的任务记录排除于正常任务记录之外,对发生性能退化的ai加速器承接的ai计算任务执行任务迁移,并对发生性能退化的ai加速器执行维护验证,基于维护后的运行结果更新运行基准和温控调节比范围,并形成ai加速器的生命周期阶段。

5、作为本发明所述ai计算一体机的全生命周期智能运维管理方法的一种优选方案,其中:所述按照任务执行信息划分同类ai计算任务包括:读取每条运行记录中的任务执行信息,所述任务执行信息包括ai模型标识、ai模型版本、任务类型、批处理量、计算精度、参与计算的ai加速器编号和输入数据规模;将任务执行信息完全相同的运行记录归入同类ai计算任务。

6、作为本发明所述ai计算一体机的全生命周期智能运维管理方法的一种优选方案,其中:所述基于同类ai计算任务的正常任务记录形成运行基准和温控调节比范围包括:在同类ai计算任务的运行记录中,将完成输出且不存在运行错误记录的运行记录作为正常任务记录;基于正常任务记录形成运行基准,所述运行基准包括完整执行时间的正常变化边界、ai加速器计算时间的正常变化边界、机箱进风口温度的正常变化边界、风扇转速基准值和ai加速器运行频率基准值;根据正常任务记录中的风扇转速相对于风扇转速基准值的比值,以及ai加速器运行频率相对于ai加速器运行频率基准值的比值,计算正常任务记录的温控调节比;将正常任务记录中温控调节比的最小值至最大值之间的范围作为温控调节比范围,并将温控调节比范围与运行基准一并关联至同类ai计算任务。

7、作为本发明所述ai计算一体机的全生命周期智能运维管理方法的一种优选方案,其中:所述将当前ai计算任务与同类ai计算任务的运行基准进行匹配包括:在ai计算一体机执行当前ai计算任务过程中,按照运行记录采集方式形成并更新当前运行记录,读取当前运行记录中的任务执行信息;将当前运行记录中的任务执行信息与已关联保存运行基准和温控调节比范围的各同类ai计算任务的任务执行信息逐项比对,逐项比对结果均一致时,提取匹配到的同类ai计算任务的运行基准和温控调节比范围;在提取同类ai计算任务的运行基准和温控调节比范围后,读取当前运行记录中的完整执行时间、ai加速器计算时间和运行错误记录;当当前ai计算任务完成输出、当前运行记录中的完整执行时间位于完整执行时间的正常变化边界内、每个参与计算的ai加速器的ai加速器计算时间均位于ai加速器计算时间的正常变化边界内,且当前运行记录不存在运行错误记录时,判断当前ai计算任务表面运行正常。

8、作为本发明所述ai计算一体机的全生命周期智能运维管理方法的一种优选方案,其中:所述判断参与当前ai计算任务的ai加速器是否出现温控调节增强包括:在当前ai计算任务表面运行正常,且当前运行记录中的机箱进风口温度位于机箱进风口温度的正常变化边界内时,按参与计算的ai加速器编号分别计算当前温控调节比;对于任一参与计算的ai加速器,将参与计算的ai加速器在当前运行记录中的风扇转速与运行基准中同一参与计算的ai加速器的风扇转速基准值之间的比值作为当前风扇转速相对值,将参与计算的ai加速器在当前运行记录中的ai加速器运行频率与运行基准中同一参与计算的ai加速器的ai加速器运行频率基准值之间的比值作为当前ai加速器运行频率相对值,并将当前风扇转速相对值相对于当前ai加速器运行频率相对值的比值作为当前温控调节比;当当前温控调节比大于温控调节比范围的最大值时,判断参与当前ai计算任务的ai加速器出现温控调节增强。

9、作为本发明所述ai计算一体机的全生命周期智能运维管理方法的一种优选方案,其中:所述沿匹配到的同类ai计算任务持续跟踪温控调节增强的ai加速器的ai加速器计算时间包括:在判断参与当前ai计算任务的ai加速器出现温控调节增强后,记录温控调节增强的ai加速器编号、当前ai计算任务归属的同类ai计算任务以及当前ai计算任务匹配到的运行基准,并以判断温控调节增强的时间作为跟踪起点;在跟踪起点之后,继续采集ai计算一体机的运行记录,并从继续采集的运行记录中选取归属于同类ai计算任务的运行记录,作为跟踪运行记录;当跟踪运行记录完成输出、跟踪运行记录不存在运行错误记录,且跟踪运行记录中的机箱进风口温度位于机箱进风口温度的正常变化边界内时,将跟踪运行记录作为有效跟踪运行记录。

10、作为本发明所述ai计算一体机的全生命周期智能运维管理方法的一种优选方案,其中:所述通过ai加速器计算时间相对于运行基准的变化判断温控调节增强的ai加速器是否发生性能退化包括:在得到有效跟踪运行记录后,读取温控调节增强的ai加速器在有效跟踪运行记录中的ai加速器计算时间,并将有效跟踪运行记录中的ai加速器计算时间与运行基准中同一参与计算的ai加速器的ai加速器计算时间的正常变化边界进行比较;按照当前温控调节比的计算方式,计算有效跟踪运行记录对应的跟踪温控调节比,并将跟踪温控调节比与温控调节比范围进行比较;当有效跟踪运行记录中的ai加速器计算时间大于ai加速器计算时间的正常变化边界的最大值时,判断温控调节增强的ai加速器发生性能退化;当有效跟踪运行记录中的ai加速器计算时间不大于ai加速器计算时间的正常变化边界的最大值,且跟踪温控调节比不大于温控调节比范围的最大值时,判断温控调节增强解除。

11、作为本发明所述ai计算一体机的全生命周期智能运维管理方法的一种优选方案,其中:所述根据温控调节增强结果和性能退化结果控制ai计算任务分配包括:在得到温控调节增强结果和性能退化结果后,按照ai加速器编号标记温控调节增强的ai加速器和发生性能退化的ai加速器;当ai加速器出现温控调节增强但未发生性能退化时,保持正在执行的ai计算任务继续运行,并降低温控调节增强的ai加速器承接新的同类ai计算任务的分配优先级;当温控调节增强解除时,解除温控调节增强标记,并恢复对应ai加速器承接新的同类ai计算任务的分配优先级;当ai加速器发生性能退化时,停止向发生性能退化的ai加速器分配新的ai计算任务,并将待执行ai计算任务重新分配至未发生性能退化且可承接ai计算任务的ai加速器;当正在执行的ai计算任务支持迁移时,保存正在执行的ai计算任务的运行状态,并将正在执行的ai计算任务迁移至未发生性能退化且可承接ai计算任务的ai加速器;从判断ai加速器出现温控调节增强开始,至温控调节增强解除或者维护验证通过之前,将温控调节增强的ai加速器形成的运行记录标记为温控调节增强期间的任务记录,并将温控调节增强期间的任务记录排除于正常任务记录之外;所述可承接ai计算任务的ai加速器为未发生性能退化,且运行环境、计算精度和空闲计算资源满足待执行ai计算任务执行要求的ai加速器。

12、作为本发明所述ai计算一体机的全生命周期智能运维管理方法的一种优选方案,其中:所述对发生性能退化的ai加速器执行维护验证包括:对发生性能退化的ai加速器执行维护处理,维护处理包括散热通道清理、散热风扇运行状态检查、ai加速器与散热结构之间的导热接触状态检查以及ai加速器驱动状态检查中的至少一种;在维护处理完成后,选取归属于同类ai计算任务的ai计算任务作为维护验证任务,并控制维护后的ai加速器执行维护验证任务,按照运行记录采集方式形成维护后运行记录;当维护后运行记录完成输出、不存在运行错误记录,且维护后运行记录中的机箱进风口温度位于机箱进风口温度的正常变化边界内时,将维护后运行记录作为有效维护验证记录;计算维护后的ai加速器的维护后温控调节比,当有效维护验证记录中维护后的ai加速器的ai加速器计算时间不大于ai加速器计算时间的正常变化边界的最大值,且维护后的ai加速器的维护后温控调节比不大于温控调节比范围的最大值时,判断维护验证通过;当维护验证通过时,解除维护后的ai加速器的温控调节增强标记和性能退化标记,将维护后的ai加速器重新作为可分配的ai加速器,并将有效维护验证记录加入同类ai计算任务的正常任务记录,基于加入有效维护验证记录后的正常任务记录重新形成运行基准和温控调节比范围。

13、作为本发明所述ai计算一体机的全生命周期智能运维管理方法的一种优选方案,其中:所述形成ai加速器的生命周期阶段包括:根据运行基准形成情况、温控调节增强结果、性能退化结果和维护验证结果形成ai加速器在对应同类ai计算任务下的生命周期阶段;所述生命周期阶段包括运行基准校准期、稳定运行期、温控调节增强期、老化风险期和待维保报废期;当ai加速器在对应同类ai计算任务下尚未形成运行基准和温控调节比范围时,将ai加速器划分为运行基准校准期;当ai加速器在对应同类ai计算任务下已经形成运行基准和温控调节比范围,且未出现温控调节增强和性能退化时,将ai加速器划分为稳定运行期;当ai加速器出现温控调节增强但尚未发生性能退化时,将ai加速器划分为温控调节增强期;当ai加速器发生性能退化且尚未得到维护验证结果时,将ai加速器划分为老化风险期;当维护后的ai加速器维护验证未通过并保持停止分配新的ai计算任务时,将维护后的ai加速器划分为待维保报废期。

14、本发明有益效果为:通过将风扇转速和ai加速器运行频率转换为当前温控调节比,并与温控调节比范围进行比较,实现当前ai计算任务表面运行正常状态下的温控调节增强识别;通过以有效跟踪运行记录限定性能退化判断对象,并将维护验证通过后的有效维护验证记录加入正常任务记录重新形成运行基准和温控调节比范围,实现ai加速器生命周期阶段的闭环划分。