模型训练任务的性能检测方法、系统及计算设备与流程

摘要: 本申请涉及大模型技术、性能诊断领域,具体而言,涉及一种模型训练任务的性能检测方法、系统及计算设备。背景技术:1、在大模型训练过程中,gpu(graphicspr...
模型训练任务的性能检测方法、系统及计算设备与流程

本申请涉及大模型技术、性能诊断领域,具体而言,涉及一种模型训练任务的性能检测方法、系统及计算设备。

背景技术:

1、在大模型训练过程中,gpu(graphics processing unit,图形处理器)、cpu(central processing unit,cpu)、网络设备等硬件资源与训练框架、数据加载、通信库等软件层面之间的交互较为复杂,导致性能问题频发,且难以定位性能问题的原因,以致对性能问题进行诊断的效率较低。

2、为了解决该问题,可以采用依赖细粒度跟踪和数据分析的方式对性能问题进行诊断,但是该方法仅适用于基于cpu的小规模系统,难以应用于以gpu为中心的大模型训练系统,并且获取用于性能分析的数据时,需要对系统组件进行探测,导致对任务训练的性能造成影响。

3、针对上述的问题,目前尚未提出有效的解决方案。

技术实现思路

1、本申请实施例提供了一种模型训练任务的性能检测方法、系统及计算设备,以至少解决模型训练过程中复杂性能问题的诊断效率较低的技术问题。

2、根据本申请实施例的一个方面,提供了一种模型训练任务的性能检测方法,包括:在利用至少一个计算节点对目标模型执行训练任务的过程中,监测训练任务的性能;在监测到训练任务的性能出现异常的情况下,从至少一个计算节点获取训练任务的性能分析数据,其中,性能分析数据用于表征与目标模型包含的多个函数具有关联关系的数据;对性能分析数据进行特征提取,得到至少一个目标函数的运行行为特征,其中,至少一个目标函数是多个函数中影响训练任务的性能的函数;基于至少一个目标函数的运行行为特征,确定训练任务的性能检测结果,其中,性能检测结果包括:至少一个目标函数中出现异常行为的函数。

3、根据本申请实施例的另一个方面,还提供了一种模型训练任务的性能检测方法,包括:响应于客户端发送的模型训练请求,确定模型训练请求对应的目标模型和训练任务;利用至少一个计算节点对目标模型执行训练任务,并监测训练任务的性能;在监测到训练任务的性能出现异常的情况下,从至少一个计算节点获取训练任务的性能分析数据;对性能分析数据进行特征提取,得到至少一个目标函数的运行行为特征,至少一个目标函数是多个函数中影响训练任务的性能的函数;基于至少一个目标函数的运行行为特征,确定训练任务的性能检测结果,性能检测结果包括:至少一个目标函数中出现异常行为的函数;输出性能检测结果至客户端。

4、根据本申请实施例的另一方面,还提供了一种模型训练任务的性能检测系统,包括:至少一个计算节点,用于对目标模型执行训练任务;检测设备,与至少一个计算节点连接,用于监测训练任务的性能,在监测到训练任务的性能出现异常的情况下,从至少一个计算节点获取训练任务的性能分析数据,对性能分析数据进行特征提取,得到至少一个目标函数的运行行为特征,并基于至少一个目标函数的运行行为特征,确定训练任务的性能检测结果,其中,性能分析数据用于表征与目标模型包含的多个函数具有关联关系的数据,至少一个目标函数是多个函数中影响训练任务的性能的函数,性能检测结果包括:至少一个目标函数中出现异常行为的函数。

5、根据本申请实施例的另一方面,还提供了一种计算设备,包括:存储器,存储有可执行程序;处理器,用于运行程序,其中,程序运行时执行本申请各个实施例中的方法。

6、根据本申请实施例的另一方面,还提供了一种电子设备,包括:存储器,存储有可执行程序;处理器,通过总线与存储器连接,用于运行程序,其中,程序运行时执行本申请各个实施例中的方法。

7、根据本申请实施例的另一方面,还提供了一种计算机可读存储介质,计算机可读存储介质包括存储的可执行程序,其中,在可执行程序运行时控制计算机可读存储介质所在设备执行本申请各个实施例中的方法。

8、根据本申请实施例的另一方面,还提供了一种计算机程序产品,包括计算机程序,计算机程序在被处理器执行时实现本申请各个实施例中的方法。

9、根据本申请实施例的另一方面,还提供了一种计算机程序产品,包括非易失性计算机可读存储介质,所述非易失性计算机可读存储介质存储计算机程序,所述计算机程序被处理器执行时实现本申请各个实施例中的方法。

10、根据本申请实施例的另一方面,还提供了一种计算机程序,计算机程序被处理器执行时实现本申请各个实施例中的方法。

11、在本申请实施例中,在利用至少一个计算节点对目标模型执行训练任务的过程中,监测训练任务的性能;在监测到训练任务的性能出现异常的情况下,从至少一个计算节点获取训练任务的性能分析数据;对性能分析数据进行特征提取,得到至少一个目标函数的运行行为特征;基于至少一个目标函数的运行行为特征,确定训练任务的性能检测结果。容易注意到的是,通过在线监测训练任务来捕捉性能异常,只在检测到性能异常时启动性能分析数据的采集,避免持续采集带来的额外开销和对训练性能的影响,然后通过特征提取的方式将性能分析数据转化为目标函数的运行行为特征,从而减少数据量,提高性能检测的效率,同时聚焦于和训练任务的性能具有关联关系的目标函数,进一步缩小了诊断范围,根据目标函数的运行行为特征在线确定训练任务的性能检测结果,可以提升异常的定位准确率,从而实现提高模型训练过程中复杂性能问题的诊断效率的技术效果,实现对性能异常的在线诊断,进而解决了模型训练过程中复杂性能问题的诊断效率较低的技术问题。

12、容易注意到的是,上面的通用描述和后面的详细描述仅仅是为了对本申请进行举例和解释,并不构成对本申请的限定。

1.一种模型训练任务的性能检测方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述监测所述训练任务的性能,包括:

3.根据权利要求2所述的方法,其特征在于,所述确定任意一轮迭代训练的迭代时间,包括:

4.根据权利要求3所述的方法,其特征在于,所述方法还包括:

5.根据权利要求2所述的方法,其特征在于,所述迭代时间满足第一预设条件,包括:

6.根据权利要求1至5中任意一项所述的方法,其特征在于,所述在监测到所述训练任务的性能出现异常的情况下,从所述至少一个计算节点获取所述训练任务的性能分析数据,包括:

7.根据权利要求1至5中任意一项所述的方法,其特征在于,所述对所述性能分析数据进行特征提取,得到至少一个目标函数的运行行为特征,包括:

8.根据权利要求7所述的方法,其特征在于,所述基于所述性能分析数据中该计算节点的节点性能数据,从所述多个函数中确定所述至少一个目标函数,包括:

9.根据权利要求7所述的方法,其特征在于,所述对所述目标数据进行特征提取,得到任意一个目标函数在该计算节点上的节点行为特征,包括:

10.根据权利要求1至5中任意一项所述的方法,其特征在于,所述基于所述至少一个目标函数的运行行为特征,确定所述训练任务的性能检测结果,包括:

11.根据权利要求10所述的方法,其特征在于,所述基于所述第一差异度量值和所述第二差异度量值,确定所述性能检测结果,包括:

12.根据权利要求11所述的方法,其特征在于,所述目标函数满足所述第二预设条件,包括如下之一:

13.一种模型训练任务的性能检测方法,其特征在于,包括:

14.一种模型训练任务的性能检测系统,其特征在于,包括:

15.一种计算设备,其特征在于,包括:

16.一种电子设备,其特征在于,包括:

17.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质包括存储的可执行程序,其中,在所述可执行程序运行时控制所述计算机可读存储介质所在设备执行权利要求1至13中任意一项所述的方法。

18.一种计算机程序产品,其特征在于,包括计算机程序,所述计算机程序在被处理器执行时实现权利要求1至13中任意一项所述的方法。