显存资源优化方法、装置、电子设备及存储介质与流程

摘要: 本发明涉及计算机,尤其涉及一种显存资源优化方法、装置、电子设备及存储介质。背景技术:1、随着ai大模型的日益发展,在异构计算的场景下异构卡的使用量也日益增加,异...
显存资源优化方法、装置、电子设备及存储介质与流程

本发明涉及计算机,尤其涉及一种显存资源优化方法、装置、电子设备及存储介质。

背景技术:

1、随着ai大模型的日益发展,在异构计算的场景下异构卡的使用量也日益增加,异构计算主要是指由通用计算单元(例如cpu)和专用计算单元(例如gpu)协同执行计算任务的计算方式。为了提高异构计算场景下的异构算力,通常以叠加异构算力的方式实现。但是,叠加异构算力的造价成本高,异构算力的整体成本规模巨大。

2、在相关技术中,通常是通过挖掘异构算力的闲置算力,以提升利用率的角度来实现降本的效果,但由于异构算力中计算资源属于可分时复用的可压缩资源,显存资源属于不可压缩资源,故在挖掘异构算力的过程中,有效的利用显存资源成为了关键。而传统的可提高显存资源利用的过程是将显存中不使用的冷数据换出到内存中,将需要使用的数据从内存换入到显存中,并未支持显存数据贴合场景化的优化,故异构计算运行中若命中的数据需要从内存临时加载到显存中时,训练程序会先被暂停以等待显存数据的加载完成,而等待的时间中异构计算单元的算力被浪费,且从异构计算的耗时角度看耗时波动性增加,与业务独占异构卡执行计算相比,业务体验差距明显,从而影响了异构设备混部挖掘空闲算力的推广。

3、因此,如何能够在有效提高显存资源利用的同时,不影响到异构计算业务的训练性能成为了亟待攻克的难题。

技术实现思路

1、本发明实施例的目的是提供一种显存资源优化方法、装置、电子设备及存储介质,以解决在提高显存资源利用的过程中存在算力资源被浪费的技术问题。

2、第一方面,本发明实施例提供了一种显存资源优化方法,包括:

3、在目标计算任务的计算过程中,持续采集目标计算流程在对应容器中目标显存数据占用的显存地址,和所述显存地址被占用时的时间戳,得到目标采集数据,所述目标计算流程为所述目标计算任务中多个计算流程中的至少一个;

4、根据所述目标采集数据,确定所述目标显存数据的第一加载规律;

5、确定与所述第一加载规律相匹配的目标优化策略,并基于所述目标优化策略,对所述目标计算任务中所述目标显存数据在所述容器中进行显存和内存间的换入换出策略进行调整。

6、第二方面,本发明实施例提供了一种显存资源优化装置,包括:

7、第一采集模块,用于在目标计算任务的计算过程中,持续采集目标计算流程在对应容器中目标显存数据占用的显存地址,和所述显存地址被占用时的时间戳,得到目标采集数据,所述目标计算流程为所述目标计算任务中多个计算流程中的至少一个;

8、第一确定模块,用于根据所述目标采集数据,确定所述目标显存数据的第一加载规律;

9、第一调整模块,用于确定与所述第一加载规律相匹配的目标优化策略,并基于所述目标优化策略,对所述目标计算任务中所述目标显存数据在所述容器中进行显存和内存间的换入换出策略进行调整。

10、在一些实施例中,所述第一确定模块包括整合单元、测绘单元以及第一确定单元;

11、所述整合单元,用于将所述目标采集数据,整合到预设的数据表中;

12、所述测绘单元,用于根据所述数据表对所述显存地址和所述时间戳进行测绘,得到表征所述显存地址和所述时间戳之间关系的二维曲线的测绘图;

13、所述第一确定单元,用于基于对所述测绘图的分析,确定所述测绘图表征的所述目标显存数据的第一加载规律。

14、在一些实施例中,所述第一确定模块还包括第二确定单元和删除单元;

15、所述第二确定单元,用于根据存储所述数据表的存储空间大小,确定用于分析所述目标显存数据的第一加载规律所需的目标时间区段,所述目标时间区段包括所述目标计算任务中至少一个计算流程的采集数据;

16、所述删除单元,用于从所述数据表中删除所述时间戳不在所述目标时间区段的采集数据。

17、在一些实施例中,所述第一确定单元,具体用于基于所述测绘图,确定所述显存地址随所述时间戳的分布状态;在所述分布状态表征所述显存地址随所述时间戳呈散点式分布,且不存在聚集状态的情况下,确定所述测绘图表征的所述目标显存数据的第一加载规律为随机加载规律;在所述分布状态表征所述显存地址随所述时间戳呈线性增加的情况下,确定所述测绘图表征的所述目标显存数据的第一加载规律为顺序加载规律;在所述分布状态表征所述显存地址随所述时间戳呈聚集状态的情况下,确定所述测绘图表征的所述目标显存数据的第一加载规律为热数据加载规律。

18、在一些实施例中,所述第一调整模块包括第三确定单元、第四确定单元以及第五确定单元;

19、所述第三确定单元,用于在所述第一加载规律为随机加载规律的情况下,确定与所述第一加载规律相匹配的目标优化策略为从显存中换出已被处理过的第一显存数据,换入未被处理过的第二显存数据的策略,所述第一显存数据和所述第二显存数据均为所述目标显存数据;

20、所述第四确定单元,用于在所述第一加载规律为顺序加载规律的情况下,确定与所述第一加载规律相匹配的目标优化策略为在往显存中换入所述第二显存数据时,根据显存剩余空间对应增加换入的所述第二显存数据的数据量的策略;

21、所述第五确定单元,用于在所述第一加载规律为热数据加载规律的情况下,确定与所述第一加载规律相匹配的目标优化策略为将属于热数据的显存地址的显存空间,设置为禁止数据换出到内存的策略。

22、在一些实施例中,所述第一调整模块还包括第一调整单元和第二调整单元;

23、所述第一调整单元,用于在所述目标优化策略,和所述目标计算任务中所述目标显存数据在所述容器中进行显存和内存间的换入换出策略为相同策略的情况下,不对所述换入换出策略进行调整;

24、所述第二调整单元,用于在所述目标优化策略,和所述目标计算任务中所述目标显存数据在所述容器中进行显存和内存间的换入换出策略为不同策略的情况下,将所述换入换出策略替换为所述目标优化策略,以供所述目标计算任务中的所述目标显存数据采用所述目标优化策略进行显存和内存间的换入换出操作。

25、在一些实施例中,所述显存资源优化装置还包括第二采集模块、第二确定模块以及第二调整模块;

26、所述第二采集模块,用于持续采集新目标计算流程在对应容器中目标显存数据占用的显存地址,和所述显存地址被占用时的时间戳,得到新目标采集数据,所述新目标计算流程为所述目标计算任务中多个计算流程中的至少一个,且不为所述目标计算流程;

27、所述第二确定模块,用于根据所述新目标采集数据,确定所述目标显存数据的第二加载规律;

28、所述第二调整模块,用于确定与所述第二加载规律相匹配的新目标优化策略,并基于所述新目标优化策略,对所述目标计算任务中所述目标显存数据在所述容器中进行显存和内存间的换入换出策略进行调整,所述新目标优化策略为按照所述第二加载规律减少所述计算过程中需等待显存数据加载而被暂停的时间的策略。

29、第三方面,本发明实施例提供了一种电子设备,电子设备包括处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述任一项所述的显存资源优化方法中的步骤。

30、第四方面,本发明实施例提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述任一项所述的显存资源优化方法中的步骤。

31、本发明实施例提供了一种显存资源优化方法、装置、电子设备及存储介质,该方法通过采集到的目标计算流程中目标显存数据占用的显存地址和占用时对应的时间戳,分析出目标显存数据的加载规律,从而能够基于与该加载规律对应的目标优化策略,对目标计算任务中目标显存数据进行显存和内存间的换入换出策略进行调整,从而能够使目标计算任务中的目标显存数据,可以以按照第一加载规律减少计算过程中需等待显存数据加载而被暂停的时间的策略,进行显存和内存间的换入换出操作,实现在提高显存利用率的同时,减少出现计算过程需要等待显存数据加载而浪费算力的现象。