GPU算力资源回收调度方法、系统、设备及介质与流程

摘要: 本申请涉及数据处理技术,尤其涉及一种gpu算力资源回收调度方法、系统、设备及介质。背景技术:1、随着基于gpudirectrdma的分布式训练、推理以及高性能计...
GPU算力资源回收调度方法、系统、设备及介质与流程

本申请涉及数据处理技术,尤其涉及一种gpu算力资源回收调度方法、系统、设备及介质。

背景技术:

1、随着基于gpu direct rdma的分布式训练、推理以及高性能计算场景不断发展,网络接口控制器能够绕过主机内存,直接对gpu显存执行远程直接内存访问操作,以降低数据搬运延迟并提高gpu间数据传输效率。

2、在现有技术中,gpu任务结束后,通常由gpu运行时系统、显存分配器或者用户态程序对对应gpu缓冲区执行释放操作,以便后续任务重新复用对应显存资源。

3、然而,在实际部署过程中,由于gpu缓冲区的释放过程涉及队列对、完成队列、内存注册对象、输入输出内存管理单元地址映射以及pcie设备侧缓存等多个异步硬件对象,导致gpu缓冲区在逻辑释放后,网络设备侧仍可能继续向对应显存区域执行dma写入操作。

4、当新的计算任务复用同一显存页时,迟到的dma写入可能覆盖新任务数据,从而导致训练数据污染、模型参数异常、静默数据损坏以及训练结果失真等问题,影响分布式训练系统的稳定性与可靠性。

技术实现思路

1、本申请提供一种gpu算力资源回收调度方法、系统、设备及介质,用以解决的技术问题。

2、第一方面,本申请提供一种gpu算力资源回收调度方法,包括:

3、获取目标gpu缓冲区对应的回收请求;

4、响应于所述回收请求,将所述目标gpu缓冲区由活动状态切换为待撤销状态,并为所述目标gpu缓冲区分配撤销标识;

5、阻断新的dma事务对所述目标gpu缓冲区的提交;

6、对与所述目标gpu缓冲区关联的地址映射执行失效处理,将完成所述失效处理后的所述目标gpu缓冲区转入隔离缓冲区;

7、在满足预设确认条件后,将所述目标gpu缓冲区由所述隔离缓冲区转入可复用显存池。

8、第二方面,本申请提供一种gpu算力资源回收调度系统,包括:

9、获取模块,用于获取目标gpu缓冲区对应的回收请求;

10、切换模块,用于响应于所述回收请求,将所述目标gpu缓冲区由活动状态切换为待撤销状态,并为所述目标gpu缓冲区分配撤销标识;

11、阻断模块,用于阻断新的dma事务对所述目标gpu缓冲区的提交;

12、处理模块,用于对与所述目标gpu缓冲区关联的地址映射执行失效处理,将完成所述失效处理后的所述目标gpu缓冲区转入隔离缓冲区;

13、转入模块,用于在满足预设确认条件后,将所述目标gpu缓冲区由所述隔离缓冲区转入可复用显存池。

14、第三方面,本申请提供一种电子设备,包括:

15、处理器;以及,

16、存储器,用于存储所述处理器的可执行指令;

17、其中,所述处理器配置为经由执行所述可执行指令来执行第一方面中所述的任一种可能的方法。

18、第四方面,本申请提供一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机执行指令,所述计算机执行指令被处理器执行时用于实现第一方面中所述的任一种可能的方法。

19、本申请提供的gpu算力资源回收调度方法、系统、设备及介质,在接收到gpu缓冲区对应的回收请求后,首先将目标gpu缓冲区由活动状态切换为待撤销状态,并阻断新的dma事务继续引用所述目标gpu缓冲区,以切断新的dma提交路径;随后,通过对与所述目标gpu缓冲区关联的队列对执行刷新处理以及对完成队列执行排空处理,使网络接口控制器中已提交但尚未完成的dma事务逐步退休;之后,通过注销内存注册对象并执行输入输出内存管理单元地址映射失效处理,使网络设备无法继续通过旧地址映射访问对应gpu显存区域;在此基础上,将目标gpu缓冲区转入隔离缓冲区,使对应显存页在预设隔离周期内保持不可复用状态,以吸收可能存在的迟到dma写入;待确认不存在未完成dma事务、旧地址映射全部失效以及不存在迟到dma写入后,再将对应gpu缓冲区转入可复用显存池。通过上述方式,实现了gpu缓冲区逻辑释放与底层dma链路退休之间的时序解耦,从而避免旧dma事务污染新任务显存数据。

1.一种gpu算力资源回收调度方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述为所述目标gpu缓冲区分配撤销标识,包括:

3.根据权利要求1所述的方法,其特征在于,所述阻断新的dma事务对所述目标gpu缓冲区的提交,包括:

4.根据权利要求1所述的方法,其特征在于,所述对与所述目标gpu缓冲区关联的地址映射执行失效处理,包括:

5.根据权利要求1所述的方法,其特征在于,所述将完成所述失效处理后的所述目标gpu缓冲区转入隔离缓冲区,包括:

6.根据权利要求1所述的方法,其特征在于,所述预设确认条件包括以下至少一项:

7.根据权利要求1所述的方法,其特征在于,还包括:

8.根据权利要求1所述的方法,其特征在于,还包括:

9.根据权利要求1所述的方法,其特征在于,还包括:

10.根据权利要求1所述的方法,其特征在于,所述gpu缓冲区为基于gpu direct rdma建立内存注册的gpu显存区域。

11.根据权利要求1所述的方法,其特征在于,所述dma事务包括以下至少一项:

12.根据权利要求1所述的方法,其特征在于,所述隔离缓冲区中的gpu缓冲区保持以下至少一种状态:

13.一种gpu算力资源回收调度系统,其特征在于,包括:

14.一种电子设备,其特征在于,包括:

15.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机执行指令,所述计算机执行指令被处理器执行时用于实现如权利要求1至12任一项所述的方法。