命令处理装置、方法及设备、存储介质、计算机程序产品与流程

摘要: 本公开涉及一种命令处理装置、方法以及计算机设备、计算机可读存储介质、计算机程序产品。背景技术:1、通用图形处理器(general-purposecomputin...
命令处理装置、方法及设备、存储介质、计算机程序产品与流程

本公开涉及一种命令处理装置、方法以及计算机设备、计算机可读存储介质、计算机程序产品。

背景技术:

1、通用图形处理器(general-purpose computing on graphics processingunits,gpgpu)被广泛应用于大模型训练和推理等计算密集型场景。在gpgpu中,命令下发模块(例如,命令处理器cp)可以获取主机下发的命令,任务派发模块(例如,命令包派发cpd)对命令进行解析和拆分,并将拆分得到的任务发送至下游,并进一步将任务分发至gpgpu中的多个运算核,以利用多个运算核并行执行计算任务。

2、然而,不同命令对应的任务在执行时间、执行进度以及资源占用等方面可能存在差异,因此,不同命令的完成时间也可能存在较大差异。

3、在现有的命令处理机制中,对命令执行状态以及命令完成信息的管理可能导致部分已经完成的命令不能被及时处理,从而产生不必要的等待或者阻塞,降低gpgpu的整体执行效率。

技术实现思路

1、本公开旨在解决gpgpu命令处理效率的瓶颈问题,通过高效管理已经完成的命令返回上游,能够实现相同队列中的命令顺序返回,不同队列中的命令独立返回,从而充分提高命令处理效率和系统响应速度。

2、为解决前述问题,本公开提供了一种命令处理装置、方法以及计算机设备、计算机可读存储介质、计算机程序产品。

3、根据本公开的一方面,提供了一种命令处理装置,所述命令处理装置包括:命令下发模块,包括多个命令队列,其中,所述命令下发模块被配置为下发所述多个命令队列中的命令;任务派发模块,包括与所述命令下发模块的多个命令队列分别对应的多个命令标识缓存队列,其中,所述每个命令标识缓存队列是先入先出fifo队列;以及多个计算分区;其中,所述任务派发模块被配置为:依次从所述命令下发模块接收一个或多个命令,其中,所述一个或多个命令中的每个命令指示所述命令下发模块中该命令所属的命令队列,对于所接收的一个或多个命令中的每个命令,为该命令分配对应的命令标识,将该命令对应的命令标识存储至所述多个命令标识缓存队列中与该命令所属的命令队列对应的命令标识缓存队列,将该命令派发至所述多个计算分区,以获取所述多个计算分区返回的指示该命令完成的响应信息,其中所述响应信息指示该命令对应的命令标识;基于所返回的命令标识与所述每个命令标识缓存队列的队头之间的比较结果,向所述命令下发模块返回该命令的完成信息。

4、根据本公开的一方面,基于所返回的命令标识与所述每个命令标识缓存队列的队头之间的比较结果,向所述命令下发模块返回该命令的完成信息,包括:基于所述多个命令标识缓存队列的多个队头中存在与该命令对应的命令标识相同的队头,执行以下操作:基于命令缓存模块中该命令标识指示的命令的返回信息,向所述命令下发模块返回该命令标识指示的命令的完成信息,以清除该命令标识指示的命令的所述返回信息;将该队头从该队头所属的命令标识缓存队列中弹出。

5、根据本公开的一方面,所述任务派发模块还包括所述命令缓存模块,其中,所述命令缓存模块存储需要向所述命令下发模块返回的所述一个或多个命令的返回信息。

6、根据本公开的一方面,基于所返回的命令标识与所述每个命令标识缓存队列的队头之间的比较结果,向所述命令下发模块返回该命令的完成信息,包括:基于所述多个命令标识缓存队列的多个队头中不存在与所述多个计算分区返回的所述命令标识相同的队头,执行以下操作:保持所述多个计算分区返回的所述命令标识,直至所述多个命令标识缓存队列的所述多个队头中存在与所述多个计算分区返回的所述命令标识相同的队头。

7、根据本公开的一方面,所述一个或多个命令中的所述每个命令的所述命令标识指示所述命令缓存模块中为该命令分配的缓存地址。

8、根据本公开的一方面,所述多个命令标识缓存队列中的每个命令标识缓存队列的深度与所述命令缓存模块的深度相同。

9、根据本公开的一方面,将该命令派发至所述多个计算分区,以获取所述多个计算分区返回的指示该命令完成的响应信息,包括:将基于该命令拆分的一个或多个任务派发至所述计算分区,其中,所述一个或多个任务中的每个任务携带该命令对应的命令标识。

10、根据本公开的一方面,指示该命令完成的所述响应信息包括该命令对应的所述一个或多个任务的所有任务完成信息,其中,将该命令派发至所述多个计算分区,以获取所述多个计算分区返回的指示该命令完成的响应信息,包括:接收所述多个计算分区返回的该命令对应的所述一个或多个任务的一个或多个任务完成信息,其中,所述一个或多个任务完成信息携带该命令对应的命令标识;响应于接收到所述所有任务完成信息,基于所述所有任务完成信息中携带的该命令对应的命令标识,确定该命令执行完成。

11、根据本公开的另一方面,还提供了一种应用于命令处理装置的命令处理方法,其特征在于,所述命令处理装置包括命令下发模块、任务派发模块以及多个计算分区,所述方法包括:所述命令下发模块下发多个命令队列中的命令;所述任务派发模块依次接收一个或多个命令,其中,所述一个或多个命令中的每个命令指示该命令所属的命令队列,对于所接收的一个或多个命令中的每个命令,任务派发模块执行以下步骤:为该命令分配对应的命令标识,将该命令对应的命令标识存储至多个命令标识缓存队列中与该命令所属的命令队列对应的命令标识缓存队列,其中,所述多个命令标识缓存队列分别与所述多个命令队列对应,并且每个所述命令标识缓存队列为先入先出fifo队列;将该命令派发至所述多个计算分区,以获取所述多个计算分区返回的指示该命令完成的响应信息,其中所述响应信息指示该命令对应的命令标识;基于所返回的命令标识与所述每个命令标识缓存队列的队头之间的比较结果,向所述命令下发模块返回该命令的完成信息。

12、根据本公开的另一方面,基于所返回的命令标识与所述每个命令标识缓存队列的队头之间的比较结果,向所述命令下发模块返回该命令的完成信息,包括:基于所述多个命令标识缓存队列的多个队头中存在与该命令对应的命令标识相同的队头,执行以下操作:基于命令缓存模块中该命令标识指示的命令的返回信息,向所述命令下发模块返回该命令标识指示的命令的完成信息,以清除该命令标识指示的命令的所述返回信息;将该队头从该队头所属的命令标识缓存队列中弹出。

13、根据本公开的另一方面,基于所返回的命令标识与所述每个命令标识缓存队列的队头之间的比较结果,向所述命令下发模块返回该命令的完成信息,包括:基于所述多个命令标识缓存队列的多个队头中不存在与所述多个计算分区返回的所述命令标识相同的队头,执行以下操作:保持所述多个计算分区返回的所述命令标识,直至所述多个命令标识缓存队列的所述多个队头中存在与所述多个计算分区返回的所述命令标识相同的队头。

14、根据本公开的又一方面,还提供了一种计算机设备,所述计算机设备包括:至少一个处理器;存储器,其上存储有计算机程序,其中,所述计算机程序在被所述至少一个处理器执行时,使所述至少一个处理器执行前述方法。

15、根据本公开的又一方面,还提供了一种计算机可读存储介质,其中,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时,使所述处理器执行前述方法。

16、根据本公开的又一方面,还提供了一种计算机程序产品,其中,所述计算机程序产品包括计算机程序,所述计算机程序被处理器执行时,使所述处理器执行前述方法。

17、通过为不同命令队列分别设置对应的先入先出的命令标识缓存队列,并基于计算分区返回的命令标识与各命令标识缓存队列的队头进行比较,控制命令完成信息的返回,可以在保证同一命令队列中的命令按照预定顺序完成返回的同时,使属于不同命令队列的命令能够彼此独立地完成返回。由此,可以避免不同命令队列之间因共享统一的完成返回顺序而产生不必要的相互等待和阻塞,使已经执行完成且满足其所属命令队列返回条件的命令能够及时释放相应的缓存资源,提高命令下发的效率。