任务流与硬件提交队列的动态绑定方法、计算机设备和存储介质与流程

摘要: 本技术涉及人工智能,特别是涉及一种任务流与硬件提交队列的动态绑定方法、计算机设备和存储介质。背景技术:1、在人工智能芯片计算架构中,主机端依托任务流向人工智能芯...
任务流与硬件提交队列的动态绑定方法、计算机设备和存储介质与流程

本技术涉及人工智能,特别是涉及一种任务流与硬件提交队列的动态绑定方法、计算机设备和存储介质。

背景技术:

1、在人工智能芯片计算架构中,主机端依托任务流向人工智能芯片提交核函数启动、内存拷贝、内存填充等各类计算任务,任务流作为软件层任务提交抽象,需通过人工智能芯片硬件层的硬件提交队列完成指令下发执行。在深度学习、高性能计算、科学计算等场景中,人工智能芯片通常需要承载大量并发任务调度,任务流与硬件提交队列的映射匹配效率,直接影响人工智能芯片硬件资源利用率与任务并发执行性能。

2、相关技术中,人工智能芯片驱动架构采用静态绑定映射机制,任务流与硬件提交队列的对应关系在任务流创建阶段即确定,且在任务流的整个运行生命周期内固定不变。驱动多通过轮询、取模方式完成映射,将各个任务流分别绑定至对应的硬件提交队列。当用户创建的任务流数量超出硬件提交队列总数时,多个任务流会共享同一个硬件提交队列。

3、但该静态绑定方式存在明显缺陷,共享同一硬件提交队列的多个任务流的命令只能串行排队执行,如此一来,靠前的冗长任务会阻塞后续所有任务的执行,不仅大幅降低多流并发场景下的命令提交效率,还会造成硬件提交队列资源闲置,最终导致人工智能芯片整体资源利用率偏低,无法满足高并发算力调度的需求。

技术实现思路

1、基于此,有必要针对上述技术问题,提供一种能够提高人工智能芯片资源利用率的任务流与硬件提交队列的动态绑定方法、计算机设备和存储介质。

2、第一方面,本技术提供了一种任务流与硬件提交队列的动态绑定方法,所述方法包括:

3、针对目标任务流,在所述目标任务流的命令提交至第一硬件提交队列前,确定当前是否满足重绑定条件,所述第一硬件提交队列为所述目标任务流当前绑定的硬件提交队列,所述重绑定条件包括所述目标任务流处于空闲状态且所述第一硬件提交队列处于繁忙状态;

4、在当前满足所述重绑定条件时,从各硬件提交队列中查找当前处于空闲状态的第二硬件提交队列,并解除所述目标任务流与所述第一硬件提交队列的绑定关系,以及建立所述目标任务流与所述第二硬件提交队列的绑定关系;

5、将所述目标任务流的命令提交至所述第二硬件提交队列。

6、在其中一个实施例中,所述确定当前是否满足重绑定条件,包括:

7、确定所述目标任务流的状态、以及确定所述第一硬件提交队列的状态;

8、在所述目标任务流的状态为空闲状态,且所述第一硬件提交队列的状态为繁忙状态时,确定当前满足重绑定条件。

9、在其中一个实施例中,所述方法还包括:

10、在所述目标任务流的状态为繁忙状态、和/或所述第一硬件提交队列的状态为空闲状态时,确定当前不满足重绑定条件;

11、将所述目标任务流的命令提交至所述第一硬件提交队列。

12、在其中一个实施例中,所述确定所述目标任务流的状态,包括:

13、获取所述目标任务流对应的任务计数值、以及获取所述第一硬件提交队列对应的第一计数值,所述任务计数值为所述目标任务流最近一次向所述第一硬件提交队列提交命令时,所述第一硬件提交队列中的命令总数,所述第一计数值为所述第一硬件提交队列已完成的命令总数;

14、在所述任务计数值小于或者等于所述第一计数值时,确定所述目标任务流处于空闲状态;或者,在所述任务计数值大于所述第一计数值时,确定所述目标任务流处于繁忙状态。

15、在其中一个实施例中,所述确定所述第一硬件提交队列的状态,包括:

16、获取所述第一硬件提交队列对应的第一计数值和第二计数值,所述第一计数值为所述第一硬件提交队列已完成的命令总数,所述第二计数值为所述第一硬件提交队列中当前已提交的命令总数;

17、在所述第一计数值等于所述第二计数值时,确定所述第一硬件提交队列处于空闲状态;或者,在所述第一计数值小于所述第二计数值时,确定所述第一硬件提交队列处于繁忙状态。

18、在其中一个实施例中,所述从各硬件提交队列中查找当前处于空闲状态的第二硬件提交队列,包括:

19、遍历各硬件提交队列,在当前遍历的硬件提交队列处于空闲状态时,结束遍历操作,并将当前遍历的硬件提交队列作为第二硬件提交队列。

20、在其中一个实施例中,所述方法还包括:

21、在创建所述目标任务流时,若队列池中已创建多个硬件提交队列,则遍历引用计数映射表,所述引用计数映射表用于记录各所述硬件提交队列对应的引用计数,所述引用计数用于表征所述硬件提交队列所绑定的任务流数量;

22、基于各所述硬件提交队列的引用计数确定第一硬件提交队列,建立所述目标任务流与所述第一硬件提交队列的绑定关系;

23、基于递增规则更新所述引用计数映射表中所述第一硬件提交队列的引用计数。

24、在其中一个实施例中,所述基于各所述硬件提交队列的引用计数确定第一硬件提交队列,包括:

25、在当前遍历的硬件提交队列的引用计数为0时,结束遍历操作,并将当前遍历的硬件提交队列作为第一硬件提交队列;或者,

26、在不存在引用计数为0的硬件提交队列时,将各所述硬件提交队列中引用计数最小的硬件提交队列作为第一硬件提交队列。

27、在其中一个实施例中,所述方法还包括:

28、在结束所述目标任务流与所述第一硬件提交队列的绑定关系后,基于递减规则更新所述引用计数映射表中所述第一硬件提交队列的引用计数;

29、在建立所述目标任务流与所述第二硬件提交队列的绑定关系后,基于递增规则更新所述引用计数映射表中所述第二硬件提交队列的引用计数。

30、第二方面,本技术还提供了一种任务流与硬件提交队列的动态绑定装置,包括:

31、第一确定模块,用于针对目标任务流,在所述目标任务流的命令提交至第一硬件提交队列前,确定当前是否满足重绑定条件,所述第一硬件提交队列为所述目标任务流当前绑定的硬件提交队列,所述重绑定条件包括所述目标任务流处于空闲状态且所述第一硬件提交队列处于繁忙状态;

32、重绑定模块,用于在当前满足所述重绑定条件时,从各硬件提交队列中查找当前处于空闲状态的第二硬件提交队列,并解除所述目标任务流与所述第一硬件提交队列的绑定关系,以及建立所述目标任务流与所述第二硬件提交队列的绑定关系;

33、第一提交模块,用于将所述目标任务流的命令提交至所述第二硬件提交队列。

34、在其中一个实施例中,所述确定当前是否满足重绑定条件,包括:

35、确定所述目标任务流的状态、以及确定所述第一硬件提交队列的状态;

36、在所述目标任务流的状态为空闲状态,且所述第一硬件提交队列的状态为繁忙状态时,确定当前满足重绑定条件。

37、在其中一个实施例中,所述装置还包括:

38、第二确定模块,用于在所述目标任务流的状态为繁忙状态、和/或所述第一硬件提交队列的状态为空闲状态时,确定当前不满足重绑定条件;

39、第二提交模块,用于将所述目标任务流的命令提交至所述第一硬件提交队列。

40、在其中一个实施例中,所述确定所述目标任务流的状态,包括:

41、获取所述目标任务流对应的任务计数值、以及获取所述第一硬件提交队列对应的第一计数值,所述任务计数值为所述目标任务流最近一次向所述第一硬件提交队列提交命令时,所述第一硬件提交队列中的命令总数,所述第一计数值为所述第一硬件提交队列已完成的命令总数;

42、在所述任务计数值小于或者等于所述第一计数值时,确定所述目标任务流处于空闲状态;或者,在所述任务计数值大于所述第一计数值时,确定所述目标任务流处于繁忙状态。

43、在其中一个实施例中,所述确定所述第一硬件提交队列的状态,包括:

44、获取所述第一硬件提交队列对应的第一计数值和第二计数值,所述第一计数值为所述第一硬件提交队列已完成的命令总数,所述第二计数值为所述第一硬件提交队列中当前已提交的命令总数;

45、在所述第一计数值等于所述第二计数值时,确定所述第一硬件提交队列处于空闲状态;或者,在所述第一计数值小于所述第二计数值时,确定所述第一硬件提交队列处于繁忙状态。

46、在其中一个实施例中,所述从各硬件提交队列中查找当前处于空闲状态的第二硬件提交队列,包括:

47、遍历各硬件提交队列,在当前遍历的硬件提交队列处于空闲状态时,结束遍历操作,并将当前遍历的硬件提交队列作为第二硬件提交队列。

48、在其中一个实施例中,所述装置还包括:

49、遍历模块,用于在创建所述目标任务流时,若队列池中已创建多个硬件提交队列,则遍历引用计数映射表,所述引用计数映射表用于记录各所述硬件提交队列对应的引用计数,所述引用计数用于表征所述硬件提交队列所绑定的任务流数量;

50、绑定模块,用于基于各所述硬件提交队列的引用计数确定第一硬件提交队列,建立所述目标任务流与所述第一硬件提交队列的绑定关系;

51、第一更新模块,用于基于递增规则更新所述引用计数映射表中所述第一硬件提交队列的引用计数。

52、在其中一个实施例中,所述基于各所述硬件提交队列的引用计数确定第一硬件提交队列,包括:

53、在当前遍历的硬件提交队列的引用计数为0时,结束遍历操作,并将当前遍历的硬件提交队列作为第一硬件提交队列;或者,

54、在不存在引用计数为0的硬件提交队列时,将各所述硬件提交队列中引用计数最小的硬件提交队列作为第一硬件提交队列。

55、在其中一个实施例中,所述装置还包括:

56、第二更新模块,用于在结束所述目标任务流与所述第一硬件提交队列的绑定关系后,基于递减规则更新所述引用计数映射表中所述第一硬件提交队列的引用计数;以及,

57、在建立所述目标任务流与所述第二硬件提交队列的绑定关系后,基于递增规则更新所述引用计数映射表中所述第二硬件提交队列的引用计数。

58、第三方面,本技术还提供了一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以上任一项的任务流与硬件提交队列的动态绑定方法。

59、第四方面,本技术还提供了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以上任一项的任务流与硬件提交队列的动态绑定方法。

60、第五方面,本技术还提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现以上任一项的任务流与硬件提交队列的动态绑定方法。

61、上述任务流与硬件提交队列的动态绑定方法、计算机设备和存储介质,针对目标任务流,在目标任务流的命令提交至第一硬件提交队列前,确定当前是否满足重绑定条件,第一硬件提交队列为目标任务流当前绑定的硬件提交队列,重绑定条件包括目标任务流处于空闲状态且第一硬件提交队列处于繁忙状态;在当前满足重绑定条件时,从各硬件提交队列中查找当前处于空闲状态的第二硬件提交队列,并解除目标任务流与第一硬件提交队列的绑定关系,以及建立目标任务流与第二硬件提交队列的绑定关系,并将目标任务流的命令提交至第二硬件提交队列。采用本技术实施例提供的任务流与硬件提交队列的动态绑定方法、计算机设备和存储介质,任务流与硬件提交队列之间的绑定关系是能够动态调整的,可以在任务流所绑定的硬件提交队列处于繁忙状态时,将能够进行任务迁移的任务流重新绑定到空闲的硬件提交队列,如此一来,可以实现硬件提交队列资源的高效利用,提高人工智能芯片的整体资源利用率,从而满足高并发算力调度的需求。