一种低功耗AI芯片的并行运算调度系统的制作方法

摘要: 本发明涉及ai芯片调度,具体为一种低功耗ai芯片的并行运算调度系统。背景技术:1、低功耗ai芯片在执行神经网络推理任务时,通常需要对算子节点、输入数据、参数数据...
一种低功耗AI芯片的并行运算调度系统的制作方法

本发明涉及ai芯片调度,具体为一种低功耗ai芯片的并行运算调度系统。

背景技术:

1、低功耗ai芯片在执行神经网络推理任务时,通常需要对算子节点、输入数据、参数数据和输出数据进行运行时调度,并将计算任务、片上存储访问、数据搬运和电源域控制安排在不同调度窗口内。现有调度方式多以算子或者任务作为基本调度对象,调度过程通常侧重任务依赖关系和资源占用关系,未将微片段内部的数据读取、参数读取、计算处理、结果合并和数据输出动作进一步划分为执行相位,也未将执行相位对应的相位功耗矢量和相位可交换边界标记纳入同一调度判断过程,导致执行相位之间的资源占用状态、窗口调整范围和后续反馈更新关系难以统一处理。

2、在片上数据管理方面,低功耗ai芯片通常需要在有限片上存储区域内保持输入数据、参数数据和中间结果,并在计算任务之间复用片上数据对象。现有片上数据管理方式通常根据数据是否已经装载或者是否仍被任务使用进行判断,缺少面向微片段调度的片上驻留租约、数据复用亲和度和反融合边界的联合处理方式。当融合任务边界限制执行相位调整,或者片上数据对象无法按照驻留关系继续保持时,现有方式不便于在保持片上数据对象引用关系的基础上重新形成可调度微片段,影响数据搬运需求与计算执行安排之间的对应关系。

3、在执行控制和运行反馈方面,现有低功耗ai芯片调度方式通常将并行运算调度表、控制信息和运行状态信息分开处理,调度结果下发后,运行过程中的计算忙闲状态、片上存储访问状态、数据搬运等待状态、任务完成状态和电源管理状态难以及时用于修正后续调度使用的相位功耗矢量、片上驻留租约、错峰令牌状态和门控可恢复标记。因此,如何在低功耗ai芯片中对微片段、执行相位、片上驻留租约、数据复用亲和度、反融合边界、错峰令牌和运行状态信息进行协同调度,是本领域需要解决的问题。

技术实现思路

1、针对现有技术的不足,本发明提供了一种低功耗ai芯片的并行运算调度系统,解决了现有调度方式难以将微片段、执行相位、片上驻留租约、数据复用亲和度、反融合边界、错峰令牌和运行状态信息纳入同一调度过程,导致调度约束协同不足的问题。

2、为解决上述问题,本发明提供如下技术方案:

3、本发明提供一种低功耗ai芯片的并行运算调度系统,采用如下的技术方案:

4、一种低功耗ai芯片的并行运算调度系统,包括:

5、任务相位标注模块,其用于根据神经网络计算图、ai芯片资源描述和算子执行模板生成微片段、执行相位、相位功耗矢量和相位可交换边界标记;

6、数据驻留管理模块,其用于根据所述微片段建立片上驻留租约,计算数据复用亲和度,并在融合任务边界限制所述执行相位调整或者影响片上数据复用时生成反融合边界;

7、错峰并行调度模块,其用于根据所述微片段、所述执行相位、所述相位功耗矢量、所述相位可交换边界标记、所述片上驻留租约、所述数据复用亲和度、所述反融合边界和错峰令牌生成并行运算调度表;

8、执行反馈控制模块,其用于根据所述并行运算调度表生成控制信息,标注门控可恢复标记,并根据运行状态信息更新所述相位功耗矢量、所述片上驻留租约、所述错峰令牌状态和所述门控可恢复标记。

9、通过采用上述技术方案,所述任务相位标注模块将所述神经网络计算图转换为所述微片段和所述执行相位,所述数据驻留管理模块将片上数据保持关系转换为所述片上驻留租约和所述数据复用亲和度,所述错峰并行调度模块结合所述相位功耗矢量、所述片上驻留租约、所述反融合边界和所述错峰令牌生成所述并行运算调度表,所述执行反馈控制模块根据所述运行状态信息更新后续调度使用的参数,使任务相位、片上数据驻留、并行调度和反馈更新之间的约束关系在同一调度过程中得到处理。

10、进一步地,所述任务相位标注模块用于生成所述微片段具体包括:

11、读取所述神经网络计算图中的算子节点、输入数据引用、输出数据引用、参数数据引用和算子执行属性;

12、在一个所述算子节点的所述输出数据引用被另一个所述算子节点的所述输入数据引用使用时,建立算子依赖边,并将所述算子依赖边写入算子依赖边集合;

13、根据所述算子依赖边集合记录每个所述算子节点对应的前驱算子和后继算子;

14、结合所述ai芯片资源描述和所述算子执行模板,将所述算子节点划分为能够独立参与运行时调度的所述微片段,并为所述微片段生成微片段描述符,所述微片段描述符记录微片段标识、输入数据范围、输出数据范围、参数数据范围、前驱微片段信息和后继微片段信息。

15、通过采用上述技术方案,所述任务相位标注模块依据所述算子节点之间的数据引用关系建立所述算子依赖边,并结合所述ai芯片资源描述和所述算子执行模板进行微片段划分,使所述微片段在生成时具有数据范围、依赖关系和运行时调度所需的描述信息。

16、进一步地,所述任务相位标注模块用于生成所述执行相位具体包括:

17、根据所述微片段对应的所述算子执行模板,识别所述微片段执行过程中的数据读取、参数读取、计算处理、结果合并、数据输出和参数装载动作;

18、将所述数据读取、所述参数读取、所述计算处理、所述结果合并、所述数据输出和所述参数装载动作标注为数据输入相位、参数读取相位、计算处理相位、结果累加相位、数据写回相位和参数装载相位中的对应执行相位;

19、为所述执行相位生成相位描述符,所述相位描述符记录相位标识、相位类型、依赖相位、资源占用类型和执行窗口调整属性,并将所述相位描述符与所述微片段描述符建立关联。

20、通过采用上述技术方案,所述微片段内部的执行过程被划分为不同的所述执行相位,所述执行相位对应的数据访问、参数读取、计算处理和结果输出动作由所述相位描述符记录,使后续调度过程能够按照相位类型和执行窗口调整属性安排所述执行相位。

21、进一步地,所述任务相位标注模块用于生成所述相位功耗矢量和所述相位可交换边界标记具体包括:

22、根据所述执行相位的所述相位类型、输入数据范围、输出数据范围、参数数据范围、所述算子执行模板和所述ai芯片资源描述,生成所述相位功耗矢量;

23、通过所述相位功耗矢量记录所述执行相位对ai计算单元、片上存储单元、数据搬运单元、片上数据通路和电源域活动状态的占用;

24、根据同一所述微片段内部所述执行相位之间的数据依赖、参数依赖、结果使用关系和所述算子执行模板限制,生成所述相位可交换边界标记;

25、对存在计算结果依赖、累加结果依赖或参数使用依赖的所述执行相位生成不可交换标记,对能够在数据使用前完成的所述数据输入相位、能够在结果使用前延后安排的所述数据写回相位、能够与所述计算处理相位分离安排的所述参数装载相位生成可交换标记。

26、通过采用上述技术方案,所述相位功耗矢量为每个所述执行相位提供资源占用描述,所述相位可交换边界标记为所述执行相位之间的窗口调整提供约束条件,使所述错峰并行调度模块在安排所述执行相位时能够参考资源占用状态和相位调整范围。

27、进一步地,所述数据驻留管理模块用于建立所述片上驻留租约具体包括:

28、根据所述微片段描述符中的所述输入数据范围、所述输出数据范围和所述参数数据范围,登记片上数据对象,并生成片上数据对象集合;

29、根据所述片上数据对象集合和所述微片段对所述片上数据对象的使用关系,建立所述片上驻留租约;

30、通过所述片上驻留租约记录数据对象标识、片上存储区域、有效驻留状态、装载状态、释放状态、可复用任务范围、装载条件和释放条件。

31、通过采用上述技术方案,所述数据驻留管理模块将所述微片段涉及的输入数据、输出数据和参数数据登记为所述片上数据对象,并通过所述片上驻留租约记录所述片上数据对象的驻留、装载、释放和复用条件,使片上数据状态能够进入后续调度判断过程。

32、进一步地,所述数据驻留管理模块用于判断所述微片段执行前的数据可用状态具体包括:

33、在所述微片段被安排至调度窗口前,根据所述微片段对所述片上数据对象的需求关系,检查所述微片段对应的所述片上数据对象是否满足所述有效驻留状态或所述装载状态;

34、当所述微片段需要的所述片上数据对象不满足所述有效驻留状态且不满足所述装载状态时,生成数据搬运需求;

35、通过所述数据搬运需求记录所述数据对象标识、来源存储位置、目标片上存储区域、目标调度窗口和关联微片段标识;

36、将所述数据搬运需求写入待调度的数据搬运队列。

37、通过采用上述技术方案,所述数据驻留管理模块在所述微片段进入所述调度窗口前检查所述片上数据对象的所述有效驻留状态和所述装载状态,并在所述片上数据对象不满足执行条件时生成所述数据搬运需求,使数据搬运安排与微片段执行安排相对应。

38、进一步地,所述数据驻留管理模块用于计算所述数据复用亲和度并生成所述反融合边界具体包括:

39、根据所述微片段之间的片上数据对象复用关系、片上存储区域占用关系和片上数据通路占用关系,计算所述数据复用亲和度;

40、对所述融合任务边界检查所述执行相位是否存在可调整窗口、所述片上数据对象是否能够保持所述有效驻留状态、后续微片段是否能够继续复用融合任务输出数据、所述数据搬运需求是否能够与计算执行分开安排;

41、当所述融合任务边界限制所述执行相位调整或者导致所述片上数据对象无法按所述片上驻留租约保持时,生成所述反融合边界,并将所述融合任务边界对应的融合任务划分为多个可调度微片段;

42、使反融合后得到的所述微片段继续引用所述片上数据对象集合,并继承对应的所述片上驻留租约。

43、通过采用上述技术方案,所述数据复用亲和度将所述微片段之间的片上数据复用关系和资源占用关系提供给调度过程;在所述融合任务边界限制所述执行相位调整或者影响所述片上驻留租约保持时,所述反融合边界将所述融合任务边界对应的融合任务重新划分为多个可调度微片段,并保持所述片上数据对象集合和所述片上驻留租约的引用关系。

44、进一步地,所述错峰并行调度模块用于执行错峰令牌约束判断具体包括:

45、在当前调度窗口内读取所述微片段、所述执行相位、所述片上驻留租约和所述数据复用亲和度;

46、根据微片段依赖完成条件、片上数据可用条件和任务完成要求,筛选能够进入所述当前调度窗口的候选微片段;

47、为电源域和所述当前调度窗口维护资源令牌容量,所述资源令牌容量对应ai计算单元、片上存储单元、数据搬运单元、片上数据通路和电源域活动状态;

48、根据所述相位功耗矢量和所述资源令牌容量,判断所述候选微片段的执行相位组合是否满足错峰令牌约束。

49、通过采用上述技术方案,所述错峰并行调度模块先根据依赖完成、片上数据可用和任务完成要求筛选所述候选微片段,再依据所述相位功耗矢量和所述资源令牌容量判断所述执行相位组合是否满足所述错峰令牌约束,使进入所述并行运算调度表的所述执行相位组合同时满足数据条件和资源条件。

50、进一步地,所述错峰并行调度模块用于建立相位互补队列、计算候选调度评分并处理调度冲突具体包括:

51、根据所述执行相位在所述相位功耗矢量中的主要资源占用项确定主导资源类型,并建立由计算相位队列、存储访问相位队列、数据搬运相位队列、数据通路相位队列和电源活动相位队列构成的所述相位互补队列,将所述候选微片段划入所述相位互补队列中的对应队列;

52、当所述当前调度窗口已经安排所述主导资源类型中的一种主导资源类型的执行相位时,从所述相位互补队列中未被安排的主导资源类型对应的队列中选择满足所述错峰令牌约束的候选执行相位;

53、根据微片段完成紧迫度、所述数据复用亲和度、资源令牌占用、片上存储冲突、电源域切换代价和片上驻留保持代价计算候选调度评分;

54、在所述候选微片段不能写入所述当前调度窗口时,根据所述相位可交换边界标记调整执行相位窗口,根据所述片上驻留租约校验所述片上数据可用条件,根据所述反融合边界重新生成所述候选微片段,并重新计算所述候选调度评分;

55、将通过调度判断的微片段标识、执行相位标识、调度窗口、电源域索引、资源令牌占用、片上数据对象索引、数据搬运需求和执行先后关系写入所述并行运算调度表。

56、通过采用上述技术方案,所述相位互补队列按照所述主导资源类型对所述候选微片段进行归类,所述候选调度评分对微片段完成紧迫度、所述数据复用亲和度、资源令牌占用、片上存储冲突、电源域切换代价和片上驻留保持代价进行判断;在所述候选微片段不能写入所述当前调度窗口时,所述错峰并行调度模块结合所述相位可交换边界标记、所述片上驻留租约和所述反融合边界重新生成候选调度结果。

57、进一步地,所述执行反馈控制模块用于生成所述控制信息、标注所述门控可恢复标记并更新调度参数具体包括:

58、按照所述并行运算调度表中的调度窗口读取所述并行运算调度表中的微片段安排结果、执行相位安排结果、数据搬运安排结果和电源域映射结果,并生成任务发射控制信息、相位启动控制信息、数据搬运控制信息、片上驻留控制信息、片上释放控制信息和电源域控制信息;

59、根据所述并行运算调度表中的调度窗口内电源域索引对应的执行相位安排、所述片上驻留租约、数据搬运动作和后续微片段启动关系,生成所述门控可恢复标记;

60、当所述门控可恢复标记表示允许进入门控状态时,生成门控进入控制信息,当后续调度窗口存在需要在所述电源域索引对应的电源域内执行的所述执行相位时,生成门控恢复控制信息;

61、接收所述运行状态信息,所述运行状态信息为计算忙闲状态、片上存储访问状态、数据搬运等待状态、任务完成状态和电源管理状态;

62、根据所述运行状态信息更新所述相位功耗矢量、所述错峰令牌状态、所述片上驻留租约和所述门控可恢复标记,并将更新后的所述相位功耗矢量、所述错峰令牌状态、所述片上驻留租约和所述门控可恢复标记写入调度参数表。

63、通过采用上述技术方案,所述执行反馈控制模块将所述并行运算调度表转换为所述控制信息,并根据电源域索引对应的执行相位安排、所述片上驻留租约、数据搬运动作和后续微片段启动关系生成所述门控可恢复标记;所述运行状态信息用于更新所述相位功耗矢量、所述错峰令牌状态、所述片上驻留租约和所述门控可恢复标记,使后续并行运算调度使用更新后的调度参数。

64、本发明提供了一种低功耗ai芯片的并行运算调度系统。具备以下有益效果:

65、1、本发明通过任务相位标注模块生成微片段、执行相位、相位功耗矢量和相位可交换边界标记,并由错峰并行调度模块结合片上驻留租约、数据复用亲和度、反融合边界和错峰令牌生成并行运算调度表,使并行运算调度同时依据执行相位、片上驻留租约和错峰令牌状态进行安排并更新调度参数。

66、2、本发明通过数据驻留管理模块根据微片段建立片上驻留租约,并根据片上数据对象复用关系、片上存储区域占用关系和片上数据通路占用关系计算数据复用亲和度,在融合任务边界限制执行相位调整时生成反融合边界,使反融合后得到的微片段继续引用片上数据对象集合并继承片上驻留租约。

67、3、本发明通过执行反馈控制模块根据并行运算调度表生成控制信息和门控可恢复标记,并接收运行状态信息更新相位功耗矢量、错峰令牌状态、片上驻留租约和门控可恢复标记,使任务发射控制信息、相位启动控制信息、数据搬运控制信息和电源域控制信息与后续并行运算调度对应关系保持一致。