支持处理单元与乘加单元并发执行的内核架构及调度方法与流程

摘要: 本技术涉及集成电路及人工智能处理器,尤其涉及一种支持处理单元与乘加单元并发执行的内核架构及调度方法。背景技术:1、人工智能处理器执行神经网络计算时,通常需要依次...
支持处理单元与乘加单元并发执行的内核架构及调度方法与流程

本技术涉及集成电路及人工智能处理器,尤其涉及一种支持处理单元与乘加单元并发执行的内核架构及调度方法。

背景技术:

1、人工智能处理器执行神经网络计算时,通常需要依次完成矩阵乘法、反量化、累加、归一化、位置编码及非线性运算。不同运算环节对硬件资源的需求不同,矩阵计算结束后的后处理阶段可能使部分计算资源处于等待状态。

2、现有内核多按照线程块逐一完成全部运算后再启动下一线程块。若直接交叠不同线程块的运算,又容易发生指令错配、执行资源争用、寄存器数据覆盖或访存冲突。因此,如何在保证线程块指令和数据对应关系的同时,使不同线程块的矩阵计算环节与后处理环节安全并发,是亟待解决的技术问题。

技术实现思路

1、本技术提出了一种支持处理单元与乘加单元并发执行的内核架构及调度方法,以期通过硬件调度和执行资源分工,使当前线程块的后处理环节与下一线程块的矩阵计算环节在时间上重叠。

2、第一方面,本技术实施例提供了一种支持处理单元与乘加单元并发执行的内核架构,包括:

3、调度器,包括命令先进先出缓存电路、指令译码电路、线程块选择电路和并发分发电路;所述命令先进先出缓存电路的队列交互接口与所述线程块选择电路的队列访问接口电连接;所述指令译码电路的调度请求接口与所述线程块选择电路的请求接收接口电连接;所述指令译码电路的译码发送接口与所述并发分发电路的译码接收接口电连接;所述线程块选择电路的分发控制接口与所述并发分发电路的调度控制接口电连接;

4、乘加单元,其矩阵指令接收接口与所述并发分发电路的第一指令分发接口电连接;

5、至少两个处理单元,包括第一处理单元和第二处理单元;所述第一处理单元的辅助指令接收接口与所述并发分发电路的第二指令分发接口电连接;所述第二处理单元的后处理指令接收接口与所述并发分发电路的第三指令分发接口电连接;

6、所述指令译码电路用于在当前线程块的矩阵计算环节完成后解析其并发请求指令;所述线程块选择电路用于响应解析结果检查队列状态;队列非空时,所述线程块选择电路读取命令信息;所述线程块选择电路根据所述命令信息确定下一线程块;所述并发分发电路用于经所述第一指令分发接口向所述乘加单元分发所述下一线程块的矩阵乘法指令;经所述第二指令分发接口向所述第一处理单元分发所述下一线程块的矩阵辅助运算指令;经所述第三指令分发接口向所述第二处理单元分发所述当前线程块的后处理指令,以使所述下一线程块的矩阵计算环节与所述当前线程块的后处理环节在执行时间上重叠;所述乘加单元执行矩阵乘法运算;所述第一处理单元执行矩阵辅助运算;所述第二处理单元执行后处理运算;所述线程块为执行同一内核函数的一组线程;所述当前线程块为所述并发请求指令所属的线程块;所述下一线程块为区别于所述当前线程块的待调度线程块;所述矩阵计算环节包括矩阵乘法运算及矩阵辅助运算。

7、可以看出,本实施例通过相互对接的接口建立队列访问、请求传递、译码传输及分发控制路径,并建立分别通向乘加单元、第一处理单元和第二处理单元的指令分发路径。线程块选择电路响应并发请求确定下一线程块,并发分发电路将下一线程块的矩阵乘法指令和矩阵辅助运算指令送至乘加单元及第一处理单元,同时将当前线程块的后处理指令送至第二处理单元。因此,矩阵辅助运算与后处理运算能够占用不同处理资源,有利于减少阶段串行衔接造成的等待,提高执行单元利用率,并降低人工编排跨线程块流水线的复杂度。

8、在一个可能的示例中,所述命令先进先出缓存电路包括命令存储阵列、读指针寄存器、写指针寄存器、队列状态生成电路和读写控制电路;所述读写控制电路的命令接收接口与上级调度电路的命令发送接口电连接,用于接收待调度线程块的命令信息及写入控制信号;所述读写控制电路的队列交互接口构成所述命令先进先出缓存电路的所述队列交互接口,用于与所述队列访问接口传输读取控制信号、队列状态及命令信息;所述读写控制电路的存储访问接口与所述命令存储阵列的存储读写接口电连接;所述读写控制电路的读指针访问接口与所述读指针寄存器的读指针读写接口电连接;所述读写控制电路的写指针访问接口与所述写指针寄存器的写指针读写接口电连接;所述读指针寄存器的读指针发送接口与所述队列状态生成电路的第一指针接收接口电连接;所述写指针寄存器的写指针发送接口与所述队列状态生成电路的第二指针接收接口电连接;所述队列状态生成电路的队列状态发送接口与所述读写控制电路的队列状态接收接口电连接;所述读写控制电路用于根据写指针将所述命令信息写入所述命令存储阵列;写入完成后,所述读写控制电路更新写指针;所述读写控制电路还用于响应所述读取控制信号,根据读指针读取最早写入且尚未读取的命令信息;该命令信息被所述线程块选择电路接受后,所述读写控制电路更新读指针;所述队列状态生成电路用于根据读指针和写指针生成所述队列状态。

9、可见,本示例通过读写控制电路协调命令存储阵列和读写指针,使待调度线程块的命令信息按照写入顺序被读取,并向线程块选择电路提供与命令信息对应的队列状态,有利于避免重复调度、遗漏调度以及空队列误读取。

10、在一个可能的示例中,所述调度器还包括指令获取电路;所述线程块选择电路的取指控制接口与所述指令获取电路的线程选择接口电连接;所述指令获取电路的指令存储访问接口与指令存储器的指令存储服务接口电连接;所述指令获取电路的指令提供接口与所述指令译码电路的指令获取接口电连接;所述线程块选择电路用于经所述取指控制接口提供线程块选择信息;所述指令获取电路用于根据所述线程块选择信息获取对应线程块的指令;所述指令获取电路通过所述指令提供接口向所述指令译码电路提供所述指令;所述线程块选择信息用于在所述当前线程块和所述下一线程块之间选择取指对象;所述指令译码电路用于向所述译码发送接口提供携带线程块标识及执行单元标识的译码指令;所述并发分发电路用于通过所述译码接收接口接收所述译码指令;所述并发分发电路用于根据所述执行单元标识选择指令通路;当所述执行单元标识指示所述乘加单元时,将所述译码接收接口接收的指令路由至所述第一指令分发接口;当所述执行单元标识指示所述第一处理单元时,将所述译码接收接口接收的指令路由至所述第二指令分发接口;当所述执行单元标识指示所述第二处理单元时,将所述译码接收接口接收的指令路由至所述第三指令分发接口;所述并发分发电路在指令分发时保留对应的线程块标识。

11、可见,本示例通过线程块选择信息确定取指对象,并在译码指令中保留线程块标识和执行单元标识,使同一译码输入能够被准确路由至不同执行单元,有利于防止当前线程块与下一线程块的指令发生混淆。

12、在一个可能的示例中,所述线程块选择电路包括选择控制电路和调度状态寄存器;所述选择控制电路的状态访问接口与所述调度状态寄存器的调度状态读写接口电连接;所述选择控制电路的队列访问接口构成所述线程块选择电路的所述队列访问接口;所述选择控制电路的请求接收接口构成所述线程块选择电路的所述请求接收接口;所述选择控制电路的分发控制接口构成所述线程块选择电路的所述分发控制接口;所述乘加单元的第一执行状态发送接口与所述选择控制电路的第一执行状态接收接口电连接;所述第一处理单元的第二执行状态发送接口与所述选择控制电路的第二执行状态接收接口电连接;所述第二处理单元的第三执行状态发送接口与所述选择控制电路的第三执行状态接收接口电连接;所述选择控制电路用于根据接收的执行状态更新所述调度状态寄存器;所述调度状态寄存器用于记录线程块的矩阵计算完成状态、后处理完成状态及所述第二处理单元的占用状态;所述下一线程块的矩阵计算环节完成后,所述选择控制电路检查所述占用状态;若所述第二处理单元被占用,所述选择控制电路记录所述下一线程块的后处理待发射状态;若所述第二处理单元空闲,所述选择控制电路经所述分发控制接口发送后处理分发许可;所述并发分发电路通过所述调度控制接口接收所述后处理分发许可,并分发所述下一线程块的后处理指令;所述选择控制电路还用于在响应所述并发请求指令时检查队列状态;当队列为空时,不启动新的线程块,并允许所述当前线程块继续执行后处理环节。

13、可见,本示例通过调度状态寄存器保存矩阵计算完成状态、后处理完成状态和处理单元占用状态,使选择控制电路能够针对两个线程块的不同完成顺序进行后处理指令发射控制,有利于避免后处理指令重复发射或在第二处理单元被占用时提前发射。

14、在一个可能的示例中,所述乘加单元包括乘加控制电路和乘累加阵列;所述乘加控制电路的矩阵指令接收接口构成所述乘加单元的所述矩阵指令接收接口;所述乘加控制电路的乘加控制发送接口与所述乘累加阵列的乘加控制接收接口电连接;所述乘加控制电路用于根据矩阵乘法指令生成乘加控制信号;所述乘累加阵列用于响应所述乘加控制信号执行矩阵乘法运算;所述第一处理单元包括第一运算电路;所述第一运算电路的辅助指令接收接口构成所述辅助指令接收接口;所述第一运算电路专用于执行与矩阵乘法相关的反量化运算、后求和运算和累加运算中的至少一种;所述第二处理单元包括第二运算电路;所述第二运算电路的后处理指令接收接口构成所述后处理指令接收接口;所述第二运算电路用于执行后处理指令或通用计算指令,所述后处理指令或通用计算指令包括均方根归一化指令、位置编码指令和非线性运算指令中的至少一种;所述第二运算电路与所述第一运算电路为不同的硬件运算电路;所述第二运算电路执行所述当前线程块的后处理指令时,不占用所述第一运算电路和所述乘累加阵列。

15、可见,本示例将矩阵乘法、矩阵辅助运算和后处理运算配置给不同硬件运算电路,使当前线程块的后处理不会占用下一线程块所需的第一运算电路和乘累加阵列,从硬件资源层面为跨线程块并发执行提供条件。

16、在一个可能的示例中,所述内核架构还包括在物理上相互独立的第一寄存器堆、第二寄存器堆和第三寄存器堆;所述乘加单元的第一寄存器访问接口与所述第一寄存器堆的第一存储读写接口电连接;所述第一处理单元的第二寄存器访问接口与所述第二寄存器堆的第二存储读写接口电连接;所述第二处理单元的第三寄存器访问接口与所述第三寄存器堆的第三存储读写接口电连接;在所述当前线程块与所述下一线程块并发执行期间,所述乘加单元经所述第一寄存器访问接口存取所述下一线程块的矩阵乘法运算数据;所述第一处理单元经所述第二寄存器访问接口存取所述下一线程块的矩阵辅助运算数据;所述第二处理单元经所述第三寄存器访问接口存取所述当前线程块的后处理运算数据。

17、可见,本示例利用相互独立的寄存器堆隔离不同执行单元和不同线程块的运算数据,有利于减少并发访问产生的数据覆盖和端口争用,并使各执行单元能够独立推进相应运算。

18、在一个可能的示例中,所述内核架构还包括寄存器存储阵列;所述乘加单元的第四寄存器访问接口与所述寄存器存储阵列的第四存储读写接口电连接;所述第一处理单元的第五寄存器访问接口与所述寄存器存储阵列的第五存储读写接口电连接;所述第二处理单元的第六寄存器访问接口与所述寄存器存储阵列的第六存储读写接口电连接;所述寄存器存储阵列具有互不重叠的第一地址范围、第二地址范围和第三地址范围;所述第四存储读写接口用于访问所述第一地址范围;所述第五存储读写接口用于访问所述第二地址范围;所述第六存储读写接口用于访问所述第三地址范围;在所述当前线程块与所述下一线程块并发执行期间,所述乘加单元经所述第四寄存器访问接口存取所述下一线程块的矩阵乘法运算数据;所述第一处理单元经所述第五寄存器访问接口存取所述下一线程块的矩阵辅助运算数据;所述第二处理单元经所述第六寄存器访问接口存取所述当前线程块的后处理运算数据。

19、可见,本示例通过在同一寄存器存储阵列中划分互不重叠的地址范围,实现不同线程块运算数据的逻辑隔离。在维持数据隔离关系的同时,能够共享寄存器存储阵列的物理资源,便于在存储容量和硬件面积之间进行配置。

20、在一个可能的示例中,所述内核架构还包括访存发射控制电路;所述乘加单元的第一访存控制接口与所述访存发射控制电路的第一仲裁接口电连接;所述第一处理单元的第二访存控制接口与所述访存发射控制电路的第二仲裁接口电连接;所述第二处理单元的第三访存控制接口与所述访存发射控制电路的第三仲裁接口电连接;所述第一访存控制接口与所述第一仲裁接口用于传输所述乘加单元的访存请求及对应授权信号;所述第二访存控制接口与所述第二仲裁接口用于传输所述第一处理单元的访存请求及对应授权信号;所述第三访存控制接口与所述第三仲裁接口用于传输所述第二处理单元的访存请求及对应授权信号;所述访存发射控制电路用于进行列级发射仲裁;在所述乘加单元获得授权的列级发射周期内,所述访存发射控制电路禁止所述第一处理单元发出加载指令或存储指令;所述访存发射控制电路还禁止所述第二处理单元在该周期内发出加载指令或存储指令;在任一所述处理单元获得授权的列级发射周期内,所述访存发射控制电路禁止所述乘加单元发出加载指令或存储指令;所述乘加单元的单次乘加运算持续至少两个列级发射周期;在所述乘加单元未发出加载指令或存储指令的列级发射周期内,所述访存发射控制电路向存在访存请求的所述第一处理单元或所述第二处理单元提供授权信号。

21、可见,本示例将访存授权细化至列级发射周期,在防止乘加单元与处理单元于同一列级发射周期发生访存冲突的同时,能够利用乘加运算期间未发出访存指令的周期处理处理单元的访存请求,提高访存通路的有效利用程度。

22、第二方面,本技术实施例提供了一种内核调度方法,应用于第一方面任一示例所述的内核架构,所述方法包括:由所述乘加单元执行当前线程块的矩阵乘法运算;由所述第一处理单元执行所述当前线程块的矩阵辅助运算;在所述当前线程块的矩阵计算环节完成后,由所述指令译码电路解析所述当前线程块的并发请求指令;由所述指令译码电路经所述调度请求接口向所述请求接收接口传输解析结果;由所述线程块选择电路响应所述解析结果,经所述队列访问接口访问所述队列交互接口,获取队列状态;当队列非空时,由所述线程块选择电路读取待调度线程块的命令信息;由所述线程块选择电路根据所述命令信息确定下一线程块;由所述线程块选择电路经所述分发控制接口向所述调度控制接口提供线程块调度信息;由所述指令译码电路经所述译码发送接口向所述译码接收接口提供译码指令;由所述并发分发电路根据所述线程块调度信息,经所述第一指令分发接口向所述矩阵指令接收接口分发所述下一线程块的矩阵乘法指令;经所述第二指令分发接口向所述辅助指令接收接口分发所述下一线程块的矩阵辅助运算指令;经所述第三指令分发接口向所述后处理指令接收接口分发所述当前线程块的后处理指令;由所述乘加单元执行所述下一线程块的矩阵乘法运算;由所述第一处理单元执行所述下一线程块的矩阵辅助运算;由所述第二处理单元执行所述当前线程块的后处理运算;由所述调度器安排指令分发时序,使所述下一线程块的矩阵计算环节与所述当前线程块的后处理环节在执行时间上重叠。

23、可以看出,本实施例通过相互对接的接口建立队列访问、请求传递、译码传输及分发控制路径,并建立分别通向乘加单元、第一处理单元和第二处理单元的指令分发路径。线程块选择电路响应并发请求确定下一线程块,并发分发电路将下一线程块的矩阵乘法指令和矩阵辅助运算指令送至乘加单元及第一处理单元,同时将当前线程块的后处理指令送至第二处理单元。因此,矩阵辅助运算与后处理运算能够占用不同处理资源,有利于减少阶段串行衔接造成的等待,提高执行单元利用率,并降低人工编排跨线程块流水线的复杂度。

24、在一个可能的示例中,所述内核架构包括选择控制电路和调度状态寄存器;由所述选择控制电路根据所述第一执行状态接收接口和所述第二执行状态接收接口接收的执行状态,更新所述调度状态寄存器中的矩阵计算完成状态;由所述选择控制电路根据所述第三执行状态接收接口接收的执行状态,更新后处理完成状态及所述第二处理单元的占用状态;当所述当前线程块的后处理环节先完成时,由所述选择控制电路将所述第二处理单元的占用状态更新为空闲;由所述乘加单元继续执行所述下一线程块尚未完成的矩阵乘法运算;由所述第一处理单元继续执行所述下一线程块尚未完成的矩阵辅助运算;当所述下一线程块的矩阵计算环节先完成时,由所述选择控制电路检查所述第二处理单元的占用状态;若所述第二处理单元仍被所述当前线程块占用,由所述选择控制电路记录所述下一线程块的后处理待发射状态;在所述下一线程块的矩阵计算环节完成后,由所述选择控制电路在所述第二处理单元空闲时,经所述分发控制接口向所述调度控制接口发送后处理分发许可;由所述并发分发电路响应所述后处理分发许可,经所述第三指令分发接口向所述后处理指令接收接口分发所述下一线程块的后处理指令;由所述第二处理单元执行所述下一线程块的后处理运算。

25、可见,本示例能够分别处理当前线程块先完成后处理和下一线程块先完成矩阵计算两种时序。通过占用状态和后处理待发射状态衔接两个线程块的执行过程,能够避免第二处理单元仍被占用时发射下一线程块的后处理指令,并在第二处理单元空闲后及时继续后处理流程。

26、可以看出,本技术实施例中,相对于矩阵计算环节与后处理环节串行执行的内核架构,本技术通过硬件调度实现不同线程块之间的执行重叠。本技术通过相互对接的接口建立队列访问、请求传递、译码传输及分发控制路径,并建立分别通向乘加单元、第一处理单元和第二处理单元的指令分发路径。由于线程块选择电路能够响应并发请求确定下一线程块,使得并发分发电路能够将下一线程块的矩阵乘法指令和矩阵辅助运算指令送至乘加单元及第一处理单元,同时将当前线程块的后处理指令送至第二处理单元,从而使矩阵辅助运算与后处理运算占用不同的处理资源,有利于减少阶段串行衔接造成的等待,提高执行单元利用率,并降低人工编排跨线程块流水线的复杂度。