矩阵运算的方法、矩阵运算装置、电子设备及存储介质与流程

摘要: 本公开的实施例涉及一种矩阵运算的方法、矩阵运算装置、电子设备及存储介质。背景技术:1、为满足人工智能应用对矩阵运算性能的需求,处理器在设计时通常会引入矩阵加速能...
矩阵运算的方法、矩阵运算装置、电子设备及存储介质与流程

本公开的实施例涉及一种矩阵运算的方法、矩阵运算装置、电子设备及存储介质。

背景技术:

1、为满足人工智能应用对矩阵运算性能的需求,处理器在设计时通常会引入矩阵加速能力。目前主流的实现方式包括:通过总线挂载矩阵协处理器、通过专用接口扩展协处理器、以及将矩阵运算指令作为标准指令集在核内实现。这些方式尽管在架构上有所不同,但普遍面临以下技术问题:

2、第一,编程接口不统一。不同实现方案下,矩阵运算与标量、向量运算之间的交互方式存在差异,增加了软件适配和指令调度的复杂度。

3、第二,存储资源竞争。矩阵运算单元与标量、向量处理单元共享片内缓存(cache),运行时相互争抢缓存资源,导致标量、向量与矩阵运算难以同时高效执行,整体性能下降。

4、第三,硬件资源利用率低且面积开销大。在多核处理器系统中,矩阵运算硬件往往在每个处理器内核中独立实现,当处理器内核执行标量或向量运算时,其矩阵单元处于闲置状态,造成显著的面积浪费。同时,若采用协处理器方式,又受限于内存或总线带宽,无法充分发挥矩阵加速潜力。

5、因此,如何在保证矩阵运算加速能力的前提下,实现编程接口的统一、缓存资源的高效共享以及多核场景下硬件资源的灵活复用,是当前处理器架构设计亟待解决的关键问题。

技术实现思路

1、本公开的至少一个实施例提供了一种实现多核处理器的矩阵运算的方法,应用于矩阵运算装置,该矩阵运算装置包括n个处理器内核、缓存队列、仲裁器以及m个矩阵运算单元,n为大于或等于2的整数,m为大于或等于1的整数,m小于n,m个矩阵运算单元位于n个处理器内核之外并且由n个处理器内核共享。该方法包括:通过n个处理器内核生成多条矩阵操作指令,并将多条矩阵操作指令缓存至缓存队列;通过仲裁器从缓存队列获取多条矩阵操作指令,并将多条矩阵操作指令中的第一矩阵操作指令发送到m个矩阵运算单元中的第一矩阵运算单元;通过第一矩阵运算单元对第一矩阵操作指令执行运算。

2、例如,在本公开的至少一个实施例提供的矩阵运算的方法中,多条矩阵操作指令中的每条矩阵操作指令包括控制信息和数据信息,该还包括:通过n个处理器内核基于控制信息,按序将多条矩阵操作指令缓存至至少一个缓存队列

3、例如,在本公开的至少一个实施例提供矩阵运算的方法中,至少一个缓存队列包括n个缓存队列,n个缓存队列与n个处理器内核一一对应,控制信息包括每条矩阵操作指令在对应的处理器内核中的重排序缓冲区索引,其中,通过n个处理器内核基于控制信息,按序将多条矩阵操作指令缓存至至少一个缓存队列,包括:通过n个处理器内核基于重排序缓冲区索引,按序将多条矩阵操作指令缓存至对应的n个缓存队列。

4、例如,在本公开的至少一个实施例提供的矩阵运算的方法中,至少一个缓存队列包括单个缓存队列,控制信息包括每条矩阵操作指令在对应的处理器内核中的重排序缓冲区索引以及处理器内核索引,其中,通过n个处理器内核基于控制信息,按序将多条矩阵操作指令缓存至至少一个缓存队列,包括:通过n个处理器内核基于重排序缓冲区索引和处理器内核索引,按序将多条矩阵操作指令缓存至单个缓存队列。

5、例如,在本公开的至少一个实施例提供的矩阵运算的方法中,控制信息还包括每条矩阵操作指令的操作类型,操作类型包括矩阵或向量运算指令、矩阵或向量访存指令以及刷新操作,响应于操作类型为矩阵或向量运算指令,通过n个处理器内核基于重排序缓冲区索引,按序将多条矩阵操作指令缓存至对应的n个缓存队列,包括:基于矩阵或向量运算指令在对应处理器内核中的重排序缓冲区索引,按序将矩阵或向量运算指令、矩阵或向量运算指令对应的数据信息以及矩阵或向量运算指令对应的重排序缓冲区索引同时缓存至对应缓存队列的对应条目中;或者,响应于操作类型为矩阵或向量访存指令,通过n个处理器内核基于重排序缓冲区索引,按序将多条矩阵操作指令缓存至对应的所述n个缓存队列,包括:基于矩阵或向量访存指令在对应处理器内核中的重排序缓冲区索引,预先按序将矩阵或向量访存指令和矩阵或向量访存指令对应的重排序缓冲区索引缓存至对应缓存队列的对应条目中;响应于矩阵或向量访存指令在对应处理器内核中完成虚拟地址到物理地址的转换,将矩阵或向量访存指令对应的数据信息缓存至对应条目中;或者,响应于操作类型为刷新操作,通过n个处理器内核基于重排序缓冲区索引,按序将多条矩阵操作指令缓存至对应的n个缓存队列,包括:基于刷新操作指示的在对应处理器内核中出错指令的重排序缓冲区索引,按序将刷新操作、刷新操作对应的数据信息以及出错指令的重排序缓冲区索引同时缓存至对应缓存队列的对应条目中。

6、例如,在本公开的至少一个实施例提供的运算方法中,多个矩阵运算单元中的每个包括矩阵寄存器和矩阵执行单元、向量寄存器和向量执行单元以及数据缓存,该方法还包括:通过第一矩阵运算单元对第一矩阵操作指令进行解码得到目标矩阵操作指令;响应于目标矩阵操作指令为矩阵或向量运算指令,对矩阵或向量运算指令进行重命名后输入至第一矩阵运算单元的矩阵执行单元或向量执行单元以执行运算;或者,响应于目标矩阵操作指令为矩阵或向量访存指令,将向量访存指令对应的数据信息输入至第一矩阵运算单元的数据缓存;或者,响应于目标矩阵操作指令为刷新操作,对重排序缓冲区索引大于出错指令的重排序缓冲区索引的矩阵操作指令执行刷新操作。

7、例如,在本公开的至少一个实施例提供的矩阵运算的方法中,每个矩阵运算单元中的数据缓存通过一致性总线互联。

8、例如,本公开的至少一个实施例提供的矩阵运算的方法,还包括:通过仲裁器将多条矩阵操作指令中排序位于第一矩阵操作指令下一位的第二矩阵操作指令发送到第一矩阵运算单元,以对第二矩阵操作指令执行运算,其中,第二矩阵操作指令与第一矩阵操作指令来自相同的处理器内核。

9、例如,本公开的至少一个实施例提供的矩阵运算的方法,还包括:通过仲裁器将多条矩阵操作指令中排序位于第一矩阵操作指令下一位的第三矩阵操作指令发送到第一矩阵运算单元,以对第三矩阵操作指令执行运算;或者,将多条矩阵操作指令中排序位于第一矩阵操作指令下一位的第三矩阵操作指令发送到m个矩阵运算单元中除第一矩阵运算单元外的第二矩阵运算单元,以对第三矩阵操作指令执行运算,其中,第三矩阵操作指令与第一矩阵操作指令来自不同的处理器内核。

10、例如,在本公开的至少一个实施例提供的矩阵运算的方法中,第一矩阵运算单元中包括上下文存储器,响应于将第三矩阵操作指令发送至第一矩阵运算单元执行运算,在对第三矩阵操作指令执行运算之前,该方法还包括:通过第一矩阵运算单元保存执行完成第一矩阵操作指令后的第一状态信息至上下文存储器;响应于上下文存储器未保存有第二状态信息,直接对第三矩阵操作指令执行运算;或者恢复第二状态信息,并基于第二状态信息继续对第三矩阵操作指令执行运算,其中,第二状态信息是第一矩阵运算单元执行完成第三矩阵操作指令对应的处理器内核的第四矩阵操作指令后对应的状态信息。

11、例如,在本公开的至少一个实施例提供的矩阵运算的方法中,m个矩阵运算单元的算力不同,该方法还包括:通过仲裁器基于n个处理器内核中目标处理器内核的算力需求,将目标处理器内核发出的多条矩阵操作指令发送至目标矩阵运算单元以执行运算,其中,目标矩阵运算单元的算力与目标处理器内核的算力需求相匹配。

12、本公开的至少一个实施例还提供了一种实现多核处理器的矩阵运算装置,包括n个处理器内核、缓存队列、仲裁器以及m个矩阵运算单元,n为大于或等于2的整数,m为大于或等于1的整数,m小于n,m个矩阵运算单元位于n个处理器内核之外并且由n个处理器内核共享;处理器内核被配置为生成矩阵操作指令;缓存队列被配置为缓存n个处理器内核的多条矩阵操作指令;仲裁器被配置为将多条矩阵操作指令中的第一矩阵操作指令发送到m个矩阵运算单元中的第一矩阵运算单元;第一矩阵运算单元被配置为对第一矩阵操作指令执行运算。

13、例如,在本公开的至少一个实施例提供的矩阵运算装置中,多条矩阵操作指令中的每条矩阵操作指令包括控制信息和数据信息,缓存队列包括n个缓存队列,n个缓存队列与n个处理器内核一一对应;n个处理器内核被配置为基于控制信息,按序将多条矩阵操作指令缓存至对应的n个缓存队列中。

14、例如,在本公开的至少一个实施例提供的矩阵运算装置中,控制信息包括每条矩阵操作指令在对应的处理器内核中的重排序缓冲区索引,n个处理器内核进一步被配置为基于重排序缓冲区索引,按序将多条矩阵操作指令缓存至对应的n个缓存队列。

15、例如,在本公开的至少一个实施例提供的矩阵运算装置中,仲裁器还被配置为:将多条矩阵操作指令中排序位于第一矩阵操作指令下一位的第二矩阵操作指令发送到第一矩阵运算单元,以对第二矩阵操作指令执行运算,其中,第二矩阵操作指令与第一矩阵操作指令来自相同的处理器内核。

16、例如,在本公开的至少一个实施例提供的矩阵运算装置中,仲裁器还被配置为:将多条矩阵操作指令中排序位于第一矩阵操作指令下一位的第三矩阵操作指令发送到第一矩阵运算单元,以对第三矩阵操作指令执行运算;或者,将多条矩阵操作指令中排序位于第一矩阵操作指令下一位的第三矩阵操作指令发送到m个矩阵运算单元中除第一矩阵运算单元外的第二矩阵运算单元,以对第三矩阵操作指令执行运算,其中,第三矩阵操作指令与第一矩阵操作指令来自不同的处理器内核。

17、例如,在本公开的至少一个实施例提供的矩阵运算装置中,第一矩阵运算单元中包括上下文存储器,响应于将第三矩阵操作指令发送至第一矩阵运算单元执行运算,在对第三矩阵操作指令执行运算之前,第一矩阵运算单元被配置为:保存执行完成第一矩阵操作指令后的第一状态信息至上下文存储器;响应于上下文存储器未保存有第二状态信息,直接对第三矩阵操作指令执行运算;或者恢复第二状态信息,并基于第二状态信息继续对第三矩阵操作指令执行运算,其中,第二状态信息是执行完成第三矩阵操作指令对应的处理器内核的第四矩阵操作指令后对应的状态信息。

18、本公开的至少一个实施例还提供了一种电子设备,包括如上任一实施例的矩阵运算装置。

19、例如,在本公开的至少一个实施例提供的电子设备中,该电子设备可以为集成risc-v处理器的人工智能芯片、边缘计算soc或服务器加速卡。

20、本公开的至少一个实施例还提供了另一种电子设备,包括至少一个存储器和至少一个处理器内核,至少一个存储器被配置为存储计算机可执行指令;至少一个处理器被配置为执行计算机可执行指令,计算机可执行指令被至少一个处理器内核执行时现如上任一实施例的矩阵运算的方法。

21、本公开的至少一个实施例还提供了一种非暂时性存储介质,非暂时性地存储计算机可执行指令,其中,当计算机可执行指令由处理器执行时,实现如上任一实施例的矩阵运算的方法。