一种基于RISC-V指令集扩展的神经网络加速系统及方法
本发明涉及神经网络加速系统,尤其涉及一种基于risc-v指令集扩展的神经网络加速系统及方法。
背景技术:
1、随着卷积神经网络等深度学习模型在图像识别、目标检测、语音处理和边缘智能设备中的应用增多,推理计算通常需要大量乘加运算、特征图搬移、权重读取以及激活、量化、池化等后处理操作。若完全由通用cpu处理器执行,虽然软件灵活性较好,但在吞吐率、功耗和实时性方面难以满足嵌入式或边缘端场景对低延迟、低能耗推理的要求。
2、现有方案中,一类方案采用gpu、npu或外接加速芯片完成神经网络计算,但其通常需要较大的片上资源、复杂驱动和较高的数据搬移开销,在集成成本受限的risc-v架构片上系统中不一定适用。另一类方案通过定制指令或协处理器扩展提高特定算子的执行效率,但若对cpu流水线侵入较深,会增加cpu核修改和验证成本,降低跨平台移植性;若仅通过松耦合总线访问加速器,则指令分发、同步和数据搬移延迟会削弱小批量、低延迟推理场景下的加速收益。同时,现有神经网络加速器存在如下缺陷:其一,访存及计算指令常被保守串行调度,缺少地址依赖的细粒度乱序发射机制,导致dma、本地存储和计算阵列难以充分重叠;其二,本地存储在多读取、多写回和多执行通道并发访问时易发生bank冲突,使计算阵列因等待数据而空转;其三,部分加速器对激活函数、量化、逐通道参数、池化和padding等后处理或数据准备支持不足,导致中间结果频繁写回片外或由cpu软件处理,增加了整体推理延迟。
技术实现思路
1、鉴于上述的分析,本发明实施例旨在提供一种基于risc-v指令集扩展的神经网络加速系统及方法,用以解决现有技术指令分发延迟和系统集成开销大、资源并行利用率低、数据重复搬移、处理灵活性差的问题。
2、一方面,本发明实施例提供了一种基于risc-v指令集扩展的神经网络加速系统,至少包括:前端模块、访存模块,统一本地存储器、执行控制器、累加单元、通用张量加速器、以及至少一个计算阵列;其中:
3、所述前端模块,用于接收并解析所述rocc接口发送的risc-v扩展指令,将解析得到的访存指令发送至所述访存模块,将解析得到的执行指令发送至所述执行控制器;
4、所述访存模块,用于响应于所述访存指令,并在所述外部存储器和所述统一本地存储器之间进行数据搬移以及数据排布转换;
5、所述执行控制器,用于响应于所述执行指令,从所述统一本地存储器读取输入数据,以驱动所述计算阵列执行运算操作;
6、所述计算阵列,用于在所述执行控制器的驱动下执行运算操作,并将运算产生的多个部分和发送至所述累加单元;
7、所述累加单元,用于对各所述部分和进行累加操作,并将累加后的运算结果发送至所述通用张量加速器;
8、所述通用张量加速器,用于对所述累加后的运算结果执行后处理运算,并将处理后的输出结果写入所述统一本地存储器。
9、进一步地,所述前端模块包括指令队列和混合保留站;
10、所述指令队列为先进先出队列,用于缓存所述risc-v扩展指令,并在队列存满时阻塞后续指令;
11、所述混合保留站包括存储指令发射队列、读取指令发射队列和执行指令发射队列,用于根据所述risc-v扩展指令中的字段解析指令类型并将解析得到的指令存入对应的发射队列,以执行指令发送。
12、进一步地,所述访存指令包括存储指令和读取指令;所述混合保留站还用于:
13、在满足发射条件时,将所述存储指令发射队列中的存储指令和所述读取指令发射队列中的读取指令发送至所述访存模块,并将所述执行指令发射队列中的执行指令发送至所述执行控制器;
14、其中,同一发射队列中的指令按入队顺序依次发送;
15、不同发射队列中的指令之间进行地址重叠检测,若检测到指令地址重叠,则为存在地址冲突的指令建立依赖关系,直至该当前指令所依赖的前序指令执行完毕后再发送;若未检测到指令地址重叠,则允许不同发射队列中的指令以乱序方式发送。
16、进一步地,所述计算阵列包括m行n列的计算单元,且m、n均为大于1的整数;所述至少一个计算阵列用于对所述输入数据中的激活值和权重执行卷积或矩阵乘运算,并将运算产生的多个部分和输出至所述累加单元;
17、其中,任一所述计算阵列中,每行计算单元接收同一输入通道的激活值,不同行计算单元接收不同输入通道的激活值,且所述激活值沿水平方向广播至同一行的各列计算单元;每列计算单元输出同一输出通道的部分和,不同列计算单元输出不同输出通道的部分和;
18、所述权重在不同计算阵列中处于相同位置的计算单元之间进行广播。
19、进一步地,所述通用张量加速器至少包括:
20、alu算术逻辑单元,用于对所述累加后的运算结果执行逐元素simd单指令多数据流运算;
21、mul乘法单元,用于对所述累加后的运算结果执行乘法运算;
22、out输出单元,用于对所述alu算术逻辑单元和所述mul乘法单元的运算结果分别执行饱和及后偏移运算;
23、pool池化单元,用于对所述out输出单元输出的运算结果执行池化操作。
24、进一步地,所述通用张量加速器还包括寄存器堆、第一输入端口、第二输入端口和输出端口;
25、所述寄存器堆,用于为所述alu算术逻辑单元、所述mul乘法单元和所述out输出单元提供运算参数;
26、所述第一输入端口,分别与所述累加单元和所述统一本地存储器连接,用于选择性地接收所述累加单元输出的累加结果或所述统一本地存储器传输的数据,分别发送至所述alu算术逻辑单元、所述mul乘法单元和所述out输出单元;
27、所述第二输入端口,与所述统一本地存储器连接,用于接收所述统一本地存储器传输的数据,分别发送至所述alu算术逻辑单元、所述mul乘法单元和所述out输出单元;
28、所述输出端口,连接于所述pool池化单元与所述统一本地存储器之间,用于将所述pool池化单元处理后的输出结果写回所述统一本地存储器。
29、进一步地,所述统一本地存储器在物理层面划分为第一存储分区和第二存储分区,且每个存储分区的深度均为所述统一本地存储器深度的一半。
30、进一步地,所述统一本地存储器设置有与所述第一存储分区对应的第一仲裁器、以及与所述第二存储分区对应的第二仲裁器;
31、所述统一本地存储器的每个请求通道均设置有地址译码单元,所述地址译码单元用于根据请求地址将当前请求路由至所述第一仲裁器或所述第二仲裁器;所述第一仲裁器用于处理访问所述第一存储分区的请求,所述第二仲裁器用于处理访问所述第二存储分区的请求;
32、其中,所述请求包括:所述执行控制器发起的特征图读请求和权重读请求、所述访存模块发起的读请求和写请求、所述累加单元发起的读请求、以及所述通用张量加速器发起的写请求。
33、进一步地,所述访存模块包括:
34、读取dma单元,用于响应于所述读取指令发射队列发送的读取指令,从所述外部存储器读取所述外部数据,并将经过数据排布转换处理后的外部数据写入所述统一本地存储器;
35、存储dma单元,用于响应于所述存储指令发射队列发送的存储指令,对所述统一本地存储器中的本地数据进行数据排布转换处理并写回至所述外部存储器。
36、另一方面,本发明实施例提供了一种用于执行如前述任一项所述系统的神经网络加速方法,包括:
37、s1,接收通过cpu处理器的rocc接口发送的risc-v扩展指令;
38、s2,解析所述risc-v扩展指令,将解析得到的读取指令、存储指令和执行指令分配至对应的指令发射队列;其中,同一发射队列中的指令按入队顺序依次发送;不同发射队列中的指令之间进行地址重叠检测,并基于检测结果,以顺序或乱序方式执行指令发送;
39、s3,接收并响应于所述读取指令,从外部存储器读取输入数据,并经过数据排布转换后写入统一本地存储器;
40、s4,将所述输入数据按各自地址分配至所述统一本地存储器中对应的存储分区;接收并响应于所述执行指令,从所述统一本地存储器的存储分区中读取所述输入数据;
41、s5,对所述输入数据执行卷积运算或矩阵乘运算,得到多个部分和;对各所述部分和进行累加操作,得到累加后的运算结果,并对所述累加后的运算结果执行后处理运算;
42、s6,接收并响应于所述存储指令,将后处理运算后的输出结果写回所述统一本地存储器或者经过数据排布转换后写入外部存储器。
43、与现有技术相比,本发明至少可实现如下有益效果之一:
44、第一,区别于相关技术中指令分发延迟和集成开销大的问题,本发明能够在较低集成开销下提升卷积神经网络推理的执行效率和系统响应速度;由于本发明的加速器通过rocc接口与risc-v cpu核紧耦合连接,cpu处理器检测到扩展指令后可在写回阶段将指令转发至加速器,常见的卷积、矩阵乘、全连接、激活、量化、池化、残差连接等算子可由扩展指令直接卸载到专用硬件执行;同时,本发明无需侵入修改cpu流水线,减少了传统外设访问方式下的软件调度和指令分发开销。
45、第二,区别于相关技术中资源并行利用率低的问题,本发明通过前端模块设置指令队列和混合保留站,混合保留站进一步设置存储指令、读取指令和执行指令三个独立发射队列,并通过地址重叠检测维护依赖位向量;同类指令按序发射,不同类指令仅在存在数据依赖时阻塞,进而允许无依赖的访存指令和执行指令乱序并行发射,减少因保守串行调度造成的空闲周期,充分利用存储、读取、执行三个独立的计算资源。由此能够提高计算资源、访存资源和本地存储资源的并行利用率。
46、第三,区别于相关技术中卷积类算子吞吐率低且数据重复搬移的问题,本发明通过设置m行n列的可扩展计算阵列,使得计算阵列采用权重固定数据流,输入激活值沿水平方向广播,权重在各列计算单元及多个计算阵列之间复用,同时通过计算阵列后的累加单元对部分和进行累加;由此减少了权重的重复读取和片外访存次数,使卷积计算在数据复用率、阵列利用率和能效方面均得到改善。
47、第四,区别于相关技术中本地存储bank冲突的问题,本发明通过统一本地存储器划分为n个bank存储块,并在硬件上进一步划分为两个深度为d/2的存储分区,使得各访问通道通过地址译码单元将请求路由至对应分区的仲裁器。当两个互斥上下文或两个tile任务并行执行时,可将其数据分别放置在不同分区,使来自读取、写回、执行控制、张量加速等多个通道的请求更少竞争同一bank,由此提高本地存储访问效率并减少计算阵列等待数据的时间,既能够降低本地存储bank冲突,又提高了任务级流水效率。
48、第五,区别于相关技术中后处理灵活性差的问题,本发明通过将通用张量加速器设置于计算阵列和累加单元之后,并利用通用张量加速器内部的alu、mul、out和pool单元执行逐元素simd运算、乘法、饱和、后偏移、量化及池化等操作;配合标量寄存器、向量寄存器和逐通道参数寄存器,可在卷积输出后就近完成激活函数、量化和池化融合处理。同时,访存模块中的读取dma、存储dma以及读取侧padding处理进一步减少cpu软件预处理和dram往返搬移,提高了端到端推理效率,由此减少了算子间中间数据的搬移,提高了后处理灵活性。
49、值得说明的是,本发明并非仅针对单一固定卷积结构设计,而是通过扩展指令、执行控制器、可配置计算阵列、通用张量加速器和可配置 dma参数共同实现神经网络算子的可编程加速。通过不同扩展指令和参数组合,本发明能够支持卷积、矩阵乘、全连接、激活、量化、池化、逐元素操作和残差连接等常见推理算子。因此,本发明既保留了一定的软件可编程性,又能利用专用硬件提高关键算子的执行效率。
50、本发明中,上述各技术方案之间还可以相互组合,以实现更多的优选组合方案。本发明的其他特征和优点将在随后的说明书中阐述,并且,部分优点可从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点可通过说明书以及附图中所特别指出的内容中来实现和获得。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com