具有可配置数据存储的神经网络加速器的制作方法

摘要: 本公开总体上涉及神经网络(也称为“深度神经网络”或“dnn”),更具体地,涉及具有可配置数据存储的dnn加速器。背景技术:1、由于dnn能够实现高准确性,它们被...
具有可配置数据存储的神经网络加速器的制作方法

本公开总体上涉及神经网络(也称为“深度神经网络”或“dnn”),更具体地,涉及具有可配置数据存储的dnn加速器。

背景技术:

1、由于dnn能够实现高准确性,它们被广泛用于从计算机视觉到语音识别和自然语言处理的各种人工智能应用。然而,这种高准确性是以大量的计算成本为代价的。dnn的计算需求极高,因为可能有大量操作以及大量的数据读写。因此,需要用于提高dnn效率的技术。

技术实现思路

1.一种装置,包括:

2.根据权利要求1所述的装置,其中,在所述第一操作模式下,所述数据包括所述输出数据中的所有数据元素,并且在所述第二操作模式下,所述数据是通过从所述输出数据中移除一个或多个数据元素而生成的。

3.根据权利要求2所述的装置,其中,由所述计算单元针对下一神经网络层执行的一个或多个计算在所述第一操作模式下通过基于所述稀疏性数据跳过所述一个或多个计算的至少一部分而被加速。

4.根据权利要求2或3所述的装置,还包括压缩模块,所述压缩模块被配置为在所述第二操作模式下:

5.根据权利要求1-4中任一项所述的装置,其中所述装置还包括中转存储单元,所述中转存储单元被配置为在所述数据被写入所述存储器之前改变所述数据中的数据元素的顺序。

6.根据权利要求5所述的装置,其中所述数据存储单元在所述装置的第二操作模式下被配置为:

7.根据权利要求5所述的装置,其中所述数据存储单元在所述装置的第二操作模式下还被配置为:

8.根据权利要求5-7中任一项所述的装置,其中所述中转存储单元包括可转置寄存器文件,并且所述中转存储单元被配置为通过以下方式改变所述数据元素的顺序:

9.根据权利要求1-8中任一项所述的装置,其中所述写入模块包括写入组合缓冲器,所述写入组合缓冲器被配置为:

10.根据权利要求1-9中任一项所述的装置,其中所述稀疏性数据包括稀疏性数据元素序列,稀疏性数据元素对应于所述输出数据中的数据元素并指示所述数据元素是否为零。

11.一种装置,包括:

12.根据权利要求11所述的装置,其中所述数据存储单元在所述装置的第二操作模式下还被配置为:

13.根据权利要求11或12所述的装置,其中在所述第一操作模式下,所述数据中的所有数据元素都是非零数据元素,并且在所述第二操作模式下,所述数据中的数据元素为零。

14.根据权利要求11-13中任一项所述的装置,其中所述稀疏性数据包括稀疏性数据元素序列,稀疏性数据元素对应于所述输入张量中的数据元素并指示所述数据元素是否为零。

15.一种装置,包括:

16.根据权利要求15所述的装置,其中所述第一操作模式是稀疏模式,在所述稀疏模式下,由所述计算单元执行的所述一个或多个计算通过基于所述稀疏性数据跳过所述一个或多个计算的至少一部分而被加速。

17.根据权利要求15或16所述的装置,其中所述数据传送单元被配置为将所述数据从所述存储器传输到所述计算单元,所述数据是所述神经网络层的输入的至少一部分,并且所述装置还包括附加数据传送单元,所述附加数据传送单元被配置为将所述神经网络层的输出的至少一部分从所述计算单元传输到所述存储器。

18.根据权利要求17所述的装置,其中所述附加数据传送单元包括附加数据存储单元,所述附加数据存储单元被配置为:

19.根据权利要求15或16所述的装置,其中所述数据传送单元被配置为将所述数据从所述计算单元传输到所述存储器,所述数据是所述神经网络层的输出的至少一部分,并且所述装置还包括附加数据传送单元,所述附加数据传送单元被配置为将所述神经网络层的输入的至少一部分从所述存储器传输到所述计算单元。

20.根据权利要求19所述的装置,其中所述附加数据传送单元包括附加数据存储单元,所述附加数据存储单元被配置为:

21.根据权利要求19或20中任一项所述的装置,其中所述数据传送单元还包括另一存储单元,所述另一存储单元被配置为在所述装置的第一操作模式和第二操作模式下,在所述神经网络层的输出的数据元素被写入所述存储器之前改变所述数据元素的顺序。

22.根据权利要求21所述的装置,其中所述数据存储单元在所述装置的第二操作模式下被配置为:

23.根据权利要求21所述的装置,其中所述数据存储单元在所述装置的第二操作模式下还被配置为:

24.根据权利要求19-23中任一项所述的装置,其中所述数据传送单元还包括写入组合缓冲器,所述写入组合缓冲器被配置为:

25.根据权利要求15-24中任一项所述的装置,其中所述装置还包括所述存储器。