卷积神经网络中用于稀疏张量的灵活加速器的制作方法

卷积神经网络中用于稀疏张量的灵活加速器


背景技术：

1.申请人提供以下说明以帮助读者理解。所提供的信息或所引用的参考文献均不被承认是现有技术。
2.机器学习算法被广泛应用于诸如医学成像、计算机视觉、广告、游戏等领域。机器学习算法处理大量的输入数据。随着输入数据的量增加，处理大量输入数据所需的计算时间和计算资源也在增加。然而，当前使用的机制在机器学习应用程序中的配置方式和处理输入数据的方式是有限的。


技术实现要素：

3.根据本公开的一些方面，公开了一种装置。该装置包括：张量计算集群，该张量计算集群具有多个张量计算单元以处理机器学习应用程序中的多个子特征映射图；张量存储器集群，该张量存储器集群具有多个张量特征映射图存储器单元以存储该多个子特征映射图；和电路，该电路用于将输入特征映射图划分为该多个子特征映射图，使得该多个子特征映射图中的每个子特征映射图中的稀疏性满足预先确定的阈值。该电路还将该多个子特征映射图中的每个子特征映射图分派给该多个张量计算单元中的一个张量计算单元和该多个张量特征映射图存储器单元中的一个张量特征映射图存储器单元以用于并行处理。
4.根据本公开的一些其他方面，公开了一种方法。该方法包括由机器学习应用程序中的加速器将输入特征映射图划分为多个子特征映射图，使得该多个子特征映射图中的每个子特征映射图中的稀疏性满足预先确定的阈值。该方法还包括：由该加速器将该多个子特征映射图中的每个子特征映射图分派给张量计算集群的多个张量计算单元中的一个张量计算单元，以并行处理该多个子特征映射图中的每个子特征映射图；由该加速器处理该多个子特征映射图中的在该多个张量计算单元中的被分派的张量计算单元中的每个子特征映射图，以从该多个张量计算单元中的每个张量计算单元生成输出子特征映射图；以及由该加速器组合来自该多个张量计算单元中的每个张量计算单元的输出子特征映射图，以生成针对该输入特征映射图的输出特征映射图。
5.根据本公开的其它方面，公开了一种在其上存储有计算机可读指令的非暂态计算机可读介质。这些计算机可读指令当由与机器学习应用程序中的加速器相关联的处理器执行时使该处理器：将输入特征映射图划分为多个子特征映射图，使得该多个子特征映射图中的每个子特征映射图包括基本上类似的稀疏性，并且将该多个子特征映射图中的每个子特征映射图分派给稀疏张量计算集群，以并行处理该多个子特征映射图中的每个子特征映射图。
6.根据本公开的一些其他方面，公开了另一种装置。该装置包括：用于基于稀疏性将输入特征映射图划分为多个子特征映射图的装置和用于将该多个子特征映射图中的每个子特征映射图分派给张量计算集群以并行处理该多个子特征映射图中的每个子特征映射图的装置。
7.前述发明内容仅是例示性的，并不旨在以任何方式进行限制。除了上述例示性方
面、实施方案和特征之外，通过参考以下附图和具体实施方式，另外的方面、实施方案和特征将变得显而易见。
附图说明
8.图1是根据本公开的一些实施方案的计算系统的示例性框图。
9.图2是根据本公开的一些实施方案的图1的计算系统的加速器的示例性框图。
10.图3a和图3b是根据本公开的一些实施方案的将输入特征映射图转换成多个子特征映射图的示例。
11.图4是根据本公开的一些实施方案的图2的加速器的稀疏张量存储器集群的示例性框图。
12.图5是根据本公开的一些实施方案的图2的加速器的稀疏张量存储器集群的另一个示例性框图。
13.图6是根据本公开的一些实施方案的图4和图5的稀疏张量存储器集群的稀疏张量特征映射图存储器单元的示例性框图。
14.图7是根据本公开的一些实施方案的图4和图5的稀疏张量存储器集群的稀疏张量权重存储器的示例性框图。
15.图8是根据本公开的一些实施方案的图2的加速器的稀疏张量计算集群的示例性框图。
16.图9是根据本公开的一些实施方案的图2的加速器的稀疏张量计算集群的另一个示例性框图。
17.图10是根据本公开的一些实施方案的图8和图9的稀疏张量计算集群的稀疏张量计算单元的示例性框图。
18.图11是根据本公开的一些实施方案的处理图10的稀疏张量计算单元中的子特征映射图的示例。
19.图12是根据本公开的一些实施方案的概述用于处理图10的稀疏张量计算单元中的子特征映射图的操作的示例性流程图。
20.图13是根据本公开的一些实施方案的图8和图9的稀疏张量计算集群的稀疏张量计算单元的另一个示例。
21.图14是根据本公开的一些实施方案的图8和图9的稀疏张量计算集群的稀疏张量计算单元的又一个示例。
22.图15是根据本公开的一些实施方案的图8和图9的稀疏张量计算集群的稀疏张量计算单元的再一个示例。
23.图16是根据本公开的一些实施方案的概述用于在标准卷积操作或1
×
1完全连接的卷积操作中处理图13至图15的稀疏张量计算单元中的子特征映射图的操作的示例性流程图。
24.图17是根据本公开的一些实施方案的概述用于使用图2的加速器处理输入特征映射图的操作的示例性流程图。
25.图18a至图18d示出了根据本公开的一些实施方案的处理图13的稀疏张量计算单元中的子特征映射图的示例。
26.图19a至图19e示出了根据本公开的一些实施方案的处理图15的稀疏张量计算单元中的子特征映射图的示例。
27.图20a至图20b示出了根据本公开的一些实施方案的合并操作的示例。
28.结合附图，根据以下描述和所附权利要求，本公开的上述和其它特征将变得显而易见。应当理解，这些附图仅描绘了根据本公开的若干实施方案，并且因此不应被认为是对其范围的限制，通过使用附图，将更具体且更详细地描述本公开。
具体实施方式
29.在以下具体实施方式中，参考了形成该具体实施方式的一部分的附图。在附图中，除非上下文另外指明，否则类似的符号通常标识类似的部件。在具体实施方式、附图和权利要求中描述的例示性实施方案并非旨在为限制性的。在不脱离在此呈现的主题的实质或范围的情况下，可利用其它实施方案，并且可进行其它改变。将容易理解的是，如本文一般所述并且在图中示出的本公开的各方面可被布置、取代、组合和设计成广泛多种不同的配置，所有这些配置均被明确地设想并成为本公开的一部分。
30.随着神经网络在更广泛的场景中参与更复杂的处理任务，神经网络不断向更大、更深的架构发展。大型神经网络随着数据量的增加而增强了计算和存储器存取。具体地，每当需要处理的数据量增加时，神经网络中的突触和神经元的数量就会增加。例如，一些神经网络可具有超过六十万个神经元，而另一些神经网络可具有超过一百万个神经元。突触的数量可大得多，例如，一个神经网络中的突触的数量超过六千万个。卷积神经网络(“cnn”)是神经网络中的一种。具体地，cnn是使用卷积操作对输入(例如，图像)进行分类的一种深度神经网络。为了进行分类，cnn接收输入并向该输入分派权重和偏差以将该输入的一方面与该输入的另一方面区分开。在一些实施方案中，cnn可以包括用于接收输入和发送输出之间的处理的多个层。根据输入的尺寸和cnn中使用的层的数量，可能需要处理大量数据。
31.在加速器架构设计中，处理此类大量的数据给片外和片内存储器带宽带来了挑战。机制可用于减少要执行计算的数据量或减少计算时间。一种减少要计算的数据量或计算时间的此类机制可以包括经由量化的权重编码和缩小权重尺寸的熵编码。其他机制在电路级发挥作用，诸如使用较短的位宽运算符或近似计算。另一种减少计算时间或数据量的机制依靠稀疏性。稀疏性可确定给定数据中非零值的数量或百分比。基于稀疏性对神经网络中的突触和神经元进行修剪，可将需要计算的数据量减少十倍以上，而准确性损失可忽略不计。稀疏性可为静态的或动态的。静态稀疏性是预先知道的，并且从一组输入数据到另一组输入数据，可能都不会改变。权重中的稀疏性可被认为是静态稀疏性。例如，在对输入数据进行的计算开始之前，可以知道值为零或非零的权重。此外，从一组输入数据到下一组输入数据，值为零或非零的权重可保持不变。动态稀疏性是输入数据的输入特征映射图中的稀疏性。
32.具体地，可以从输入数据(例如，输入图像)生成一个或多个输入特征映射图。这些输入特征映射图中的每个输入特征映射图可与相关联的权重组合以执行分类处理。每个输入特征映射图可具有零值或非零值。给定输入特征映射图中的非零值的数量或百分比可确定该输入特征映射图的稀疏性。由于每个输入特征映射图可与另一个输入特征映射图不同，并且从一个输入特征映射图到另一个输入特征映射图，零值和非零值的位置可能会改
变，因此输入特征映射图中的稀疏性是动态稀疏性。由于静态稀疏性在机器学习操作中更容易识别和考虑，因此减少要计算的数据量的许多机制仅依靠静态稀疏性。由动态稀疏性造成的不规则性阻止了许多机制充分利用计算并减少数据。
33.因此，本公开提供了将动态和随机稀疏性转化成更加结构化或更少结构化的稀疏性的机制，以减少要计算的数据量并减少计算时间。具体地，本公开提供了一种灵活加速器，该灵活加速器将输入特征映射图转换成多个输入子特征映射图，使得该多个子特征映射图中的每个子特征映射图具有类似量的稀疏性并且允许在利用稀疏性的同时独立处理该多个子特征映射图中的每个子特征映射图。
34.现在参见图1，其中示出了根据本公开的一些实施方案的计算系统100的示例性框图。计算系统100可以包括与存储器设备110相关联的主机设备105。主机设备105可被配置为接收来自一个或多个输入设备115的输入并向一个或多个输出设备120提供输出。主机设备105可被配置为分别经由适当接口125a、125b和125c与存储器设备110、输入设备115和输出设备120进行通信。计算系统100可在多种计算设备中实施，这些多种计算设备诸如计算机(例如，台式计算机、膝上型计算机、服务器、数据中心等)、平板电脑、个人数字助理、移动设备、可穿戴计算设备(诸如智能手表、其他手持式或便携式设备)或适于使用主机设备105执行操作的任何其他计算单元。
35.输入设备115可包括多种输入技术中的任一种，诸如键盘、触笔、触摸屏、鼠标、轨迹球、小键盘、麦克风、语音识别、运动识别、远程控制器、输入端口、一个或多个按钮、拨号盘、操纵杆、以及与主机设备105相关联并且允许外部源(诸如用户)将信息(例如，数据)键入主机设备中并且将指令发送到主机设备的任何其它输入外围设备。类似地，输出设备120可包括多种输出技术，诸如外部存储器、打印机、扬声器、显示器、麦克风、发光二极管、耳机、绘图仪、语音生成设备、视频设备、全球定位系统、以及被配置为从主机设备105接收信息(例如，数据)的任何其它输出外围设备。输入到主机设备105中和/或从主机设备输出的“数据”可以包括多种文本数据、图形数据、视频数据、图像数据、声音数据、位置数据、它们的组合或适于使用计算系统100处理的其他类型的模拟和/或数字数据中的任一种。
36.主机设备105可以包括一个或多个中央处理单元(“cpu”)内核或处理器130a-130n，该内核或处理器可以被配置为执行用于运行与主机设备相关联的一个或多个应用程序的指令。cpu内核130a-130n被示出为可以执行处理功能的集成电路的非限制性代表性示例，并且可用现场可编程门阵列(“fpga”)、图形处理单元(“gpu”)、定制专用集成电路(“asic”)等来替换或与它们进行组合。在一些实施方案中，运行一个或多个应用程序所需的指令和数据可存储在存储器设备110内。主机设备105还可被配置为将运行一个或多个应用程序的结果存储在存储器设备110内。主机设备105还可以包括加速器135。加速器135可用于执行机器学习操作。图2中更详细地讨论了加速器135。尽管加速器135被示出为图1中的主机设备105的一部分，但在其他实施方案中，该加速器可与该主机设备分开并且通信地耦接(例如，通过总线或网络连接)到该主机设备。在这种情况下，加速器135也可通信地耦接到存储器设备110，成为存储器设备110的一部分，或者包括其自身单独的存储器设备。
37.为便于与存储器设备110通信，该存储器设备可以包括存储器控制器140或与该存储器控制器相关联。尽管存储器控制器140被示出为存储器设备110的一部分，但在一些实施方案中，该存储器控制器可反而成为主机设备105的一部分或计算系统100的另一个元件
并且与该存储器设备操作地相关联。存储器控制器140可以被配置为从主机设备105(例如，加速器135)接收指令并且根据那些指令执行操作的逻辑块或电路。存储器设备110可以包括存储数据和指令的一个或多个存储器模块145。存储器模块145可为多种存储器类型(包括多种易失性存储器、非易失性存储器或它们的组合)中的任一种存储器类型。例如，在一些实施方案中，存储器模块145中的一个或多个存储器模块或其部分可以包括nand闪存存储器内核。在其他实施方案中，存储器模块145中的一个或多个存储器模块或其部分可以包括nor闪存存储器内核、静态随机存取存储器(sram)内核、动态随机存取存储器(dram)内核、磁阻式随机存取存储器(mram)内核、相变存储器(pcm)内核、电阻式随机存取存储器(reram)内核、3d xpoint存储器内核、铁电随机存取存储器(feram)内核，以及适于在存储器设备110内使用的其他类型的存储器内核。在一些实施方案中，存储器模块145中的一个或多个存储器模块或其部分可以被配置为其他类型的存储级存储器(“scm”)。一般来讲，存储器模块145可以包括多种随机存取存储器(ram)、只读存储器(rom)、可编程rom(prom)、可擦除prom(eprom)、电eprom(eeprom)、硬盘驱动器、闪存驱动器、存储器带、云存储器或适于执行本文所述的操作的主存储器和/或辅助存储器的任何组合中的任一种。
38.应当理解，图1中示出和描述了计算系统100的仅一些部件。然而，计算系统100可包括其它部件，诸如各种电池和电源、联网接口、路由器、交换机、外部存储器系统、控制器等。一般来讲，计算系统100可包括执行本文所述的功能所需或被认为是期望的多种硬件、软件和/或固件部件中的任一种。类似地，主机设备105、输入设备115、输出设备120以及包括加速器135、存储器控制器140和存储器模块145的存储器设备110可以包括在执行本文所述的功能时被认为是必要的或期望的其他硬件、软件和/或固件部件。此外，在某些实施方案中，存储器设备110可集成主机设备的一些或全部部件，包括例如cpu内核130a-130n和/或加速器135。
39.现在转到图2，示出了根据本公开的一些实施方案的示例性加速器200。加速器200类似于图1的加速器135。因此，尽管未示出，但加速器200可与主机设备(例如，主机设备105)和存储器设备(例如，存储器设备110)相关联。加速器200可用于优化机器学习操作，例如在cnn中。尽管相对于cnn解释了加速器200，但在其他实施方案，加速器200也可用于其他类型的神经网络或机器学习应用程序中。一般来讲，加速器200可用于期望减少计算数据和计算时间的任何类型的应用程序(无论是机器学习还是其他应用程序)。
40.在一些实施方案中，加速器200可用于考虑分别在输入特征映射图和权重中的动态和静态稀疏性，并且基于动态和静态稀疏性在各种计算引擎之间分配计算。加速器200可(例如，从主机设备105)接收输入图像205，该输入图像将被执行一个或多个机器学习操作。应当理解，尽管输入图像205在本文中作为示例使用，但加速器200可用于处理其他类型的数据，包括视频、文本和可受益于被加速器处理的任何其他类型的数据。
41.输入图像205可由像素阵列表示。简单地作为示例并且不旨在以任何方式进行限制，比如输入图像205由1024
×
1024
×
3像素阵列表示。因此，输入图像205为1024像素高、1024像素宽和3种颜色(例如，红色、绿色、蓝色)深度。在一些实施方案中，可将1024
×
1024
×
3像素阵列切分为三个输入特征映射图，其中每个输入特征映射图表示一个颜色并且尺寸为1024
×
1024
×
1(本文也简称为1024
×
1024)。此外，每个输入特征映射图可以被表示为具有多个行和多个列的矩阵。每个行在x方向上(从左至右)延伸，而每个列在y方向上(从上
至下)延伸。输入特征映射图的每个像素可对应于矩阵的一个单元格(例如，其在一个行和一个列的交叉点处形成)。因此，1024
×
1024输入特征映射图可由具有1024个行和1024个列的矩阵表示，在每个行和每个列的交叉点处形成一个像素的一个单元格。
42.在一些实施方案中，输入图像205的输入特征映射图可由加速器200生成。例如，在一些实施方案中，划分块210可以被配置为从输入图像205生成输入特征映射图。在其他实施方案中，加速器200的特征映射图块(未示出)可接收输入图像205，从该输入图像生成输入特征映射图，并且将那些输入特征映射图发送到划分块210。在又其他实施方案中，输入图像205的输入特征映射图可在加速器200外部生成，并且可以将输入特征映射图而不是输入图像输入到加速器中。划分块210可以被配置在软件、硬件、固件或它们的组合中。
43.输入图像205的输入特征映射图中的每个输入特征映射图可在划分块210中被进一步细分为一个或多个子特征映射图。在下面的图3a和图3b中讨论了在划分块210中将输入特征映射图细分为一个或多个子特征映射图。每个子特征映射图在本文中还称为“输入张量”。通过将输入特征映射图切分为一个或多个子特征映射图，子特征映射图中的每个子特征映射图可被独立处理以生成输出子特征映射图并提高性能。然后可将来自子特征映射图中的每个子特征映射图的输出子特征映射图组合在一起以创建输出特征映射图。当图像205包括多个通道时，每个通道的输入特征映射图可被细分为一个或多个子特征映射图，这些子特征映射图的每个子特征映射图可被独立处理以生成输出子特征映射图，并且可组合该一个或多个子特征映射图中的每个子特征映射图的输出子特征映射图以生成通道输出特征映射图。然后可组合这些各种通道输出特征映射图以生成输出特征映射图。涉及多个通道的此类卷积操作在本文中称为“深度可分离卷积”。在一些实施方案中，可压缩输入特征映射图和/或子特征映射图中的每个子特征映射图以减少存储空间并进一步提高性能。提交于2019年12月23日的名称为“flexible accelerator for sparse tensors(fast)in machine learning”的美国申请no.16/726,084中更详细地讨论了本公开通篇使用的压缩处理，该申请的全部内容通过引用方式并入本文。
44.划分块210可与dram 215相关联，该dram可以被配置为初始存储输入图像205的输入特征映射图，并且在将这些输入特征映射图细分为一个或多个子特征映射图后，存储该一个或多个子特征映射图中的每个子特征映射图。dram 215还可用于存储任何中间输出(例如，输出子特征映射图、通道输出特征映射图等)和/或输出特征映射图。在一些实施方案中，dram215还可以被配置为存储权重矩阵220。在一些实施方案中，dram 215还可存储各种训练模型、时间表和处理输入图像205所需的其他信息。此外，尽管在加速器200中仅示出了dram 215，但在一些实施方案中，加速器可包括附加和/或其他类型的存储器。为了简单起见，在说明书中使用dram 215，但是针对各种实施方案设想了其他存储器替代物。例如，在一些实施方案中，加速器200可另外地或另选地包括sram、存储级存储器(诸如mram、reram和/或闪存存储器)以存储输入特征映射图、该一个或多个子特征映射图、各种输出、训练模型、时间表和/或处理输入图像205所需的其他信息。当此类多个存储器设置在加速器200中时，在一些实施方案中，这些存储器可彼此互连并且被配置为彼此通信。在一些实施方案中，加速器200中的dram 215和任何其他存储器可为与主机设备(例如，主机设备105)相关联的存储器设备(例如，存储器设备110)的一部分，该加速器为该主机设备的一部分。在一些实施方案中，加速器200中的dram 215和任何其他存储器中的一者或多者可与存
储器设备(例如，存储器设备110)分开。
45.除了输入图像205之外，加速器200还(例如，从主机设备105)接收权重矩阵220。权重矩阵220可以包括要应用于子特征映射图中的每个子特征映射图的权重或过滤器。权重矩阵220在本文中也称为核矩阵或过滤器矩阵。权重矩阵220可以包括至少一个行和至少一个列，在行和列的交叉点处形成单元格。权重矩阵220可用于对输入图像205执行卷积操作。在一些实施方案中，类似于输入特征映射图，权重矩阵220也可被细分为一个或多个子权重映射图。在一些实施方案中，类似于输入特征映射图/子特征映射图，也可压缩权重矩阵220和/或子权重映射图。在一些实施方案中，权重矩阵220可由调度引擎225接收。在其他实施方案中，权重矩阵220可由划分块210或由加速器200的另一个部件接收。此外，如果权重矩阵220被细分为子权重映射图和/或被压缩，则在一些实施方案中，这些过程可在调度引擎225内发生。在其他实施方案中，这些过程可在划分块210中、在加速器200中专用于权重矩阵220的单独划分块中和/或加速器外部发生。权重矩阵220和/或子权重映射图可存储在dram 215、调度引擎225或加速器200的任何其他存储器内。
46.调度引擎225被配置为执行稀疏性分析，并且在一些实施方案中，基于稀疏性将输入特征映射图中的每个输入特征映射图分派给计算单元。如本文所用，“稀疏性”是指给定输入数据中非零值的数量或百分比。在一些实施方案中，非零值多于零值的输入特征映射图为较不稀疏的输入特征映射图或密集输入特征映射图，而零值多于非零值的输入特征映射图为稀疏输入特征映射图。在其他实施方案中，稀疏输入特征映射图可被限定为至少具有一定百分比的零值(例如，80％)，并且密集输入特征映射图可具有少于非零值的零值(例如，非零值:零值＝60:40)。更一般地，稀疏输入特征映射图比密集输入特征映射图具有更多的零值。因此，为了执行稀疏性分析，调度引擎225可确定输入特征映射图中零值或非零值的数量或百分比。此外，调度引擎225可将稀疏输入特征映射图分派或分配给稀疏张量计算集群230以用于处理。因此，稀疏张量计算集群230被配置为处理具有较高稀疏性(例如，零值的数量或百分比高于阈值，或者换句话说，零值多于非零值)的输入特征映射图。下文更详细地讨论了稀疏张量计算集群230。
47.在一些实施方案中，加速器200还可以包括密集张量计算集群(图2中未示出)和/或向量加速器(图2中也未示出)。如果提供了，则密集张量计算集群可以被配置为处理具有较低稀疏性的特征映射图(例如，密集输入特征映射图或其中零值的数量或百分比低于阈值，或者换句话说，非零值多于零值的输入特征映射图)，并且向量加速器可用于处理无法由密集张量计算集群或稀疏张量计算集群230处理的输入特征映射图。例如，在提供了密集张量计算集群和/或向量加速器的一些实施方案中，该密集张量计算集群和稀疏张量计算集群230可配置为具有该密集张量计算集群和稀疏张量计算集群可能够分别执行的限定的或支持的操作列表。如果处理需要执行密集张量计算集群或稀疏张量计算集群230中的任一者都不支持的操作，则该操作可由向量加速器执行。在一些实施方案中，向量加速器可为基于risc-v(诸如lacore)的开源向量加速器。在其他实施方案中，其他类型的合适的向量加速器可用于该向量加速器。在上述美国申请no.16/726,084中更详细地讨论了密集张量计算集群和向量加速器，该申请的全部内容同样通过引用方式并入本文。
48.调度引擎225可以包括存储计算机可读指令的存储器235，这些计算机可读指令可由处理器240执行以执行调度引擎225的操作。存储器235可为主机设备(例如，主机设备
105)的存储器设备(例如，存储器设备110)的一部分，或者可从单独存储器提供，加速器200为该主机设备的一部分。此外，调度引擎225可被实施为软件、硬件、固件或它们的组合。处理器240可为主机设备105的cpu内核130a-130n的一部分或可类似于这些cpu内核，或者在加速器为存储器设备110的一部分的情况下，可为该存储器设备的处理器或控制器的一部分。
49.为了在稀疏张量计算集群230中处理输入特征映射图，加速器200还可以包括直接存储器存取控制器245，该直接存储器存取控制器被配置为在调度引擎225或稀疏张量计算集群的最小干预下将子特征映射图从dram 215传送到稀疏张量存储器集群250。下文也更详细地讨论了稀疏张量存储器集群250。应注意，虽然将直接存储器存取用作说明的示例，但可使用其他类型的存储器存取协议/方法，包括跨通信总线和存储器构架的存储器存取。
50.应当理解，图2中仅示出了加速器200的一些部件。加速器200可以包括在执行本文所述的操作时可能需要的或被认为是期望的其他或附加部件。
51.转到图3a和图3b，示出了根据本公开的一些实施方案的在划分块210中将输入特征映射图切分为一个或多个子特征映射图或输入张量的示例。具体地，为稀疏输入特征映射图并且已被指定为在稀疏张量计算集群230中处理的输入特征映射图可被细分为一个或多个子特征映射图。具体地，每个通道的每个输入特征映射图可被切分为“m”个子特征映射图。“m”取决于在稀疏张量计算集群230内提供的稀疏张量计算单元的数量和/或稀疏张量存储器集群250中的稀疏张量特征映射图存储器单元的数量。例如，对于稀疏张量计算集群230中的五个稀疏张量计算单元，每个通道的每个输入特征映射图可被切分为五个子特征映射图。通过将每个输入特征映射图切分为与稀疏张量计算集群230中的“m”个稀疏张量计算单元对应的“m”个子特征映射图，可在“m”个稀疏张量计算单元中的一个稀疏张量计算单元中独立处理“m”个子特征映射图中的每个子特征映射图，以提高性能并减少计算时间。
52.在一些实施方案中，“m”个子特征映射图中的每个子特征映射图可为具有与相邻子特征映射图重叠的(k-1个，作为示例)行和(k-1个，作为示例)列的矩阵，其中(k
×
k)为权重矩阵220的尺寸。通过将一个子特征映射图的行和列与相邻子特征映射图重叠，可在稀疏张量计算集群230中独立处理每个子特征映射图，并且可将子特征映射图中的每个子特征映射图的输出子特征映射图组合在一起而不需要“m”个子特征映射图之间的任何集群内通信，以创建输出特征映射图。在其他实施方案中，“m”个子特征映射图可不具有重叠的行和/或列。在不重叠的情况下，可能需要组合来自相邻子特征映射图的中间结果。在一些实施方案中，在核尺寸为1
×
1的情况下，可能不需要相邻子特征映射图的重叠的行和/或列。
53.可基于稀疏性将每个输入特征映射图切分为“m”个子特征映射图，并且具体地，以将输入特征映射图中动态性质的稀疏性转换成接近静态稀疏性。简单地作为示例并且不意在以任何方式进行限制，比如输入图像205的特定通道的输入特征映射图的尺寸为512
×
512(例如，512个行和512个列)，并且稀疏张量计算集群230中的稀疏张量计算单元的数量为16(换句话说，“m”＝16)。因此，可以将512
×
512输入特征映射图切分为16个子特征映射图，其中每个子特征映射图被分派给稀疏张量计算集群230的16个稀疏张量计算单元中的一个稀疏张量计算单元。为了创建16个子特征映射图，初始可将512
×
512输入特征映射图切分为16个尺寸相等或尺寸大致相等的划分区，使得每个划分区具有多个行和多个列。
54.例如，图3a示出了将512
×
512输入特征映射图切分为16个子特征映射图(例如，一
般由单元格1至单元格16表示)之后的示例性表300。因此，512
×
512输入特征映射图的16个划分区中的每个划分区的尺寸可为32
×
32(例如，32个行和32个列)。表300中的每个单元格对应于输入特征映射图的一个32
×
32划分区。图3a中每个单元格中的括号中的值指示特定单元格中非零值的百分比。因此，例如，表300的单元格1对应于第一划分区(例如，输入特征映射图的行1到行32和列1到列32)并且包括40％非零值(并且因此，60％零值)，单元格2对应于第二划分区(例如，行1到行32和列33到列64)并且包括60％非零值(并且因此，40％零值)，依此类推。单元格5对应于第五划分区(输入特征映射图的行33到行64和列1到列32)并且包括51％非零值，依此类推。在图3a的示例中，16个子特征映射图的行和列中没有重叠。然而，如上文所讨论的，在一些实施方案中，子特征映射图中的至少一些子特征映射图可具有与相邻子特征映射图重叠的行和/或列。在这种情况下，子特征映射图的数量可不同于图3a的示例中的16个。
55.可重组表300的初始划分区，使得每个划分区包括相同或基本上类似的数量或百分比的非零值和/或零值。在一些实施方案中，可预先确定非零值(或零值)的百分比差值，使得任何两个给定划分区在非零值方面可不具有大于该预先确定的百分比差值的百分比差值。作为示例，如果任何两个给定划分区之间的非零值百分比的预先确定的百分比差值为3％，则可重组图3a的初始划分区，使得每个划分区具有大致相等数量的非零值，两个划分区的非零值数量的差值不大于3％。因此，参考图3b，另一个表305示出了如何重组来自表300的单元格。例如，表300中的单元格1具有40％非零值，而表300中的单元格2具有60％非零值。因此，表300中的单元格1和单元格2之间的非零值的百分比差值大于预先确定的百分比差值3％。因此，可通过将列从单元格2分配给单元格1来如表305中所示重组单元格1和单元格2。例如，可将来自单元格2的三个列分配给单元格1，使得单元格1和单元格2中的每个单元格具有约50％非零值，从而使那些单元格中的非零值的数量相等。
56.重组后，单元格1可具有32个行和35个列，并且因此尺寸为32
×
35，如表305中所示，而不是表300中所示尺寸为32
×
32。类似地，组织后，单元格2可具有32个行和29个列，如表305中所示。因此，单元格1和单元格2具有不同的尺寸，如表305中所示。尽管仅从一个相邻单元格分配3个列给单元格1，但在一些实施方案中，可从多个相邻单元格分配行/列给单元格1。例如，在一些实施方案中，可从单元格2分配2个列并从单元格5分配1个行给单元格1。从一个或多个单元格分配给特定单元格的行的数量和/或列的数量可取决于特定行和/或列中存在的非零值(或零值)的数量和需要重新分配以满足预先确定的百分比差值的非零值(或零值)的数量。同样地，表300中的其他单元格可通过从一个或多个相邻单元格分配一个或多个行和/或一个或多个列直到满足预先确定的差值来平衡，如表305中所示。
57.通过重组表300中所示的初始划分区，可平衡各种初始划分区中的非零值的数量以平衡稀疏张量计算集群230中的处理。表305中的每个单元格对应于一个子特征映射图或一个输入张量，可将该子特征映射图或输入张量分派给稀疏张量存储器集群250的一个稀疏张量特征映射图存储器单元和稀疏张量计算集群230的一个稀疏张量计算单元。尽管图3a和图3b已经被解释为在单个步骤中从表300的初始划分区变换到表305的最终划分区，但在其他实施方案中，可能需要将行/列重新分配给相邻单元格/从相邻单元格重新分配行/列的多次迭代以实现预先确定的百分比差值。此外，尽管已经相对于非零值的预先确定的百分比差值解释了图3a和图3b，但在其他实施方案中，可使用不同的度量。例如，在一些实
施方案中，可使用零值的百分比而不是非零值的百分比。类似地，在一些实施方案中，可使用零值或非零值的数量而不是零值或非零值的百分比。在又其他实施方案中，可使用除“数量”以外的度量。图3b的子特征映射图中的每个子特征映射图可存储在dram 215内。
58.参考图4，示出了根据本公开的一些实施方案的稀疏张量存储器集群400的示例。稀疏张量存储器集群400类似于图2的稀疏张量存储器集群250。稀疏张量存储器集群400包括稀疏张量特征映射图存储器405和稀疏张量权重存储器410。稀疏张量特征映射图存储器405被配置为存储从dram 215和直接存储器存取控制器245所接收到的子特征映射图。稀疏张量特征映射图存储器405还被配置为存储从稀疏张量计算集群230所接收到的各种输出。稀疏张量特征映射图存储器405包括多个稀疏张量特征映射图存储器单元415a-415m。多个稀疏张量特征映射图存储器单元415a-415m的数量可以取决于可能需要并行处理的子特征映射图的指定数量。多个稀疏张量特征映射图存储器单元415a-415m中的每个稀疏张量特征映射图存储器单元独立于其他稀疏张量特征映射图存储器单元，并且可以被配置为独立于其他稀疏张量特征映射图存储器单元存储至少一个子特征映射图。
59.因此，在一些实施方案中，多个稀疏张量特征映射图存储器单元415a-415m未被配置为与该多个稀疏张量特征映射图存储器单元中的其他稀疏张量特征映射图存储器单元共享存储在其中的数据。此外，该多个稀疏张量特征映射图存储器单元415a-415m中的每个稀疏张量特征映射图存储器单元被配置为将存储在其中的子特征映射图发送到稀疏张量计算集群(例如，稀疏张量计算集群230)的稀疏张量计算单元中的对应稀疏张量计算单元。例如，在一些实施方案中，稀疏张量特征映射图存储器单元#i可以被配置为将存储在其中的输入张量发送到稀疏张量计算单元#i，如下文进一步所讨论的。特定稀疏张量特征映射图存储器单元和稀疏张量计算单元之间的这种一一对应在本文中称为“静态结合”。因此，在一些实施方案中，稀疏张量特征映射图存储器405中的多个稀疏张量特征映射图存储器单元415a-415m的数量与稀疏张量计算集群(例如，稀疏张量计算集群230)中的稀疏张量计算单元的数量相同。
60.此外，多个稀疏张量特征映射图存储器单元415a-415m中的每个稀疏张量特征映射图存储器单元可以分别经由双向总线420a-420m连接，以经由直接存储器存取控制器245从dram 215接收子特征映射图，并且以经由该直接存储器存取控制器将从稀疏张量计算集群230所接收到的输出发送回dram。类似地，多个稀疏张量特征映射图存储器单元415a-415m中的每个稀疏张量特征映射图存储器单元可以分别经由双向总线425a-425m连接到稀疏张量计算集群(例如，稀疏张量计算集群230)的稀疏张量计算单元中的相关联稀疏张量计算单元，以将存储在其中的子特征映射图发送到该稀疏张量计算集群并且以接收从该稀疏张量计算集群返回的输出。
61.因此，例如，稀疏张量特征映射图存储器单元415a可以经由直接存储器存取控制器245和总线420a从dram 215接收子特征映射图用于存储，并且经由总线425a将该子特征映射图发送到稀疏张量计算集群(例如，稀疏张量计算集群230)的稀疏张量计算单元中的相关联稀疏张量计算单元用于处理。类似地，稀疏张量特征映射图存储器单元415a可以经由总线425a从稀疏张量计算集群(例如，稀疏张量计算集群230)接收输出(例如，处理子特征映射图所得的结果)用于存储，并且经由直接存储器存取控制器245和总线420a将该输出发送到dram 215。稀疏张量特征映射图存储器单元415b-415m可以发挥类似于稀疏张量特
征映射图存储器单元415a的功能。
62.在一些实施方案中，多个稀疏张量特征映射图存储器单元415a-415m中的每个稀疏张量特征映射图存储器单元还可以被配置为存储被存储在其中的子特征映射图的索引值。除了接收子特征映射图之外，多个稀疏张量特征映射图存储器单元415a-415m中的每个稀疏张量特征映射图存储器单元还可以接收与来自dram 215的子特征映射图相关联的索引值。例如，如果稀疏张量特征映射图存储器单元415a从dram 215接收到子特征映射图a，则该稀疏张量特征映射图存储器单元还可以接收与子特征映射图a对应的索引值。稀疏张量特征映射图存储器单元415a然后可以将子特征映射图a的索引值与子特征映射图a一起发送到稀疏张量计算集群(例如，稀疏张量计算集群230)。这些索引值体现了输入特征映射图中的特定子特征映射图的行编号和列编号。例如，索引值(x,y)是指输入特征映射图中的子特征映射图的行编号x和列编号y。
63.稀疏张量权重存储器410可以被配置为存储将被应用于存储在稀疏张量特征映射图存储器单元415a-415m内的子特征映射图的权重。因此，稀疏张量权重存储器410可以经由单向总线430连接到dram 215和直接存储器存取控制器245以接收权重，并且经由总线435连接到稀疏张量计算集群(例如，稀疏张量计算集群230)用于将这些权重发送到该稀疏张量计算集群。由于稀疏张量权重存储器410不需要接收从该稀疏张量计算集群返回的任何结果并且不需要将任何结果发送回dram 215，因此总线430和总线435可以是被配置为在单个方向上发送数据的单向总线。在其他实施方案中，总线430和/或总线435可以是双向的，类似于双向总线420a-420m和/或双向总线425a-425m。
64.转到图5，示出了根据本公开的一些实施方案的稀疏张量存储器集群500的示例。稀疏张量存储器集群500类似于图2的稀疏张量存储器集群250。稀疏张量存储器集群500也基本上类似于稀疏张量存储器集群400。例如，类似于稀疏张量存储器集群400，稀疏张量存储器集群500包括稀疏张量特征映射图存储器505和稀疏张量权重存储器510。同样类似于稀疏张量特征映射图存储器405，稀疏张量特征映射图存储器505包括经由双向总线520a-520m连接到dram 215和直接存储器存取控制器245的多个稀疏张量特征映射图存储器单元515a-515m。然而，不同于稀疏张量特征映射图存储器405(其中多个稀疏张量特征映射图存储器单元515a-515m中的每个稀疏张量特征映射图存储器单元是独立的，不与该多个稀疏张量特征映射图存储器单元中的其他稀疏张量特征映射图存储器单元共享存储在其中的数据，并且将存储在其中的数据发送到稀疏张量计算单元中的对应稀疏张量计算单元)，稀疏张量特征映射图存储器505的多个稀疏张量特征映射图存储器单元515a-515m彼此互连，并且经由存储器互连器525互连到其他稀疏张量计算单元。
65.此外，在一些实施方案中，存储器互连器525可以被配置为覆盖上文所讨论的静态结合。例如，在一些实施方案中，存储器互连器525可以使稀疏张量特征映射图存储器单元#i能够根据存储器互连器的配置与稀疏张量计算单元#1-m(“m”是相关联稀疏张量计算集群中的稀疏张量计算单元的数量)进行通信。在一些实施方案中，存储器互连器525可以是2
×
2开关，该开关使稀疏张量特征映射图存储器单元#i能够与稀疏张量计算单元#i或稀疏张量计算单元#i 1进行通信。在其他实施方案中，存储器互连器525可以是允许稀疏张量特征映射图存储器单元#i与稀疏张量计算单元#1-m中的每个稀疏张量计算单元进行通信的多级互连，诸如网状网络或benes网络。在又其他实施方案中，存储器互连器525可以其他方式
被配置为允许稀疏张量特征映射图存储器单元#i与除了稀疏张量计算单元#i之外的一个或多个稀疏张量计算单元进行通信。类似地，在一些实施方案中，存储器互连器525可以使多个稀疏张量特征映射图存储器单元515a-515m中的特定稀疏张量特征映射图存储器单元能够与该多个稀疏张量特征映射图存储器单元中的其他稀疏张量特征映射图存储器单元中的一个或多个稀疏张量特征映射图存储器单元互连。例如，根据存储器互连器525的配置，稀疏张量特征映射图存储器单元#i可以与稀疏张量特征映射图存储器单元#(i 1)-m中的一个或多个稀疏特征映射图存储器单元互连。
66.多个稀疏张量特征映射图存储器单元515a-515m中的每个稀疏张量特征映射图存储器单元可以经由双向总线530a-530m连接到存储器互连器525。因此，多个稀疏张量特征映射图存储器单元515a-515m中的每个稀疏张量特征映射图存储器单元可以被配置为将存储在其中的子特征映射图(和对应的索引值)发送到存储器互连器525，并且经由其双向总线530a-530m中的相应双向总线从该存储器互连器接收子特征映射图(例如，其存储在另一个稀疏张量特征映射图存储器单元中)或输出。类似地，存储器互连器525可以经由双向总线535a-535m连接到稀疏张量计算集群(例如，稀疏张量计算集群230)以将子特征映射图(和索引值)发送到该稀疏张量计算集群并且从该稀疏张量计算集群接收输出。通过使用存储器互连器525，可以增加在多个稀疏张量特征映射图存储器单元515a-515m内存储信息的灵活性，并且可以覆盖稀疏张量存储器集群400的静态结合。
67.与稀疏张量权重存储器410类似地配置稀疏张量权重存储器510。因此，稀疏张量权重存储器510可以被配置为存储将被应用于存储在稀疏张量特征映射图存储器单元515a-515m内的子特征映射图的权重。此外，稀疏张量权重存储器510可以经由单向总线540连接到dram 215和直接存储器存取控制器245以接收权重，并且经由总线545连接到稀疏张量计算集群(例如，稀疏张量计算集群230)用于将这些权重发送到该稀疏张量计算集群。在其他实施方案中，总线540和/或总线545可以是双向的。
68.参考图6，示出了根据本公开的一些实施方案的示例性稀疏张量特征映射图存储器单元600。稀疏张量特征映射图存储器单元600类似于多个稀疏张量特征映射图存储器单元415a-415m和多个稀疏张量特征映射图存储器单元515a-515m中的每个稀疏张量特征映射图存储器单元。稀疏张量特征映射图存储器单元600包括写入开关605、读取开关610、第一组缓冲器615和第二组缓冲器620。写入开关605被配置为将从dram 215(或在互连的情况下从另一个稀疏张量特征映射图存储器单元)所接收到的子特征映射图写入第一组缓冲器615和/或第二组缓冲器620。写入开关605还被配置为将从稀疏张量计算集群(例如，稀疏张量计算集群230)所接收到的输出(例如，输出子特征映射图)写入第一组缓冲器615和/或第二组缓冲器620。在一些实施方案中，写入开关605可以是被配置用于双缓冲控制的2
×
2开关，以从两个源接收数据并且将该数据写入两组缓冲器(例如，第一组缓冲器615和第二组缓冲器620)。在其他实施方案中，可以其他方式配置写入开关605。
69.读取开关610可以被配置为读取存储在第一组缓冲器615和第二组缓冲器620内的数据。例如，读取开关610可以读取第一组缓冲器615和/或第二组缓冲器620中的由写入开关605写入的数据，以将所读取的数据(经由直接存储器存取控制器245)发送到dram 215。类似地，读取开关610可以读取第一组缓冲器615和/或第二组缓冲器620中的由写入开关605写入的数据，以将所读取的数据发送到稀疏张量计算集群(并且特别是稀疏张量计算集
群的稀疏张量计算单元)，该稀疏张量计算集群与稀疏张量特征映射图存储器单元600相关联。例如，写入开关605可以从dram 215接收子特征映射图(和对应的索引值)，并且将该子特征映射图(和索引值)存储在第一组缓冲器615和/或第二组缓冲器620内。读取开关610然后可以从第一组缓冲器615和/或第二组缓冲器620读取该子特征映射图(和索引值)，并且将所读取的数据发送到该稀疏张量计算集群。类似地，写入开关605可以从该稀疏张量计算集群接收输出子特征映射图，并且将该输出子特征映射图写入第一组缓冲器615和/或第二组缓冲器620内。读取开关610可以从第一组缓冲器615和/或第二组缓冲器620读取输出，并且将该输出张量传输到dram 215。
70.在一些实施方案中，读取开关610还可以是被配置用于双缓冲控制的2
×
2开关，以从两组缓冲器(例如，第一组缓冲器615和第二组缓冲器620)读取数据。在其他实施方案中，读取开关610可以是被配置为从单组缓冲器读取数据的1
×
1开关，或者该读取开关可以被配置为从多于两组缓冲器读取数据。
71.在一些实施方案中，第一组缓冲器615和第二组缓冲器620中的每组缓冲器可以包括两个缓冲器。例如，在一些实施方案中，第一组缓冲器615可以包括第一值缓冲器625和第一索引缓冲器630。类似地，在一些实施方案中，第二组缓冲器620可以包括第二值缓冲器635和第二索引缓冲器640。尽管在稀疏张量特征映射图存储器单元600中仅示出了两组缓冲器(例如，第一组缓冲器615和第二组缓冲器620)，但在其他实施方案中，可以根据写入开关605和/或读取开关610的配置提供单组缓冲器或多于两组缓冲器。类似地，尽管第一组缓冲器615和第二组缓冲器620中的每组缓冲器被示出为各自具有两个缓冲器，但在其他实施方案中，第一组缓冲器和第二组缓冲器中的任一组或两组缓冲器可以各自包括多于两个缓冲器或可能包括单个缓冲器。
72.第一值缓冲器625和第二值缓冲器635可以被配置为存储子特征映射图或输出子特征映射图的数据值，同时第一索引缓冲器630和第二索引缓冲器640可以被配置为存储子特征映射图或输出子特征映射图的索引值。例如，在一些实施方案中，子特征映射图a的数据值可以存储在第一值缓冲器625内，并且该子特征映射图的索引值可以存储在第一索引缓冲器630内。在其他实施方案中，特定子特征映射图(或输出子特征映射图)的数据值可以存储在第一组缓冲器615或第二组缓冲器620中的一组缓冲器内，并且该特定子特征映射图(或输出子特征映射图)的索引值可以存储在第一组缓冲器或第二组缓冲器中的另一组缓冲器内。此外，在一些实施方案中，第一组缓冲器615可以被指定存储子特征映射图的数据值和索引值，而第二组缓冲器可以被配置为存储输出子特征映射图的数据值和索引值。在其他实施方案中，第一组缓冲器615和第二组缓冲器620中的每组缓冲器可以存储子特征映射图和输出子特征映射图两者(和它们对应的索引值)。因此，每个子特征映射图和每个输出子特征映射图可以与以下两个缓冲器相关联：用于存储该子特征映射图或该输出子特征映射图的数据值的值缓冲器(例如，第一值缓冲器625、第二值缓冲器635)，以及用于存储该子特征映射图或该输出子特征映射图的索引值的索引缓冲器(例如，第一索引缓冲器630、第二索引缓冲器640)。
73.另外，尽管特定子特征映射图或输出子特征映射图的数据值和索引值被示出为存储在单独的缓冲器(例如，第一值缓冲器625、第二值缓冲器635、第一索引缓冲器630、第二索引缓冲器640)中，但在一些实施方案中，特定子特征映射图或输出子特征映射图的数据
值和索引值可以存储在单个缓冲器内。换句话说，在一些实施方案中，第一值缓冲器625和第一索引缓冲器630可以合并在一起以形成单个缓冲器。类似地，在一些实施方案中，第二值缓冲器635和第二索引缓冲器640可以合并在一起以形成单个缓冲器。
74.第一组缓冲器615和第二组缓冲器620中的每个缓冲器可以是被配置为单个端口读取/写入寄存器文件、先进先出数据结构、一组寄存器等的sram存储器。通过将sram存储器用于第一组缓冲器615和第二组缓冲器620中的缓冲器，可以避免复杂且更昂贵的高速缓存结构。在其他实施方案中，第一组缓冲器615和/或第二组缓冲器620中的一个或多个缓冲器可以是其他类型的存储器。此外，第一组缓冲器615和第二组缓冲器620中的每个缓冲器可以被配置为具有能够容纳至少一个子特征映射图或至少一个输出子特征映射图的数据值和索引值的特定尺寸。
75.现在参考图7，示出了根据本公开的一些实施方案的示例性稀疏张量权重存储器700。稀疏张量权重存储器700类似于稀疏张量权重存储器410和稀疏张量权重存储器510。稀疏张量权重存储器700包括被配置为存储权重值的第一缓冲器705和用于存储来自权重矩阵220的权重值的索引值的第二缓冲器710。因此，第一缓冲器705类似于第一值缓冲器625和第二值缓冲器635，而第二缓冲器710类似于第一索引缓冲器630和第二索引缓冲器640。第一缓冲器705和第二缓冲器710可以接收和存储来自dram 215的权重值/索引值，并且将那些值发送到稀疏张量计算集群(例如，稀疏张量计算集群230)。在一些实施方案中，可以使用用于存储权重值的多于一个缓冲器和/或用于存储权重矩阵的索引值的多于一个缓冲器。
76.转到图8，示出了根据本公开的一些实施方案的示例性稀疏张量计算集群800。稀疏张量计算集群800类似于稀疏张量计算集群230。稀疏张量计算集群800包括多个稀疏张量计算单元805a-805m。多个稀疏张量计算单元805a-805m的数量可以取决于可能需要并行处理的子特征映射图的指定数量。例如，为了并行处理五个子特征映射图，可提供五个稀疏张量计算单元，其中每个稀疏张量计算单元被配置为一次处理一个子特征映射图。在一些实施方案中，多个稀疏张量计算单元805a-805m的数量与多个稀疏张量特征映射图存储器单元415a-415m或515a-515m的数量相同，其中稀疏张量计算单元#i与稀疏张量特征映射图存储器单元#i相关联。在其他实施方案中，可使用不同数量的多个稀疏张量计算单元805a-805m和多个稀疏张量特征映射图存储器单元415a-415m或515a-515m。
77.此外，在一些实施方案中，多个稀疏张量计算单元805a-805m中的每个稀疏张量计算单元可独立于其他稀疏张量计算单元，并且独立于该多个稀疏张量计算单元中的其他稀疏张量计算单元处理数据。多个稀疏张量计算单元805a-805m中的每个稀疏张量计算单元分别经由双向总线810a-810m从多个稀疏张量特征映射图存储器单元415a-415m或515a-515m接收子特征映射图(和对应的索引值)。双向总线810a-810m还可用于将输出子特征映射图发送回多个稀疏张量特征映射图存储器单元415a-415m或515a-515m。
78.例如，如果使用具有静态结合的稀疏张量存储器集群400，则在一些实施方案中，稀疏张量计算单元#i可被配置为经由双向总线#i接收存储在稀疏张量特征映射图存储器单元#i内的子特征映射图(和对应的索引值)。在此类实施方案中，稀疏张量计算单元#i还可被配置为经由双向总线#i将输出子特征映射图发送到稀疏张量特征映射图存储器单元#i。因此，存在特定稀疏张量计算单元和稀疏张量特征映射图存储器单元之间的一一对应。
例如，在静态结合期间，稀疏张量计算单元805a可经由双向总线810a从稀疏张量特征映射图存储器单元415a接收子特征映射图(和对应的索引值)，并且可经由双向总线810a将所得的输出子特征映射图发送回稀疏张量特征映射图存储器单元415a。
79.在其他实施方案中，如果使用稀疏张量存储器集群500，则稀疏张量计算单元#i仍然可与稀疏张量特征映射图存储器单元#i相关联。然而，根据存储器互连器525的配置，稀疏张量计算单元#i可经由双向总线810a-810m从稀疏张量特征映射图存储器单元#(i 1)-m接收子特征映射图。此外，根据存储器互连器525的配置，除了稀疏张量特征映射图存储器单元#i之外，稀疏张量计算单元#i还可能能够将输出子特征映射图发送到稀疏张量特征映射图存储器单元#(i 1)-m。
80.除了子特征映射图之外，多个稀疏张量计算单元805a-805m中的每个稀疏张量计算单元还经由单向总线815a-815m从稀疏张量权重存储器410或稀疏张量权重存储器510接收权重值(和对应的索引值)。在一些实施方案中，可经由单向总线815a-815m将相同的权重传输到多个稀疏张量计算单元805a-805m中的每个或至少一组稀疏张量计算单元。在其他实施方案中，可经由单向总线815a-815m将不同的权重传输到多个稀疏张量计算单元805a-805m中的每个或至少一组稀疏张量计算单元。此外，在一些实施方案中，可一次将单个权重传输到多个稀疏张量计算单元805a-805m，而在其他实施方案中，可一次将多于一个权重同时传输到该多个稀疏张量计算单元中的一个或多个稀疏张量计算单元。
81.可将通过处理子特征映射图获得的输出子特征映射图传输回稀疏张量特征映射图存储器单元中的对应稀疏张量特征映射图存储器单元。例如，在一些实施方案中，稀疏张量计算单元805a可从稀疏张量特征映射图存储器单元415a或515a接收子特征映射图，处理该子特征映射图以获得输出子特征映射图，并且将该输出子特征映射图发送回稀疏张量特征映射图存储器单元415a或515a。然后，稀疏张量特征映射图存储器单元415a或515a可基于配置将该输出子特征映射图发送到dram 215，发送到另一个稀疏张量特征映射图存储器单元，并且/或者发送到另一个稀疏张量计算单元。
82.转到图9，示出了根据本公开的一些实施方案的示例性稀疏张量计算集群900。稀疏张量计算集群900类似于稀疏张量计算集群230。稀疏张量计算集群900也基本上类似于稀疏张量计算集群800。例如，类似于稀疏张量计算集群800，稀疏张量计算集群900包括多个稀疏张量计算单元905a-905m，该多个稀疏张量计算单元经由双向总线910a-910m连接到稀疏张量特征映射图存储器单元415a-415m或515a-515m中的至少一个稀疏张量特征映射图存储器单元，如上文所讨论的。同样类似于稀疏张量计算集群800，多个稀疏张量计算单元905a-905m中的每个稀疏张量计算单元经由单向总线915a-915m连接到稀疏张量权重存储器410或510以接收权重。
83.然而，不同于稀疏张量计算集群800(其中多个稀疏张量计算单元805a-805m中的每个稀疏张量计算单元是独立的并且不与该多个稀疏张量计算单元中的其他稀疏张量计算单元共享正在其中处理的数据)，稀疏张量计算集群900的多个稀疏张量计算单元905a-905m经由互连器920互连。互连器920可被配置为覆盖上文所讨论的静态结合。因此，在一些实施方案中，互连器920可使稀疏张量计算单元#i能够根据互连器的配置与稀疏张量计算单元#1-m中的其他稀疏张量计算单元进行通信。例如，在一些实施方案中，互连器920可以是2
×
2开关，该开关使稀疏张量计算单元#i能够与稀疏张量计算单元#i 1进行通信。在其
他实施方案中，互连器920可以是允许稀疏张量计算单元#i与其他稀疏张量计算单元#1-m中的每个稀疏张量计算单元进行通信的多级互连，诸如网状网络或benes网络。
84.多个稀疏张量计算单元905a-905m中的每个稀疏张量计算单元可经由双向总线925a-925m连接到互连器920。因此，多个稀疏张量计算单元905a-905m中的每个稀疏张量计算单元可被配置为经由互连器920和双向总线925a-925m将通过处理特定子特征映射图所产生的输出子特征映射图直接发送到该多个稀疏张量计算单元中的另一个稀疏张量计算单元，而不是首先将那些结果发送到稀疏张量存储器集群400或500。通过使用互连器525，可增加分派和处理子特征映射图的灵活性。
85.转到图10，示出了根据本公开的一些实施方案的稀疏张量计算单元1000的示例性框图。稀疏张量计算单元1000类似于多个稀疏张量计算单元805a-805m或905a-905m中的一个稀疏张量计算单元。稀疏张量计算单元1000被配置为执行可能需要在cnn中的卷积操作期间执行的各种机器学习操作，诸如乘法、加法等。因此，稀疏张量计算单元1000从稀疏张量存储器集群400或500接收子特征映射图(和对应的索引值)(如上文所讨论的)，或者从另一个稀疏张量计算单元接收输出子特征映射图。稀疏张量计算单元1000还从稀疏张量权重存储器410或510接收权重值。
86.稀疏张量计算单元1000包括多个乘法器1005a-1005p，该多个乘法器中的每个乘法器被配置为将子特征映射图的数据值与权重矩阵220的权重值相乘。在一些实施方案中，该多个乘法器1005a-1005p的数量可取决于子特征映射图中单元格的数量。例如，对于具有跨两个行和两个列的总共四个单元格的2
×
2子特征映射图，在一些实施方案中，该多个乘法器1005a-1005p的数量可以是四个以使每个单元格中的数据值能够被独立处理。在其他实施方案中，多个乘法器1005a-1005p的数量可大于或小于子特征映射图中单元格的数量。
87.例如，在一些实施方案中，多个乘法器1005a-1005p的数量可取决于子特征映射图中具有非零值的单元格的数量。例如，在上述具有四个单元格的2
×
2子特征映射图中，如果仅三个单元格具有非零值，则多个乘法器1005a-1005p的数量可以是三个以并行处理三个非零值。另选地，多个乘法器1005a-1005p的数量仍然可以是四个，然而，四个乘法器中的仅三个乘法器可参与/用于处理三个非零值。在其他实施方案中，该多个乘法器1005a-1005p的数量可以是两个，并且三个非零值中的两个非零值可在第一轮中并行处理并且第三个非零值可在第一轮之后在第二轮中在两个乘法器中的一个乘法器中处理。
88.在一些实施方案中，可在每个时钟周期中使用所有p个乘法器单元。例如，如果多个乘法器1005a-1005p的数量为4，并且在2
×
2单元格中存在(将对其应用权重w1和w2的)3个非零值(d1,d2,d3)。则在时钟周期1处，可如下利用所有4个乘法器：d1*w1、d2*w1、d3*w1和d1*w2。一般来讲，如果p是由稀疏张量计算集群1000处理的子特征映射图中的数据值的总数，并且q是子特征映射图中的非零值的数量，则在一些实施方案中(例如，在conv2层中)，可参与q个乘法器并且可将max(1,天花板(p-q)/q)唯一权重传输到q个乘法器以确保多个乘法器1005a-1005p的完全利用。例如，在1个唯一权重值的情况下，可将该唯一权重值传输到q个乘法器中的每个乘法器。在2个唯一权重值的情况下，可将第一权重值传输到q个乘法器，并且可将第二权重值传输到剩余数量的乘法器。在1
×
1conv和fc层的情况下，可将p个权重值传输到p个乘法器。因此，在一些实施方案中，仅将子特征映射图的非零数据值输入到多个乘法器1005a-1005p中。由于与零数据值的乘积为零，因此不需要通过多个乘法器
1005a-1005p处理输入子特征映射图中的任何零值，从而节省计算资源和时间。相反，在一些实施方案中，在输出特征映射图中填充非零值的计算结果之后，可以利用零值填充剩余索引值。
89.在一些实施方案中，多个乘法器1005a-1005p的数量可取决于权重矩阵220(在本文中也称为核矩阵或过滤器矩阵)的尺寸。该权重矩阵220还可以包括多个单元格，如上文所讨论的。例如，权重矩阵220可具有形成四个单元格的两个行和两个列。因此，提供或参与的多个乘法器1005a-1005p的数量可以是四个以并行处理四个数据值。因此，多个乘法器1005a-1005p的数量可取决于多种因素。
90.在一些实施方案中，可仅将非零权重值输入到多个乘法器1005a-1005p中。因此，例如，如果权重矩阵220具有四个单元格并且那些单元格中的仅三个单元格具有非零值，则可仅将三个权重值输入到多个乘法器1005a-1005p中。在一些实施方案中，非零权重值的数量可能不会影响多个乘法器1005a-1005p的数量，而是可能影响处理子特征映射图所需的迭代次数，如下文所讨论的。类似于零数据值，可计算与零权重值相乘的结果将在输出子特征映射图中所位于的位置的适当索引值。然后可以利用值零填充那些索引值。
91.此外，在一些实施方案中，稀疏张量计算集群(例如，稀疏张量计算集群800、900)中的每个稀疏张量计算单元(例如，多个稀疏张量计算单元805a-805m、905a-905m)可具有相同数量的乘法器(例如，多个乘法器1005a-1005p)，而在其他实施方案中，稀疏张量计算集群的一个或多个稀疏张量计算单元中的乘法器的数量可能与该稀疏张量计算集群中的稀疏张量计算单元中的其他稀疏张量计算单元不同。
92.另外，多个乘法器1005a-1005p中的每个乘法器可基于将在其中处理的数据值和权重值的尺寸来确定尺寸。在一些实施方案中，多个乘法器1005a-1005p中的每个乘法器可以是被配置为将两个二进制数相乘的电子电路。一般来讲，多个乘法器1005a-1005p中的每个乘法器可使用软件、硬件、固件或它们的组合以多种方式中的任一种方来实施。
93.因此，多个乘法器1005a-1005p中的每个乘法器接收来自子特征映射图的数据值1010a-1010p。例如并且结合图10参考图11，相对于示例性5
×
5输入特征映射图1100解释了稀疏张量计算单元1000。应当理解，输入特征映射图1100仅仅是示例，并非旨在以任何方式进行限制。本公开可用于处理任何尺寸并且其中具有任何数据值的输入特征映射图。可以从输入图像205生成输入特征映射图1100。输入特征映射图1100可包括多个单元格，每个单元格在行(其在x方向1105上延伸)和列(其在y方向1110上延伸)的交叉点处形成。输入特征映射图1100中的该多个单元格中的每个单元格包括将在稀疏张量计算单元1000中处理的数据值。
94.在一些实施方案中，输入特征映射图1100的四边可以被零值填充，以确保输出特征映射图与输入特征映射图具有相同的尺寸。例如，可在输入特征映射图1100的第一行的上方和最后一行的下方添加一行零值，并且为了填充，可在输入特征映射图的第一列的左手边和最后一列的右手边添加一列零值。通过将零值填充到输入特征映射图1100，可获得具有7
×
7尺寸的经填充的特征映射图1115。在一些实施方案中，划分块210可执行填充。在其他实施方案中，填充可以由加速器200的另一个部件添加。在没有进行零值填充的情况下，输出特征映射图可能与输入特征映射图具有不同的尺寸。
95.此外，在一些实施方案中，可以从经填充的特征映射图1115创建子特征映射图，并
且可以将来自核矩阵1120的权重值应用于那些子特征映射图。应当理解，核矩阵1120仅仅是示例，并非旨在以任何方式进行限制。核矩阵1120可以假设其他尺寸(例如，行的数量和列的数量可能与所示不同)，并且核矩阵内的值也可以变化。核矩阵1120可以被认为具有核尺寸k。在一些实施方案中，在具有相同数量的行和列的正方形核矩阵(例如，核矩阵1120)中，核尺寸k等于核矩阵中的行或列的数量。在其他实施方案中，正方形或非正方形核矩阵的核尺寸k可被认为是可使用涉及监督示例和误差梯度的反向传播的外部训练过程来确定/优化的输入参数。因此，对于具有两个行和两个列的核矩阵1120，以下描述假设核尺寸k为二。
96.在一些实施方案中，经填充的特征映射图1115可在划分块210或加速器200的其他部件中被切分为子特征映射图，如上文在图3a和图3b中所讨论的。例如并且如图11所示，可以切分经填充的特征映射图1115(如上文所讨论的)，以形成多个子特征映射图1125a-1125i。由于经填充的特征映射图1115的最后一行和最后一列只包括零值，因此那些值对输出值不具有影响，并且因此不需要处理。多个子特征映射图1125a-1125i中的每个子特征映射图可以在不同的稀疏张量计算单元(例如，稀疏张量计算单元1000)中并行处理。例如，在一些实施方案中，可以在第一稀疏张量计算单元中处理子特征映射图1125a，可以在第二稀疏张量计算单元中处理子特征映射图1125b，依此类推。
97.此外，在图11中，多个子特征映射图1125a-1125i中的每个子特征映射图包括两个行和两个列。尽管多个子特征映射图1125a-1125i中的每个子特征映射图与图11中的其他子特征映射图具有相同的尺寸，但是应当理解，这些子特征映射图可以具有不同的尺寸，如上文所讨论的。此外，尽管多个子特征映射图1125a-1125i中的每个子特征映射图具有与核矩阵1120相同数量的行和列，但在一些实施方案中，该多个子特征映射图中的一个或多个子特征映射图可以具有与核矩阵不同数量的行和/或列。根据稀疏张量计算单元1000中的多个乘法器1005a-1005p的数量，可以并行处理多个子特征映射图1125a-1125i中的每个子特征映射图中的多个数据值。例如，如果在稀疏张量计算单元1000中处理子特征映射图1125a，并且假设多个乘法器1005a-1005p至少包括四个乘法器，则可以并行处理该子特征映射图的四个单元格中的每个单元格中的数据值。
98.因此，为了处理子特征映射图1125a，可以将来自该子特征映射图的数据值输入到多个乘法器1005a-1005p中。例如，子特征映射图1125a的具有索引值(1,1)(例如，行1、列1)的数据值“0”可以被加载到乘法器1005a中，具有索引值(1,2)(例如，行1、列2)的数据值“0”可以被加载到乘法器1005b中，具有索引值(2,1)(例如，行2、列1)的数据值“1”可以被加载到乘法器1005c中，并且具有索引值(2,2)(例如，行2、列2)的数据值“5”可以被加载到乘法器1005p中。在一些实施方案中，也可以将数据值的对应索引值输入到多个乘法器1005a-1005p中的相应乘法器中。本文中值为零的数据值被加载到多个乘法器1005a-1005p中仅是为了便于说明。在其他实施方案中，仅非零数据值可以被加载到多个乘法器1005a-1005p中。
99.除了数据值之外，多个乘法器1005a-1005p中的每个乘法器还从稀疏张量权重存储器410或510接收权重值1015a-1015p。权重值1015a-1015p可以是来自核矩阵1120的单元格的值。在一些实施方案中，稀疏张量计算单元1000可以被配置为一次处理一个唯一权重。在这种情况下，可以一次将单个权重值广播到多个乘法器1005a-1005p中的每个乘法器。例
1020p的乘积矩阵可以看起来像：
[0103]0ꢀꢀꢀꢀꢀ0[0104]0ꢀꢀꢀꢀꢀ0[0105]
将乘积值1020a-1202p中的每个乘积值分别输入到对应的累加器1025a-1025p中。累加器1025a-1025p中的每个累加器可以包括被配置为接收并暂时存储乘积值1020a-1020p中的相应乘积值的寄存器(或其他类型的存储器)。在一些实施方案中，累加器1025a-1025p中的每个累加器还可以包括计算元件(例如，加法元件)以执行下文所讨论的计算。尽管在图10中示出了累加器1025a-1025p中的p个单独的累加器，但在一些实施方案中，p个累加器中的一个或多个累加器可组合在一起以形成接收乘积值1020a-1020p的更大累加器。另外，在一些实施方案中，累加器1025a-1025p中的每个累加器的尺寸可以使用以下公式来计算：(2k-1)
×
(2k-1)，其中k是核矩阵1120的核尺寸。由于在当前示例中，核矩阵1120的核尺寸k为2，因此累加器1025a-1025p中的每个累加器可以将尺寸确定为至少存储3
×
3矩阵。
[0106]
此外，在将乘积值1020a-1020p传输到累加器1025a-1025p后，处理子特征映射图1125a的第二次迭代可以在多个乘法器1005a-1005p中开始。因此，在第二次迭代中，可以将核矩阵1120的与索引值(1,2)对应的权重值传输到多个乘法器1005a-1005p中的每个乘法器。由于从第一次迭代开始，子特征映射图1125a的数据值已经在多个乘法器1005a-1005p中，因此不需要再次输入那些数据值。
[0107]
此外，在接收到乘积值1020a-1020p后，累加器1025a-1025p中的每个累加器可以基于从寄存器组1030所接收到的值处理那些值。寄存器组1030被配置为存储由于子特征映射图1125a与核矩阵1120卷积所产生的输出子特征映射图。寄存器组1030可以是一组寄存器、触发器或其他存储器单元。虽然在此从寄存器的角度解释了寄存器组1030，但在其他实施方案中，可以在寄存器组中使用触发器或其他类型的存储器单元。在一些实施方案中，寄存器组1030可以是累加器1125a-1125p中的一个或多个累加器的一部分。此外，在一些实施方案中，寄存器组1030可以包括连接在一起以形成一个或多个移位寄存器的多个行寄存器和多个列寄存器。在一些实施方案中，该多个行寄存器可以连接在一起以形成移位寄存器，以使存储在其中的值能够向右或向左移位至少一个位置。类似地，在一些实施方案中，该多个列寄存器可以连接在一起以形成移位寄存器，以使存储在其中的值能够向上或向下移位至少一个位置。
[0108]
此外，寄存器组1030的尺寸可以基于经填充的特征映射图1115的尺寸(或输出特征映射图的尺寸)。因此，对于7
×
7尺寸的经填充的特征映射图1115，寄存器组1030可以被初始化为具有7
×
7的尺寸。换句话说，寄存器组1030可以包括49个寄存器，使得每个行中的7个寄存器连接在一起以形成移位寄存器并且每个列中的7个寄存器连接在一起以形成移位寄存器。此外，在一些实施方案中，在第一次迭代开始时，寄存器组1030可以被初始化为只具有零值，如图11中的寄存器组1130中所示。另外，在一些实施方案中，在第一次迭代开始时，寄存器组1130的一部分可以被加载到累加器1025a-1025p中的每个累加器中。
[0109]
例如，累加器1025a-1025p中的每个累加器可以包括具有(2k-1)
×
(2k-1)或3
×
3的尺寸的寄存器1135，如上文所讨论的。当寄存器组1130在第一次迭代开始时被初始化为只具有0值时，累加器1025a-1025p中的每个累加器的寄存器1135可以被加载有来自寄存器组1130的3
×
3部分的值。可以基于以下公式来确定复制到寄存器1135中的来自寄存器组
1130的3
×
3部分：
[0110]
寄存器＝寄存器组(i:i acc_长度-1,j:j acc_长度-1)
[0111]
在以上公式中，第一项对应于寄存器组1130的行编号，并且第二项对应于寄存器组的列编号。此外，在以上公式中，“i”是行编号的开始，并且“j”是经填充的特征映射图1115中的子特征映射图1125a的列编号的开始，并且acc_长度是寄存器1135的尺寸。换句话说，(i,j)是子特征映射图1125a的索引值。例如，由于寄存器是3
×
3，因此以上示例中的寄存器1135的尺寸为3。类似于核矩阵1120的核尺寸那样计算寄存器1135的尺寸。因此，对于子特征映射图1125a，在以上公式中“i”为1，“j”为1，并且acc_长度为3。因此，累加器1025a-1025p中的每个累加器的寄存器1135被初始化为具有寄存器组1130的行(1:3,1:3)。由于寄存器组1130的行1:3和列1:3中的值在初始化时全部为零值，因此寄存器1135中的值被初始化为只具有零值。除了乘积值1020a-1020p之外，寄存器组1030还接收与子特征映射图1125a中的每个数据值对应的索引值和与核矩阵1120中的每个权重值对应的索引值，以计算寄存器组1030的将被加载到累加器1025a-1025p中的每个累加器中的该部分。
[0112]
因此，在第一次迭代开始时，寄存器组1030被初始化为具有寄存器组1130中所示的0值，并且累加器1025a-1025p中的每个累加器的寄存器1135被初始化为具有来自寄存器组1130的3
×
3部分。累加器1025a-1025p中的每个累加器在每次迭代中读取其相应寄存器1135的一部分，并且将当前乘积值(例如，乘积值1020a-1020p)与在先前迭代中计算的乘积值相加。例如，对于其中将与索引值(1,1)对应的权重值传输到多个乘法器1005a-1005p的第一次迭代，累加器1025a-1025p读取其相应的寄存器1135的实例的部分1140a，如图11所示。可以通过卷积操作的定义来确定读取寄存器1135的部分的顺序。因此，在一些实施方案中，首先读取部分1140a。在其他实施方案中，根据卷积操作的定义，可以首先读取寄存器1135的另一个部分。累加器1025a-1025p将上述乘积矩阵中的乘积值1020a-1020p与部分1140a中的值相加。具体地，累加器1025a-1025p可以执行以下矩阵加法：
[0113][0114]
在以上等式中，第一矩阵是从乘积值1020a-1020p导出的乘积矩阵，并且第二矩阵对应于部分1140a中的值。可以将矩阵加法的结果存储回累加器1025a-1025p中的每个累加器的寄存器1135的部分1140a中。因此，在第一次迭代之后，累加器1025a-1025p中的每个累加器的寄存器1135具有图11的寄存器1145a中所示的值。
[0115]
在第二次迭代中，继续将子特征映射图1125a加载到多个乘法器1005a-1005p中(如上文所讨论的)，并且将在核矩阵1120中与索引(1,2)对应的权重值“1”传输到那些乘法器中的每个乘法器。可以通过组合第二次迭代中的乘积矩阵z中的乘积值1020a-1020p来将乘积值1020a-1020p表示为：
[0116]0ꢀꢀꢀꢀꢀ0[0117]0ꢀꢀꢀꢀꢀ5[0118]
可以将上述乘积值1020a-1020p传输到累加器1025a-1025p。累加器1025a-1025p可以从寄存器1145a读取部分1140b，该部分是通过从部分1140a的位置向左逐列移位一个位置而获得的。累加器1025a-1025p可以如下对第二次迭代的乘积矩阵中的值和部分1140b中的值执行矩阵加法：
[0119][0120]
可以将上述矩阵加法的结果存储回部分1140b中。因此，在第二次迭代之后，寄存器1135具有寄存器1145b中所示的值。
[0121]
在第三次迭代中，继续将子特征映射图1125a加载到多个乘法器1005a-1005p中(如上文所讨论的)，并且将在核矩阵1120中与索引(2,2)对应的权重值“1”传输到那些乘法器中的每个乘法器。乘积值1020a-1020p可以被第二次迭代中的乘积矩阵z表示为：
[0122]0ꢀꢀꢀꢀꢀ0[0123]0ꢀꢀꢀꢀꢀ0[0124]
可以将上述乘积值1020a-1020p传输到累加器1025a-1025p。累加器1025a-1025p可以读取寄存器1145b的部分1140c，该部分是通过将寄存器1145a的部分1140b的位置向上逐行移位一个位置而获得的。累加器1025a-1025p可以如下对第三次迭代的乘积矩阵中的值和部分1140c中的值执行矩阵加法：
[0125][0126]
可以将上述矩阵加法的结果存储在部分1140c中。因此，在第三次迭代之后，寄存器1135具有寄存器1145c中所示的值。
[0127]
在第四次迭代中，继续将子特征映射图1125a加载到多个乘法器1005a-1005p中(如上文所讨论的)，并且将在核矩阵1120中与索引(2,1)对应的权重值
“‑
1”传输到那些乘法器中的每个乘法器。乘积值1020a-1020p可以被第二次迭代中的乘积矩阵z表示为：
[0128]0ꢀꢀꢀꢀꢀ0[0129]0ꢀꢀꢀꢀ‑5[0130]
可以将上述乘积值1020a-1020p传输到累加器1025a-1025p。累加器1025a-1025p可以读取寄存器1145c的部分1140d，该部分是通过将部分1140c的位置向右逐列移位一个位置而获得的。累加器1025a-1025p可以如下对第四次迭代的乘积矩阵中的值和部分1140d中的值执行矩阵加法：
[0131][0132]
可以将上述矩阵加法的结果存储在部分1140d中。因此，在第四次迭代之后，寄存器1135具有寄存器1145d中所示的值。
[0133]
由于在图11的示例中，仅存在四次迭代，因此在完成子特征映射图1125a的四次迭代后，累加器1025a-1025p将存储在寄存器1135中的值(例如，寄存器1145d中的值)加载回寄存器组1130中。此外，寄存器1145d的值可以被加载回寄存器1130中与最初初始化那些值的位置相同的位置。因此，例如，以下公式可用于确定来自寄存器1145a的值将被上传到寄存器1130的哪个位置：
[0134]
寄存器组＝寄存器(i:i acc_长度-1,j:j acc_长度-1)
[0135]
因此，对于子特征映射图1125a，寄存器1145d中的值可以被加载到寄存器组1130的行(1:3,1:3)中。因此，在将寄存器1145d中的值加载到寄存器组1130之后，寄存器组1030可以具有类似于寄存器组1150的值。此外，寄存器组1150中的加载值可以向右循环移位一
列。例如，可以根据以下公式执行移位操作：
[0136]
寄存器组＝循环移位(寄存器组,核尺寸-1,2)
[0137]
移位的方向性可以取决于卷积定义。因此，在其他实施方案中，可以其他方式移位寄存器组1150。因此，寄存器1150中的值可以被移位以获得寄存器1155中所示的值。寄存器1150中的值可以经受寄存器组1030中的一个或多个内联操作。例如，寄存器组1030可以执行非线性修正线性单元(relu)操作和池化操作。因此，在一些实施方案中，寄存器组1030可以包括relu处理单元和池化操作处理单元以分别执行relu和池化操作。在其他实施方案中，单独的部件可以与稀疏张量计算单元1000相关联以执行relu和池化操作。
[0138]
在一些实施方案中，relu操作可以实施以下激活函数：f(x)＝max(0,x)。在其他实施方案中，relu操作可以实施其他激活函数。relu操作可以为每个输入生成一个输出。因此，对于a个输入，relu操作可以生成a个输出。然后，池化操作可以将a个结果减少到b个结果。例如，核尺寸为2
×
2的池化操作可以将a个输入减少为a/4个输入。因此，根据池化操作的核尺寸，寄存器组1030可以将a个输入减少为b个输入。寄存器组1130还可以与b个池化单元相关联，其中每个池化单元被配置为对relu操作的a个结果中的一个结果执行下采样操作。池化操作可以执行确定一组单元格值中的最大值的最大池化操作、确定一组单元格值的平均值的平均池化操作或确定一组单元格值的总和的总和池化操作。在其他实施方案中，可以执行其他池化操作。池化操作的结果可以表示输出子特征映射图，该输出子特征映射图可以被发送回相关联的稀疏张量存储器集群400、500或发送到另一个稀疏张量计算单元。在一些实施方案中，输出子特征映射图可以在被发送到稀疏张量存储器集群400、500之前被压缩。
[0139]
在一些实施方案中，在压缩输出子特征映射图之前，可以将该输出子特征映射图与从其他稀疏张量计算单元生成的其他输出子特征映射图组合。为了组合各种输出子特征映射图，在一些实施方案中，输出子特征映射图可以“拼接”在一起以获得输出特征映射图。例如，在一些实施方案中，如果输入特征映射图被切分为四个子特征映射图[a,b,c,d](其生成四个相应输出子特征映射图a'、b'、c'和d')，则输出特征映射图可以给出为[a',b',c',d']。
[0140]
此外，乘积值1020a-1020p中的每个乘积值也被输入到加法器1035中并且存储在特殊累加器1040中。加法器1035可以用于计算成组的乘积值1020a-1020p的总和。例如，加法器1035可以用于计算成组的p'个输入和p个输入的总和，其中p'小于p。特殊累加器1040可以通过获取加法器1035的输出和来自寄存器组1030的先前累加的结果来处理完全连接层和1
×
1卷积所需的累加。
[0141]
现在转到图12，示出了根据本公开的一些实施方案的示例性流程图，该示例性流程图概述了过程1200的操作。过程1200可以在稀疏张量计算单元1000中实施。在一些实施方案中，控制器可以与稀疏张量计算单元1000相关联以执行过程1200。控制器可以与用于存储计算机可读指令的存储器相关联，这些计算机可读指令可以由与该控制器相关联的处理器执行。在其他实施方案中，调度引擎225可以被配置为执行过程1200。根据具体实施方案，过程1200可以包括其他操作或附加操作。
[0142]
在操作1205处开始后，在操作1210处初始化寄存器组1030。如上所述，在第一次迭代开始时，寄存器组1030可以被初始化为只具有零值。此外，在初始化寄存器组1030后，可
以在操作1215处初始化累加器1025a-1025p中的每个累加器，使得寄存器组的一部分被加载到那些累加器中的每个累加器中。寄存器组1030的被加载到那些累加器中的每个累加器中的该部分基于被处理的输入特征映射图中的子特征映射图的索引值。在操作1220处，将来自子特征映射图的数据值(例如，子特征映射图1125a)输入到多个乘法器1005a-1005p中，如上文所讨论的。在一些实施方案中，操作1210/1215和1220可以并行发生。在操作1225处，将来自核矩阵1220的一个权重值传输到多个乘法器1005a-1005p中的每个乘法器。
[0143]
在操作1230处，多个乘法器1005a-1005p中的每个乘法器计算接收在其中的子特征映射图的数据值和权重值之间的乘积，以获得乘积值(例如，乘积值1020a-1020p)。乘积值可以被表示为乘积矩阵。在操作1235处，将乘积矩阵中的值与从在操作1215处被加载到累加器1025a-1025p中的该部分的窗口读取的值相加。例如，在第一次迭代中，可以将乘积矩阵中的值与部分1140a相加。在第二次迭代中，可以将乘积矩阵中的值与部分1140b相加，而在第三迭代中，可以将乘积矩阵中的值与部分1140c相加，并且在第四迭代中，可以将乘积矩阵中的值与部分1140d相加。因此，在每次迭代中，窗口(例如，部分1140a-1140d)可以被移位一个位置(例如，从部分1140a的初始位置—向左逐列移位至部分1140b的位置—向上逐行移位至部分1140c的位置—向右逐列移位至部分1140d的位置)。即使寄存器1135在尺寸上大于3
×
3，也可以应用上述移位模式。
[0144]
在操作1240处，每次迭代中的加法的结果存储回累加器1025a-1025p中。然后，在操作1245处，确定所有迭代是否已经完成。同样，迭代次数可以取决于权重矩阵1120中的非零权重值的数量和将在每次迭代中传输到多个乘法器1005a-1005p的唯一权重值的数量。例如，对于2
×
2权重矩阵，如果在每次迭代中传输单个权重值，并且如果在该权重矩阵中的所有四个权重值是非零值，则过程1200可以包括4次迭代。如果剩余另外的迭代，则过程1200循环回到操作1210以继续处理下一次迭代。另一方面，如果在操作1245处，确定所有迭代已经完成，则在操作1250处，在完成最后一次迭代之后，累加器1025a-1025p将在操作1240处获得的该部分加载回寄存器组1030中。在操作1255处，寄存器组1030执行移位操作，并且在操作1260处，对寄存器组中的移位值执行relu和池化操作，以获得输出子特征映射图。任选地，在操作1265处，可以压缩输出子特征映射图。然后，过程1200在操作1270处通过将输出子特征映射图发送到相关联的稀疏张量存储器集群400、500或发送到另一个稀疏张量计算单元来结束。
[0145]
在实施深度可分离卷积的(例如，在特征映射图具有多个通道的)一些实施方案中，来自每个通道的结果可以被存储为中间输出子特征映射图。例如，每个通道的子特征映射图可以执行操作1205至1255，并且那些操作的结果可以被存储为中间输出子特征映射图。在一些实施方案中，可以不对中间输出子特征映射图执行relu和池化操作。因此，根据通道的数量，可以获得多个中间输出子特征映射图。例如，对于三个通道，可以获得三个中间输出子特征映射图。(例如，在输入的每个通道上独立执行的深度卷积或空间卷积)。然后可以通过根据神经网络的给定超参数应用1
×
1过滤器来组合中间输出子特征映射图中的每个中间输出子特征映射图。(例如，将由深度卷积输出的通道投影到新通道空间上的逐点卷积，诸如1
×
1卷积。)然后可以对组合的中间输出子特征映射图执行操作1260的relu和池化操作，以获得输出子特征映射图。
[0146]
现在参考图13，示出了根据本公开的一些实施方案的稀疏张量计算单元1300的示
例性框图。稀疏张量计算单元1300类似于多个稀疏张量计算单元805a-805m或905a-905m中的一个稀疏张量计算单元。稀疏张量计算单元1300被配置为执行可能需要在cnn中的卷积操作期间执行的各种机器学习操作(诸如乘法、加法等)。稀疏张量计算单元1300如稀疏张量计算单元1000包括多个乘法器1305a-1305p。多个乘法器1305a-1305p中的每个乘法器被配置为类似于多个乘法器1005a-1005p，并且因此不再进行描述。
[0147]
此外，多个乘法器1305a-1305p中的每个乘法器被配置为从子特征映射图(例如，子特征映射图1125a)接收数据值(例如，数据值1310a-1310p)，并且从核矩阵(例如，核矩阵1120)接收将被应用于子特征映射图的权重值(例如，权重值1315a-1315p)。多个乘法器1305a-1305p中的每个乘法器计算数据值(例如，数据值1310a-1310p)和存储在其中的权重值(例如，权重值1315a-1315p)之间的乘积，以分别生成乘积值1320a-1320p。同样，类似于稀疏张量计算单元1000，稀疏张量计算单元1300也在多次迭代(例如，四次迭代，如上文所讨论的)中处理子特征映射图1125a。在每次迭代中，可以将来自核矩阵1120的不同权重值应用于子特征映射图1125a。
[0148]
在一些实施方案中，多个乘法器1305a-1305p中的每个乘法器还可以分别接收数据值1310a-1310p的索引值和权重值1315a-1315p中的每个权重值的索引值。例如，乘法器1305a可以接收数据值1310a的索引值和来自核矩阵1120的权重值中的每个权重值的索引值。基于索引值，多个乘法器1305a-1305p中的每个乘法器可以确定由该乘法器计算的乘积值(例如，乘积值1320a-1320p)在输出子特征映射图中将位于的位置的索引值。在一些实施方案中，多个乘法器1305a-1305p中的每个乘法器可以使用以下公式来计算乘积值1320a-1320p的索引值：
[0149]
xw_row_idx＝x_row_idx ((w_row_len
–
1)-w_row_idx)
[0150]
xw_col_idx＝x_col_idx ((w_col_len
–
1)-w_col_idx)
[0151]
在以上公式中，索引从0开始，并且xw_row_idx和xw_col_idx分别是输出子特征映射图中乘积值(例如，乘积值1320a-1320p)的行、列索引值。x_row_idx和x_col_idx分别是第一被乘数(例如，数据值1310a-1310p)的行、列索引值。w_row_idx和w_col_idx分别是第二被乘数(例如，权重值1315a-1315p)的行、列索引值。w_row_len和w_col_len是核矩阵1120的尺寸(例如，核尺寸)。此外，xw-row_idx可以与偏移过滤器行长度的x_row_idx相同，并且过滤器系数行索引采用从0到w_row_len-1的值。
[0152]
在计算乘积值1320a-1320p的索引值后，多个乘法器1305a-1305p中的每个乘法器可以将其相应的乘积值和计算的索引值传输到累加器1325。尽管多个乘法器1305a-1305p已经被描述为计算乘积值1320a-1320p的索引值，但在一些实施方案中，累加器1325可以替代地接收第一被乘数和第二被乘数的各种索引值以计算那些乘积值的索引值。在其他实施方案中，加速器200的另一个部件可以计算输出子特征映射图中乘积值1320a-1320p的索引值。
[0153]
因此，将乘积值1320a-1320p和计算的索引值中的每一者输入到累加器1325中。在一些实施方案中，累加器1325可以是“p”个累加器的组合(其中“p”是多个乘法器1305a-1305p的总数)，并且每个累加器可以类似于多个累加器1025a-1025p。因此，累加器1325被配置为类似于累加器1025a-1025p。类似于累加器1025a-1025p，累加器1325可以被配置为将乘积值1320a-1320p中的每个乘积值与在最后一次迭代中计算的总和相加。例如，累加器
1325可以将当前迭代的乘积值1320a与来自先前迭代的乘积值1320a相加。因此，累加器1325可以执行以下操作：
[0154]
a1＝a1 z1
[0155]
a2＝a2 z2
[0156]
…
[0157]
ap＝ap zp
[0158]
在以上等式中，z1为乘积值1320a，z2为乘积值1320b，zp为乘积值1320p，依此类推。在第一次迭代开始时，值a1、a2、
……
、ap中的每一者可以被初始化为零。可以将结果1330a-1330p(包括求和结果(例如，a1、a2、
……
、ap))和这些结果中的每一者的计算的索引值从累加器1325发送到多级互连网络(“min”)1335。结果1330a可以包括求和结果a1，以及由乘法器1305a针对乘积值1320a计算的索引值。类似地，结果1330b可以包括求和结果a2，以及由乘法器1305b针对乘积值1320b计算的索引值，依此类推。
[0159]
min 1335可以用于本地交织并将累加器1325连接到可变累加器寄存器(“var”)1340。min 1335的附加细节可以见于2017年6月19日提交的美国申请no.15/627,042中，该申请的全部内容通过引用方式并入本文。min1335可以包括多种控制状态。在一些实施方案中，输入到读取min(例如，下文描述的min 1355)的位置的总数是(2k-1)^2。由于需要取出这些(2k-1)^2个值中的p个值，因此可以使用读取min(例如，min 1355)。写入min(例如，min 1335)所连接到的位置的总数是(2k-1)^2。由于需要写入这些(2k-1)^2个值中的p个值，因此可以使用写入min(例如，min 1335)。在一些实施方案中，如果乘积值1320a-1320p中的两者具有相同的计算的索引值，则min 1335可以对结果1330a-1330p进行分类。因此，写入min(例如，min 1335)可以用于写入var 1340，并且读取min(例如，min 1355)可以用于从var 1340读取。因此，min 1335可以将分类结果1345a-1345p(包括由多个乘法器1305a-1305p计算的索引值)传输到var 1340。
[0160]
因此，min 1335和min 1355可以在benes网络的第一p端口(或在输入子特征映射图中没有稀疏性的情况下，k^2端口)上提供双向连接(例如，一个方向用于读取并且另一个方向用于写入)(端口的总数可以是(2k-1)^2)，其中p端口的数量可以基于输入子特征映射图中的非零值的百分比。例如，如果输入子特征映射图中存在60％非零值，并且核矩阵为3
×
3，则可以选择p端口为6。在一些实施方案中，p端口可以独立于平均稀疏性来选择，并且可以基于各种硬件考虑。
[0161]
var 1340被初始化为具有来自累加器缓冲器1350的一部分，类似于累加器1025a-1025p。累加器缓冲器1350类似于寄存器组1030。然而，累加器缓冲器1350不实施移位操作。类似于寄存器组1030，累加器缓冲器1350可以具有输出子特征映射图的尺寸，如上文相对于寄存器组所讨论的。例如，使用图11的示例，累加器缓冲器1350可以具有7
×
7的尺寸。此外，在第一次迭代开始时，累加器缓冲器1350可以被初始化为只具有零值，如上文所讨论的。
[0162]
另外，在第一次迭代开始时，累加器缓冲器1350的一部分可以被加载到var 1340中。var 1340的尺寸可以使用下公式来计算：(2k-1)
×
(2k-1)，其中k是核矩阵1120的核尺寸。由于在图11的示例中，核矩阵1120的核尺寸k为2，因此var 1340的尺寸为3
×
3。此外，可以基于以下公式来确定复制到var 1340中的来自累加器缓冲器1350的3
×
3部分：
[0163]
var＝累加器缓冲器(i:i acc_长度-1,j:j acc_长度-1)
[0164]
在以上公式中，第一项对应于累加器缓冲器1350的行编号(例如，行索引值)，并且第二项对应于累加器缓冲器的列编号(例如，列索引值)。此外，在以上公式中，“i”是行编号的开始，并且“j”是在经填充的特征映射图1115中的子特征映射图1125a的列编号的开始，并且acc_长度是累加器缓冲器1350的尺寸。例如，由于以上示例中的累加器缓冲器1350的尺寸为3
×
3，因此acc_长度为3。因此，例如，为了处理子特征映射图1125a，在以上公式中“i”为1，“j”为1，并且acc_长度为3。因此，在第一次迭代开始时，累加器缓冲器1350的行1:3和列1:3可以被加载到var 1340中。
[0165]
在从min 1335接收到分类结果1345a-1345p和计算的索引值后，var 1340将结果存储在从累加器缓冲器1350复制的该部分的适当索引值中。在var 1340中将存储结果1345a-1345p存储在适当索引值中后，var可以将分类结果1345a-1345p传输到以类似于min 1335的方式构造的min 1355。min 1355可以将分类结果1345a-1345p发送回累加器1325以供在下一次迭代期间使用。
[0166]
此外，在完成处理子特征映射图1125a的所有迭代之后，var 1340可以将存储在其中的结果发送回累加器缓冲器1350。例如，如果行1:3和列1:3在第一次迭代开始时被从累加器缓冲器1350复制到var 1340，则在最后一次迭代结束时，来自var的结果被加载回累加器缓冲器的行1:3和1:3中。因此，累加器缓冲器1350的在第一次迭代开始时被加载到var 1340中的该部分被在最后一次迭代结束时来自var 1340的结果替换。
[0167]
除了将乘积值1320a-1320p发送到累加器1325之外，还将这些乘积值输入到加法器1360中。来自加法器1360的结果被存储在特殊累加器1365内。加法器1360和特殊累加器1365分别类似于加法器1035和特殊累加器1040。
[0168]
如上文所讨论的，对在最后一次迭代之后存储在累加器缓冲器1350中的值执行relu和池化操作1370，以获得输出子特征映射图。relu和池化操作1370的结果可以任选地被压缩在压缩块1375中，如上文所讨论的。经压缩的结果可以经由相关联的稀疏张量存储器集群发送回dram 215或发送到另一个稀疏张量计算单元。
[0169]
现在参考图14，示出了根据本公开的一些实施方案的稀疏张量计算单元1400的示例。稀疏张量计算单元1400基本上类似于稀疏张量计算单元1300。例如，类似于稀疏张量计算单元1300，稀疏张量计算单元1400包括多个乘法器1405a-1405p，这些乘法器接收数据值1410a-1410p和权重值1415a-1415p以生成乘积值1420a-1420p。多个乘法器1405a-1405p中的每个乘法器还可以接收数据值1410a-1410p和权重值1415a-1415p的索引值，以计算乘积值1420a-1420p的索引值，如上文所解释的。
[0170]
稀疏张量计算单元1300被配置为一次接收一个唯一权重值。换句话说，在每次迭代中，相同权重值被传输到稀疏张量计算单元1300中的多个乘法器1305a-1305p中的每个乘法器。然而，稀疏张量计算单元1400被配置为在每次迭代中处理多于一个唯一权重值。在一些实施方案中，可能需要一次处理多于一个唯一权重值。在这种情况下，可以一次将多个权重值广播到多个乘法器1405a-1405p。例如，多个乘法器1405a-1405p中的第一组可以接收第一权重值，该多个乘法器中的第二组可以接收第二权重值，依此类推。例如，当在每次迭代中使用两个权重值时，可以将第一权重值传输到多个乘法器1405a-1405p中的q个乘法器(其中q是特定子特征映射图中的非零值的数量)，并且可以将第二权重值传输到该多个
乘法器中的(p-q)个乘法器。可以使用以下公式来计算在每次迭代中可以使用的唯一权重值的数量：max(1,天花板(p-q))，其中q是特定子特征映射图中的非零值的数量，p是参与的多个乘法器1405a-1405p的数量。
[0171]
可以将乘积值1420a-1420p和计算的索引值传输到min 1425。具体地，min 1425可以是写入仲裁器min，该写入仲裁器min具有“p”个先进先出缓冲器和p
×
p种控制状态。如果在输出子特征映射图中乘积值1420a-1420p中的多于一个乘积值具有相同的计算的索引值，则min 1425可以发送乘积值中针对该索引值的一者，同时将剩余乘积值存储在缓冲器中。然后，min 1425将乘积值1420a-1420p和计算的索引值发送到累加器1430。累加器1430类似于累加器1425。此外，min 1435、var 1440、min 1445、加法器1450、特殊累加器1460、累加器缓冲器1465、relu和池化操作1470和压缩块1475被配置为类似于min 1335、var 1340、min 1355、加法器1360、特殊累加器1365、累加器缓冲器1350、relu和池化操作1370和压缩块1375，因此为了简化表达不再进行描述。这些元件中的每个元件处理如上文在图14中所述的子特征映射图1125a。
[0172]
现在转到图15，示出了根据本公开的一些实施方案的稀疏张量计算单元1500的示例。稀疏张量计算单元1500基本上类似于稀疏张量计算单元1400。例如，类似于稀疏张量计算单元1400，稀疏张量计算单元1500包括多个乘法器1505a-1505p，这些乘法器接收数据值1510a-1510p和权重值1515a-1515p以生成乘积值1520a-1520p，并计算那些乘积值的索引值。同样类似于稀疏张量计算单元1400，稀疏张量计算单元1500被配置为在每次迭代中接收多个权重值。可以将乘积值1520a-1520p和计算的索引值传输到可以类似于min 1425的方式构造的min 1525。min 1525将值1530a-1530p传输到加法块1535。加法块1535可以执行以下加法操作：
[0173]
s1＝b1 b2
[0174]
s2＝b2 b3
[0175]
s3＝b3 b4
[0176]
…
[0177]
sp＝bp b1
[0178]
相加所得值(s1、s2、
……
、sp)可以被视为推测性计算。如果将两个权重值发送到稀疏张量计算单元1500，则可能需要在累加之前将由这两个权重值所产生的两个乘积值相加在一起。可以将相加所得值(s1、s2、
……
、sp)作为值1540a-1540p传输到选择单元1545。选择单元1545可以是被配置为执行以下操作的一组复用器：
[0179]
r1＝mux(b1,sp,s1)
[0180]
r2＝mux(b2,s1,s2)
[0181]
r3＝mux(b3,s2,s3)
[0182]
…
[0183]
rp＝mux(bp,s(p-1),sp)
[0184]
在一些实施方案中，对上述复用器的选择的控制可以基于每个乘积值的输出索引值。如果两个相邻的乘积值共享相同的输出索引值，则可以选择相邻乘积值的总和值。
[0185]
尽管选择单元1545已经被描述为具有一组复用器，但是在其他实施方案中，可以使用被配置为基于选择标准从多个输入中选择一个输入的其他元件。
[0186]
可以将结果1550a-1550p(例如，r1、r2、
……
、rp)传输到累加器1555。累加器1555类似于累加器1430并且被配置为执行以下加法操作：
[0187]
a1＝r1 a2
[0188]
a2＝r2 a3
[0189]
a3＝r3 a4
[0190]
…
[0191]
ap＝rp a1
[0192]
可以将来自累加器1555的结果发送到类似于min 1435的min 1560。此外，来自累加器1555的结果可以在var 1565、累加器缓冲器1570、min 1575、加法器1580、特殊累加器1585、relu和池化操作1590和压缩块1595中进行处理，类似于在var 1435、累加器缓冲器1465、min 1445、加法器1450、特殊累加器1460、relu和池化操作1470和压缩块1475中进行的处理，因此不再次解释。
[0193]
转到图16，示出了根据本公开的一些实施方案的示例性流程图，该示例性流程图概述了过程1600的操作。根据实施方案，过程1600可以包括其他操作或附加操作。过程1600可以在稀疏张量计算单元1300、稀疏张量计算单元1400或稀疏张量计算单元1500中实施。在一些实施方案中，实施过程1600的稀疏张量计算单元可以包括执行过程1600的控制器。控制器可以与用于存储计算机可读指令的存储器相关联，这些计算机可读指令可以由与该控制器相关联的处理器执行。在其他实施方案中，调度引擎225可以被配置为执行过程1600。过程1600可以在cnn中的标准卷积操作期间实施。过程1600还可以在其中应用了1
×
1权重矩阵的完全连接的1
×
1卷积操作中实施。
[0194]
在操作1605处开始后，在操作1610处初始化实施过程1600的稀疏张量计算单元(例如，稀疏张量计算单元1300、稀疏张量计算单元1400或稀疏张量计算单元1500)的累加器缓冲器(例如，累加器缓冲器1350、累加器缓冲器1465、累加器缓冲器1570)。操作1610类似于操作1210。如上所述，在第一次迭代开始时，累加器缓冲器可以被初始化为只具有零值。此外，在操作1610处初始化累加器缓冲器后，在操作1615初始化实施过程1600的稀疏张量计算单元的var(例如，var 1340、var 1440、var 1565)，使得累加器缓冲器的一部分被加载到var中。
[0195]
在操作1620处，将来自子特征映射图(例如，子特征映射图1125a)的数据值输入到实施过程1600的稀疏张量计算单元的多个乘法器(例如，多个乘法器1305a-1305p、多个乘法器1405a-1405p、多个乘法器1505a-1505p)中，如上文所讨论的。在操作1620处，还可以将与数据值对应的索引值输入到该多个乘法器中。在操作1625处，将(例如，来自核矩阵1220的)一个或多个权重值传输到实施过程1600的稀疏张量计算单元的多个乘法器(例如，多个乘法器1305a-1305p、多个乘法器1405a-1405p、多个乘法器1505a-1505p)中的每个乘法器，如上文所讨论的。还可以将这些权重值的索引值输入到那些乘法器中。传输到该多个乘法器中的每个乘法器的权重值的数量可以取决于正被执行的卷积类型。例如，在一些实施方案中，可以标准卷积操作将两个唯一权重值传输到该多个乘法器中的每个乘法器，而可以完全连接的1
×
1卷积操作将单个权重值传输到那些乘法器中的每个乘法器。在一些实施方案中，操作1610/1615和1620/1625可以并行发生。
[0196]
在操作1630处，该多个乘法器中(例如，多个乘法器1305a-1305p、多个乘法器
1405a-1405p、多个乘法器1505a-1505p)的每个乘法器计算接收在其中的子特征映射图的数据值和权重值之间的乘积，以获得乘积值(例如，乘积值1320a-1320p、乘积值1420a-1420p、乘积值1520a-1520p)。乘积值可以被表示为乘积矩阵。在操作1635处，该多个乘法器(例如，多个乘法器1305a-1305p、多个乘法器1405a-1405p、多个乘法器1505a-1505p)还计算那些乘积值的索引值，如上文所讨论的。
[0197]
在操作1640处，如果两个乘积值共享相同的计算的索引，则实施过程1600的稀疏张量计算单元的min(例如，min 1335、min 1435、min 1460)对乘积值进行分类，使得共享相同索引值的乘积值在实施过程1600的稀疏张量计算单元的var(例如，var 1340、var 1440、var 1565)中彼此相邻。在操作1645处，将来自min的分类结果存储在var中。然后，在操作1650处，确定所有迭代是否已经完成。如果剩余另外的迭代，则过程1600循环回到操作1610以继续处理下一次迭代。另一方面，如果在操作1650处，确定所有迭代已经完成，则在操作1655处，将在完成最后一次迭代之后在操作1645处获得的var(例如，var 1340、var 1440、var 1565)中的值加载回累加器缓冲器(例如，累加器缓冲器1350、累加器缓冲器1465、累加器缓冲器1570)。在操作1660处，对累加器缓冲器中的值执行relu和池化操作，以获得输出子特征映射图。任选地，在操作1665处，可以压缩输出子特征映射图。然后，过程1600在操作1670处通过将输出子特征映射图发送到相关联的稀疏张量存储器集群400、500或发送到另一个稀疏张量计算单元来结束。
[0198]
在一些实施方案中，可以基于稀疏性将输出子特征映射图再次细分为另外的子特征映射图(如上文在图3a和图3b中所讨论的)，以均衡另外的子特征映射图中的每个另外的子特征映射图中的零值和非零值的数量，并且均衡稀疏张量计算集群230的稀疏张量计算单元中的每个稀疏张量计算单元中的工作负荷。可以在过程1200中执行输出子特征映射图的类似重新平衡。
[0199]
在实施深度可分离卷积的(例如，在特征映射图具有多个通道的)一些实施方案中，来自每个通道的结果可以被存储为中间输出子特征映射图。例如，每个通道的子特征映射图可以执行操作1605至1665，并且那些操作的结果可以被存储为中间输出子特征映射图。在一些实施方案中，可以不对中间输出子特征映射图执行relu和池化操作。因此，根据通道的数量，可以获得多个中间输出子特征映射图。例如，对于三个通道，可以获得三个中间输出子特征映射图。然后可以通过应用1
×
1过滤器来组合中间输出子特征映射图中的每个中间输出子特征映射图。然后对组合的中间输出子特征映射图执行操作1660的relu和池化操作，以获得输出子特征映射图。
[0200]
现在转到图17，示出了根据本公开的一些实施方案的示例性流程图，该示例性流程图概述了过程1700的操作。根据具体实施方案，过程1700可以包括附加操作或其他操作。过程1700可以由加速器200实施。在一些实施方案中，过程1700可以由加速器200的调度引擎225实施。在其他实施方案中，过程1700可以由加速器200的另一个部件实施。过程1700开始于操作1705，此时将在机器学习应用程序中对新输入数据(例如，输入图像205)执行一个或多个机器学习操作。例如，当将完成图像分类以识别输入图像中的一个或多个特征时，可以实施过程1700。因此，在操作1710处，可以将输入图像或与该输入图像相关联的特征映射图输入到加速器200中。
[0201]
输入图像可以由基于输入图像的尺寸、高度和颜色方案的像素阵列表示。简单地
作为示例并且不意在以任何方式进行限制，下面相对于尺寸为1024
×
1024
×
3的输入图像解释过程1700。因此，输入图像为1024像素宽和1024像素高，并且具有3个颜色通道。因此，输入图像可以被视为三个特征映射图的组合，其中每个颜色通道一个特征映射图并且每个特征映射图具有1024
×
1024
×
1的尺寸。在一些实施方案中，可以将输入图像输入到加速器200中，并且该加速器可以从该输入图像导出特征映射图。在其他实施方案中，将输入图像转换成特征映射图可在加速器200外部发生(由与加速器200相关联的主机设备(例如，主机设备105)上的另一个部件进行))，并且可以将特征映射图而不是输入图像输入到该加速器中。此外，输入图像或该输入图像的特征映射图(以被输入到加速器200中的一者为准)可以存储在加速器的dram 215内。
[0202]
在操作1715处，加速器200接收权重矩阵(例如，权重矩阵220)。尽管操作1715已经被描述为在操作1710(在该操作中，输入图像或该输入图像的特征映射图由加速器200接收)之后发生，但在一些实施方案中，操作1715可以在操作1710之前发生。在一些实施方案中，操作1710和1715可以同时或基本上同时发生。
[0203]
在一些实施方案中，加速器200可以被配置用于具有多个层的神经网络。例如，在一些实施方案中，加速器200可以被配置用于具有多个卷积层的卷积神经网络。在一些实施方案中，该多个卷积层中的每个卷积层可以具有可以应用于该层的特征映射图的特定权重矩阵。因此，在此类实施方案中，加速器200可以接收多个权重矩阵，其中一个权重矩阵被配置用于一个层。每个权重矩阵可以包括可以应用于特征映射图的权重值。具体地，可以在对应权重值和输入特征映射图的数据值之间执行乘法、加法和其他操作。在一些实施方案中，还可以压缩权重矩阵。在一些实施方案中，权重矩阵可以至少暂时存储在dram 215内。
[0204]
在一些实施方案中，在压缩之前或之后还可以对权重矩阵进行重新排序，并且对权重矩阵执行静态稀疏性分析。可以在压缩权重矩阵之前或之后执行静态稀疏性分析。在一些实施方案中，静态稀疏性分析可以由加速器200执行，而在其他实施方案中，可以在加速器外部执行静态稀疏性分析。静态稀疏性分析识别权重矩阵中为零的权重值。如果特定权重值为零，则与该零权重值的乘法也为零。因此，那些乘法操作的结果可以被直接编码为零，而不是将资源分配来将多个零权重值与特征映射图中的值相乘。此外，由于提前知道权重矩阵中为零的权重值，并且这些权重值不从一个特征映射图改变为另一个特征映射图，因此权重矩阵中的稀疏性是静态的。
[0205]
因此，可以压缩权重矩阵并对其进行重新排序，并且可以执行静态稀疏性分析以识别零权重值并从每个权重矩阵获得输入权重张量。输入权重值中的每个输入权重值可以存储在dram 215内，并且被基于存储在加速器200内的加载和存储时间表分派用于与输入特征映射图的计算。
[0206]
在操作1720处，压缩输入图像的输入特征映射图中的每个输入特征映射图，如上文所讨论的。尽管在操作1715之后描述操作1720，但在一些实施方案中，操作1720可以在输入图像的特征映射图可用之后的任何时间发生。可以通过以下方式压缩特征映射图中的每个特征映射图：将特征映射图中的每个特征映射图递归地划分为更小单元格尺寸的部分，直到达到期望的压缩标准为止。期望的压缩标准可以基于压缩级别的数量或阈值最小单元格尺寸，如在上文提到的美国申请no.16/726,084中更详细地讨论的。在整个本公开中讨论的压缩操作可以如在美国申请no.16/726,084中所讨论的那样执行。
[0207]
在操作1725处，将输入图像的每个输入特征映射图切分为多个子特征映射图，如上文在图3a和图3b中所讨论的。通过将输入特征映射图切分为多个子特征映射图，可以并行处理该多个子特征映射图中的每个子特征映射图。此外，可以将输入特征映射图切分为多个子特征映射图，使得该多个子特征映射图中的每个子特征映射图具有相同或基本上类似的稀疏性。在一些实施方案中，该多个子特征映射图中的每个子特征映射图中的稀疏性满足预先确定的阈值(例如，上文所讨论的预先确定的百分比差值阈值)。因此，该多个子特征映射图中的每个子特征映射图可以具有相同或类似数量的零值和/或非零值。此外，通过将输入特征映射图切分为多个子特征映射图，该输入特征映射图中的动态稀疏性可以转换成静态的或者接近该多个子特征映射图中的每个子特征映射图中的静态稀疏性。
[0208]
在操作1730处，可以基于该多个子特征映射图中的每个子特征映射图当前存储到计算单元(例如，稀疏张量计算单元1000、1300、1400、1500)的位置的接近度来将该多个子特征映射图中的每个子特征映射图分派给稀疏张量计算单元。在操作1735处，该多个子特征映射图中的每个子特征映射图存储在稀疏张量特征映射图存储器单元中，该稀疏张量特征映射图存储器单元与用于处理该多个子特征映射图中的特定子特征映射图的稀疏张量计算单元相关联。在一些操作中，如果特定子特征映射图大于其中将存储该子特征映射图的稀疏张量特征映射图存储器单元的存储容量，则可以执行时间折叠操作。在一些实施方案中，可以认为时间折叠操作类似于上文在图3a和图3b中所述的子特征划分。在时间折叠操作中，划分基于特征映射图尺寸。例如，如果所支持的输入图像的最大尺寸是1024
×
1024，并且如果具有尺寸为2048
×
2048的输入图像，则可以将大的输入图像切分为四个输入特征映射图，其中每个输入特征映射图具有1024
×
1024的尺寸。
[0209]
在操作1735处，还把将应用于该多个子特征映射图中的特定子特征映射图的权重值传送到与稀疏张量计算单元相关联的稀疏张量权重存储器。当稀疏张量计算单元变得可用时，稀疏张量特征映射图存储器单元可将特定子特征映射图传送到该稀疏张量计算单元。稀疏张量权重存储器还可以将存储在其中的权重矩阵传送到稀疏张量计算单元。
[0210]
在操作1740处并且如上文相对于图10至图16所讨论的，稀疏张量计算单元中的每个稀疏张量计算单元处理所接收到的子特征映射图以生成输出子特征映射图。稀疏张量计算单元中的每个稀疏张量计算单元可以将其输出子特征映射图发送回dram 215或发送到另一个稀疏张量计算单元。在一些实施方案中，可以根据图3a和图3b再次细分一个或多个输出子特征映射图，并且在稀疏张量计算单元中对其进行进一步处理。在操作1745处，一旦所有输出子特征映射图已经完成处理，就可以组合那些输出子特征映射图以生成输出特征映射图。过程1700在操作1750处结束。
[0211]
在一些实施方案中，在每个稀疏张量计算单元的输出处，可以测量输出子特征映射图中的非零值的数量。当生成输出子特征映射图时，可能可以将一个稀疏张量计算单元的输出子特征映射图重定向到另一个稀疏张量计算单元以用于平衡稀疏性。然而，在一些实施方案中，在生成所有子特征映射图并将其存储在稀疏张量特征映射图存储器中之后，同时将其提供给向下一个卷积层的稀疏张量计算单元时，可能更容易且更高效地平衡输出子特征映射图中的稀疏性。为了以这种方式平衡稀疏性，可以使用另一个网络来提供稀疏张量特征映射图存储器和稀疏张量计算单元之间的连接。当处理深度可分离卷积时，可以使用多个中间特征映射图来执行逐点或1
×
1卷积。这些中间特征映射图可能不是稀疏的，
因为它们仅经受了卷积而不是relu(激活)。还可能需要将每个中间特征映射图输出存储回dram中。稀疏性出现在逐点或1
×
1卷积的最终输出处，因为这些卷积包括relu(激活)。
[0212]
现在转到图18a至图18d，示出了根据本公开的一些实施方案的处理稀疏张量计算单元1300中的输入特征映射图1800的示例。应当理解，输入特征映射图1800仅仅是示例，并非旨在以任何方式进行限制。本公开可用于处理任何尺寸并且其中具有任何数据值的输入特征映射图。可以从输入图像205生成输入特征映射图1800。具体地，如图18a所示，输入特征映射图1800可以包括多个单元格，每个单元格在行(其在x方向1105上延伸；参见图11)和列(在y方向1110上延伸；参见图11)的交叉点处形成。输入特征映射图1800中的该多个单元格中的每个单元格包括将在稀疏张量计算单元1300中处理的数据值。
[0213]
尽管在图18a中未示出，但在一些实施方案中，类似于输入特征映射图1100，输入特征映射图1800可以在所有侧上被零值填充。此外，在一些实施方案中，可以从输入特征映射图1800(或者当使用了填充时，从经填充的特征映射图)创建子特征映射图。在一些实施方案中，输入特征映射图1800可以在加速器200的划分块210或其他部件中被切分为子特征映射图，如上文在图3a和图3b中所讨论的。例如并且如图18a所示，输入特征映射图1800可以被切分为多个子特征映射图1805a-1805p。可以在稀疏张量计算单元1300中连续地(或在稀疏张量计算单元1300的多个实例中并行)处理多个子特征映射图1805a-1805p中的每个子特征映射图。在一些实施方案中，可以按箭头1810所示的顺序处理多个子特征映射图1805a-1805p。例如，可以首先处理子特征映射图1805a，然后是子特征映射图1805b-1805d。接着，可以处理子特征映射图1805e-1805h，然后是子特征映射图1805i-1805l，依此类推。此外，在多个子特征映射图1805a-1805p中的每个子特征映射图内，可以按箭头1815所示的顺序处理数据值。在其他实施方案中，处理多个子特征映射图1805a-1805p的顺序和/或处理该多个子特征映射图中的每个子特征映射图的数据值的顺序可以变化。另外，在一些实施方案中，仅可以将非零数据值输入到稀疏张量计算单元1300中。
[0214]
尽管多个子特征映射图1805a-1805p中的每个子特征映射图包括两个行和两个列并且那些子特征映射图全部都具有相同尺寸，但是应当理解，在其他实施方案中，那些子特征映射图可以具有不同尺寸，可以包括不同数量的行和列，并且多个子特征映射图1805a-1805p中的每个子特征映射图内的数据值可以变化。此外，根据稀疏张量计算单元1300中的多个乘法器1305a-1305p的数量，可以并行处理多个子特征映射图1805a-1805p中的每个子特征映射图的多个数据值。出于解释的目的，相对于子特征映射图1805a解释图18b至图18d。然而，可以类似方式处理多个子特征映射图1805b-1805p中的其他子特征映射图。此外，在假设多个乘法器1305a-1305p的数量为三的情况下描述图18a至图18d。由于子特征映射图1805a包括四个非零数据值，因此每次迭代可以包括两轮。在第一轮中，可以处理子特征映射图1805a的三个数据值，并且在第二轮中，可以处理该子特征映射图的最后一个数据值。由于按箭头1815所示的顺序处理数据值，因此在第一轮中，可以处理具有索引(0,0)、(0,1)和(1,0)的数据值，而在第二轮中，可以处理具有索引(1,1)的数据值。
[0215]
子特征映射图1805a的数据值可以与核矩阵1820的权重值组合。应当理解，核矩阵1820仅仅是示例，并非旨在以任何方式进行限制。核矩阵1820可以假设其他尺寸(例如，行的数量和列的数量可能与所示不同)，并且核矩阵内的值也可以变化。此外，尽管多个子特征映射图1805a-1805p中的每个子特征映射图具有与核矩阵1820相同数量的行和列，但在
一些实施方案中，该多个子特征映射图中的一个或多个子特征映射图可以具有与核矩阵不同数量的行和/或列。可以按如箭头1825所示的指定顺序应用核矩阵1820中的权重值。此外，由于稀疏张量计算单元1300被配置为在每次迭代中用于一个唯一权重值，因此在每次迭代中将单个权重值广播到多个乘法器1305a-1305p中的每个乘法器。
[0216]
因此，为了处理子特征映射图1805a，可以将来自该子特征映射图的数据值输入到多个乘法器1305a-1305p中。假设有三个乘法器并且如图18b所示，可以将前三个数据值输入到多个乘法器1305a-1305p中。具体地，可以将数据值“3”输入到乘法器1305a中，可以将数据值“9”输入到乘法器1305b中，并且可以将数据值“6”输入到乘法器1305c中。此外，乘法器1305a-1305c中的每个乘法器可以接收第一权重值
“‑
6”(如图18b所示)，并且计算其相应数据值和第一权重值之间的乘积。乘法器1305a-1305c中的每个乘法器还可以接收那些乘法器中的每个乘法器所接收到的数据值的索引值，以及第一权重值的索引值。基于所接收到的索引值，那些乘法器1305a-1305c中的每个乘法器可以计算输出子特征映射图中将存储乘法的结果的位置的结果索引值。在一些实施方案中，乘法器1305a-1305c可以使用上文在图13中所讨论的公式来计算结果索引值。
[0217]
可以将来自乘法器1305a-1305c的乘积值和结果索引值发送到累加器1325。累加器1325还可以从min 1355接收来自先前迭代的加法结果，如图18b所示。具体地，min 1355还可以接收结果索引值并且从var 1340读取与这些结果索引值对应的值，并且将那些值发送到累加器1325，如图18b所示。然后，累加器1325可以将当前迭代的乘积值与先前迭代的乘积值相加。累加器1325可以将加法的结果和结果索引值传输到min 1335。min 1335可以在通过结果索引值识别的索引位置处将加法的结果写入var 1340。如上所述，var 1340被初始化为具有来自累加器缓冲器1350的一部分。因此，在通过结果索引值识别的索引位置处将加法的结果写入var 1340后，var 1340可以具有如输出映射图1830所示的值，图18b仅示出了该输出映射图的一部分。
[0218]
在第一次迭代的第二轮中，将子特征映射图1805a的剩余数据值
“‑
5”输入到乘法器1305a中。也将第一权重值
“‑
6”输入到乘法器1305a中，如图18c所示。也将数据值的索引值和第一权重值的索引值输入到乘法器1305a中。将乘积值和结果索引值发送到累加器1325，该累加器将该乘积值与来自先前迭代的乘积值相加，并且经由min 1335将结果发送到var 1340，如图18c的输出映射图1830所示。
[0219]
现在参考图18d，在第二次迭代的第一轮中，分别将数据值“3”、“9”和“6”输入到乘法器1305a、1305b和1305c中。此外，将第二权重值“6”输入到乘法器1305a-1305c中，如图18d所示。另外，可以将数据值的索引值和第二权重值的索引值输入到乘法器1305a-1305c中。数据值和第二权重值可以在稀疏张量计算单元1300中组合，如上文相对于第一次迭代的第一轮所讨论的。第二次迭代的第一轮的输出可以存储在输出映射图1830中，如图18d所示。第二次迭代的第二轮可以类似于第一次迭代的第一轮，但具有第二权重值而不是第一权重值。类似地，可以分别在第三次迭代和第四次迭代中处理第三权重值
“‑
9”和第四权重值“3”中的每一者。第三次迭代和第四次迭代中的每一者可以具有两轮，类似于第一次迭代和第二次迭代。在第四次迭代结束时输出映射图1830中的值可以形成输出子特征映射图，并且可以存储在累加器缓冲器1350内。
[0220]
现在转到图19a至图19e，示出了根据本公开的一些实施方案的处理稀疏张量计算
单元1500中的输入特征映射图1900的示例。应当理解，输入特征映射图1900仅仅是示例，并非旨在以任何方式进行限制。本公开可用于处理任何尺寸并且其中具有任何数据值的输入特征映射图。可以从输入图像205生成输入特征映射图1900。具体地，如图19a所示，输入特征映射图1900可以包括多个单元格，每个单元格在行(其在x方向1105上延伸；参见图11)和列(在y方向1110上延伸；参见图11)的交叉点处形成。输入特征映射图1900中的该多个单元格中的每个单元格包括将在稀疏张量计算单元1500中处理的数据值。
[0221]
尽管在图19a中未示出，但在一些实施方案中，类似于输入特征映射图1100，输入特征映射图1900可以在所有侧上被零值填充。此外，在一些实施方案中，可以从输入特征映射图1900(或者当使用了填充时，从经填充的特征映射图)创建子特征映射图。在一些实施方案中，输入特征映射图1900可以在加速器200的划分块210或其他部件中被切分为子特征映射图，如上文在图3a和图3b中所讨论的。例如并且如图19a所示，输入特征映射图1900可以被切分为多个子特征映射图1905a-1905p。在一些实施方案中，可以在稀疏张量计算单元1500中连续地(例如，一个接一个地)处理该多个子特征映射图1905a-1905p中的至少一些子特征映射图。在其他实施方案中，可以在稀疏张量计算单元1500的多个实例中并行处理多个子特征映射图1905a-1905p中的至少一些子特征映射图。在一些实施方案中，可以按箭头1910所示的顺序处理多个子特征映射图1905a-1905p。此外，在多个子特征映射图1905a-1905p中的每个子特征映射图内，可以按箭头1915所示的顺序处理数据值。在其他实施方案中，处理多个子特征映射图1905a-1905p的顺序和/或处理该多个子特征映射图中的每个子特征映射图的数据值的顺序可以变化。另外，在一些实施方案中，仅可以将非零数据值输入到稀疏张量计算单元1500中。
[0222]
尽管多个子特征映射图1905a-1905p中的每个子特征映射图包括两个行和两个列并且那些子特征映射图全部都具有相同尺寸，但是应当理解，在其他实施方案中，那些子特征映射图可以具有不同尺寸，可以包括不同数量的行和列，并且多个子特征映射图1905a-1905p中的每个子特征映射图内的数据值可以变化。此外，根据稀疏张量计算单元1500中的多个乘法器1505a-1505p的数量，可以并行处理多个子特征映射图1505a-1505p中的每个子特征映射图的多个数据值。出于解释的目的，相对于子特征映射图1905a解释图19b至图19e。然而，可以类似方式处理多个子特征映射图1905b-1905p中的其他子特征映射图。此外，在假设多个乘法器1505a-1505p的数量为三的情况下描述图19a至图19e。由于子特征映射图1905a仅包括两个非零数据值，因此每次迭代可以包括单轮。应当理解，每次迭代中的轮数可以因子特征映射图而异。例如，子特征映射图1905b包括三个非零数据值，并且由于在当前示例中使用三个乘法器，因此处理该子特征映射图的每次迭代仍然可以包括单轮。另一方面，子特征映射图1905f包括四个非零数据值。因此，在具有三个乘法器的情况下，处理子特征映射图9105f的每次迭代可以包括两轮。
[0223]
子特征映射图1905a的数据值可以与核矩阵1920的权重值组合。应当理解，核矩阵1920仅仅是示例，并非旨在以任何方式进行限制。核矩阵1920可以假设其他尺寸(例如，行的数量和列的数量可能与所示不同)，并且核矩阵内的值也可以变化。此外，尽管多个子特征映射图1905a-1905p中的每个子特征映射图具有与核矩阵1920相同数量的行和列，但在一些实施方案中，该多个子特征映射图中的一个或多个子特征映射图可以具有与核矩阵不同数量的行和/或列。可以按如箭头1925所示的指定顺序应用核矩阵1920中的权重值。此
外，如上所述，稀疏张量计算单元1500被配置为在每次迭代中处理多个权重值。因此，根据非零数据值的数量和乘法器的数量，可以在每次迭代中广播多个权重值。在假设可以在每次迭代中广播两个唯一权重值的情况下解释图19a-19e的示例。
[0224]
例如并且如图19b所示，子特征映射图1905a仅包括两个非零值。因此，仅需要三个乘法器中的前两个乘法器参与第一迭代来处理两个非零数据值。然而，为了提高性能并充分利用资源，可以将第二权重值和第一非零数据值广播到第三乘法器。例如，可以分别将子特征映射图1905a的数据值“9”和
“‑
5”输入到乘法器1505a和1505b中。此外，可以将第一权重值
“‑
6”输入到乘法器1505a和1505b中。由于我们具有三个乘法器，因此按箭头1915所示的顺序，被输入到乘法器1505c中的第一非零数据值为“9”。此外，将第二权重值“6”输入到乘法器1505c中以开始第二次迭代。因此，第二次迭代与第一次迭代重叠。
[0225]
乘法器1505a-1505c中的每个乘法器还可以接收那些乘法器中的每个乘法器所接收到的数据值的索引值，如图19b所示。此外，乘法器1505a和1505b中的每个乘法器接收第一权重值的索引值，并且乘法器1505c接收第二权重值的索引值。基于所接收到的数据值的索引值、第一权重值的索引值和第二数据值的索引值，那些乘法器1505a-1505c中的每个乘法器可以计算输出子特征映射图中将存储乘法的结果的位置的结果索引值，如上文所讨论的。可以将乘积结果和结果索引值传输到min 1525。由于在乘法器1505a-1505c中计算的结果索引值彼此不同，因此min 1525简单地将乘积结果和结果索引值传递到加法块1535。
[0226]
加法块1535可以执行以下加法：
[0227]
s1＝b1 b3
[0228]
s2＝b2 b1
[0229]
s3＝b3 b2
[0230]
在以上公式中，b1、b2和b3是来自min 1525的输出，并且分别对应于由乘法器1505a、1505b和1505c生成的乘积结果。如图19b进一步所示，可以将来自加法块1535的总和以及结果索引值输入到包括多个复用器的选择单元1545中。在一些实施方案中，为了处理来自三个乘法器的结果，选择单元1545可以包括三个复用器。
[0231]
可以将来自选择单元1545的复用器的结果和结果索引值发送到累加器1555，该累加器分别将值s1、s2和s3与来自先前迭代的那些值相加，如上文所讨论的并且如图19b所示。具体地，可以将结果索引值输入到min 1575中，该min可以读取与来自var 1565的那些索引值对应的值并且将那些读取的值传输到累加器1555。可以将来自累加器的结果和结果索引值传输到min 1560并且写入var 1565中。
[0232]
图19c示出了与第二次迭代重叠的第二次迭代(或更确切地说，第二次迭代的第二半部分)。如上文所讨论的，在第一次迭代(或第二次迭代的第一半部分)期间处理第二权重值和数据值“9”。在第二次迭代的第二半部分中，将剩余的非零数据值
“‑
5”与第二权重值一起输入到乘法器1505a中。由于存在三个乘法器，因此将剩余的两个非零数据值与第三权重值
“‑
9”一起输入到乘法器1505b和1505c中。因此，第二次迭代的第二半部分和第三次迭代并行发生。第二次迭代的处理类似于第一次迭代的处理，并且因此不再进行描述。类似地，可以利用剩余权重值处理子特征映射图1905a。
[0233]
图19d示出了具有单个非零数据值的子特征映射图1905c的示例。在一些实施方案中，在具有单个非零数据值和三个乘法器的情况下，可以在单次迭代中应用三个权重值。例
如，在第一次迭代中，可以将非零数据值
“‑
2”与第一权重值
“‑
6”一起输入到乘法器1905a中。在具有两个剩余乘法器的情况下，也可以将非零数据值
“‑
2”与第二权重值“6”一起输入到乘法器1905b中，并且与第三权重值
“‑
9”一起输入到乘法器1905c中。然而，如果稀疏张量计算单元1900被配置为在特定迭代中将唯一权重值的数量限制为两个，则在第一次迭代中仅可以处理第一数据权重值和第二数据权重值。在这种情况下，乘法器1905c可以不接收非零数据值
“‑
2”和第三权重值。更确切地说，乘法器1905c可以处于空闲状态，如图19d所示。在第一次迭代中使用乘法器1905a和1905b进行的处理可以与上述方式类似的方式进行。
[0234]
图19e示出了一次迭代的结果索引值和下一次迭代的重叠半部分重叠的示例。例如，子特征映射图1905j包括两个非零值，这两个非零值可以与上文针对子特征映射图1905a所述的方式类似的方式来处理。然而，针对数据值“9”和第一权重值
“‑
6”的乘积计算的结果索引值(5,2)与针对数据值
“‑
9”和第二权重值“6”的乘积计算的结果索引值(5,2)相同。在这种情况下，可以执行合并操作，如下图20a和20b中所讨论的。
[0235]
图19a至图19e的示例还可以用于使用图14的稀疏张量计算单元处理输入特征映射图1900。稀疏张量计算单元1400旨在与两个唯一权重值一起使用。因此，图19a至图19e的示例还可以应用于稀疏张量计算单元1400。除了加法块1535和选择单元1545之外，稀疏张量计算单元1400类似于稀疏张量计算单元1500。由于min 1525类似于min 1425，因此可以直接将来自min 1425的数据传输到稀疏张量计算单元1400中的累加器1430，而不是min 1525将数据传输到稀疏张量计算单元1500中的加法块1535。当两个乘积值具有相同的结果索引值时，min 1425和min 1525两者都可以用于避免冲突。当发生这种冲突时，min 1425和min 1525应用合并操作，这在下图20a和20b中讨论。
[0236]
现在转到图20a和图20b，解释了根据本公开的一些实施方案的合并操作的示例。相对于稀疏张量计算单元1400描述合并操作，但是该合并操作可以类似地在稀疏张量计算单元1500中实施。如上文相对于子特征映射图1905j和图19e所讨论的，针对数据值“9”和第一权重值
“‑
6”的乘积计算的结果索引值(5,2)与针对数据值
“‑
9”和第二权重值“6”的乘积计算的结果索引值(5,2)相同。合并操作解决结果索引值的冲突。合并操作可以由稀疏张量计算单元1400中的min 1425(或稀疏张量计算单元1500中的min 1525)实施。在一些实施方案中，min 1425(和min 1525)可以包括fifo(先进先出缓冲器)2000以解决冲突。
[0237]
当min 1425(或min 1525)从多个乘法器1405a-1405p接收到结果索引值时，在检测到冲突后，该min可以将乘积值中的一者和对应的结果索引值传送到fifo 2000。在一些实施方案中，传送到fifo 2000的乘积值和对应的结果索引值可以基于正在处理权重值的顺序。例如，在子特征映射图1905j的示例中，可以将与第二权重值对应的乘积值而不是与第一权重值对应的乘积值传输到fifo 2000。在一些实施方案中，可以用要传送到fifo 2000的乘积值对min 1425(和min 1525)进行编程。如果存在多于两个冲突(例如，多于两个乘积值具有相同结果索引值)，则除了一个冲突的乘积值之外，可以将所有冲突的乘积值都发送到fifo 2000。
[0238]
在将乘积值传送到fifo 2000时，可以将剩余的乘积值和其对应的结果索引值传输到(在稀疏张量计算单元1400中的)累加器1430或传输到(在稀疏张量计算单元1500中的)加法块1535。因此，当在多个乘法器1405a-1405c中并行处理三个值并且两个乘积值之间存在冲突时，冲突的乘积值中的一个乘积值存储在fifo 2000中，并且仅两个乘积值被进
一步处理。在下一轮/下一次迭代中处理存储在fifo 2000中的乘积值。因此，如图20b所示，在处理子特征映射图1905j的下一轮/下一次迭代中，仅将两个数据值输入到多个乘法器1405a-1405p中以生成两个乘积值。将两个乘积值发送到min 1425，并且如果在由min所接收到的乘积值和存储在fifo 2000中的乘积值之间不存在冲突，则min输出三个乘积值，如图20b所示。然后，剩余的后阶段处理照常进行，如上文所讨论的。
[0239]
结合本文所公开的实施方案描述的各种例示性逻辑框和模块可由被设计成执行本文所述的功能的机器实施或执行，诸如通用处理器设备、数字信号处理器(dsp)、专用集成电路(asic)、现场可编程门阵列(fpga)或其他可编程逻辑器件、离散门或晶体管逻辑部件、离散硬件部件或它们的任何组合。控制处理器可合成fpga的模型。例如，控制处理器可合成逻辑可编程门的模型以实现张量阵列和/或像素阵列。控制通道可合成模型以连接fpga、可重新配置的芯片和/或管芯等上的张量阵列和/或像素阵列。通用处理器设备可以是微处理器，但是在替代方案中，处理器设备可以是控制器、微控制器或状态机、它们的组合等。处理器设备可包括被配置为处理计算机可执行指令的电路。在另一个实施方案中，处理器设备包括在不处理计算机可执行指令的情况下执行逻辑操作的fpga或其他可编程设备。处理器设备还可以实现为计算设备的组合，例如dsp和微处理器的组合、多个微处理器、一个或多个微处理器结合dsp内核，或任何其他这样的配置。尽管本文主要相对于数字技术进行描述，但处理器设备还可主要包括模拟部件。例如，本文所述算法中的一些或全部算法可在模拟电路或混合模拟和数字电路中实现。计算环境可包括任何类型的计算机系统，包括但不限于例如基于微处理器的计算机系统、大型计算机、数字信号处理器、便携式计算设备、设备控制器或器具内的计算引擎。
[0240]
结合本文所公开的实施方案而描述的方法、过程、例程或算法的要素可直接体现于硬件中、由处理器设备执行的软件模块中或两者的组合中。软件模块可驻留在ram存储器、闪存存储器、rom存储器、eprom存储器、eeprom存储器、寄存器、硬盘、可移动磁盘、cd-rom或任何其他形式的非暂态计算机可读存储介质中。示例性存储介质可以耦接到处理器设备，使得处理器设备可以从存储介质读取信息和向存储介质写入信息。在替代方案中，存储介质可以是处理器设备的组成部分。处理器设备和存储介质可以驻留在asic中。asic可以驻留在用户终端中。在替代方案中，处理器设备和存储介质可作为分立部件驻留在用户终端中。
[0241]
本文所述的主题有时说明了包含在不同其它部件内或与不同其它部件连接的不同部件。应当理解，此类描绘的架构仅是示例性的，并且事实上实现相同功能的许多其它架构可被实现。在概念意义上，用以实现相同功能的部件的任何布置被有效地“相关联”，使得实现期望功能。因此，本文组合以实现特定功能的任何两个部件可被视为彼此“相关联”，使得实现期望功能，而与架构或中间部件无关。同样地，如此相关联的任何两个部件还可被视为彼此“可操作地连接”、或“可操作地耦接”以实现期望功能，并且能够如此相关联的任何两个部件还可被视为彼此“可操作地耦接”以实现期望功能。可操作地耦接的具体示例包括但不限于物理上可匹配和/或物理上交互的部件和/或无线可交互和/或无线交互的部件和/或逻辑上交互和/或逻辑上可交互的部件。
[0242]
关于在本文基本上任何复数和/或单数术语的使用，本领域的技术人员可视上下文和/或应用而定从复数转化为单数和/或从单数转化为复数。为了清楚起见，本文可明确
地阐述各种单数/复数变换。
[0243]
本领域的技术人员应当理解，一般而言，在本文中，尤其在所附权利要求书中所用的术语(例如，所附权利要求书中的主体)通常意指“开放性”术语(例如，术语“包括”应被解释为“包括但不限于”，术语“具有”应被解释为“具有至少”，术语“包括”应被解释为“包括但不限于”等)。本领域的技术人员还应当理解，如果意图引入特定数目的引入的权利要求表述，则这种意图将在权利要求书中明确表述，并且在不存在此类表述的情况下，不存在此类意图。例如，为了有助于理解，以下所附权利要求书可包含使介绍性短语“至少一个”和“一个或多个”以引入权利要求表述。然而，此类短语的使用不应被解释为暗示由不定冠词“一个”或“一种”引入的权利要求表述将包含此类引入的权利要求表述的任何特定权利要求书限制为仅包含一个此类表述的发明，即使当相同权利要求包括介绍性短语“一个或多个”或“至少一个”以及不定冠词诸如“一个”或“一种”(例如，“一个”和/或“一种”通常应被解译为表示“至少一个”或“一个或多个”)时也是如此；使用用于引入权利要求表述的定冠词也是如此。此外，即使明确地表述了特定数目的引入的权利要求表述，本领域的那些技术人员也将认识到，此类表述通常应被解释为意思是至少所述表述的数目(例如，在没有其它修饰语的情况下，“两种表述”的无修饰表述通常意思是至少两种表述，或者两种或更多种表述)。此外，在其中使用类似于“a、b和c等中的至少一者”的常规惯例的那些情况下，一般来讲这种构造意指是在本领域的技术人员将理解常规惯例的意义上(例如，“具有a、b和c中的至少一者的系统”将包括但不限于单独具有a、单独具有b、单独具有c、同时具有a和b、同时具有a和c、同时具有b和c、和/或同时具有a、b和c的系统等)。在其中使用类似于“a、b或c等中的至少一者”的常规惯例的那些情况下，一般来讲这种构造意指是在本领域的技术人员将理解常规惯例的意义上(例如，“具有a、b或c中的至少一者的系统”将包括但不限于单独具有a、单独具有b、单独具有c、同时具有a和b、同时具有a和c、同时具有b和c、和/或同时具有a、b和c的系统等)。本领域技术人员将会进一步理解，实际上无论是在说明书、权利要求书还是在附图中，呈现两个或更多个替代性术语的任何分离性词语和/或短语应被理解为设想包括术语中的一个、术语中的任一个或两个术语的可能性。例如，短语“a或b”将被理解为包括“a”或“b”或“a和b”的可能性。此外，除非另外指明，否则使用词语“大约”、“约”、“周围”，“基本上”等意思是加或减百分之十。
[0244]
已出于说明和描述的目的呈现了例示性实施方案的前述描述。在所公开的精确形式方面并非旨在是穷举性的或限制性的，并且根据上述教导内容，修改形式和变型形式是可能的，或者可从所公开的实施方案的实践中获得。本发明的范围旨在由所附权利要求书及其等效物限定。