处理单元、相关装置和张量运算方法与流程

1.本公开涉及芯片领域，具体而言，涉及一种处理单元、相关装置和张量运算方法。


背景技术：

2.深度学习目前在人脸识别、语音识别、自动驾驶等领域均有广泛的使用。由于深度学习依赖大量的重复的卷积、矩阵运算等张量运算，传统的硬件执行相应的算法效率低，因此，专用于执行其的计算架构应运而生。这些架构中的深度学习处理单元采用由多个计算单元组成的计算矩阵。由计算矩阵中的各计算单元执行卷积、矩阵运算中的元素的运算，然后再将运算结果累加，得到张量运算结果。在计算矩阵中传递待计算张量中的元素的方式一般有脉动数据输入模式和组播数据输入模式。在脉动数据输入模式中，在每个时钟周期，计算矩阵中的计算单元从前一列同一行的计算单元、以及同一列前一行的计算单元接收数据，即数据在每个时钟周期在行的方向和列的方向分别脉动一个计算单元，即传递到行和列的下一个计算单元处。在组播数据输入模式中，在每个时钟周期，数据按列广播到计算矩阵中一列的所有计算单元，数据按行广播到计算矩阵中一行的所有计算单元，即数据在一行或一列的所有计算单元间组播。
3.深度学习架构的处理单元的性能受限于两个方面：一个是处理单元所处的外部环境带宽，另一个是处理单元的计算能力。对于组播数据输入模式，对带宽要求高，计算单元的处理容易受限于带宽，空闲等待状态多。对于脉动数据输入模式，对带宽要求低，但结构固定，计算不够灵活，在带宽高时不能充分利用带宽。实际使用中，深度学习架构的处理单元面临的外部环境不相同。在外部环境带宽较低时，采用组播数据输入模式无法高效计算，计算单元的空闲等待状态多。在外部环境带宽较高时，采用脉动数据输入模式不能充分利用带宽和资源。这些都造成处理单元的外部环境带宽和计算能力不适配，降低了处理单元的计算能效。


技术实现要素：

4.有鉴于此，本公开的一个目的是提高处理单元所处外部环境的环境带宽与计算能力的适配度，以提高处理单元的计算能效。
5.第一方面，本公开实施例提供一种处理单元，包括：
6.多个计算单元，构成n行m列的计算矩阵，n和m是非零的自然数；
7.计算单元控制器，用于在所述处理单元所处的外部环境带宽满足预定带宽要求的情况下，控制所述计算矩阵以组播数据输入模式工作，数据按列广播到对应列的所有计算单元，按行广播到对应行的所有计算单元，在所述外部环境带宽不满足预定带宽要求的情况下，控制所述计算矩阵以脉动数据输入模式工作，计算单元从前一列同一行的计算单元以及同一列前一行的计算单元接收数据，以支持张量运算。
8.可选地，所述预定带宽要求包括：
9.所述外部环境带宽大于预定环境带宽阈值，所述预定环境带宽阈值是在所述组播
数据输入模式下，在一个时钟周期需要输入所述计算矩阵的最大数据总量。
10.可选地，所述处理单元位于加速单元内，所述加速单元与调度单元共同位于计算装置内，所述加速单元接收所述调度单元的调度执行张量运算，所述外部环境带宽是从所述调度单元接收的指令获得的。
11.可选地，所述的处理单元，还包括：监测单元，用于监测所述处理单元所处的外部环境带宽。
12.可选地，所述监测单元实时监测所述外部环境带宽，所述计算单元控制器根据实时监测的所述外部环境带宽，使所述计算矩阵在所述脉动数据输入模式和所述组播数据输入模式之间切换。
13.可选地，所述计算单元包括：
14.第一寄存器，用于存储从前一列同一行的计算单元传递的数据；
15.第二寄存器，用于存储从同一列前一行的计算单元传递的数据；
16.乘法器，用于对接收的列序号和行序号相同的元素进行相乘；
17.累加器，用于将乘法器相乘的结果累加到之前的累加结果中；
18.第三寄存器，用于存储所述累加结果。
19.可选地，在所述脉动数据输入模式中，所述计算矩阵中的计算单元通过第一输入线从前一列同一行的计算单元接收数据，通过第二输入线从同一列前一行的计算单元接收数据。
20.可选地，在所述组播数据输入模式中，所述计算矩阵中同一列的计算单元共同连接到第一列总线，同一列的各计算单元通过所述第一列总线分别接收数据；所述计算矩阵中同一行的计算单元共同连接到第一行总线，同一行的各计算单元通过所述第一行总线分别接收数据。
21.第二方面，本公开实施例提供一种加速单元核，包括根据上述任一个所述的处理单元。
22.第三方面，本公开实施例提供一种加速单元，包括：
23.根据上述的加速单元核；
24.向所述加速单元核分配张量计算任务的命令处理器。
25.第四方面，本公开实施例提供一种物联网装置，包括：
26.根据上述的加速单元；
27.调度单元，用于向所述加速单元分配张量计算任务。
28.第五方面，本公开实施例提供一种片上系统，包括根据上述任一个所述的处理单元。
29.第六方面，本公开实施例提供一种张量运算方法，包括：
30.获取多个计算单元所处的外部环境带宽，所述多个计算单元构成n行m列的计算矩阵，n和m是非零的自然数；
31.基于所述外部环境带宽，在所述计算矩阵所处的外部环境带宽满足预定带宽要求的情况下，控制所述计算矩阵以组播数据输入模式工作，数据按列广播到对应列的所有计算单元，按行广播到对应行的所有计算单元，在所述外部环境带宽不满足预定带宽要求的情况下，控制所述计算矩阵以脉动数据输入模式工作，计算单元从前一列同一行的计算单
元以及同一列前一行的计算单元接收数据，以支持张量运算。
32.本公开实施例中，获取处理单元所处的外部环境带宽，计算单元控制器根据外部环境带宽灵活控制计算矩阵的工作模式。设定预定带宽要求，在外部环境带宽满足预定带宽要求，即处理单元的外部环境向计算矩阵传输数据的能力高于预定带宽要求的情况下，能够确保在一个时钟周期从处理单元的外部环境输入计算矩阵的数据总量达到计算矩阵的行数
×
列数
×
2，计算矩阵以组播数据输入模式工作，数据按列广播到对应列的所有计算单元，按行广播到对应行的所有计算单元，计算矩阵中所有的计算单元均执行计算，没有处于空转等待状态的计算单元，充分发挥计算矩阵的计算能力，提高了计算矩阵的运算吞吐率，提高了处理单元的计算能力。在外部环境带宽不满足预定带宽要求要求，即处理单元的外部环境向计算矩阵传输数据的能力不高于预定带宽要求的情况下，无法确保在一个时钟周期从处理单元的外部环境输入计算矩阵的数据总量达到计算矩阵的行数
×
列数
×
2，造成在组播数据输入模式下计算矩阵中存在处于空转等待状态的计算单元，在此情况下切换计算矩阵的工作模式为脉动数据输入模式，计算单元从前一列同一行的计算单元以及同一列前一行的计算单元接收数据，输入数据在计算矩阵中脉动复用，减少了处于空转等待状态的计算单元的数量，提高了处理单元的计算能效。
附图说明
33.通过参考以下附图对本公开实施例的描述，本公开的上述以及其它目的、特征和优点将更为清楚，在附图中：
34.图1是本公开一个实施例所应用的物联网(iot)应用场景的一种系统架构图；
35.图2是根据本公开一个实施例的调度单元和加速单元的内部结构图；
36.图3是根据本公开一个实施例的加速单元核的内部结构图；
37.图4是根据本公开一个实施例的处理单元(张量引擎)的内部结构图；
38.图5是根据本公开一个实施例的计算矩阵的内部结构图；
39.图6是根据本公开一个实施例的计算单元的内部结构图；
40.图7是本公开一个实施例提供的张量运算方法的流程图。
具体实施方式
41.以下基于实施例对本公开进行描述，但是本公开并不仅仅限于这些实施例。在下文对本公开的细节描述中，详尽描述了一些特定的细节部分。对本领域技术人员来说没有这些细节部分的描述也可以完全理解本公开。为了避免混淆本公开的实质，公知的方法、过程、流程没有详细叙述。另外附图不一定是按比例绘制的。
42.在本文中使用以下术语。
43.深度学习模型：深度学习是机器学习(ml,machine learning)领域中一个新的研究方向，它被引入机器学习使其更接近于最初的目标——人工智能(ai)。深度学习学习样本数据的内在规律和表示层次，这些学习过程中获得的信息对诸如文字，图像和声音等数据的解释有很大的帮助。它的最终目标是让机器能够像人一样具有分析学习能力，能够识别文字、图像和声音等数据。深度学习采用的模型即深度学习模型。深度学习模型根据所依赖的模型框架(framework)不同，其格式也不同，可以分为不同类型的格式，如tensorflow、
pytorch、mxnet等。
44.计算装置：具有计算或处理能力的设备，它可以体现为终端的形式，如物联网设备、移动终端、桌上电脑、膝上电脑等，也可以体现为服务器或服务器组成集群。在本公开应用的物联网的环境下，计算装置是物联网中的物联网终端。
45.调度单元：在计算装置中进行传统处理(非用于图像处理和各种深度学习模型等复杂运算的处理)之外，还承担着对加速单元的调度职能的单元。其向加速单元分配加速单元需要承担的任务，例如张量计算任务。调度单元可以采用中央处理器(cpu)、专用集成电路(asic)、现场可编程门阵列(fpga)等多种形式。
46.加速单元：在计算装置中针对传统处理单元在一些专门用途的领域(例如，处理图像、处理深度学习模型的各种运算，等等)效率不高的情况，为了提高在这些专门用途领域中的数据处理速度而设计的处理单元。加速单元也称为人工智能(ai)处理单元，包括中央处理器(cpu)、图形处理器(gpu)、通用图形处理器(gpgpu)、现场可编程门阵列(fpga)、专用集成电路(asic)、以及专用智能加速硬件(例如，神经网络处理器npu、张量处理器tpu)。
47.处理单元：位于加速单元内(例如可以是加速单元核的张量引擎)，具有深度学习模型中的卷积、矩阵乘法等相关操作的处理能力的设备，它可以体现为片上系统，可以插入计算装置或从计算装置中更换。
48.张量运算：由若干坐标系改变时满足一定坐标转化关系的有序数组成的集合为张量。通俗地讲，它是基于向量和矩阵的推广。将标量视为0阶张量，将向量视为1阶张量，将矩阵视为2阶张量，但是，当横竖两个空间的维度都不足以表示输入的量时，3阶以上张量就产生了。有了张量，可以表示任意维度空间的输入的量。深度学习模型的特点就是能够接收任意维度空间的输入量。无论多少维度的输入量，可以表示为输入张量，该张量输入深度学习模型的第一个层的节点。第一个层的节点具有同样维度空间的权重张量。由于输入张量的维度空间与权重张量的维度空间相同，就可以在同一维度空间内进行输入张量与权重张量的运算，例如点乘、卷积等，产生的输出仍然是相同维度空间的输出。前一个层的节点的输出张量输入到后一个层的节点作为输入，与后一个层的节点的权重张量在同一维度空间再进行张量运算，例如点乘、卷积等，如此不断进行，直到得到最后一层的节点的输出张量，作为整个深度学习模型的输出张量。
49.本公开的应用环境
50.本公开实施例提出了一种张量运算方案。整个张量运算方案相对较为通用，可以用于执行各种深度学习模型的各种硬件设备，例如，用于数据中心、用于ai(人工智能)加速单元，用于gpu(图形处理单元)，用于能执行深度学习模型的iot(物联网)设备，嵌入式设备等。张量运算方法与执行该张量运算方法的处理单元最终部署在的硬件无关。但为了示例性描述，下文中将主要以物联网为应用场景进行描述。本领域技术人员应当理解，本公开实施例还可以适用于其它的应用场景。
51.物联网整体架构
52.图1是本公开一个实施例所应用的物联网(iot)100的一种系统架构图。
53.云110可以表示互联网，或者可以是局域网(lan)、或广域网(wan)，诸如公司的专有网络。iot装置可以包括以各种组合来分组的任何数量的不同类型的装置。例如，交通控制组206可以包括沿着城市中的街道的iot装置。这些iot装置可以包括红绿灯、交通流量监
控器、相机、天气传感器等。交通控制组206或其他子组中的各iot装置可以通过无线链路208(诸如，lpwa链路等)来与云110进行通信。进一步地，有线或无线子网络212可以允许iot装置彼此通信，诸如通过局域网、无线局域网等。iot装置可以使用诸如网关210等另一装置来与云110进行通信。
54.iot装置的其他分组可以包括远程气象站214、本地信息终端216、报警系统218、自动柜员机220、报警面板222、或移动车辆，诸如应急车辆224或其他车辆226等。这些iot装置中的每一个都可以与其他iot装置、与服务器140、或与两者进行通信。
55.如从图1中可以看出，大量iot装置可以通过云110进行通信。这可以允许不同的iot装置自主地向其他装置请求或提供信息。例如，交通控制组206可以从远程气象站组214请求当前天气预报，所述远程气象站组可以在没有人为干预的情况下提供预报。进一步地，可以由自动柜员机220向应急车辆224警告正在发生盗窃。当应急车辆224朝向自动柜员机220前进时，其可以访问交通控制组206以请求准许到达所述位置，例如，通过灯变红以在交叉路口阻止交叉车流足够的时间从而使应急车辆224无阻碍地进入交叉路口。
56.在上述iot装置中经常使用机器学习。例如，自动柜员机220识别人脸需要使用机器学习，交通控制组206对交通流量和控制方案的分析需要使用机器学习。每个iot装置由于环境条件不确定，随着网络条件、天气状况等环境条件的变化，外部环境带宽发生变化，处理单元的计算能力和外部环境带宽发生不适配，降低了处理器的计算能效，需要采用本公开实施例的处理单元。
57.调度单元和加速单元
58.图2是本公开一个实施例的iot装置(计算装置)的调度单元420和加速单元430的内部结构图。如图2所示，iot装置包括存储器410、调度单元420和加速单元430。为了方便描述，图2中仅示出了一个调度单元420和一个加速单元430，但应当理解，本公开实施例并不以此为限。本公开实施例的iot装置可以包括通过总线与存储器410连接的调度单元集群和加速单元集群，调度单元集群包括多个调度单元420，加速单元集群包括多个加速单元430。加速单元430即为了提高在专门用途领域中的数据处理速度而设计的处理单元。加速单元也称为人工智能(ai)处理单元，包括中央处理器(cpu)、图形处理器(gpu)、通用图形处理器(gpgpu)、现场可编程门阵列(fpga)、专用集成电路(asic)、以及专用智能加速硬件(例如，神经网络处理器npu、张量处理器tpu)。本公开实施例可以适用于npu场景，但由于采用通用编译自定义接口，硬件下也可以使用cpu、gpu、gpgpu和tpu等。调度单元是对加速单元进行调度、向各加速单元分配要执行的待执行指令序列的处理单元，它可以采用中央处理单元(cpu)、专用集成电路(asic)、现场可编程门阵列(fpga)等多种形式。在一些实施例中，调度单元420向各加速单元430分配要执行的张量计算任务的待执行指令序列。
59.传统的中央处理单元的架构设计，使得在架构中控制单元、存储单元占用了很大一部分空间，而计算单元占用的空间反而不足，因此其在逻辑控制方面十分有效，而在大规模并行计算方面则效率不够。因此，开发出了各种专门的加速单元，用来针对不同功能和不同领域的计算进行更有效的提高运算速度的处理。本发明提出的加速单元是专用于加速神经网络模型的运算处理速度的处理单元。它是采用数据驱动并行计算的架构，用于处理各神经网络节点的大量运算(例如卷积、池化等)的处理单元。由于各神经网络节点的大量运算(例如卷积、池化等)中的数据和中间结果在整个计算过程中紧密联系，会被经常用到，用
现有的中央处理单元构架，由于中央处理单元的核内的内存容量很小，因此要大量频繁访问核外存储器，造成处理的低效。采用这种专用于加速神经网络模型的运算处理速度的加速单元，由于其每个核中具有适于神经网络计算用到的存储容量的片上内存，避免频繁访问核外部的存储器，就能大大提高处理效率，提高计算性能。
60.加速单元430要接受调度单元420的调度。如图3所示，存储器410中存储有各种深度学习模型，包括这些模型的节点和节点的权重张量等。这些深度学习模型当需要时被图2中的一个调度单元420部署到一个加速单元430。即，调度单元420可以通过指令的形式向加速单元430发送模型中的参数(如各节点的权重张量)在存储器410中的地址。加速单元430在实际使用该深度学习模型进行计算时，就会根据这些参数(例如权重张量)在存储器410中的地址，直接在存储器410中寻址这些参数，将其暂存在其片上内存中。加速单元430在实际使用该深度学习模型进行计算时，调度单元420还会将模型的输入张量通过指令的形式发送给加速单元430，暂存在加速单元430的片上内存中。这样，加速单元430就可以根据这些输入张量和模型中的参数(例如权重张量)进行推理计算。
61.下面结合图2所示出的调度单元420与加速单元430的内部结构，具体说明调度单元420是如何调度加速单元430进行工作的。
62.如图2所示，调度单元420内包含多个处理器核422和被多个处理器核422共享的高速缓存221。每个处理器核422包括取指令单元423、指令译码单元424、指令发射单元425、指令执行单元426。
63.取指令单元423用于将要执行的指令从存储器410中搬运到指令寄存器(可以是图2示出的寄存器堆429中的一个用于存放指令的寄存器)中，并接收下一个取指地址或根据取指算法计算获得下一个取指地址，取指算法例如包括：根据指令长度递增地址或递减地址。
64.取出指令后，调度单元420进入指令译码阶段，指令译码单元424按照预定的指令格式，对取回的指令进行解码，以获得取回的指令所需的操作数获取信息，从而为指令执行单元426的操作做准备。操作数获取信息例如指向立即数、寄存器或其他能够提供源操作数的软件/硬件。
65.指令发射单元425位于指令译码单元424与指令执行单元426之间，用于指令的调度和控制，以将各个指令高效地分配至不同的指令执行单元426，使得多个指令的并行操作成为可能。
66.指令发射单元425将指令发射到指令执行单元426后，指令执行单元426开始执行指令。但如果该指令执行单元426判断该指令应该是加速单元执行的，则将其转发到相应的加速单元执行。例如，如果该指令是一条深度学习模型推理(inference)的指令，指令执行单元426不再执行该指令，而是将该指令通过总线发送到加速单元430，由加速单元430执行。
67.本公开实施例虽然用于npu场景，由于采用通用编译自定义接口，图2示出的加速单元430不限于npu，还可以是tpu。tpu即张量处理器，是一种专用于加速深度神经网络的计算能力的处理器。另外，加速单元430还可以是cpu、gpu、fpga、asic等。
68.加速单元430内部包括多个核436(图2中示出了4个核，但本领域技术人员应当理解，加速单元430中也可以包含其它数目的核436)、命令处理器437、直接存储访问机制435、
和总线通道431。
69.总线通道431是指令从总线进出加速单元430的通道。
70.直接内存访问(dma，direct memory access)机制435是一些计算机总线架构提供的功能，它能使数据从附加设备直接写入计算机主板的存储器上。这种方式相比于设备之间所有的数据传输都要通过处理单元的方式，大大提高了数据访问的效率。正是因为有这样的机制，加速单元430的核可以直接访问存储器410，读取深度学习模型中的参数(例如各节点的权重张量)等，大大提高了数据访问效率。
71.命令处理器437将由调度单元420发送至加速单元430的指令分配给核436执行。指令执行单元426将需要加速单元430执行的待执行指令序列发送给加速单元430。该待执行指令序列从总线通道431进入后，缓存在命令处理器437，由命令处理器437选择核436，将指令序列分配给其执行。在一些实施例中，该待执行指令序列是张量计算任务的待执行指令序列，命令处理器437向核436分配张量计算任务。另外，命令处理器437还负责核436之间的同步操作。
72.加速单元核
73.图3是根据本公开一个实施例的加速单元核的内部结构图。
74.在一个实施例中，如图3所示，加速单元核436包括张量引擎510、池化引擎520、存储器拷贝引擎530、定序器550、指令缓存器540、片上内存560、常数缓冲器570。
75.命令处理器437分配给加速单元核436的指令序列首先进入指令缓存器540缓存。然后，定序器550从指令缓存器540中按照先进先出的顺序取指令，根据指令的性质分配给张量引擎510或池化引擎520执行。张量引擎510负责处理深度学习模型中的卷积和矩阵乘法等相关操作。池化引擎520负责处理深度学习模型中的池化操作。存储器拷贝引擎530是专门处理数据拷贝的单元，这里的数据拷贝包括由于片上内存560可能会溢出而将一些数据由片上内存560拷贝到各核436共享的存储器，或者其它核436的片上内存560。定序器550根据取出的指令是卷积、矩阵乘法、池化、还是数据拷贝等操作性质，决定将指令分配给张量引擎510、池化引擎520、或者存储器拷贝引擎530。
76.片上内存560是存储深度学习模型中的权重张量、以及深度学习模型实际使用时的输入张量和各种中间结果的核内存储器。常数缓冲器570是存储深度学习模型中除权重张量之外的其它常量参数(例如，神经网络模型中的超参)的缓冲器。如上所述，在调度单元420将深度学习模型预先配置在加速单元430的过程中，调度单元420通过指令的形式向加速单元430发送模型中的参数在存储器410中的地址。这些参数包括节点的权重张量和其它参数(例如超参)。对于权重张量，加速单元430在实际的深度学习模型运算时，将它从存储器410相应的位置取出，放在片上内存560中。对于其它参数，加速单元430在实际的深度学习模型运算时，从存储器410相应的位置取出，放在常数缓冲器570中。另外，当实际开始推理(inference)的指令由命令处理器437分配给核436执行后，指令中的输入张量(给深度学习模型的输入)也存储在片上内存560。另外，当张量引擎510和池化引擎520进行卷积或池化运算后，得到的各种中间结果也存放在片上内存560中。
77.处理单元
78.图4是根据本公开一个实施例的处理单元(张量引擎510)的内部结构图。
79.在一个实施例中，如图4所示，处理单元包括计算单元控制器610、监测单元620和
计算矩阵630，其中监测单元620是可选的。计算矩阵630由呈n行m列排列的n
×
m个计算单元640构成，n和m是非零的自然数。
80.当不采用监测单元620时，可以让指令执行单元426发送的待执行指令序列中带有处理单元所处的外部环境带宽。外部环境带宽是处理单元的外部环境(例如，存储器410和片上内存650等)向处理单元的计算矩阵630传输数据的能力，例如是在一个时钟周期从处理单元的外部环境(例如，存储器410和片上内存650等)传输至处理单元的计算矩阵630的数据总量。一般来说，计算装置处于网络条件、天气状况等变化的环境条件中，随着环境条件的变化外部环境带宽发生变化。该待执行指令序列从总线通道431进入后，缓存在命令处理器437，由命令处理器437分配给核436，缓存在核436的指令缓冲器540，由定序器550分配到张量引擎510，即处理单元。处理单元从中提取外部环境带宽。
81.当采用监测单元620，监测单元620监测处理单元所处的外部环境带宽。在一个实施例中，监测单元620可以监测网络条件等，并结合预定规则推算外部环境带宽。在另一个实施例中，监测单元620可以记录历史上进入处理单元的指令序列的执行情况，并根据指令序列执行记录确定距离当前时间点预定时间段内的平均外部环境带宽，作为当前的外部环境带宽。这种检测可以是实时的，从而确保计算单元控制器610据此确定出的计算矩阵数据传递方式更加符合客观实际，使处理单元的计算能力和外部带宽实时适配，提高了处理单元的计算能效。
82.在一些实施例中，计算单元控制器610根据处理单元所处的外部环境带宽，在外部环境带宽满足预定带宽要求的情况下，控制计算矩阵630以组播数据输入模式工作，数据按列广播到对应列的所有计算单元640，以及按行广播到对应行的所有计算单元640，在外部环境带宽不满足预定带宽要求的情况下，控制计算矩阵630以脉动数据输入模式工作，计算单元640从前一列同一行的计算单元640以及从同一列前一行的计算单元640接收数据，以支持计算矩阵630对输入张量和张量权重进行张量运算。在一些情况下，在外部环境带宽满足预定带宽要求，即大于预定环境带宽阈值的情况下，计算单元控制器610控制计算矩阵630以组播数据输入模式工作。在另一些情况下，在外部环境带宽不满足预定带宽要求，即不大于预定环境带宽阈值的情况下，计算单元控制器610控制计算矩阵630以脉动数据输入模式工作。预定环境带宽阈值例如是预先设置的作为基准的带宽，其可以是在组播数据输入模式下，在一个时钟周期需要输入计算矩阵630的最大数据总量。
83.应当理解的是，在一些实施例中，在组播数据输入模式下，在一个时钟周期，数据按列广播到计算矩阵630的每个对应列的所有计算单元640，以及按行广播到计算矩阵630的每个对应行的所有计算单元640。也即是，计算矩阵630中计算单元640的行数和列数决定在一个时钟周期需要输入计算矩阵630的最大数据总量。在组播数据输入模式下，在一个时钟周期，需要输入计算矩阵630的最大数据总量为n
×
m
×
2。在一些实施例中，在脉动数据输入模式下，在一个时钟周期，计算矩阵630的第一列各行的计算单元640以及第一行各列的计算单元640均从外部环境接收数据，其他的计算单元640从前一列同一行的计算单元640以及从同一列前一行的计算单元640接收数据，以使得输入计算矩阵630的数据在计算矩阵630脉动复用。也即是，在脉动数据输入模式下，在一个时钟周期，需要输入计算矩阵630的最大数据总量为n m。n
×
m
×
2大于n m，也即是对于n
×
m计算矩阵630，在一个时钟周期，组播数据输入模式下需要输入计算矩阵630的最大数据总量大于脉动数据输入模式下需要输
入计算矩阵630的最大数据总量。这样，在外部环境带宽大于n
×
m
×
2时，在组播数据输入模式下，能够确保在一个时钟周期从处理单元的外部环境输入计算矩阵630的数据总量达到n
×
m
×
2，计算矩阵630中n
×
m个计算单元640均执行计算，没有处于空转等待状态的计算单位640。但是，在外部环境带宽等于n
×
m
×
2时，在组播数据输入模式下，由于外部环境带宽随着处理单元的外部环境的环境条件变化而变化，极易发生在一个时钟周期从外部环境输入计算矩阵630的数据总量小于n
×
m
×
2的情况，造成处于空转等待状态的计算单元640。在外部环境带宽小于n
×
m
×
2时，在组播数据输入模式下，在一个时钟周期能够从外部环境输入计算矩阵630的数据总量小于n
×
m
×
2，计算矩阵630存在处于空转等待状态的计算单位640。这样，在外部环境带宽不大于n
×
m
×
2时，将计算矩阵630的工作模式由组播数据输入模式转换为脉动数据输入模式，在脉动数据输入模式下，虽然在一个时钟周期能够从外部环境输入计算矩阵630的数据总量小于n
×
m
×
2，但是输入数据从前一列同一行的计算单元640传输至下一列同一行的计算单元640以及从同一列前一行的计算单元640传输至同一列下一行的计算单元640，也即是输入数据在计算矩阵630中脉动复用，能够减少处于空转等待状态的计算单元640的数量。
84.在本公开实施例中，在外部环境带宽满足预定带宽要求，即大于预定环境带宽阈值的情况下，控制计算矩阵630以组播数据输入模式工作，输入数据按行和列输入计算矩阵630，计算单元640均执行计算，计算矩阵630中不存在处于空转等待状态的计算单元640，充分发挥计算矩阵630的计算能力，提高了计算矩阵630的运算吞吐率，提高了处理单元的计算能力。在外部环境带宽不满足预定带宽要求，即外部环境带宽不大于预定环境带宽阈值的情况下，切换计算矩阵630的工作模式为脉动数据输入模式，输入数据在计算矩阵630中脉动复用，减少了处于空转等待状态的计算单元640的数量，提高了处理单元的计算能效。
85.在一些实施例中，计算矩阵630用于执行第一矩阵和第二矩阵的乘法，得到积矩阵。第一矩阵例如是输入张量，第二矩阵例如是张量权重。第一矩阵、第二矩阵和积矩阵例如存储在片上内存650中。假设第一矩阵为a，第二矩阵为b，第一矩阵a和第二矩阵b的积矩阵为c，其分别表示为如下：
[0086][0087][0088][0089]
则c
11
＝a
11
b
11
a
12
b
21
a
13
b
31

…
a
1n
b
n1
ꢀꢀ
(4)
[0090]
c
12
＝a
11
b
12
a
12
b
22
a
13
b
32

…
a
1n
b
n2
ꢀꢀ
(5)
[0091]
以此类推，
[0092]
c
1n
＝a
11
b
1n
a
12
b
2n
a
13
b
3n

…
a
1n
b
nn
ꢀꢀ
(6)
[0093]
以此类推，
[0094]
c
n1
＝a
nx
b
11
a
n2
b
21
a
n3
b
31

…
a
nn
b
n1
ꢀꢀ
(7)
[0095]
c
n2
＝a
n1
b
12
a
n2
b
22
a
n3
b
32

…
a
nn
b
n2
ꢀꢀ
(8)
[0096]
以此类推，
[0097]
c
nn
＝a
n1
b
1n
a
n2
b
2n
a
n3
b
3n

…
a
nn
b
nn
ꢀꢀ
(9)
[0098]
从上述公式(1)至(9)可以看出，求第一矩阵a和第二矩阵b的积的过程实际上是第一矩阵a的元素a
lk
分别与第二矩阵b的元素b
kj
碰撞并相乘，以及将乘积累加的过程，其中l，j，k，n是非0的自然数，l≤n，j≤n，k≤n。
[0099]
图5是根据本公开一个实施例的计算矩阵630的内部结构图。
[0100]
在一些实施例中，如图5所示，计算矩阵630由呈n行n列排列的n
×
n个计算单元640构成，n是非零的自然数。在组播数据输入模式下，在一个时钟周期需要输入计算矩阵630的最大数据总量为n
×
n
×
2。在一些实施例中，预定环境带宽阈值为n
×
n
×
2，在外部环境带宽大于n
×
n
×
2的情况下，控制计算矩阵630在组播数据输入模式工作，在外部环境带宽不大于n
×
n
×
2的情况下，控制计算矩阵630在脉动数据输入模式工作。
[0101]
在一些实施例中，如图5所示，在脉动数据输入模式中，计算矩阵630中计算单元640通过第一输入线641从前一列同一行的计算单元640接收数据，通过第二输入线642从同一列前一行的计算单元640接收数据。也即是，在脉动数据输入模式中，每个计算单元640的输入数据源自于前一列同一行的计算单元640和同一列前一行的计算单元640。
[0102]
在一些情况下，在脉动数据输入模式中，如图5所示，在第一个时钟周期，让第一矩阵a的第一行第一列的元素a
11
进入计算矩阵630的第一列，让第二矩阵b的第一行第一列的元素b
11
进入计算矩阵630的第一行，这样，在计算矩阵630的第一行第一列的计算单元t
11
就得到a
11
b
11
。在第二个时钟周期，第一矩阵a的第一行第一列的元素a
11
从计算矩阵630的第一行第一列的计算单元t
11
向右进入第一行第二列的计算单元t
12
，第二矩阵b的第一行第一列的元素b
11
从计算矩阵630的第一行第一列的计算单元t
11
继续往下进入第二行第一列的计算单元t
21
。同时，让第一矩阵a的第一行第二列元素a
12
和第二行第一列元素a
21
分别进入计算矩阵630的第一列的前两行的计算单元t
11
和t
21
，让第二矩阵b的第二行第一列元素b
21
和第一行第二列的元素b
12
分别进入计算矩阵630的第一行的前两列的计算单元t
11
和t
12
。这样，在第二个时钟周期，在计算单元t
11
，a
12
和b
21
相遇，得到a
12
b
21
；在计算单元t
12
，a
11
和b
12
相遇，得到a
11
b
12
；在计算单元t
21
，a
21
和b
11
相遇，得到a
21
b
11
。以此类推，这样下来，在第n个时钟周期，第一矩阵a中正好有n个元素(行序号和列序号的和等于n 1的n个元素)分别进入计算矩阵630的第一列的n行的计算单元t
11
至t
n1
，第二矩阵b中正好有n个元素(行序号和列序号的和等于n 1的n个元素)分别进入计算矩阵630的第一行的n列的计算单元t
11
至t
1n
。以此类推，在第2n
‑
1个时钟周期，第一矩阵a中又只有一个元素a
nn
(行序号和列序号的和等2n)进入计算矩阵630的第n行第一列的计算单元t
n1
，第二矩阵b中又只有一个元素b
nn
(行序号和列序号的和等2n)进入计算矩阵630的第一行第n列的计算单元t
1n
。也就是说，在前2n
‑
1个时钟周期，对于第i个时钟周期，计算单元控制器610让第二矩阵b中行序号和列序号之和为i 1的元素进入计算矩阵630的相应列的计算单元640，让第一矩阵a中行序号和列序号之和为i 1的元素进入计算矩阵630的相应行的计算单元640，由计算单元640对接收到的来自第一矩阵a的列号和来自第二矩阵b的行号相同的元素进行相乘，并将相乘的结果累加到之前的
累加结果中；在第2n到第3n
‑
1个时钟周期，第一矩阵a和第二矩阵b不再有新的元素输入计算矩阵630，元素在计算矩阵630中脉动，由计算单元640对接收到的来自第一矩阵a的列号和来自第二矩阵b的行号相同的元素进行相乘，并将相乘的结果累加到之前的累加结果中。最终，经过3n
‑
1个时钟周期，由计算矩阵630得到第一矩阵a和第二矩阵b的积矩阵c中的各元素。
[0103]
这样，在脉动数据输入模式，在第n个时钟周期，计算单元控制器610让第二矩阵b中行序号和列序号之和为n 1的n个元素进入计算矩阵630的相应列的计算单元640，让第一矩阵a中行序号和列序号之和为n 1的n个元素进入计算矩阵630的相应行的计算单元640。也即是，在脉动数据输入模式下，在一个时钟周期需要输入计算矩阵630的最大数据总量为n n，输入数据从前一列同一行的计算单元640传输至下一列同一行的计算单元640以及从同一列前一行的计算单元640传输至同一列下一行的计算单元640，输入数据在计算矩阵630中脉动复用。
[0104]
在一些实施例中，如图5所示，在组播数据输入模式中，计算矩阵630中同一列的计算单元640共同连接到第一列总线643，同一列的各计算单元640通过第一列总线643分别接收数据。计算矩阵630中同一行的计算单元640共同连接到第一行总线644，同一行的各计算单元640通过第一行总线644分别接收数据。也即是，在组播数据输入模式中，以组播传输的方式，将数据按照行和列输入各计算单元640。
[0105]
在一些情况下，在组播数据输入模式中，如图5所示，在第一个时钟周期，计算单元控制器610让第一矩阵a中第一行第一列的元素a
11
广播到计算矩阵630第一行的计算单元t
11
至t
1n
，让第一矩阵a中第二行第一列的元素a
21
广播到计算矩阵630第二行的计算单元t
21
至t
2n
，以此类推，让第一矩阵a中第n行第一列的元素a
n1
广播到计算矩阵630第n行的计算单元t
n1
至t
nn
，让第二矩阵b中第一行第一列的元素b
11
广播到计算矩阵630的第一列的计算单元t
11
至t
n1
，让第二矩阵b中第一行第二列的元素b
12
广播到计算矩阵630的第二列的计算单元t
12
至t
n2
，以此类推，让第二矩阵b中第一行第n列的元素b
1n
广播到计算矩阵630的第n列的计算单元t
1n
至t
nn
。在第二个时钟周期，计算单元控制器610让第一矩阵a中第一行第二列的元素a
12
广播到计算矩阵630第一行的计算单元t
11
至t
1n
，让第一矩阵a中第二行第二列的元素a
22
广播到计算矩阵630第二行的计算单元t
21
至t
2n
，以此类推，让第一矩阵a中第n行第二列的元素a
n2
广播到计算矩阵630第n行的计算单元tn1至t
nn
，让第二矩阵b中第二行第一列的元素b
21
广播到计算矩阵630的第一列的计算单元t
11
至t
n1
，让第二矩阵b中第二行第二列的元素b
22
广播到计算矩阵630的第二列的计算单元t
12
至t
n2
，以此类推，让第二矩阵b中第二行第n列的元素b
2n
广播到计算矩阵630的第n列的计算单元t
1n
至t
nn
。以此类推，在第n个时钟周期，计算单元控制器610让第一矩阵a中第一行第n列的元素a
1n
广播到计算矩阵630第一行的计算单元t
11
至t
1n
，让第一矩阵a中第二行第n列的元素a
2n
广播到计算矩阵630第二行的计算单元t
21
至t
2n
，以此类推，让第一矩阵a中第n行第n列的元素a
nn
广播到计算矩阵630第n行的计算单元tn1至t
nn
，让第二矩阵b中第n行第一列的元素b
n1
广播到计算矩阵630的第一列的计算单元t
11
至t
n1
，让第二矩阵b中第n行第二列的元素b
n2
广播到计算矩阵630的第二列的计算单元t
12
至t
n2
，以此类推，让第二矩阵b中第n行第n列的元素b
nn
广播到计算矩阵630的第n列的计算单元t
1n
至t
nn
。
[0106]
这样，对于前n个时钟周期，在第i个时钟周期，在计算矩阵630的第一行第一列的
计算单元t
11
就得到a
1i
b
i1
，在计算矩阵630的第一行第二列的计算单元t
12
就得到a
li
b
i2
，以此类推，在计算矩阵630的第一行第n列的计算单元t
1n
就得到a
1i
b
in
，在计算矩阵630的第二行第一列的计算单元t
21
就得到a
2i
b
i1
，在计算矩阵630的第二行第二列的计算单元t
22
就得到a
2i
b
i2
，以此类推，在计算矩阵630的第二行第n列的计算单元t
2n
就得到a
2i
b
in
，以此类推，在计算矩阵630的第n行第一列的计算单元t
n1
就得到a
ni
b
i1
，在计算矩阵630的第n行第二列的计算单元t
n2
就得到a
ni
b
i2
，以此类推，在计算矩阵630的第n行第n列的计算单元t
nn
就得到a
ni
b
in
。也即是，对于前n个时钟周期，在第i个时钟周期，计算单元控制器610让第一矩阵a中第i列的各元素分别广播到计算矩阵630的各行，让第二矩阵b中第i行的各元素分别广播到计算矩阵630的各列，由计算单元640对接收到的来自第一矩阵a的列号和来自第二矩阵b的行号相同的元素进行相乘，并将相乘的结果累加到之前的累加结果中。在第n 1个时钟周期，输出由计算矩阵630得到的第一矩阵a和第二矩阵b的积矩阵c中的各元素。
[0107]
这样，在组播数据输入模式，对于前n个时钟周期，在第i个时钟周期，计算单元控制器610让第一矩阵a中第i列的n个元素分别广播到计算矩阵630的n行，让第二矩阵b中第i行的n个元素分别广播到计算矩阵630的n列。也即是，在组播数据输入模式下，在一个时钟周期需要输入计算矩阵630的最大数据总量为n
×
n
×
2，也即是在计算矩阵630中n
×
n个计算单元640均执行计算，不存在处于空转等待状态的计算单元640。
[0108]
需要说明的是，一般来说，在图5所示的处理单元中计算矩阵630是固定的，而第一矩阵a和第二矩阵b是不固定的。对于第一矩阵a和第二矩阵b的行数和列数与计算矩阵630不一致的情况，通常先对第一矩阵a和第二矩阵b进行矩阵拆分，拆分后再利用计算矩阵630对第一矩阵a和第二矩阵b进行张量运算。
[0109]
计算单元
[0110]
图6是根据本公开一个实施例的计算单元640的内部结构图。
[0111]
在一些实施例中，计算矩阵630中计算单元640的内部结构相同。如图7所示，计算单元640包括：第一寄存器651、第二寄存器652、第三寄存器653、乘法器654和累加器655。
[0112]
在一些实施例中，监测单元620可以实时监测外部环境带宽，计算单元控制器610根据实时监测的外部环境带宽，使计算矩阵630在脉动数据输入模式和组播数据输入模式之间切换。在一些实施例中，计算单元640还包括：第一选通器656和第二选通器657。第一选通器656用于接收计算单元控制器610提供的控制信号m，根据控制信号m将计算矩阵630中的第二输入线642或第一列总线643选通，使计算矩阵630在脉动数据输入模式和组播数据输入模式之间切换。第二选通器657用于接收计算单元控制器610提供的控制信号m，根据控制信号m将计算矩阵630中的第一输入线641或第一行总线644选通，使计算矩阵630在脉动数据输入模式和组播数据输入模式之间切换。在一些情况下，根据控制信号m，第一选通器656将计算矩阵630中的第二输入线642选通，计算单元640通过第二输入线642从同一列前一行的计算单元640接收数据，第二选通器657将计算矩阵630中的第一输入线641选通，计算单元640通过第一输入线641从前一列同一行的计算单元640接收数据，使计算矩阵630在脉动数据输入模式工作。在另一些情况下，根据控制信号m，第一选通器656将计算矩阵630中的第一列总线643选通，同一列的各计算单元640通过第一列总线643分别接收数据，第二选通器657将计算矩阵630中的第一行总线644选通，同一行的各计算单元640通过第一行总线644分别接收数据，使计算矩阵630在组播数据输入模式工作。
[0113]
在一些实施例中，在脉动数据输入模式中，在一个时钟周期，计算矩阵630中计算单元640通过第一输入线641从前一列同一行的计算单元640接收数据，通过第二输入线642从同一列前一行的计算单元640接收数据。第一寄存器651根据控制信号m存储从前一列同一行的计算单元640传递的数据。第二寄存器652根据控制信号m存储从同一列前一行的计算单元640传递的数据。乘法器654对从第一输入线641接收的列序号和从第二输入线642接收的行序号相同的元素进行相乘。累加器655将乘法器654相乘的结果累加到之前的累加结果中。第三寄存器653存储所述累加结果。在下一个时钟周期，计算单元640将第一寄存器651中存储的数据传递至下一列同一行的计算单元640，将第二寄存器655中存储的数据传递至同一列下一行的计算单元640。
[0114]
在一些实施例中，在组播数据输入模式中，在一个时钟周期，计算矩阵630中同一列的各计算单元640通过第一列总线643分别接收数据，同一行的各计算单元640通过第一行总线644分别接收数据。第一寄存器651根据控制信号m暂停工作。第二寄存器652根据控制信号m暂停工作。乘法器654对从第一行总线644接收的列序号和从第一列总线643接收的行序号相同的元素进行相乘。累加器655将乘法器654相乘的结果累加到之前的累加结果中。第三寄存器653存储所述累加结果。
[0115]
本公开实施例的张量运算方法
[0116]
图7是本公开实施例提供的张量运算方法的流程图。如图上所示，该方法包括以下步骤。
[0117]
在步骤s701中，获取多个计算单元所处的外部环境带宽，所述多个计算单元构成n行m列的计算矩阵，n和m是非零的自然数。
[0118]
在步骤s702中，基于所述外部环境带宽，在所述计算矩阵所处的外部环境带宽满足预定带宽要求的情况下，控制所述计算矩阵以组播数据输入模式工作，数据按列广播到对应列的所有计算单元，按行广播到对应行的所有计算单元，在所述外部环境带宽不满足预定带宽要求的情况下，控制所述计算矩阵以脉动数据输入模式工作，计算单元从前一列同一行的计算单元以及同一列前一行的计算单元接收数据，以支持张量运算。
[0119]
本公开实施例的方法在一个计算装置中执行，该计算装置包括处理单元，处理单元包括计算单元控制器，该方法利用计算单元控制器根据所述处理单元所处的外部环境带宽控制所述计算矩阵以脉动数据输入模式和组播数据输入模式中的至少一种工作，以支持张量运算。由此得到的处理单元的外部环境带宽和计算能力适配，从而针对计算装置达到更好的计算能效。
[0120]
本公开实施例的商业价值
[0121]
本公开实施例提供的处理单元根据处理单元所处的外部环境带宽灵活选择计算矩阵的工作模式，在外部环境带宽大于预定环境带宽阈值的情况下，控制计算矩阵以组播数据输入模式工作，所有计算单元均执行计算，不存在处于空转等待状态的计算单元，提高了处理单元的计算能力；在外部环境带宽不大于预定环境带宽阈值的情况下，切换计算矩阵的工作模式为脉动数据输入模式，输入数据在计算矩阵中脉动复用，减少处于空转等待状态的计算单元的数量，提高了处理单元的计算能效。在此场景下，通过降低脉动数据输入模式下处理单元的功耗从而降低计算装置的功耗，进而降低整个物联网的运行成本。通过提高组播数据输入模式下处理单元的计算性能从而提高计算装置的计算能力，进而提高整
个物联网的计算能力。本公开实施例使计算能耗降低，计算能力提高，因而具备了良好的商业价值和经济价值。
[0122]
本领域的技术人员能够理解，本公开可以实现为系统、方法和计算机程序产品。因此，本公开可以具体实现为以下形式，即完全的硬件、完全的软件(包括固件、驻留软件、微代码)，还可以实现为软件和硬件结合的形式。此外，在一些实施例中，本公开还可以实现为一个或多个计算机可读介质中的计算机程序产品的形式，该计算机可读介质中包含计算机可读的程序代码。
[0123]
可以采用一个或多个计算机可读介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如但不限于为电、磁、光、电磁、红外线或半导体的系统、装置或器件，或其他任意以上的组合。计算机可读存储介质的更具体的例子包括：具体一个或多个导线的电连接，便携式计算机磁盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或者闪存)、光纤、便携式紧凑磁盘只读存储器(cd
‑
rom)、光存储器、磁存储器或者上述任意合适的组合。在本文中，计算机可读的存储介质可以是任意包含或存储程序的有形介质，该程序可以被处理单元、装置或者器件使用，或者与其结合使用。
[0124]
计算机可读信号介质可以包括在基带中或者作为截波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或者其他任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质之外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令系统、装置或器件使用或者与其结合使用的程序。
[0125]
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、电线、光缆、rf等等，以及上述任意合适的组合。
[0126]
可以以一种或者多种程序设计语言或者组合来编写用于执行本公开实施例的计算机程序代码。所述程序设计语言包括面向对象的程序设计语言，例如java、c ，还可以包括常规的过程式程序设计语言，例如c。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络包括局域网(lan)或广域网(wan)连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
[0127]
以上所述仅为本公开的优选实施例，并不用于限制本公开，对于本领域技术人员而言，本公开可以有各种改动和变化。凡在本公开的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。