神经网络压缩方法及装置与流程

1.本发明涉及计算机信息处理技术领域，尤其涉及一种神经网络压缩方法及装置。


背景技术：

2.近年来，随着边缘侧神经网络应用的巨大需求，专用的asic(application specific integrated circuit)神经网络加速器得到了迅速的发展。依托于神经网络加速器，大部分运算可以在边缘侧本地完成。相比于基于云端服务器的解决方案，基于网络加速器的边缘侧解决方案具有高能效、高实时性和隐私保护等特点。
3.然而，为了追求更强的泛化能力，现有的诸如第三代通用预训练转换器(general pre
‑
trained transformer
‑
3，gpt
‑
3)、alphafold等前沿模型都采取了越来越大的网络规模。举例来说，对于面向自然语言处理的gpt
‑
3模型，其训练采用了超过1万个gpu，总参数规模达到了175billion。即使是常见的resnet34模型，其模型大小也达到了83.2mb。而对于现有asic加速器来说，其片上存储空间往往不超过1mb。过大的模型规模会导致芯片面积过大、外接dram访问功耗过高、内存墙等严峻的挑战。
4.使用神经网络压缩，包括模型剪枝、模型量化等，对模型规模进行有效地降低。模型剪枝通过将网络中的冗余神经元强制置零，从而在推理中跳过这些神经元而大大降低计算和存储开销。模型量化通过将浮点运算转化为定点运算而有效降低计算功耗。然而，实际中存在压缩算法与加速器架构之间的冲突，从而导致压缩算法的性能无法得到充分发挥。


技术实现要素：

5.本发明提供的神经网络压缩方法，用于克服现有技术中存在的上述问题，通过对加速器进行分析，得到适合于该加速架构的压缩超参数组合，从而比传统非自适应压缩更加有效地降低神经网络在加速器上的计算开销，提高神经网络在加速器上的推理过程能效。
6.本发明提供的一种神经网络压缩方法，包括：
7.将目标加速器内载的神经网络作为环境，以确定压缩超参数组合；
8.将所述压缩超参数组合作为动作，对所述神经网络进行压缩，以确定压缩所述神经网络后的奖励值；
9.根据压缩后的神经网络，对所述环境、所述压缩超参数组合、所述动作和所述奖励值进行更新，并在满足预设条件时，停止更新；
10.根据最后一次更新后的压缩超参数组合，对所述神经网络进行压缩。
11.根据本发明提供的一种神经网络压缩方法，所述将目标加速器内载的神经网络作为环境，以确定压缩超参数组合，包括：
12.将目标加速器内载的神经网络作为环境，通过分析所述目标加速器的数据流，以确定压缩所述神经网络的量化参数和稀疏参数；
13.根据所述量化参数和所述稀疏参数，确定所述压缩超参数组合。
14.根据本发明提供的一种神经网络压缩方法，所述分析所述目标加速器的数据流，确定压缩所述神经网络的量化参数，包括：
15.基于所述数据流中处理引擎pe阵列，确定压缩所述神经网络所采用的目标量化方式；
16.基于所述数据流中存储单元的访问带宽和访问方式，确定所述目标量化方式的量化位宽；
17.根据所述目标量化方式和所述量化位宽，确定所述量化参数。
18.根据本发明提供的一种神经网络压缩方法，所述分析所述目标加速器的数据流，确定压缩所述神经网络的稀疏参数，包括：
19.基于所述数据流中目标存储和pe阵列间的交互方式，确定压缩所述神经网络所采用的目标稀疏方式；
20.基于所述数据流中pe阵列并行度，确定所述目标稀疏方式的稀疏尺寸；
21.根据所述目标量化方式和所述稀疏尺寸，确定所述稀疏参数。
22.根据本发明提供的一种神经网络压缩方法，所述目标量化方式，至少包括如下任一种方式：
23.对称量化方式、非对称量化方式和零点偏移方式。
24.根据本发明提供的一种神经网络压缩方法，所述目标稀疏方式，至少包括如下任一种方式：
25.规则稀疏方式和非规则稀疏方式。
26.根据本发明提供的一种神经网络压缩方法，所述预设条件，包括：
27.更新后的奖励值达到预设奖励值阈值；或
28.更新次数达到预设更新次数阈值。
29.本发明还提供一种神经网络压缩装置，包括：参数确定模块、压缩奖励模块、参数更新模块以及网络压缩模块；
30.所述参数确定模块，用于将目标加速器内载的神经网络作为环境，以确定压缩超参数组合；
31.所述压缩奖励模块，用于将所述压缩超参数组合作为动作，对所述神经网络进行压缩，以确定压缩所述神经网络后的奖励值；
32.所述参数更新模块，用于根据压缩后的神经网络，对所述环境、所述压缩超参数组合、所述动作和所述奖励值进行更新，并在满足预设条件时，停止更新；
33.所述网络压缩模块，用于根据最后一次更新后的压缩超参数组合，对所述神经网络进行压缩。
34.本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述神经网络压缩方法的步骤。
35.本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述神经网络压缩方法的步骤。
36.本发明提供的神经网络压缩方法及装置，通过对加速器进行分析，得到适合于该加速架构的压缩超参数组合，从而比传统非自适应压缩更加有效地降低神经网络在加速器
上的计算开销，提高神经网络在加速器上的推理过程能效。
附图说明
37.为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
38.图1是本发明提供的神经网络压缩方法的流程示意图；
39.图2是本发明提供的神经网络压缩装置的结构示意图；
40.图3是本发明提供的电子设备的结构示意图。
具体实施方式
41.为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
42.为了在边缘设备上实现图像识别、人脸识别等应用，一种常见的解决方法是使用专用集成电路asic神经网络加速器在边缘设备上执行神经网络的推理阶段。但是，现有神经网络大部分计算复杂度较高。因此还需要网络压缩技术(剪枝、量化)降低神经网络在加速器上的计算量和计算功耗。通过模型压缩，加速器执行网络推理过程时可以忽略网络中的冗余计算并允许加速器用低功耗的定点算子取代高功耗的浮点算子，从而提高网络在加速器上的推理过程能效。
43.首先，对于不同的加速器架构，通过架构分析模块得到最适合该架构的压缩方案，从而使得压缩后的模型在目标加速器上能更充分发挥作用。与之相比，传统压缩方法得到的压缩后模型存在剪枝图案pattern过大或者过小，剪枝pattern分布不规则，量化位宽不适配等问题。其次，本发明提供的神经网络压缩算法，可以针对架构特点更精确、细粒度地调整神经网络中不同位置的压缩超参数。比如通过强化学习模块我们可以在网络不同层甚至不同卷积块block之间调整网络压缩率以及量化位宽。从而能够在保持更高网络检测精度(比如对人脸的检测准确率)前提下更充分的降低网络计算复杂度。具体实现如下：
44.图1是本发明提供的神经网络压缩方法的流程示意图，如图1所示，方法包括：
45.s1将目标加速器内载的神经网络作为环境，以确定压缩超参数组合；
46.s2、将压缩超参数组合作为动作，对神经网络进行压缩，以确定压缩神经网络后的奖励值；
47.s3、根据压缩后的神经网络，对环境、压缩超参数组合、动作和奖励值进行更新，并在满足预设条件时，停止更新；
48.s4、根据最后一次更新后的压缩超参数组合，对神经网络进行压缩。
49.需要说明的是，上述方法的执行主体可以是计算机设备。
50.可选地，对于目标加速器内载的神经网络，具体为一个全精度的浮点模型(被压缩前神经网络模型)，强化学习的智能体agent会通过迭代搜索最佳的压缩方案。具体来说，该
神经网络作为强化学习的环境environment，在每次迭代时，智能体均会产生一组量化超参数作为压缩神经网络的压缩超参数组合，其中，压缩超参数组合可以包括每层的稀疏图案pattern、稀疏度以及量化位宽。
51.将压缩超参数组合作为动作action，这些action作用到上述神经网络并产生相应的奖励值reward。一般来说reward主要包含两部分，一部分是神经网络模型压缩后的相对精度损失，另一部分则是目标加速器能量、能效、每秒浮点运算次数(floating
‑
point operations per second，flops)等优化指标。
52.例如采用加速器能量作为优化指标，为了提升算法运行速度，在具体实现中采取快速评估和建立能量模型的手段获取reward。具体来说，基于智能体agent产生的action，神经网络会被压缩并短暂地微调finetune。微调的主要目的在于模型压缩导致模型权重发生了明显变化，但是诸如批量归一化batchnorm层中的均值和方差等网络参数仍保持原值，这导致压缩后加速器内的神经网络模型精度与最终模型精度不成正比，需要finetune调整参数(例如目标加速器内的神经网络的权重)适应模型压缩带来的变化。
53.而对于能量模型来说，主要是降低实际硬件测试模型功耗的巨大开销，核心思想是通过dc仿真等手段分析硬件平台各关键模块的功耗开销，并结合通过分析目标加速器得到的数据流建立一个硬件功耗和压缩倍率、量化位宽等压缩超参数组合之间的关系模型，从而可以在实际迭代中快速评估硬件功耗。
54.根据压缩后的神经网络，对环境进行更新，根据更新后的环境对压缩超参数组合进行更新，并将更新后的压缩超参数组合作为更新后的动作，再次对神经网络进行压缩，并得到压缩后神经网络后获得的奖励值reward，通过reward的反馈，强化学习智能体调整、优化产生的压缩超参数组合，重复上述过程，直至满足预设条件时，停止对环境、压缩超参数、动作和奖励值的更新，并根据最后一次迭代后更新的压缩超参数组合，对上述神经网络进行压缩。
55.最优的压缩超参数组合会被选中，基于选出的压缩超参数组合(压缩方案)会对上述神经网络进行实际压缩并训练足够的时间以尽可能恢复压缩后模型的精度。
56.本发明提供的神经网络压缩方法，通过对加速器进行分析，得到适合于该加速架构的压缩超参数组合，从而比传统非自适应压缩更加有效地降低神经网络在加速器上的计算开销，提高神经网络在加速器上的推理过程能效。
57.进一步地，在一个实施例中，步骤s1可以具体包括：
58.s11、将目标加速器内载的神经网络作为环境，通过分析目标加速器的数据流，以确定压缩神经网络的量化参数和稀疏参数；
59.s12、根据量化参数和稀疏参数，确定压缩超参数组合。
60.可选地，通过例如架构分析模块分析目标加速器的数据流，其中，数据流可以包括片上(目标加速器)片外存储交互、片上存储与pe计算阵列交互、pe阵列计算过程等。从而总结出该目标加速器在稀疏模式(即最小零值神经元模块的大小、形状)，稀疏倍率和量化位宽等关键超参数方面的关键约束。这些关键约束可以有效地制约压缩神经网络的搜索空间，从而收敛到更适合目标加速器中神经网络的压缩方案。
61.需要说明的是，上述关键约束可以具体为：允许的量化位宽范围、允许的稀疏度范围及允许的稀疏pattern(即稀疏尺寸)，比如有些加速器对于一个n
×
c
×
k
×
k的权重矩阵
只支持沿着n维度一个c
×
k
×
k大小的数据块同时为0或不为0，有的则允许更细粒度比如连续8个元素，通过这些关键约束来决定压缩上述神经网络的量化参数和稀疏参数。
62.根据得到的量化参数和稀疏参数，可以获得压缩上述神经网络的压缩超参数组合。
63.本发明提供的神经网络压缩方法，通过分析加速器的数据流确定压缩神经网络的量化参数和稀疏参数，在面对不同的加速器时，可以通过针对不同加速器的数据流具体分析，得到适用于不同加速器内载的神经网络的量化参数和稀疏参数，有针对性的实现对不同加速器内载的神经网络进行压缩，从而得到不同加速器的最佳压缩方案。
64.进一步地，在一个实施例中，步骤s11可以具体包括：
65.s111、基于数据流中处理引擎pe阵列，确定压缩神经网络所采用的目标量化方式；
66.s112、基于数据流中存储单元的访问带宽和访问方式，确定目标量化方式的量化位宽；
67.s113、根据目标量化方式和量化位宽，确定量化参数。
68.进一步地，在一个实施例中，步骤s11还可以具体包括：
69.s114、基于数据流中目标存储和pe阵列间的交互方式，确定压缩神经网络所采用的目标稀疏方式；
70.s115、基于数据流中pe阵列并行度，确定目标稀疏方式的稀疏尺寸；
71.s116、根据目标量化方式和稀疏尺寸，确定稀疏参数。
72.可选地，对于神经网络的模型量化，基于处理引擎pe阵列判断选择压缩上述神经网络所采用的目标量化方式，例如采用对称量化方式还是非对称量化方式、是否采用零点偏移等量化方式，并基于目标加速器中的存储单元的访问带宽和访问方式决定目标量化方式的量化位宽，如确定量化位宽取值范围，根据量化位宽取值范围得到最终的量化位宽。最后根据目标量化方式和量化位宽得到压缩神经网络的量化参数。
73.对于神经网络的模型稀疏，基于目标存储和pe阵列间的交互方式，得到压缩神经网络所采用的目标稀疏方式例如采用规则稀疏方式还是非规则稀疏方式。其中，目标存储可以具体包括片上存储(一般用动态随机存储器sram实现)和片下存储(一般用静态随机存储器dram实现)；pe阵列间的交互方式可以包括pe和片上存储间交互以及片上存储和片下存储交互。
74.基于数据流中的pe阵列并行度(具体为pe一个周期可以执行多少运算)决定目标稀疏方式的稀疏尺寸，并根据得到的目标稀疏方式和稀疏尺寸得到稀疏参数。
75.本发明提供的神经网络压缩方法，通过分析加速器的数据流，得到压缩神经网络的量化参数和稀疏参数，为后续确定压缩超参数组合奠定了基础，同时，能够通过分析不同加速器的数据流，自适应的调整对应的量化参数和稀疏参数，从而能够在保持更高网络检测精度的前提下更充分的降低网络计算复杂度。
76.进一步地，在一个实施例中，步骤s111中的目标量化方式至少包括如下任一种方式：
77.对称量化方式、非对称量化方式和零点偏移方式。
78.可选地，对上述神经网络进行压缩所采用的目标量化方式可以具体为如下方式中的任意一种：对称量化方式、非对称量化方式和零点偏移方式。
79.神经网络的模型量化是神经网络推理过程的内存容量和内存带宽的问题，通过将神经网络参数的浮点数类型转换称整型存储的一种模型压缩技术。
80.对于非对称量化方式：
81.由浮点到定点的量化公式如下：
[0082][0083]
其中，r代表真实的浮点值，q代表量化后的定点值，z代表0浮点值对应的量化定点值，s代表定点量化后可表示的最小刻度，s和z的计算公式如下：
[0084][0085]
其中，r
max
代表最大的浮点值，r
min
代表最小的浮点值，q
max
代表最大的定点值，q
min
代表最小的定点值。
[0086]
z＝q
max
‑
r
max
÷
s
[0087]
由定点到浮点反量化方式如下：
[0088]
r＝(q
‑
z)
×
s
[0089]
例如，在进行int8的量化时，数据范围为[
‑
128，127]，最大值和最小值分别为x
max
,x
min
，x
q
代表量化后的数据，x
f
代表浮点数据。
[0090]
x
q
＝x
f
/scale zero
[0091]
scale＝(x
max
‑
x
min
)/(127
‑
(
‑
128))
[0092]
zero＝0
‑
round(x
min
/scale)
[0093]
对于对称量化，只需将原浮点数的范围由[x
min
，x
max
]扩列到[
‑
x
max
，x
max
]，然后按照上述量化公式进行转换即可。
[0094]
采用零点偏移方式可以将浮点0量化之后映射到0～255中间的一个数字，使得量化之后的数字更准确。
[0095]
本发明提供的神经网络压缩方法，采用对称量化方式、非对称量化方式和零点偏移方式，能够在可接受的精度损失换取更少的存储、带宽需求、计算速度及更低的能耗。
[0096]
进一步地，在一个实施例中，在步骤s114中的目标稀疏方式，至少包括如下任一种方式：
[0097]
规则稀疏方式和非规则稀疏方式。
[0098]
可选地，对神经网络的稀疏方式可以采用规则稀疏方式和非规则稀疏方式，其中，非规则稀疏方式指的是稀疏尺寸比较小，规则稀疏方式指的是稀疏尺寸比较大。例如，对于一个n
×
c
×
k
×
k的权重矩阵只支持沿着n维度一个c
×
k
×
k大小的数据块同时为0或不为0，有的则允许更细粒度比如连续8个元素同时为0或不为0，此时，小于等于8个元素同时为0或不为0的稀疏处理方式即为非规则稀疏方式，反之，则为规则稀疏方式。
[0099]
需要说明的是，上述具体元素的个数设置根据要稀疏的神经网络的权重矩阵的维度可以自由设置，本发明对此不作具体限定。
[0100]
本发明提供的神经网络压缩方法，通过对神经网络进行稀疏处理，能够实现神经网络推理过程的特征自动选择，进而提高推理过程的准确度。
[0101]
进一步地，在一个实施例中，步骤s3中预设条件可以具体包括：
[0102]
更新后的奖励值达到预设奖励值阈值；或
[0103]
更新次数达到预设更新次数阈值。
[0104]
可选地，智能体根据预设更新次数阈值对压缩超参数组合进行更新，当更新次数达到预设更新次数阈值时，停止对压缩超参数组合的更新，并根据最后一次更新后的压缩超参数组合，对上述神经网络进行压缩。
[0105]
或，根据更新过程中，压缩超参数组合作用到神经网络所产生的奖励值与预设奖励值阈值之间的关系，若更新后的压缩超参数组合作用到神经网络的奖励值大于等于预设奖励值阈值，则认为达到压缩收敛条件，并根据最后一次更新后的压缩超参数组合，对上述神经网络进行压缩。
[0106]
实际应用中，本发明提出的神经网络压缩算法，经由算法设计和实际芯片测试流程，在图像分类上进行验证。针对采用台积电65nm工艺制程的sticker稀疏神经网络加速芯片进行验证，对于cifar10和cifar100数据集上vgg16和resnet18网络，可以在10倍能耗降低的情况下没有精度损失，同时，相比于现有的非硬件适应的独立稀疏、量化，可以在同等压缩倍率的情况下取得25％的能耗降低。
[0107]
本发明提供的神经网络压缩方法，能够使得压缩超参数组合快速收敛的同时，若将加速器能耗作为优化指标，并得到奖励值，可以在实际对压缩超参数组合进行更新中快速评估加速器能耗损失。
[0108]
下面对本发明提供的神经网络压缩装置进行描述，下文描述的神经网络压缩装置与上文描述的神经网络压缩方法可相互对应参照。
[0109]
图2是本发明提供的神经网络压缩装置的结构示意图，如图2所示，包括：参数确定模块210、压缩奖励模块211、参数更新模块212以及网络压缩模块213；
[0110]
参数确定模块210，用于将目标加速器内载的神经网络作为环境，以确定压缩超参数组合；
[0111]
压缩奖励模块211，用于将压缩超参数组合作为动作，对神经网络进行压缩，以确定压缩神经网络后的奖励值；
[0112]
参数更新模块212，用于根据压缩后的神经网络，对环境、压缩超参数组合、动作和奖励值进行更新，并在满足预设条件时，停止更新；
[0113]
网络压缩模块213，用于根据最后一次更新后的压缩超参数组合，对神经网络进行压缩。
[0114]
本发明提供的神经网络压缩装置，通过对加速器进行分析，得到适合于该加速架构的压缩超参数组合，从而比传统非自适应压缩更加有效地降低神经网络在加速器上的计算开销，提高神经网络在加速器上的推理过程能效。
[0115]
图3是本发明提供的一种电子设备的实体结构示意图，如图3所示，该电子设备可以包括：处理器(processor)310、通信接口(communication interface)311、存储器(memory)312和总线(bus)313，其中，处理器310，通信接口311，存储器312通过总线313完成相互间的通信。处理器310可以调用存储器312中的逻辑指令，以执行如下方法：
[0116]
将目标加速器内载的神经网络作为环境，以确定压缩超参数组合；
[0117]
将压缩超参数组合作为动作，对神经网络进行压缩，以确定压缩神经网络后的奖励值；
[0118]
根据压缩后的神经网络，对环境、压缩超参数组合、动作和奖励值进行更新，并在满足预设条件时，停止更新；
[0119]
根据最后一次更新后的压缩超参数组合，对神经网络进行压缩。
[0120]
此外，上述的存储器中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机电源屏(可以是个人计算机，服务器，或者网络电源屏等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read
‑
only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0121]
进一步地，本发明公开一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的神经网络压缩方法，例如包括：
[0122]
将目标加速器内载的神经网络作为环境，以确定压缩超参数组合；
[0123]
将压缩超参数组合作为动作，对神经网络进行压缩，以确定压缩神经网络后的奖励值；
[0124]
根据压缩后的神经网络，对环境、压缩超参数组合、动作和奖励值进行更新，并在满足预设条件时，停止更新；
[0125]
根据最后一次更新后的压缩超参数组合，对神经网络进行压缩。
[0126]
另一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的神经网络压缩方法，例如包括：
[0127]
将目标加速器内载的神经网络作为环境，以确定压缩超参数组合；
[0128]
将压缩超参数组合作为动作，对神经网络进行压缩，以确定压缩神经网络后的奖励值；
[0129]
根据压缩后的神经网络，对环境、压缩超参数组合、动作和奖励值进行更新，并在满足预设条件时，停止更新；
[0130]
根据最后一次更新后的压缩超参数组合，对神经网络进行压缩。
[0131]
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
[0132]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指
令用以使得一台计算机电源屏(可以是个人计算机，服务器，或者网络电源屏等)执行各个实施例或者实施例的某些部分所述的方法。
[0133]
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。