用于神经网络量化的细粒度每向量缩放的制作方法
本公开的实施例涉及用于神经网络参数量化的细粒度每向量缩放。
背景技术:
1、通过减少模型的存储器占用并且开发低成本整数数学硬件单元,量化使得能够有效地加速深度神经网络。量化使用缩放因子将训练模型中的浮点权重和激活映射到低位宽(low-bitwidth)整数值,但是低位宽整数会降低准确度。当缩放因子在每个张量的许多维度上以粗粒度共享时,所述张量内单个元素的有效精度受到限制。需要解决这些问题和/或与现有技术相关联的其他问题。
技术实现思路
1、如今,神经网络已用于使能自动驾驶汽车并提高语音识别,实时语言翻译和在线搜索优化的质量。然而,针对这些应用,神经网络的操作会消耗能量。神经网络使用的参数量化减少了存储参数所需的内存量,同时还减少了神经网络运行期间的功耗。由神经网络执行的矩阵运算需要许多乘法计算,因此减少相乘的位数可以减少消耗的能量。与量化较大参数集相比,使用共享缩放因子对较小参数集进行量化可以提高准确性。通过使用细粒度每向量缩放因子对参数进行量化和缩放,可以保持计算的准确性。向量包括在多维矩阵的单个维度内的一个或更多个元素。
2、本公开的实施例涉及用于神经网络参数量化的细粒度每向量缩放。本文公开了减少神经网络模型的存储器占用的系统和方法,该系统和方法通过针对模型使用每向量缩放因子来量化参数(例如权重和/或激活)得以实现。向量包括多维张量(或内核)的单个维度内的一个或更多个元素。量化减少了用来表示数值的位数(例如,分辨率)。 在实施例中,两级缩放方案将每向量缩放因子的集合与粗粒度(每层、每张量或每通道)缩放因子组合。
3、与如上文所述的传统系统相比,每向量缩放量化技术减轻了现有量化在深度神经网络(dnn)模型中典型的准确度损失。为了减少与量化相关的准确度损失,在张量的单个维度内对元素的每个小向量(例如16-64)使用单独的缩放因子。为了获得有效的硬件实现,当使用两级量化方案进行校准时,可以使用低位宽整数或浮点格式值来实现所述每向量缩放因子。与传统的神经网络缩放技术相比,每向量缩放可以在低精度下获得更好的推理准确度。 另外,在实施例中,使用每向量量化技术不需要再训练(retraining)。
4、用于量化神经网络模型的参数的系统和方法包括:针对多维参数张量单个维度内的参数的每个向量计算缩放因子,以生成多维参数张量的多个缩放因子。针对参数的每个向量,根据相应的缩放因子来降低参数向量中每个参数的精度,以生成降低精度的参数向量。由神经网络模型的一层来处理降低精度的参数向量,以生成输出值。
5、本技术提供了以下内容:
6、1)一种用于量化神经网络模型的参数的计算机实现方法,所述方法包括:
7、针对多维参数张量的单个维度内的参数的每个向量计算缩放因子,以生成所述多维参数张量的多个缩放因子;
8、针对参数的每个向量,根据相应的缩放因子来降低所述参数向量中的每个参数的精度,以生成降低精度的参数向量;以及
9、由所述神经网络模型的层来处理所述降低精度的参数向量,以生成输出值。
10、2)根据1)所述的计算机实现方法,其中所述参数是权重或激活中的至少一个。
11、3)根据1)所述的计算机实现方法,其中所述参数是权重,以及基于所述权重被预先计算的所述缩放因子。
12、4)根据1)所述的计算机实现方法,其中所述参数是通过训练后校准或量化感知再训练中的一个来计算的。
13、5)根据1)所述的计算机实现方法,其中,所述参数是激活,并且在推理期间在所述神经网络模型的每一层处动态计算所述缩放因子。
14、6)根据1)所述的计算机实现方法,其中所述处理包括:
15、针对所述参数的每个向量计算向量点积;
16、根据与所述参数的每个向量相对应的所述缩放因子来修改所述向量点积,以生成所述参数的每个向量的经缩放的向量点积;以及
17、针对所述参数的每个向量,累积所述经缩放的向量点积,以生成多维输出张量的元素作为所述输出值。
18、7)根据6)所述的计算机实现方法,其中所述参数包括权重,并且第二多维参数张量包括激活,并且其中,修改所述向量点积包括:将每个向量点积乘以用于计算所述向量点积的所述权重的相应的缩放因子和所述激活的相应的缩放因子。
19、8)根据6)所述的计算机实现方法,其中所述参数包括权重,并且第二多维参数张量包括激活,并且其中,修改所述向量点积包括:
20、将用于计算所述向量点积的所述权重的相应的缩放因子乘以所述激活的相应的缩放因子,以生成缩放积因子;
21、四舍五入所述缩放积因子;以及
22、将每个向量点积乘以所述四舍五入的缩放因子,以生成所述经缩放的向量点积。
23、9)根据1)所述的计算机实现方法,还包括针对所述多维参数张量计算粗缩放因子,其中所述粗缩放因子是每层、每张量或每通道缩放因子中的一个。
24、10)根据9)所述的计算机实现方法,还包括通过将每个输出值乘以所述粗缩放因子来修改所述输出值。
25、11)根据9)所述的计算机实现方法,其中所述缩放因子是整数格式数,并且所述粗缩放因子是浮点格式数。
26、12)根据1)所述的计算机实现方法,其中在服务器或数据中心执行所述计算、降低和处理的步骤,以生成数据,并且所述数据被流传输到用户设备。
27、13)根据1)所述的计算机实现方法,其中所述计算、降低和处理的步骤在云计算环境中执行。
28、14)根据1)所述的计算机实现方法,其中所述计算、降低和处理的步骤生成数据,所述数据用于训练、测试或查证机器、机器人或自动驾驶汽车中使用的所述神经网络模型或另一神经网络模型。
29、15)根据1)所述的计算机实现方法,其中所述计算、降低和处理的步骤在虚拟机上执行,所述虚拟机包括图形处理单元或多核处理器的部分。
30、16)一种系统,其包括:
31、处理器,所述处理器被配置为实现神经网络模型,所述神经网络模型被配置成通过以下方式量化参数:
32、针对多维参数张量的单个维度内的参数的每个向量计算缩放因子,以生成所述多维参数张量的多个缩放因子;
33、针对参数的每个向量,根据相应的缩放因子来降低所述参数向量中的每个参数的精度,以生成降低精度的参数向量;以及
34、由所述神经网络模型的层来处理所述降低精度的参数向量,以生成输出值。
35、17)根据16)所述的系统,其中所述参数是激活,并且在推理期间在所述神经网络模型的每一层处动态计算所述缩放因子。
36、18)根据16)所述的系统,其中所述处理包括:
37、针对所述参数的每个向量计算向量点积;
38、根据与所述参数的每个向量相对应的所述缩放因子来修改所述向量点积,以生成所述参数的每个向量的经缩放的向量点积;以及
39、针对所述参数的每个向量,累积所述经缩放的向量点积,以生成多维输出张量的元素作为所述输出值。
40、19)一种非暂时性计算机可读介质,其存储用于量化参数的计算机指令,当由一个或更多个处理器执行时,使得所述一个或更多个处理器执行以下步骤:
41、针对多维参数张量的单个维度内的参数的每个向量计算缩放因子,以生成所述多维参数张量的多个缩放因子;
42、针对参数的每个向量,根据相应的缩放因子来降低所述参数向量中的每个参数的精度,以生成降低精度的参数向量;以及
43、由神经网络模型的层来处理所述降低精度的参数向量,以生成输出值。
44、20)根据19)所述的非暂时性计算机可读介质,其中所述参数是激活,并且在推理期间在所述神经网络模型的每一层处动态计算所述缩放因子。
45、21)根据19)所述的非暂时性计算机可读介质,其中所述处理包括:
46、针对所述参数的每个向量计算向量点积;
47、根据与所述参数的每个向量相对应的所述缩放因子来修改所述向量点积,以生成所述参数的每个向量的经缩放的向量点积;以及
48、针对所述参数的每个向量,累积所述经缩放的向量点积,以生成多维输出张量的元素作为所述输出值。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com