一种基于五值量化的神经网络权重编码方法、设备及介质
本发明涉及机器学习,具体为一种基于五值量化的神经网络权重编码方法、设备及介质。
背景技术:
1、现有神经网络模型参数量巨大,由此带来的计算与存储开销居高不下,这极大地限制了其在边缘设备、嵌入式芯片、低功耗终端和专用加速器上的部署。
2、为降低资源消耗,已有技术尝试采用二值化神经网络或三值化神经网络。具体来看,二值化神经网络通常将权重量化为两种取值,虽计算简单且可用符号翻转代替乘法,但量化精度损失较大;而三值化神经网络通常将权重量化为“-1”、“0”和“+1”,旨在通过引入零值改善精度,同时保留低复杂度计算的优势。
3、尽管如此,三值化神经网络的表示范围仍较窄,难以兼顾计算简化与模型性能。另一方面,现有常规多比特量化方案虽可进一步提升精度,但存储和乘法器复杂度明显提高,同样不利于硬件高效实现。
技术实现思路
1、有鉴于此,本发明实施例提供一种基于五值量化的神经网络权重编码方法、设备及介质。
2、本发明第一方面提供了一种基于五值量化的神经网络权重编码方法,包括以下步骤:
3、获取神经网络中的权重参数;
4、对所述权重参数进行五值量化,编码为具有第一量化值、第二量化值、第三量化值、第四量化值和第五量化值的量化序列;
5、存储所述量化序列;
6、当需要调用神经网络进行计算时,对所存储量化序列进行解码以获得量化值,并基于所述量化值和对应缩放因子生成权重参数,或者基于所述量化值生成运算控制信号,以执行神经网络计算。
7、进一步地,所述对所述权重参数进行五值量化,具体包括以下步骤:
8、设定第一阈值与第二阈值,所述第一阈值小于第二阈值,且所述第一阈值和第二阈值均大于0;
9、根据第一阈值及其相反数、第二阈值及其相反数划分五个数值区间,其中,包含零点的中间区间对应第一量化值,正向内侧区间对应第二量化值,负向内侧区间对应第三量化值,正向外侧区间对应第四量化值,负向外侧区间对应第五量化值;
10、对每个权重参数进行换算,根据权重参数换算后的数值区间,确定每个权重参数所对应的量化值。
11、进一步地,所述第一阈值与第二阈值,具体根据神经网络的模型类型、网络层类型、权重统计分布、模型部署目标或经验参数中的至少一种确定。
12、进一步地,所述量化值包括主值与附加值;其中主值的大小为2比特,包括“00”、“01”、“11”和“10”四个值;附加值的大小为1比特,包括“0”和“1”两个值。
13、进一步地,所述第一量化值映射为主值中的“00”,同时附加值置空;所述第二量化值映射为主值中的“01”,同时附加值置空;所述第三量化值映射为主值中的“11”,同时附加值置空;所述第四量化值映射为主值中的“10”,同时附加值为“0”;所述第五量化值映射为主值中的“10”,同时附加值为“1”。
14、进一步地,所述量化序列具体包括主值序列和附加值序列;所述编码为具有第一量化值、第二量化值、第三量化值、第四量化值和第五量化值的量化序列,具体包括以下步骤:
15、建立长度为2n比特的主值序列,其中n为权重参数的数量;
16、按顺序将每个量化值的主值记录于主值序列中;
17、记录主值序列中出现值“10”的位置,将对应量化值的附加值按顺序记录于附加值序列中。
18、进一步地,所述存储所述量化序列,具体包括以下步骤:
19、将所述量化序列中的主值序列与附加值序列分别存储于主值存储区和附加值存储区;
20、存储索引信息,所述索引信息包括附加值序列的起始偏移量和/或分块偏移量,用于根据目标位置之前主值“10”的出现数量确定目标附加值在附加值序列中的位置,并还原对应的量化值;
21、存储缩放因子,所述缩放因子用于对所述量化值进行缩放,并还原为对应的权重参数。
22、进一步地,所述存储所述量化序列,还包括以下步骤:
23、设置附加值缓存长度;
24、当所述附加值序列的长度超出所述附加值缓存长度时,仅保留不超过所述附加值缓存长度的附加值,保留对象按照原始出现顺序或预设索引位置确定;对于其余扩展量化值,不存储对应的附加值,并将+2的第四量化值近似替换为+1的第二量化值、将-2的第五量化值近似替换为-1的第三量化值,同时将对应主值分别调整为“01”和“11”。
25、本发明另一方面公开一种神经网络计算装置,包括存储单元和处理单元。
26、所述存储单元用于分别存储主值序列和附加值序列,以及存储索引信息和缩放因子。
27、所述处理单元用于读取目标权重对应的主值并判断所述主值是否为预设扩展标识;当主值不是预设扩展标识时,根据主值确定量化值;当主值为预设扩展标识时,根据目标位置之前预设扩展标识的出现数量和/或索引信息确定对应附加值的位置,根据主值和附加值确定量化值;并基于量化值和缩放因子生成权重参数或者生成运算控制信号,以执行神经网络计算。
28、在一部分实施例中,处理单元包括扩展标识检测单元、附加值定位单元、量化值恢复单元和计算单元,计算单元用于执行零值跳过、符号翻转、移位、加法、减法和累加中的至少一种操作。
29、本发明再一方面公开一种电子设备,包括处理器以及存储器;
30、所述存储器用于存储程序;
31、所述处理器执行所述程序实现上述的一种基于五值量化的神经网络权重编码方法。
32、本发明又一方面公开一种计算机可读存储介质,所述存储介质存储有程序,所述程序被处理器执行实现上述的一种基于五值量化的神经网络权重编码方法。
33、本发明实施例还公开了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行前面的方法。
34、本发明的实施例具有如下有益效果:本发明一种基于五值量化的神经网络权重编码方法、设备及介质通过将神经网络的权重参数编码为五个量化值,并按主值和附加值分开存储,能够在保持低复杂度计算优势的前提下有效控制存储资源消耗,在神经网络计算时避免复杂的动态内存分配。
35、本发明的附加方面和优点将在下面的描述部分中给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
1.一种基于五值量化的神经网络权重编码方法,其特征在于,包括以下步骤:
2.根据权利要求1所述的一种基于五值量化的神经网络权重编码方法,其特征在于,所述对所述权重参数进行五值量化,具体包括以下步骤:
3.根据权利要求2所述的一种基于五值量化的神经网络权重编码方法,其特征在于,所述量化值包括主值与附加值;其中主值的大小为2比特,包括“00”、“01”、“11”和“10”四个值;附加值的大小为1比特,包括“0”和“1”两个值;
4.根据权利要求3所述的一种基于五值量化的神经网络权重编码方法,其特征在于,所述量化序列具体包括主值序列和附加值序列;所述编码为具有第一量化值、第二量化值、第三量化值、第四量化值和第五量化值的量化序列,具体包括以下步骤:
5.根据权利要求4所述的一种基于五值量化的神经网络权重编码方法,其特征在于,所述存储所述量化序列,具体包括以下步骤:
6.根据权利要求5所述的一种基于五值量化的神经网络权重编码方法,其特征在于,所述存储所述量化序列,还包括以下步骤:
7.一种神经网络计算装置,其特征在于,包括存储单元和处理单元;
8.根据权利要求7所述的神经网络计算装置,其特征在于,所述预设扩展标识为主值“10”;主值“00”、“01”和“11”分别用于直接表示第一量化值、第二量化值和第三量化值;当主值为“10”时,附加值“0”和“1”分别用于表示第四量化值和第五量化值;
9.一种电子设备,其特征在于,包括一个或多个处理器以及存储器;所述存储器用于存储程序;所述一个或多个处理器执行所述程序实现如权利要求1-6中任一项所述的一种基于五值量化的神经网络权重编码方法。
10.一种计算机可读存储介质,其特征在于,所述存储介质存储有程序,所述程序被处理器执行时实现如权利要求1-6中任一项所述的一种基于五值量化的神经网络权重编码方法。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com