一种模型量化方法、服务器、电子设备及介质与流程

技术特征：
1.一种模型量化方法，其特征在于，包括：获取神经网络模型中算子的激活值的第一数值范围；在所述第一数值范围中的最小数值大于等于零的情况下，确定所述算子的量化方式为无符号量化方式；在确定出所述算子的量化方式的情况下，确定所述算子的激活值的量化结果的第二数值范围；根据所述第一数值范围和所述第二数值范围确定所述算子的激活值与所述量化结果之间的映射关系。2.根据权利要求1所述的模型量化方法，其特征在于，还包括：在所述第一数值范围中的最小数值小于零的情况下，确定所述算子的量化方式为对称量化方式。3.根据权利要求2所述的模型量化方法，其特征在于，所述在确定出所述算子的量化方式的情况下，确定所述算子的激活值的量化结果的第二数值范围；包括：获取所述算子的量化比特数；根据所述算子的量化比特数和所述算子的量化方式确定所述算子的激活值的量化结果的第二数值范围。4.根据权利要求3任一项所述的模型量化方法，其特征在于，根据所述算子的量化比特数和所述量化方式确定所述算子的激活值的量化结果的第二数值范围，包括：根据所述量化比特数确定量化等级；根据所述量化等级和所述量化方式确定所述量化数值范围。5.根据权利要求1-4任一项所述的模型量化方法，其特征在于，根据所述第一数值范围和所述第二数值范围确定所述算子的激活值与所述量化结果之间的映射关系，包括：根据所述第一数值范围中绝对值最大的数值，将所述绝对值最大的数值的绝对值作为所述算子的最大绝对值；根据所述第二数值范围确定所述第二数值范围内的最大数值；将所述第二数值范围内的最大数值与所述算子的最大绝对值的比值作为所述所述算子的激活值与所述量化结果之间的映射系数。6.根据权利要求5所述的模型量化方法，其特征在于，还包括：将所述神经网络模型中算子的激活值通过所述映射系数映射至所述第二数值范围内。7.一种服务器，其特征在于，包括：存储器，用于存储由所述服务器的一个或多个处理器执行的指令，以及处理器，是所述服务器的所述一个或多个处理器之一，用于执行权利要求1-6中任一项所述模型量化方法。8.一种电子设备，其特征在于，包括：存储器，用于存储由所述电子设备的一个或多个处理器执行的指令，以及处理器，是所述电子设备的所述一个或多个处理器之一，用于执行权利要求1-6中任一项所述模型量化方法。9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有指令，所述指令在执行时使计算机执行权利要求1至6中任一项所述模型量化方法。
10.一种计算机程序产品，其特征在于，所述计算机程序产品包括指令，所述指令用于实现权利要求1-6任一项所述模型量化方法。

技术总结
本申请涉及模型压缩技术领域，特别涉及一种模型量化方法、服务器、电子设备及介质。其中，模型量化方法包括：获取神经网络模型中算子的激活值的第一数值范围；在第一数值范围中的最小数值大于等于零的情况下，确定算子的量化方式为无符号量化方式；在确定出算子的量化方式的情况下，确定算子的激活值的量化结果的第二数值范围；根据第一数值范围和第二数值范围确定算子的激活值与量化结果之间的映射关系。基于上述技术方案，可以根据算子的激活值选取合适的量化方式，如此使得确定出的算子的激活值的量化结果的第二数值范围，即量化数值范围的整个范围都能被完全利用，能够有效提高量化精度。量化精度。量化精度。


技术研发人员：韩冥生 余宗桥
受保护的技术使用者：安谋科技（中国）有限公司
技术研发日：2021.11.12
技术公布日：2022/2/18