优化低精度推理模型用于深度神经网络的部署的制作方法

技术特征：
1.一种用于优化神经网络的计算系统，包括：处理器；以及与所述处理器耦合的存储器，所述存储器包括一组指令，所述指令当被所述处理器执行时，使得所述计算系统：生成量化的神经网络，其中，所述神经网络的模型权重被量化为有符号整数值，并且其中，所述神经网络的输入层被配置为将输入值量化为无符号整数值；基于量化的模型权重和所述神经网络的内核大小来生成权重累积表；并且基于所述权重累积表和所述内核大小来为所述神经网络的输出层生成输出恢复函数。2.如权利要求1所述的计算系统，其中，为了生成输出恢复函数，所述指令当被执行时，使得所述计算系统生成所述神经网络的输出层的输出坐标与所述权重累积表的索引之间的映射。3.如权利要求1所述的计算系统，其中：所述神经网络的输入层被配置为在每通道基础上量化输入值，并且所述神经网络的模型权重是在每通道基础上被量化的。4.如权利要求3所述的计算系统，其中，所述权重累积表包括第三维度，所述第三维度的每个层级的值对应于每个相应的通道。5.如权利要求1所述的计算系统，其中，所述神经网络包括多个内部层，并且其中，所述权重累积表是基于多个每层权重累积表来生成的，每个每层权重累积表对应于所述神经网络的多个内部层之一。6.如权利要求1至5中的任一项所述的计算系统，其中，所述指令当被执行时，还使得所述计算系统执行自动调节过程，所述自动调节过程包含量化度量。7.一种用于管理运行时计算环境的半导体装置，包括：一个或多个衬底；以及与所述一个或多个衬底耦合的逻辑，其中，所述逻辑被至少部分实现在可配置逻辑或者固定功能硬件逻辑中的一个或多个中，与所述一个或多个衬底耦合的所述逻辑用于：生成量化的神经网络，其中，所述神经网络的模型权重被量化为有符号整数值，并且其中，所述神经网络的输入层被配置为将输入值量化为无符号整数值；基于量化的模型权重和所述神经网络的内核大小来生成权重累积表；并且基于所述权重累积表和所述内核大小来为所述神经网络的输出层生成输出恢复函数。8.如权利要求7所述的半导体装置，其中，为了生成输出恢复函数，与所述一个或多个衬底耦合的所述逻辑用于生成所述神经网络的输出层的输出坐标与所述权重累积表的索引之间的映射。9.如权利要求7所述的半导体装置，其中：所述神经网络的输入层被配置为在每通道基础上量化输入值，并且所述神经网络的模型权重是在每通道基础上被量化的。10.如权利要求9所述的半导体装置，其中，所述权重累积表包括第三维度，所述第三维度的每个层级的值对应于每个相应的通道。11.如权利要求7所述的半导体装置，其中，所述神经网络包括多个内部层，并且其中，所述权重累积表是基于多个每层权重累积表来生成的，每个每层权重累积表对应于所述神
经网络的多个内部层之一。12.如权利要求7至11中的任一项所述的半导体装置，其中，与所述一个或多个衬底耦合的所述逻辑还用于执行自动调节过程，所述自动调节过程包含量化度量。13.至少一个非暂态计算机可读存储介质，其包括一组指令，用于管理运行时计算环境，所述指令当被计算系统执行时，使得所述计算系统：生成量化的神经网络，其中，所述神经网络的模型权重被量化为有符号整数值，并且其中，所述神经网络的输入层被配置为将输入值量化为无符号整数值；基于量化的模型权重和所述神经网络的内核大小来生成权重累积表；并且基于所述权重累积表和所述内核大小来为所述神经网络的输出层生成输出恢复函数。14.如权利要求13所述的至少一个非暂态计算机可读存储介质，其中，为了生成输出恢复函数，所述指令当被执行时，使得所述计算系统生成所述神经网络的输出层的输出坐标与所述权重累积表的索引之间的映射。15.如权利要求13所述的至少一个非暂态计算机可读存储介质，其中：所述神经网络的输入层被配置为在每通道基础上量化输入值，并且所述神经网络的模型权重是在每通道基础上被量化的。16.如权利要求15所述的至少一个非暂态计算机可读存储介质，其中，所述权重累积表包括第三维度，所述第三维度的每个层级的值对应于每个相应的通道。17.如权利要求13所述的至少一个非暂态计算机可读存储介质，其中，所述神经网络包括多个内部层，并且其中，所述权重累积表是基于多个每层权重累积表来生成的，每个每层权重累积表对应于所述神经网络的多个内部层之一。18.如权利要求13至17中的任一项所述的至少一个非暂态计算机可读存储介质，其中，所述指令当被执行时，还使得所述计算系统执行自动调节过程，所述自动调节过程包含量化度量。19.一种操作用于管理运行时计算环境的计算装置的方法，包括：生成量化的神经网络，其中，所述神经网络的模型权重被量化为有符号整数值，并且其中，所述神经网络的输入层被配置为将输入值量化为无符号整数值；基于量化的模型权重和所述神经网络的内核大小来生成权重累积表；并且基于所述权重累积表和所述内核大小来为所述神经网络的输出层生成输出恢复函数。20.如权利要求19所述的方法，其中，生成输出恢复函数包括生成所述神经网络的输出层的输出坐标与所述权重累积表的索引之间的映射。21.如权利要求19所述的方法，其中：所述神经网络的输入层被配置为在每通道基础上量化输入值，并且所述神经网络的模型权重是在每通道基础上被量化的。22.如权利要求21所述的方法，其中，所述权重累积表包括第三维度，所述第三维度的每个层级的值对应于每个相应的通道。23.如权利要求19所述的方法，其中，所述神经网络包括多个内部层，并且其中，所述权重累积表是基于多个每层权重累积表来生成的，每个每层权重累积表对应于所述神经网络的多个内部层之一。24.如权利要求19至23中的任一项所述的方法，还包括执行自动调节过程，所述自动调
节过程包含量化度量。25.一种装置，包括用于执行如权利要求19-23中的任一项所述的方法的装置。

技术总结
系统、装置和方法可提供执行非对称量化的用于优化推理神经网络模型的技术，该技术通过以下方式来实现：生成量化的神经网络，其中神经网络的模型权重被量化为有符号整数值，并且其中神经网络的输入层被配置为将输入值量化为无符号整数值；基于量化的模型权重和神经网络的内核大小来生成权重累积表；并且基于权重累积表和内核大小来为神经网络的输出层生成输出恢复函数。该技术还可执行每输入通道量化。该技术还可执行混合精度自动调节。该技术还可执行混合精度自动调节。该技术还可执行混合精度自动调节。


技术研发人员：龚炯 伍勇 沈海宝 林晓东 张国明 袁峰
受保护的技术使用者：英特尔公司
技术研发日：2020.03.13
技术公布日：2022/9/13