一种适配于运行在FPGA上的神经网络加速器的自适应量化方法与流程

技术特征：
1.一种适配于运行在fpga上的神经网络加速器的自适应量化方法，其特征在于，根据卷积层的输入和权重值、fpga计算过程中的数据位宽，预判中间计算过程数据的范围和分布；基于fpga计算过程中的实际计算位宽和所述中间计算过程数据的范围和分布，计算溢出程度；基于溢出程度，采用kl-divergence的方法，自适应地调整量化参数，直至调整量化参数后数据的分布与原始数据分布的差异在预设范围内。2.根据权利要求1所述的适配于运行在fpga上的神经网络加速器的自适应量化方法，其特征在于，根据kl-divergence方法调整量化参数，采用相对熵的方式衡量调整量化参数后数据分布与原始数据分布的差异程度，寻找最优阈值作为量化参数。3.根据权利要求2所述的适配于运行在fpga上的神经网络加速器的自适应量化方法，其特征在于，设置用于构造新样本的循环计数i，不断构造参考样本p和新样本q，计算两者的相对熵，得到最小的相对熵，此时，对应的阈值即为最优阈值。4.根据权利要求3所述的适配于运行在fpga上的神经网络加速器的自适应量化方法，其特征在于，具体步骤为：(1)不断地截断参考样本p，将截断区外的值全部求和；(2)将截断区外的值加到截断样本的最后一个值之上；(3)求得参考样本p的概率分布；(4)创建新样本q，其元素的值为截断样本p；(5)将新样本q的长度拓展到i，使得样本q和参考样本p具有相同长度；(6)求得新样本q的概率分布；(7)求参考样本p、新样本q的kl散度值。5.根据权利要求1所述的适配于运行在fpga上的神经网络加速器的自适应量化方法，其特征在于，当卷积层的输入和权重值均为8位整型数，若fpga计算过程中的数据位宽为20位，则其能够表示的数据范围为-524288～524287，超出此范围的数据将被截断；基于fpga计算过程中的实际计算位宽，预判中间计算过程数据的范围和分布，针对溢出的程度，采用kl-divergence的方法，自适应地调整量化参数，直至调整量化参数后数据的分布与原始真实的数据分布最为相近。

技术总结
本发明公开了一种适配于运行在FPGA上的神经网络加速器的自适应量化方法，属于神经网络领域。本发明根据神经网络加速器计算过程的实际位宽自动预判神经网络加速器计算时的溢出程度，并针对溢出的程度自适应的调整量化参数，避免神经网络算法在FPGA上计算过程中数据溢出问题的发生，从而保证神经网络模型结果的正确性。本发明的自适应量化方法，将量化操作与神经网络加速器硬件的资源规划相结合，保证了在神经网络加速器部署算法时结果的正确性，在不损失模型精度和执行效率的前提下，能够有效压缩模型规模，使之在资源受限的情况下易于部署实施，节省存储空间和计算资源，具有重要的研究意义和应用价值。的研究意义和应用价值。的研究意义和应用价值。


技术研发人员：魏璐 马钟 王月娇 杨超杰
受保护的技术使用者：西安微电子技术研究所
技术研发日：2021.01.15
技术公布日：2022/2/6