一种基于高阶统计矩形态感知的神经网络动态量化方法及系统

本技术涉及人工智能、边缘部署的，特别是涉及一种基于高阶统计矩形态感知的神经网络动态量化方法及系统。

背景技术：

1、深度学习模型在自动驾驶感知、工业视觉检测、智能物联网终端等边缘落地场景中，受限于端侧芯片的算力、功耗约束，对模型压缩与高效部署提出了严苛要求。为适配边缘npu、dsp等硬件的定点运算架构，在不显著损失精度的前提下将浮点模型转换为低位宽整型模型，模型量化技术已经成为工业落地环节的核心技术。其中，后训练量化（ptq）仅需少量校准数据、无需耗时的模型重训练，兼具实现成本低、压缩收益高的优势，是当前工程落地的主流方案。

2、然而，以mobilenetv2、shufflenet为代表的轻量级神经网络在ptq量化（特别是降低至int8/int4低位宽）时，常出现不可接受的精度骤降问题。其根本原因在于轻量级网络的特殊架构：这类网络广泛采用深度可分离卷积设计，同时为保留低维流形特征，移除了倒残差模块瓶颈层末端的非线性激活，采用线性瓶颈结构。这一设计导致网络中间层激活数据的分布，不再具备典型的单侧非负聚集性或标准高斯特性，不仅通道间数值动态范围异质性极强，还普遍呈现出高度复杂的非标准分布——如长尾极端值分布、重度偏态分布乃至多峰混合分布。现有主流ptq技术，例如百分比截断法、kl散度校准法、基于拉普拉斯假设的aciq法等，大多采用“一刀切”的全局统一分布假设估计量化截断阈值，无法适配这种复杂的通道级异构分布特性。少数幅值极端的离群点就会严重撑大量化截断区间，导致占据绝大多数的密集有效数据被分配到极少的量化位阶，彻底损失量化分辨率。

3、此外，传统ptq方法缺乏低成本的误差阻断机制，量化舍入噪声经过线性瓶颈层传播时会产生级联放大效应，最终造成网络输出特征严重失真。

技术实现思路

1、为解决现有技术无法适配通道级异构分布、量化后模型推理精度不足的问题，本发明提出了一种基于高阶统计矩形态感知的神经网络动态量化方法及系统，进行通道级量化策略的路由调度，在极低校准算力消耗下，最大限度保留神经网络特征信息，提升定点推理精度。

2、为解决上述技术问题，本发明的技术方案如下：

3、一种基于高阶统计矩形态感知的神经网络动态量化方法及系统，包括以下步骤：

4、s1：将无标签标准数据集输入至预训练的神经网络模型，进行前向推理，并记录神经网络模型的每一中间层、每一通道对应的激活特征图数据序列；所述无标签标准数据集为典型场景图像组成的数据集；

5、s2：计算每个激活特征图数据序列的高阶统计矩；所述高阶统计矩包括偏度和峰度，基于所述偏度和峰度计算双峰系数；

6、s3：根据所述峰度、双峰系数，在预设的决策路由树中，将激活特征图数据序列路由至对应的量化器，对激活特征图数据序列对应的通道进行量化处理，得到对应通道的量化参数；所述决策路由树包括若干个处理分支，每一个分支为不同通道激活分布特点的激活特征图数据序列匹配对应通道的量化器；

7、s4：对神经网络模型的目标层进行无梯度的前馈补偿，得到修正后的偏置参数；所述目标层为接在量化后的线性瓶颈层之后的下一层卷积层；

8、s5：基于所有通道的量化参数与修正后的偏置参数，得到量化后符合部署要求的神经网络模型。

9、优选地，在所述s2中，所述高阶统计矩还包括一阶样本均值和二阶样本方差，基于所述一阶样本均值和二阶样本方差，计算偏度和峰度；

10、所述偏度的表达式为：，所述峰度的表达式为：；

11、基于所述偏度和峰度，计算表征分布形态聚集特性的双峰系数bc，计算表达式为：。

12、优选地，所述决策路由树包括双峰形态处理分支、长尾形态处理分支及偏态形态处理分支；在所述双峰形态处理分支中，激活特征图数据序列对应的通道激活分布为非标准双峰分布，将激活特征图数据序列路由至双峰解耦量化器；在所述长尾形态处理分支中，激活特征图数据序列对应的通道具有显著的长尾极端值效应，将激活特征图数据序列路由至概率密度梯度感知双端截断量化器；在所述偏态形态处理分支中，激活特征图数据序列对应的通道为普通单峰偏态分布，将激活特征图数据序列路由至非对称均方误差量化器。

13、优选地，在所述双峰形态处理分支中，当时，激活特征图数据序列对应的通道激活分布为非标准双峰分布，将激活特征图数据序列路由至双峰解耦量化器；所述双峰解耦量化器用于定位左右两个高密度峰值中心，采用两段式非均匀阈值对峰值区域进行高分辨率密集量化位阶分配，对峰值间的低密度区域进行稀疏映射，输出两组最优缩放因子和零点偏移，一组对应左峰值区域的量化区间，另一组对应右峰值区域的量化区间，同时输出低密度区域的映射参数。

14、优选地，在所述长尾形态处理分支中，当且时，激活特征图数据序列对应的通道具有显著的长尾极端值效应，将激活特征图数据序列路由至概率密度梯度感知双端截断量化器，在概率密度梯度感知双端截断量化器中，进行闭环收缩处理。

15、优选地，所述进行闭环收缩处理的过程，包括：

16、获取激活特征图数据序列的绝对最大值与绝对最小值，将绝对最大值与绝对最小值分别作为初始上截断边界和初始下截断边界；

17、基于预设的收缩步长，分别自初始上截断边界向下、自初始下截断边界向上进行收缩，在每一次收缩迭代中，计算边界微区内的特征点数量占全部特征点总数的概率密度值及其密度梯度，所述边界微区为每次收缩所截掉的中间区域；

18、若当前边界微区的密度梯度低于预设静息阈值，则继续基于预设的收缩步长收缩边界；若在某次迭代中密度梯度突破阈值，则停止该侧边界的收缩，将当前下截断阈值与上截断阈值作为最终量化区间的绝对阈值，将密度发生突变的左右拐点作为截断点，保留高密度主体区间，去除左右两端低密度长尾极端值，对剩余的主体数据计算最优的缩放因子和零点偏移，输出一组量化参数。

19、优选地，在所述偏态形态处理分支中，当且时，激活特征图数据序列对应的通道为普通单峰偏态分布，将激活特征图数据序列路由至非对称均方误差量化器，通过搜索使局部误差最小的最优缩放因子和零点偏移，输出一组全局量化参数。

20、优选地，所述进行无梯度的前馈补偿的过程为：

21、对目标层，捕获第层的全精度浮点输出及经量化与反量化重构后的伪浮点输出，所述全精度浮点输出为由第层所有通道的激活特征图数据序列组合而成的整体，其中，c表示第c个通道；计算单层局部量化残差，表达式为：；

22、统计所述无标签标准数据集中的所有数据样本在第层的量化残差，并在通道维度上求取平均值，得到输入残差期望，利用第层的固定浮点权重矩阵，计算前馈误差的数学期望，将其作为补偿量，计算表达式为：，其中，表示数学期望的偏置量，表示卷积操作；

23、将所述数学期望的偏置量作为一阶静态常数项，叠加合并注入至第层的原生偏置参数中，得到修正偏置参数。

24、优选地，所述量化与反量化重构的过程为：

25、利用各通道的量化参数，对全精度浮点输出进行逐通道模拟量化，过程满足表达式：，其中，表示定点数据，表示最优缩放因子，表示零点偏移；

26、对定点数据进行反量化重构，得到伪浮点输出，过程满足表达式：。

27、本发明还提出了一种基于高阶统计矩形态感知的神经网络动态量化系统用于实现上述的一种基于高阶统计矩形态感知的神经网络动态量化方法，所述系统包括：

28、数据采集模块，用于将无标签标准数据集输入至预训练的神经网络模型，进行前向推理，并记录神经网络模型的每一中间层、每一通道对应的激活特征图数据序列；所述无标签标准数据集为典型场景图像组成的数据集；

29、形态特征提取模块，用于计算每个激活特征图数据序列的高阶统计矩；所述高阶统计矩包括偏度和峰度，基于所述偏度和峰度计算双峰系数；

30、量化参数计算模块，用于根据所述峰度、双峰系数，在预设的决策路由树中，将激活特征图数据序列路由至对应的量化器，对激活特征图数据序列对应的通道进行量化处理，得到对应通道的量化参数；所述决策路由树包括若干个处理分支，每一个分支为不同通道激活分布特点的激活特征图数据序列匹配对应通道的量化器；

31、一阶误差修复模块，用于对神经网络模型的目标层进行无梯度的前馈补偿，得到修正后的偏置参数；所述目标层为接在量化后的线性瓶颈层之后的下一层卷积层；

32、模型固化与输出模块，用于基于所有通道的量化参数与修正后的偏置参数，得到量化后符合部署要求的神经网络模型。

33、与现有技术相比，本发明技术方案的有益效果是：

34、本发明提出一种基于高阶统计矩形态感知的神经网络动态量化方法及系统，获取神经网络模型每一通道对应的激活特征图数据序列，通过计算其高阶统计矩和双峰系数，能够更精准地刻画激活值的实际分布形状，更能适应真实世界中图像数据分布的多样性；利用决策路由树为不同通道激活分布特点的激活特征图数据序列匹配对应通道的量化器，得到所有通道的量化参数，按通道、按分布特点的差异化处理，提升模型精度与压缩率的平衡点，为消除层级量化噪声的累积，对神经网络模型的目标层进行无梯度的前馈补偿，得到修正后的偏置参数，在不增加目标部署芯片任何推理算力负担的前提下，阻断量化噪声在层间的指数级扩散放大。基于所有通道的量化参数与修正后的偏置参数，得到量化后符合部署要求的神经网络模型，实现了高精度、高压缩率、低部署成本的神经网络模型量化。