一种面向边缘部署的视觉自回归模型结构化剪枝方法

本发明涉及人工智能、计算机视觉、生成式模型、深度神经网络压缩和边缘设备部署，尤其涉及一种针对下一尺度视觉自回归模型的金字塔感知结构化剪枝方法、系统、电子设备及计算机可读存储介质，具体涉及一种面向边缘部署的视觉自回归模型结构化剪枝方法。

背景技术：

1、视觉自回归模型近年来在图像生成、图像编辑和多模态生成任务中表现出较强的生成质量和可扩展性。与传统逐令牌自回归模型不同，下一尺度视觉自回归模型通常按照由粗到细的尺度层级进行生成：先生成低分辨率或粗尺度令牌以决定图像的全局语义和布局，再生成高分辨率或细尺度令牌以补充纹理和局部细节。该类模型在同一尺度内部可并行生成令牌，因此相比逐令牌生成能够显著减少生成步数。

2、然而，现有高质量视觉自回归模型通常具有较大的参数规模和较高的计算开销，在移动终端、嵌入式设备、端侧ai设备等资源受限硬件上部署时面临存储占用高、推理时延大、功耗高等问题。为了使该类模型可在边缘端低时延运行，需要对模型进行有效压缩。

3、网络剪枝是神经网络压缩的重要技术路径。非结构化剪枝虽然能够以单个权重为粒度实现较高稀疏率，但所得稀疏模式不规则，难以直接利用通用硬件上的密集矩阵乘法算子获得端到端加速。结构化剪枝通过删除完整的注意力头、通道、神经元或层等结构单元，可获得更规整的小模型，更适合在cpu、gpu、npu或移动端推理框架上部署。

4、基于最优脑外科手术（optimal brain surgeon，obs）的二阶剪枝方法能够利用hessian矩阵估计剪枝引起的输出扰动，并通过闭式补偿减小权重删除后的误差。但现有obs类结构化剪枝方法多面向大语言模型或一般transformer结构，通常将校准令牌直接展平或拼接后计算hessian。对于下一尺度视觉自回归模型而言，细尺度令牌数量远大于粗尺度令牌数量，直接拼接会使hessian统计被后期细尺度令牌主导，导致决定全局布局的粗尺度表示在重要度估计中被低估。

5、此外，下一尺度生成具有自回归误差级联特性：若剪枝在粗尺度阶段引入误差，后续细尺度生成会在该错误基础上继续细化，使局部纹理即使较好也难以恢复全局结构。因此，普通剪枝策略直接应用于视觉自回归模型时，容易出现全局语义失真、生成质量下降和实际端侧加速收益不足等问题。

6、因此，有必要提出一种面向下一尺度视觉自回归模型的结构化剪枝方案，使其在构建hessian统计、确定结构单元重要度、执行闭式补偿和恢复训练时显式考虑多尺度金字塔结构，从而在保持生成质量的同时降低模型参数量、推理时延和部署成本。

技术实现思路

1、本发明的目的在于解决现有结构化剪枝方法直接用于下一尺度视觉自回归模型时存在的多尺度令牌统计失衡、粗尺度语义保护不足、剪枝误差级联放大、hessian矩阵求逆不稳定以及边缘端实际时延降低不足的技术问题。

2、为解决上述技术问题，本发明的目的在于提供一种面向边缘部署的视觉自回归模型结构化剪枝方法，包括如下步骤：

3、s1：获取待剪枝的下一尺度视觉自回归模型、校准图像集以及目标剪枝比例，所述下一尺度视觉自回归模型用于按照由粗到细的多个尺度逐尺度生成图像令牌；所述下一尺度视觉自回归模型包括多层transformer块，每个transformer块包括注意力模块和前馈网络模块；

4、s2：利用视觉量化编码器和所述下一尺度视觉自回归模型采用的残差金字塔，对所述校准图像集进行预编码，得到与模型推理过程一致的多尺度校准令牌；各尺度令牌按照由低分辨率到高分辨率的顺序对应粗到细的图像生成阶段；

5、s3：以所述多尺度校准令牌进行前向传播，在待剪枝层中对不同尺度的输入激活进行流式采集，并基于令牌数量归一化、尺度衰减权重和阻尼项构建金字塔感知hessian矩阵；

6、s4：以注意力头维度和前馈网络通道作为可剪除的结构单元，使剪枝后的模型仍保持硬件友好的稠密子结构，利用所述金字塔感知hessian矩阵计算各结构单元的obs剪枝重要度；

7、s5：根据所述obs剪枝重要度从低到高迭代剪除所述结构单元，并基于所述金字塔感知hessian矩阵的逆矩阵对未剪除权重执行闭式补偿，直至达到所述目标剪枝比例，获得结构化稀疏模型；

8、s6：采用渐进尺度感知蒸馏对所述结构化稀疏模型进行恢复训练，得到面向边缘设备部署的压缩视觉自回归模型。

9、进一步地，所述下一尺度视觉自回归模型将图像特征表示为k个不同空间分辨率的令牌图，并按照由粗尺度到细尺度进行条件生成；其中，k为视觉令牌尺度总数，k为尺度序号，为第k尺度的视觉令牌图，为全部尺度视觉令牌的联合概率分布，为在前个尺度视觉令牌条件下生成第k尺度视觉令牌的条件概率；所述多尺度校准令牌通过将所述校准图像集中的真实校准图像输入视觉量化编码器并经残差金字塔分解获得。

10、进一步地，所述金字塔感知hessian矩阵按照构建，其中，为第i尺度的输入激活，为第i尺度的令牌数量，为使粗尺度获得较高相对贡献的尺度衰减权重，λ为大于0的阻尼系数，i为单位矩阵，该构造既抵消细尺度令牌数量优势，又避免仅使用粗尺度令牌造成的秩亏问题；所述输入激活按批量和尺度流式统计，并在对应加权hessian矩阵累计完成后释放。

11、进一步地，所述结构单元包括注意力输出投影矩阵中与同一注意力头关联的列以及前馈网络下投影矩阵中的中间通道或通道组；将结构单元内各列的obs二阶误差分数求和得到单元级重要度，在剪除单元级重要度最低的结构单元后按照对保留权重执行闭式补偿，其中，表示权重矩阵w的第p列，p表示待剪除权重列的索引，表示的第行，表示的第个对角元素，表示施加于保留权重的闭式补偿更新量。

12、进一步地，所述s5中，剪枝过程包括：对于前馈网络通道，采用由大组到小组的动态分组剪枝，先以较大的通道组批量剪除低重要度通道，随后随着剩余剪枝预算减少而逐步减小通道组大小，以兼顾剪枝效率和精度控制。

13、进一步地，所述采用渐进尺度感知蒸馏对所述结构化稀疏模型进行恢复训练，包括：将未剪枝的视觉自回归模型作为教师模型，将压缩后的结构化稀疏模型作为学生模型；

14、所述渐进尺度感知蒸馏采用连续尺度门控控制第i尺度在训练步t的渐进激活，所述连续尺度门控定义为：；

15、其中，为第i尺度开始激活的训练步，为门控值由0连续增加至1的爬升步数，并通过设置使粗尺度早于细尺度激活；以设置尺度蒸馏权重，其中c为归一化常数，为第i尺度的令牌数量；

16、总训练目标为：；

17、其中，为采用相同连续尺度门控的任务损失，τ为蒸馏温度，为第i尺度的教师输出分布与学生输出分布之间的kl散度。

18、进一步地，所述目标剪枝比例为40%，所述边缘设备为搭载m4芯片的ipad pro；将所述压缩视觉自回归模型转换为core ml模型并集成至swift单图生成应用，通过将执行计算单元配置为cpu与gpu组合，减少不受神经网络处理单元支持的操作所引起的计算单元回退和跨单元切换，并评估单图生成时延、参数量和生成质量。

19、本发明还提供了一种面向边缘部署的视觉自回归模型结构化剪枝系统，包括：

20、多尺度校准模块，用于由校准图像生成多尺度校准令牌；

21、金字塔感知统计模块，用于流式采集各尺度输入激活并构建金字塔感知hessian矩阵；

22、结构化剪枝与补偿模块，用于以注意力头和前馈网络通道为结构单元执行obs重要度评估、迭代剪枝和闭式补偿；

23、尺度感知蒸馏模块，用于以由粗到细的尺度课程和尺度加权蒸馏恢复压缩模型；

24、边缘部署模块，用于将压缩模型转换为目标边缘设备支持的格式并配置端侧计算单元。

25、本发明还提供了一种电子设备，包括处理器和存储器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时实现所述的方法。

26、本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现所述的方法。

27、本发明的有益效果在于：

28、1）本发明在hessian统计阶段显式引入令牌数量归一化和尺度衰减权重，能够缓解细尺度令牌数量过多导致的统计偏置，使决定全局语义和布局的粗尺度表示获得充分保护。

29、2）本发明在多尺度加权gram矩阵中加入阻尼项，兼顾全尺度激活覆盖和矩阵正定性，提高obs闭式补偿的数值稳定性。

30、3）本发明以注意力头和前馈网络通道为结构单元进行剪枝，所得模型保持规整稠密结构，更容易在通用硬件和移动端推理框架中获得实际加速。

31、4）本发明采用渐进尺度感知蒸馏，使粗尺度语义先恢复、细尺度细节逐步加入，并通过尺度加权降低细尺度梯度支配，提升压缩模型的生成质量。

32、5）在var-d16的40%结构化剪枝实施例中，模型由约310m参数压缩至约230m参数，imagenet 256×256生成任务的fid为3.91；部署至ipad pro（m4）并采用cpu+gpu计算单元后，单图生成时延由约494ms降低至约277ms，获得约1.8倍端侧加速。