一种扩散模型量化压缩方法、装置、设备及介质与流程

摘要: 本发明涉及人工智能模型压缩与推理加速,尤其涉及一种扩散模型量化压缩方法、装置、设备及介质。背景技术:1、随着人工智能技术的逐渐发展,扩散模型作为基于迭代去噪过程...
一种扩散模型量化压缩方法、装置、设备及介质与流程

本发明涉及人工智能模型压缩与推理加速,尤其涉及一种扩散模型量化压缩方法、装置、设备及介质。

背景技术:

1、随着人工智能技术的逐渐发展,扩散模型作为基于迭代去噪过程的生成式人工智能模型,在图像生成、视频合成等内容生成任务中展现出卓越的性能。但是,随着大规模扩散模型不断涌现,其参数量逐渐攀升,需要占用较大的显存空间,对推理过程的计算资源和内存带宽提出了极高要求。

2、为缓解上述瓶颈,模型量化压缩技术被广泛采用。量化压缩的核心思想是以低精度数值格式,如4比特,替代高精度格式,如16比特浮点,来存储和计算模型参数与激活值,从而显著降低模型体积和计算开销。然而,扩散模型的权重矩阵和激活值中普遍存在严重的异常值分布,直接进行4比特量化会导致生成质量急剧下降。

3、现有技术中,公开了一种通过低秩分量吸收离群值以实现4比特扩散模型量化的低秩量化压缩方案(svdquant:absorbing outliers by low-rank components for 4-bitdiffusion models,iclr 2025),该方案将权重矩阵分解为高精度低秩分支与低比特量化残差的组合,通过低秩分支吸收权重中的异常值,从而降低量化分支的量化难度。

4、但是,svdquant方案采用的是完整奇异值分解,对权重矩阵进行低秩分解时计算量随维度的三次方增长,并且串行度高,无法充分利用图形处理单元(graphicsprocessing unit,gpu)张量核心进行并行加速,gpu计算利用率极低。此外,扩散模型转换器架构中不同层类型的低秩结构存在显著差异,而svdquant方案对所有线性层统一采用秩为32的低秩分支配置,导致压缩效率降低。并且,svdquant方案中的量化校准方法和推理算子均针对int4的均匀整数格点特性而设计,导致svdquant方案难以迁移至原生支持fp4(4位浮点数)矩阵乘法硬件指令的专用加速器平台。

5、因此,如何在保持扩散模型生成质量的前提下,以低于完整奇异值分解的计算代价完成离线校准、实现压缩预算的逐层最优分配、并完成向fp4专用加速器的迁移,是目前亟待解决的问题。

技术实现思路

1、本发明提供了一种扩散模型量化压缩方法、装置、设备及介质,可以解决现有扩散模型量化压缩方案中完整奇异值分解计算代价高、固定秩配置压缩效率次优以及难以迁移至fp4专用加速器的技术问题。

2、根据本发明的一方面,提供了一种扩散模型量化压缩方法,包括:

3、获取预训练扩散模型对应的基础权重矩阵及校准数据集,并基于所述基础权重矩阵及校准数据集对所述预训练扩散模型进行前向传播,确定所述预训练扩散模型中目标线性层对应的目标激活统计量;

4、基于所述目标激活统计量对所述基础权重矩阵进行平滑处理,确定所述目标线性层对应的平滑后权重矩阵及平滑因子,并基于所述平滑后权重矩阵在候选秩列表中确定所述目标线性层对应的目标秩;

5、基于所述目标秩对所述平滑后权重矩阵进行随机块幂迭代,得到所述目标秩对应的目标主子空间正交基,并基于所述目标主子空间正交基及平滑后权重矩阵进行量化感知迭代优化,得到所述目标线性层对应的目标低秩因子矩阵;

6、基于所述目标低秩因子矩阵及平滑后权重矩阵确定量化残差及权重缩放因子,并将各个所述目标线性层对应的目标低秩因子矩阵、量化残差、权重缩放因子及平滑因子部署至目标双核加速器,以使所述目标双核加速器执行所述扩散模型的推理。

7、根据本发明的另一方面,提供了一种扩散模型量化压缩装置,包括:

8、激活统计模块,用于获取预训练扩散模型对应的基础权重矩阵及校准数据集,并基于所述基础权重矩阵及校准数据集对所述预训练扩散模型进行前向传播,确定所述预训练扩散模型中目标线性层对应的目标激活统计量;

9、平滑处理模块,用于基于所述目标激活统计量对所述基础权重矩阵进行平滑处理,确定所述目标线性层对应的平滑后权重矩阵及平滑因子,并基于所述平滑后权重矩阵在候选秩列表中确定所述目标线性层对应的目标秩;

10、迭代优化模块,用于基于所述目标秩对所述平滑后权重矩阵进行随机块幂迭代,得到所述目标秩对应的目标主子空间正交基,并基于所述目标主子空间正交基及平滑后权重矩阵进行量化感知迭代优化,得到所述目标线性层对应的目标低秩因子矩阵;

11、部署推理模块,用于基于所述目标低秩因子矩阵及平滑后权重矩阵确定量化残差及权重缩放因子,并将各个所述目标线性层对应的目标低秩因子矩阵、量化残差、权重缩放因子及平滑因子部署至目标双核加速器,以使所述目标双核加速器执行所述扩散模型的推理。

12、根据本发明的另一方面,提供了一种电子设备,所述电子设备包括:

13、至少一个处理器;以及

14、与所述至少一个处理器通信连接的存储器;其中,

15、所述存储器存储有可被所述至少一个处理器执行的计算机程序,所述计算机程序被所述至少一个处理器执行,以使所述至少一个处理器能够执行本发明任一实施例所述的扩散模型量化压缩方法。

16、根据本发明的另一方面,提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于使处理器执行时实现本发明任一实施例所述的扩散模型量化压缩方法。

17、根据本发明的另一方面,提供了一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现本发明任一实施例所述的扩散模型量化压缩方法。

18、本发明实施例的技术方案,通过获取预训练扩散模型对应的基础权重矩阵及校准数据集,并基于基础权重矩阵及校准数据集对预训练扩散模型进行前向传播,确定预训练扩散模型中目标线性层对应的目标激活统计量。之后,基于目标激活统计量对基础权重矩阵进行平滑处理,确定目标线性层对应的平滑后权重矩阵及平滑因子,并基于平滑后权重矩阵在候选秩列表中确定目标线性层对应的目标秩。进一步,基于目标秩对平滑后权重矩阵进行随机块幂迭代,得到目标秩对应的目标主子空间正交基,并基于目标主子空间正交基及平滑后权重矩阵进行量化感知迭代优化,得到目标线性层对应的目标低秩因子矩阵。最后,基于目标低秩因子矩阵及平滑后权重矩阵确定量化残差及权重缩放因子,并将各个目标线性层对应的目标低秩因子矩阵、量化残差、权重缩放因子及平滑因子部署至目标双核加速器,以使目标双核加速器执行扩散模型的推理。由于通过随机块幂迭代替代完整奇异值分解、以fp4量化误差为评估依据的逐层自适应秩选择以及面向fp4矩阵乘法硬件指令的双核融合推理三者协同。解决了现有扩散模型量化压缩方案中完整奇异值分解计算代价高、固定秩配置压缩效率次优以及难以迁移至fp4专用加速器的问题,能够在保持扩散模型生成质量的前提下,以低于完整奇异值分解的计算代价完成离线校准、实现压缩预算的逐层最优分配、并完成向fp4专用加速器的迁移。

19、应当理解,本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征,也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。