基于复数相位分解的图像处理低比特量化方法及装置

摘要: 本技术涉及模型压缩,尤其涉及一种基于复数相位分解的图像处理低比特量化方法及装置。背景技术:1、现有针对视觉transformer的低比特量化方法通常在实数域中对...
基于复数相位分解的图像处理低比特量化方法及装置

本技术涉及模型压缩,尤其涉及一种基于复数相位分解的图像处理低比特量化方法及装置。

背景技术:

1、现有针对视觉transformer的低比特量化方法通常在实数域中对单个标量权重进行均匀量化或可学习步长量化。

2、然而,此类方法以单个实数权重为基本编码单元,缺乏对权重块联合表示的能力;同时,其量化过程在极低位宽(如1~4比特)下模型表达能力受限,精度显著下降。此外,现有方法难以通过一套统一机制在1至4比特的多等级位宽下均保持良好精度,且推理阶段仍依赖常规乘法运算,难以充分挖掘极低比特量化在硬件上的计算加速潜力。

技术实现思路

1、本技术提供一种基于复数相位分解的图像处理低比特量化方法及装置,用以解决现有技术中极低比特下精度下降和实数域表达受限的问题,实现低比特下的高精度、多比特兼容与硬件友好量化。

2、第一方面,本技术提供一种基于复数相位分解的图像处理低比特量化方法,包括如下步骤:

3、将神经网络模型中的目标实值线性层的原始权重矩阵,重参数化为复数域上的多个复数分支;

4、对各复数分支中的复权重执行相位域量化,相位域量化包括:提取复权重的相位角,并将相位角映射到离散相位集合中的对应相位状态,得到量化后的各复数分支权重;

5、基于量化后的各复数分支权重,重构得到等效实值量化矩阵;

6、基于等效实值量化矩阵替换目标实值线性层的原始权重矩阵,以完成对神经网络模型的低比特量化;

7、其中,低比特量化后的神经网络模型用于接收待处理图像的图像特征张量,并通过等效实值量化矩阵进行线性映射处理以输出对应的图像视觉处理结果。

8、根据本技术提供的一种基于复数相位分解的图像处理低比特量化方法,目标实值线性层的输入维度和输出维度均为偶数的情况下,将神经网络模型中的目标实值线性层的原始权重矩阵,重参数化为复数域上的多个复数分支,包括:

9、将原始权重矩阵按照输出维度和输入维度进行对半分块,得到四个子矩阵;

10、基于四个子矩阵之间的线性运算组合,构造得到第一复数分支和第二复数分支。

11、根据本技术提供的一种基于复数相位分解的图像处理低比特量化方法,四个子矩阵分别为a11、a12、a21、a22;

12、根据以下公式构造第一复数分支u和第二复数分支w:

13、其中,u的实部为,u的虚部为;w的实部为,w的虚部为。

14、根据本技术提供的一种基于复数相位分解的图像处理低比特量化方法,基于量化后的各复数分支权重,重构得到等效实值量化矩阵,包括:

15、获取量化后的第一复数分支和第二复数分支的实部与虚部;

16、根据实部与虚部线性重构得到等效实值量化矩阵,等效实值量化矩阵的维度与原始权重矩阵一致。

17、根据本技术提供的一种基于复数相位分解的图像处理低比特量化方法,等效实值量化矩阵包括四个量化子矩阵、、和;

18、根据以下公式重构得到等效实值量化矩阵:

19、;

20、;

21、其中,和为量化后的第一复数分支的实部和虚部,和为量化后的第二复数分支的实部和虚部。

22、根据本技术提供的一种基于复数相位分解的图像处理低比特量化方法,离散相位集合为以下任一种:

23、由两个相对方向构成的二方向码本;

24、由四个方向构成的四方向码本;

25、由八个方向构成的八方向码本;

26、由十六个方向构成的十六方向码本。

27、根据本技术提供的一种基于复数相位分解的图像处理低比特量化方法,当离散相位集合为四方向码本时,将相位角映射到离散相位集合中的对应相位状态,得到量化后的各复数分支权重,包括:

28、将复平面划分为四个扇区,并将各复数分支中的复权重的相位角分别映射到正实轴方向、正虚轴方向、负实轴方向或负虚轴方向;

29、分别统计分配至实轴方向和虚轴方向的复权重的绝对值均值,作为对应方向的幅值保留信息,得到量化后的各复数分支权重。

30、根据本技术提供的一种基于复数相位分解的图像处理低比特量化方法,相位域量化采用多步残差量化方式;提取复权重的相位角,并将相位角映射到离散相位集合中的对应相位状态,得到量化后的各复数分支权重,包括:

31、针对各复数分支中的每一个复权重:

32、对复权重执行第一步相位域量化,得到第一步量化结果;

33、计算复权重与第一步量化结果之间的残差;

34、对残差执行至少一次后续的相位域量化,得到至少一个后续量化结果;

35、将第一步量化结果与至少一个后续量化结果相叠加,得到复权重的量化值;

36、由所有复权重的量化值构成量化后的各分支权重。

37、根据本技术提供的一种基于复数相位分解的图像处理低比特量化方法,还包括可学习全局相位旋转对齐步骤:

38、获取可学习的旋转角度;

39、根据旋转角度对复权重进行预旋转,得到旋转后的复权重;

40、对旋转后的复权重执行相位域量化,得到量化后的旋转域权重;

41、根据旋转角度对量化后的旋转域权重进行反向旋转,得到量化后的各复数分支权重。

42、根据本技术提供的一种基于复数相位分解的图像处理低比特量化方法,第一复数分支和第二复数分支配置有相互独立的量化参数;

43、量化参数包括以下至少一项:离散相位集合的形态、可学习的旋转角度、量化缩放因子。

44、根据本技术提供的一种基于复数相位分解的图像处理低比特量化方法,当目标实值线性层的输入维度或输出维度为奇数时,对目标实值线性层执行以下任一种处理:

45、对原始权重矩阵进行零填充以扩展为偶数维度,执行低比特量化完成后再移除因零填充产生的对应输出维度;

46、或者,保持目标实值线性层为全精度浮点层,不执行低比特量化;

47、或者,对原始权重矩阵进行维度拆分,以分离出偶数维度部分执行低比特量化。

48、基于复数相位分解的图像处理低比特量化方法第二方面,本技术还提供一种基于复数相位分解的图像处理低比特量化装置,包括如下模块:

49、重参数化模块,用于将神经网络模型中的目标实值线性层的原始权重矩阵,重参数化为复数域上的多个复数分支;

50、相位量化模块,用于对各复数分支中的复权重执行相位域量化,相位域量化包括:提取复权重的相位角,并将相位角映射到离散相位集合中的对应相位状态,得到量化后的各复数分支权重;

51、重构模块,用于基于量化后的各复数分支权重,重构得到等效实值量化矩阵;

52、替换模块,用于基于等效实值量化矩阵替换目标实值线性层的原始权重矩阵,以完成对神经网络模型的低比特量化;

53、其中,低比特量化后的神经网络模型用于接收待处理图像的图像特征张量,并通过等效实值量化矩阵进行线性映射处理以输出对应的图像视觉处理结果。

54、第三方面,本技术还提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行计算机程序时实现如上述任一种基于复数相位分解的图像处理低比特量化方法。

55、第四方面,本技术还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如上述任一种基于复数相位分解的图像处理低比特量化方法。

56、第五方面,本技术还提供一种计算机程序产品,包括计算机程序,计算机程序被处理器执行时实现如上述任一种基于复数相位分解的图像处理低比特量化方法。

57、本技术提供的一种基于复数相位分解的图像处理低比特量化方法及装置,通过将神经网络模型中目标实值线性层的原始权重矩阵重参数化为复数域上的多个复数分支,对各复数分支中的复权重提取相位角并映射到离散相位集合中完成相位域量化,随后基于量化后的各复数分支重构等效实值量化矩阵并替换原始权重矩阵。能够利用复数权重的方向性信息在极低比特下保持高精度,有效保留了图像特征的几何与空间表达能力,避免了在图像分类、目标检测等视觉任务中因量化带来的精度显著衰减;同时,通过选择不同大小的离散相位集合可以统一框架适配1至4比特的多等级位宽;且量化结果天然适配符号翻转与加减运算,支持硬件友好的高效推理部署,特别适合在算力受限的移动端或边缘智能设备上实现高帧率的图像实时处理,最终实现了针对图像处理任务的低比特、高精度与硬件友好量化。