一种面向视觉处理的基于路由软分组生成多快速权重矩阵并驱动动态MLP快网络的线性注意力方法

本发明涉及长序列视觉建模和神经网络动态参数生成，尤其涉及一种面向视觉处理的基于路由软分组生成多快速权重矩阵并驱动动态mlp快网络的线性注意力方法。

背景技术：

1、随着计算机视觉技术向高分辨率图像、长序列视频及端侧部署场景延伸，自注意力机制凭借全局上下文建模能力，已成为视觉transformer及其下游任务的核心基础模块。围绕注意力计算效率与表达能力的优化，现有技术主要形成了三类主流方案，但均存在部分技术缺陷。

2、第一类为基于softmax的标准自注意力方案。该方案的主要缺点在于计算复杂度和存储复杂度与token数量呈二次关系。对于高分辨率图像，token数量可达到数十万级，矩阵会带来巨大的显存占用和计算延迟，导致模型难以部署于实时图像增强、超高清图像处理、资源受限设备或长序列视觉任务中。此外，softmax attention虽然表达能力强，但为了降低成本，常需要采用窗口注意力、稀疏采样、轴向注意力等近似策略。这些近似策略可能引入局部窗口限制、采样偏差或额外设计复杂度，仍不能从根本上消除softmaxattention的二次复杂度问题。

3、第二类为常规线性注意力方案。存在三点核心缺陷：其一，单矩阵容量有限，全部n个token的信息被压缩至单个固定尺寸的权重矩阵中，当n远大于特征维度时，不同token的语义、空间、纹理信息相互混叠干扰，易出现容量饱和与信息损失；其二，网络表达能力不足，其本质为单层线性映射，缺少非线性激活与深层变换，难以拟合复杂的非线性视觉模式；其三，效率与性能难以兼顾，尽管计算成本降低，但在图像分类、目标检测、语义分割、图像增强等复杂视觉任务中，性能显著低于softmax自注意力方案。

4、第三类为非线性残差自注意力或专家门控注意力方案。此类方案均未突破现有架构的本质局限：非线性残差方案的核心仍基于qkt的二次相关性计算，未改变二次复杂度属性，且非线性仅作用于

q、

k、

v本身，未将注意力统计量转化为动态网络参数；专家门控方案的门控权重仅作用于专家输出或固定分支，并不直接参与键值外积的加权聚合，无法生成输入自适应的多层动态权重矩阵，也不能实现以动态权重驱动快网络逐层映射的计算机制，因此无法从根源上解决线性注意力的容量瓶颈与表达能力短板。

技术实现思路

1、本发明的目的是解决：在线性复杂度框架下，如何将大量token的全局信息分配到多个互相区分的动态权重矩阵中，并使这些动态权重矩阵参与后续动态mlp快网络的逐层映射，从而避免单矩阵信息冲突并提高线性注意力的动态容量。本发明所称线性注意力，是指不显式构造n×ntoken相关矩阵，而是先对键值外积进行全局聚合，再将聚合结果作用于查询特征的线性复杂度全局建模机制。

2、为实现以上目的，本发明提供了一种面向视觉处理的基于路由软分组生成多快速权重矩阵并驱动动态mlp快网络的线性注意力方法，包括以下步骤：

3、s1、将输入的图像、视频帧或视觉特征图转化为token序列x；

4、s2、对所述token序列x进行线性投影，生成查询矩阵、键矩阵、值矩阵以及分组路由logits；

5、s3、对所述分组路由logits在分组维度进行归一化处理，得到每个token对多个分组的软分组路由系数a；

6、s4、对于第个分组，基于对应的软分组路由系数对全部token的键向量与值向量的外积进行加权聚合，生成第个快速权重矩阵，全部快速权重矩阵组成由当前输入自适应生成的快速权重矩阵组{}；表示第个token被分配至第个权重矩阵的比例，为外积矩阵，为token序列x的通道维度；所述快速权重矩阵组{}是由当前输入序列的、和a共同生成并作为动态mlp快网络的权重使用的动态参数；

7、s5、以所述查询矩阵为动态mlp快网络的输入，将所述快速权重矩阵组{}作为所述动态mlp快网络的逐层动态权重，对查询特征进行逐层非线性映射；

8、s6、输出经所述动态mlp快网络处理后的线性注意力特征，用于下游图像分类、目标检测、语义分割或图像增强任务。

9、进一步的，步骤s1中，所述token序列x的获得方式为卷积嵌入、图像块嵌入、重叠式图像块嵌入、金字塔下采样中的一种或多种。

10、进一步的，步骤s2中，通过可学习线性投影参数分别生成查询矩阵、键矩阵、值矩阵以及分组路由logits，其中的维度包括token维度和分组维度。

11、进一步的，步骤s3中，所述归一化处理为softmax归一化。

12、进一步的，步骤s4中，所述生成第个快速权重矩阵的表达式为：

13、；

14、其中，为路由分组数量；

15、通过软分组路由系数的自适应分配，所述快速权重矩阵组{}中的不同快速权重矩阵分别对应不同的视觉token特征子空间、图像语义成分、图像空间区域或图像纹理模式。

16、进一步的，步骤s5中，所述动态mlp快网络包括至少两层动态映射层，每一层动态映射层使用所述快速权重矩阵组中的一个快速权重矩阵作为层权重。

17、进一步的，所述动态映射层的计算表达式为：

18、；

19、其中，表示归一化函数，表示非线性激活函数；

20、非线性激活函数为gelu、silu、relu、sigmoid或tanh中的至少一种，归一化函数为layernorm、rmsnorm、batchnorm或groupnorm中的至少一种。

21、进一步的，对所述路由系数a设置熵约束、负载均衡约束或组间差异约束，以提高不同快速权重矩阵之间的信息分工。

22、进一步的，所述方法不构造token间的n×n注意力矩阵，通过所述快速权重矩阵组对全局token信息进行线性复杂度聚合。

23、本发明采用上述一种面向视觉处理的基于路由软分组生成多快速权重矩阵并驱动动态mlp快网络的线性注意力方法，有益效果如下：

24、（1）本发明无需构造token间的n×n注意力矩阵，计算与存储开销随token数量呈近似线性增长，可有效支撑高分辨率图像、长序列视频等任务的全局上下文建模，显著降低显存占用与推理延迟，适配资源受限的端侧部署与实时处理场景；

25、（2）本发明通过路由软分组机制将不同token的键值外积自适应分配至多个快速权重矩阵，使各矩阵分别承载不同语义、空间或纹理子空间的信息，避免了常规线性注意力中单一全局矩阵的信息冲突与容量饱和，提升了全局token信息的编码效率与保真度；

26、（3）本发明以输入自适应生成的多快速权重矩阵作为动态mlp快网络的逐层动态权重，将常规线性注意力的单层线性映射拓展为带残差与激活的深层非线性变换，在维持线性复杂度优势的同时，大幅增强了对复杂视觉模式的拟合能力，在分类、图像增强等多类任务中实现了效率与精度的更优权衡；

27、（4）本发明的路由分组数量可根据任务需求灵活配置，以此平衡模型容量与计算开销；同时该注意力模块可无缝嵌入图像分类、目标检测、语义分割、图像生成等各类视觉网络架构，具备广泛的场景适配性与工程落地价值。