一种基于间隔合并的视觉Transformer帧内注意力优化方法及系统

本发明属于计算机视觉三维重建，具体涉及一种基于间隔合并的视觉transformer帧内注意力优化方法及系统。

背景技术：

1、近年来，视觉transformer（vit）在多视图三维重建领域取得突破性进展，以vggt为代表的多视图transformer模型，采用帧内注意力与全局注意力交替执行的结构，实现了高精度的相机位姿估计、深度预测与稠密点云重建。然而，现有轻量化技术在适配该类模型时存在根本性缺陷，无法兼顾推理效率与三维几何精度。

2、当前主流token合并技术普遍采用全局无差别合并或每帧强制合并策略，其设计初衷仅面向图像分类、语义分割等二维视觉任务，完全忽略了三维重建对空间拓扑连续性、位置编码几何有效性、跨视图匹配一致性的刚性约束。将此类方法直接应用于多视图transformer时，会产生三类致命问题：其一，全局合并易将空间远距离、纹理相似的token错误合并，导致位置编码加权失真、失去物理几何意义；其二，跨区域合并破坏单帧空间拓扑关系，造成物体边缘模糊、深度跳变信息丢失；其三，全局token序列压缩导致全局注意力无法捕获长距离几何依赖，最终引发深度估计错乱、场景结构畸变、重建结果大面积空洞甚至崩溃。

3、滑动窗口机制虽已在swin transformer等二维模型中应用，但现有方案未与帧内/全局注意力分离、帧间隔触发、特殊token保护等策略结合，无法适配vggt交替注意力结构，也未解决三维重建特有的几何约束问题。同时，单一间隔合并策略缺乏局部空间约束，仍会产生跨区域错误合并，无法从根本上解决精度退化问题。

4、此外，现有token合并策略多采用固定合并阈值、固定合并比例或固定帧间隔参数，在整个多视图序列中对不同帧采用相同的压缩强度。然而，在实际三维重建任务中，不同输入帧的结构复杂度和纹理复杂度存在显著差异：纹理简单、特征冗余度较高的帧可以承受更强的token合并，而包含丰富纹理、边缘结构或局部几何变化的帧若采用相同压缩强度，则容易造成深度边界模糊、相机估计偏移和三维点云误差增大。因此，如何根据单帧特征分布和图像纹理复杂度自适应调节token合并比例，是现有多视图三维重建transformer轻量化方法尚未有效解决的问题。

5、综上，现有技术难以在不破坏三维几何信息、保证重建精度的前提下，根据多视图输入序列的内容复杂度动态调整token合并强度，亟需一种适配多视图transformer交替注意力结构的自适应轻量化优化方案。

技术实现思路

1、本发明的目的在于针对现有token合并技术忽略三维几何约束导致重建精度下降的问题，提供一种基于间隔合并的视觉transformer帧内注意力优化方法及系统，本发明并非token合并、滑动窗口、间隔采样技术的简单叠加，而是针对vggt类多视图transformer帧内+全局交替注意力的核心结构特征，以及三维重建任务空间拓扑、位置编码、跨视图匹配的刚性约束，提出的五重约束一体化创新方案，解决了现有轻量化技术无法兼顾推理效率与三维几何精度的技术矛盾。

2、本发明的核心创新在于构建了一种基于双参数自适应复杂度评分的帧内token合并机制。该机制通过分别计算输入帧的token特征复杂度指标和图像梯度复杂度指标，并利用两个可调权重参数对二者进行归一化融合，得到每一帧对应的自适应复杂度评分；随后根据该复杂度评分动态确定该帧的token合并比例或保留预算，使纹理简单、冗余度较高的帧执行更强合并，而对纹理丰富、结构复杂的帧执行更保守合并。该方案进一步结合帧内注意力专属合并、全局注意力完整保留以及特殊token强制保护机制，在降低计算复杂度的同时保持三维重建所需的几何一致性：

3、1.双指标复杂度估计：分别基于帧内patch token的特征方差和输入图像梯度强度计算token复杂度指标与纹理复杂度指标；

4、2.双参数自适应融合：利用两个可调权重参数λv与λg对上述两类复杂度指标进行归一化加权融合，得到帧级合并复杂度评分；

5、3.自适应合并比例分配：根据帧级复杂度评分动态确定不同帧的token合并比例、最大合并比例或最小保留token数；

6、4.帧内专属合并与全局完整保留：仅在帧内注意力阶段执行token合并，全局注意力阶段保持完整token序列；

7、5.特殊token保护机制：camera token、register token等特殊token不参与合并，以保持相机预测和全局特征稳定性；

8、6.可选局部空间约束：在部分实施例中，可将token合并限制在单帧局部窗口内，以进一步降低跨区域错误合并风险。

9、本发明无需改动模型主干网络、无需额外训练，以即插即用方式嵌入vggt等主流多视图transformer模型，在显著降低计算复杂度与内存占用的同时，完全保留三维重建所需的空间结构、几何一致性与跨视角匹配基础，实现了推理效率与重建精度的双重最优。

10、为实现上述目的，本发明的技术方案是：一种基于间隔合并的视觉transformer帧内注意力优化方法，包括：

11、初始化聚合器模块，配置token合并控制参数，所述参数包括：

12、a.是否启用帧内token合并开关，用于控制优化策略的启停；

13、b.token合并相似度阈值，用于判断token之间的相似程度；

14、c.帧合并间隔与帧合并起始偏移，用于控制token合并的触发位置；

15、d.token特征复杂度权重参数λv，用于调节token特征方差指标在自适应评分中的占比；

16、e.图像梯度复杂度权重参数λg，用于调节图像梯度指标在自适应评分中的占比；

17、f.自适应合并比例集合，包括低复杂度合并比例、中复杂度合并比例和高复杂度合并比例；

18、g.最大合并比例与最小保留token数，用于防止过度合并造成特征表达能力下降；

19、对输入的多帧图像进行预处理，通过patch embedding将图像转换为patchtoken，并在序列头部加入camera token和register token，同时为所有token添加位置编码，使模型具备空间感知能力；

20、维护两套独立的token序列，包括用于帧内注意力的帧内token序列和用于全局注意力的全局token序列；

21、在交替注意力处理过程中，对全局token序列执行全局自注意力计算，保持序列完整不合并；对帧内token序列执行帧内自注意力计算，根据帧合并间隔和帧合并起始偏移，判断当前帧是否满足合并触发条件；当满足合并触发条件时，计算当前帧的自适应复杂度评分si，并基于si确定当前帧的token合并比例ri；基于token合并相似度阈值和token合并比例ri，对帧内token序列执行token合并操作，并同步更新位置编码；

22、将帧内注意力输出特征与全局注意力输出特征进行拼接融合，得到最终输出特征。

23、所述方法，还包括：基于合并优化后的特征执行三维视觉参数推理任务，将融合后的特征输入对应预测头，完成相机位姿估计、深度图预测、稠密点云重建等任务输出。

24、进一步的，所述计算当前帧的自适应复杂度评分si，包括：

25、计算当前帧patch token的token特征复杂度指标vi；

26、计算当前帧输入图像的梯度复杂度指标gi；

27、对vi和gi分别进行归一化处理，得到归一化后的v'i和g'i；

28、通过公式si=(λv·v′i+λg·g′i)/(λv+λg+ε)计算自适应复杂度评分si，其中ε为防止分母为零的稳定项。通过调节λv与λg，可以使模型在不同应用场景下更加关注特征分布变化或图像纹理变化。

29、进一步的，对于第i帧输入图像，首先根据该帧patch token特征计算token特征复杂度指标vi。具体地，对该帧所有patch token在特征维度或token维度上计算方差、标准差或离散度统计量，用以表征该帧内部特征分布的复杂程度。vi越大，表示该帧token表征越分散，包含的结构信息越丰富。同时，根据第i帧原始图像或预处理图像计算图像梯度复杂度指标gi。具体可采用水平方向与垂直方向的梯度幅值均值、sobel梯度、差分梯度或其他边缘强度统计量，用以表征该帧纹理和边缘结构的复杂程度。gi越大，表示该帧包含更丰富的纹理或边界信息。

30、进一步的，所述token特征复杂度指标vi通过以下方式计算：

31、提取当前帧所有patch token在特征维度上的方差均值、token间特征离散度或标准差均值作为token特征复杂度指标vi。

32、进一步的，所述梯度复杂度指标gi通过以下方式计算：

33、对当前帧输入图像计算水平方向梯度x和垂直方向梯度y，计算水平方向梯度x和垂直方向梯度y梯度幅值的均值作为梯度复杂度指标gi。

34、进一步的，所述基于si确定当前帧的token合并比例ri，包括：

35、预设低复杂度合并比例rlow、中复杂度合并比例rmid和高复杂度合并比例rhigh，其中rhigh>rmid>rlow；

36、预设第一复杂度阈值t1和第二复杂度阈值t2；

37、若si

38、若t1≤si

39、若si≥t2，则设置ri=rlow。

40、进一步的，对帧内token序列执行token合并操作，包括：

41、对token特征进行l2归一化；

42、计算token之间的余弦相似度矩阵；

43、根据token合并相似度阈值筛选相似token组；

44、以相似度为权重对token进行加权平均，生成新的聚合token；

45、强制保护camera token和register token不参与合并；

46、设置最小保留token数与最大合并比例，防止过度合并导致特征退化。

47、进一步的，所述token合并操作还包括滑动窗口局部约束步骤：

48、将帧内token序列还原为与输入图像空间结构对应的二维特征网格；

49、设定固定尺寸的滑动窗口，仅对落入同一滑动窗口内的空间邻接token执行合并操作；

50、控制滑动窗口按照预设步长在特征网格上移动，直至遍历整帧图像。

51、进一步的，所述token合并控制参数还包括最大合并比例和最小保留token数；

52、在执行token合并操作时，限制当前帧的实际合并比例不超过最大合并比例，并确保合并后的token总数不低于最小保留token数。

53、进一步的，所述同步更新位置编码，包括：

54、记录每个新聚合token的合并来源映射关系；

55、根据合并映射关系，对被合并token的位置编码进行加权平均，生成新token的位置编码；

56、保持camera token和register token的位置编码不变。

57、本发明还提供了一种基于间隔合并的视觉transformer帧内注意力优化系统，执行如上述所述方法，包括：

58、参数配置模块，用于初始化并存储token合并控制参数；

59、token生成模块，用于对输入图像进行patch embedding，生成patch token，并添加camera token、register token及位置编码；

60、双token维护模块，独立维护用于帧内注意力的帧内token序列和用于全局注意力的全局token序列；

61、帧内注意力处理模块，用于执行帧内自注意力计算，并根据间隔策略触发token合并；

62、复杂度评分模块，用于计算当前帧的token特征离散度指标和图像梯度复杂度指标，并通过融合公式计算自适应复杂度评分si；

63、token合并模块，用于基于si确定合并比例，根据相似度阈值执行token筛选、加权聚合及token保护；

64、全局注意力处理模块，用于对全局token序列执行完整的全局自注意力计算；

65、位置编码更新模块，用于根据token合并关系同步更新位置编码；

66、结果融合模块，用于将帧内注意力输出特征与全局注意力输出特征进行拼接融合。

67、相较于现有技术，本发明具有以下有益效果：

68、本发明通过在视觉transformer帧内注意力阶段引入间隔式token合并机制，能够显著降低模型的计算复杂度、提升推理速度，同时大幅减少内存占用，使模型可在低显存gpu、边缘计算设备等多种硬件平台上高效部署；本发明仅对帧内注意力执行token合并，全局注意力始终保持完整token序列不变，在实现轻量化推理的同时最大限度保留三维几何信息与长距离特征依赖关系，确保相机位姿估计、深度估计与三维点云重建等任务的输出精度与原始模型保持一致；本发明所采用的合并策略具备高度灵活性与可控性，支持合并开关、相似度阈值、帧合并间隔、起始偏移、最大合并比例及最小保留token数等多级参数调节，可适配不同算力条件、精度要求与应用场景；模型在合并过程中强制保护cameratoken、register token等关键特殊token不参与合并，有效避免核心信息丢失，保证模型输出稳定可靠；此外，本发明采用即插即用式设计，无需改动原有主干网络结构，可直接嵌入vggt等主流多视图transformer模型，工程落地成本低、迁移性强，具备极强的通用性，可广泛应用于多视图三维重建、ar/vr、自动驾驶、机器人视觉、智能安防监控等各类基于交替注意力的多帧视觉任务中。

69、进一步地，本发明通过token特征复杂度权重λv与图像梯度复杂度权重λg构建双参数自适应调节机制，使token合并强度不再依赖固定阈值或固定比例，而是能够根据输入帧的特征分布和纹理结构动态变化。对于冗余度较高的简单帧，本发明能够提高合并比例以进一步降低计算量；对于纹理复杂或结构信息丰富的帧，本发明能够降低合并比例以保护深度边界、相机位姿和三维点云结构，从而在不同场景和不同视角输入下获得更稳定的效率与精度平衡。

70、综上所述，本发明利用的视觉transformer的交替注意力机制对模型的计算量进行了创新性优化，结合可动态调节的token合并以及合并间隔，能够根据自身所需来进行设置，在多环境下的计算机视觉重建任务中表现出色。试验结果表明其实验效果符合预期，提供了动态的快速的视觉重建方法。