正交非对称多尺度注意力模块、单目深度估计方法及系统

本发明属于计算机视觉、深度学习、多模态智能感知，具体涉及一种正交非对称多尺度注意力模块、一种轻量化多模态异步融合的单目深度估计方法，以及一种轻量化多模态异步融合的单目深度估计系统。

背景技术：

1、单目深度估计是计算机视觉领域的核心感知技术，凭借低成本、易部署的优势，广泛应用于机器人导航、自动驾驶、虚拟现实等场景，其核心目标是基于单目视觉输入重建场景三维深度信息。然而，传统rgb相机受固定帧率、低动态范围的固有缺陷限制，在高速运动、弱光、光照突变等极端复杂场景下，易产生运动模糊、过曝/欠曝问题，仅依靠rgb图像难以输出稳定、高精度的深度估计结果，无法满足高动态场景的感知需求。

2、事件相机作为受生物视觉启发的新型视觉传感器，以微秒级时间分辨率响应像素亮度的瞬时变化，输出包含坐标、时间戳、极性的异步事件流，具备高动态范围、无运动模糊、数据稀疏高效的硬件优势，可有效弥补传统rgb相机的感知短板，成为单目深度估计领域的研究热点。但事件流的空间稀疏性、时间高动态性、高频梯度触发的本征特性，也为深度学习模型的特征提取与多模态融合带来了全新技术挑战。

3、当前基于事件与图像融合的单目深度估计方法，普遍存在整体方法层面与特征提取模块层面的双重核心缺陷：

4、1.在方法整体架构上，现有模型要么完全摒弃rgb图像信息，无法实现双模态优势互补；要么强制要求事件与图像数据时间戳严格对齐，难以解决多模态数据时空对齐困难的问题；同时模型泛化能力差，在动静场景极速切换、极端光照条件下深度估计精度急剧下降。

5、2.现有模型还存在推理效率与精度难以平衡的问题：传统循环神经网络对时序线索的建模能力薄弱，而基于vit架构的模型虽提升了特征提取能力，却带来参数量与计算量的大幅飙升，违背事件相机低延迟、轻量化的应用初衷。

6、3.在特征提取模块上，现有技术对事件特征采用与图像特征完全相同的3×3各向同性卷积、同构多尺度注意力及常规平均/最大池化处理，未针对事件数据稀疏、高频定向、带正负极性交替的物理特性进行定制化设计：常规各向同性卷积会平滑抹除事件流特有的稀疏高频方向性边界，同构注意力机制无法适配事件与图像的模态差异造成信息浪费，常规池化则会因事件正负极性交替引发特征能量相互抵消，同时无法抑制孤立事件噪声，最终导致模型细节特征提取能力不足、抗干扰能力急剧下降。

7、综上，现有技术既缺乏针对事件数据本征特性定制的专用特征提取模块，也未形成兼顾精度、鲁棒性与轻量化的多模态异步融合深度估计方法，无法解决复杂动态场景下事件特征提取失效、多模态融合低效、模型推理笨重的行业痛点；同时深度估计结果的边缘精度不足、动态场景稳定性差，还会直接造成下游自动驾驶车辆避障决策偏差、无人机飞行路径规划失准、智能机器人导航定位误差增大，严重时甚至引发碰撞、失控等安全事故，因此亟需针对性的技术突破。

技术实现思路

1、为了解决现有事件特征提取方式与事件数据特性不匹配，导致边缘模糊、特征抵消和噪声干扰的技术问题，本发明提供了一种正交非对称多尺度注意力模块。在该正交非对称多尺度注意力模块的基础之上，为了解决现有多模态单目深度估计时空对齐难、鲁棒性差、无法兼顾精度与轻量化的技术问题，本发明提供了一种轻量化多模态异步融合的单目深度估计方法。另外，本发明还提供了一种实现该单目深度估计方法的单目深度估计系统。

2、一种正交非对称多尺度注意力模块，该模块部署于与事件相机、图像相机通信连接的嵌入式处理器中，以事件相机采集并经预处理得到的事件基底特征ut为输入，输出事件高频增强特征，用于生成单目深度估计图并驱动下游运动执行机构，模块包括：

3、分组单元，用于将输入的事件相机的事件基底特征ut在通道维度上均分为多个分组特征，并对各分组特征进行维度重排，得到各分组重排特征ug；

4、全局分支，用于对ug分别沿高度、宽度方向进行一维全局平均池化，得到高度、宽度全局特征；将两全局特征拼接后经卷积处理并切分，再与对应ug逐元素相乘并组归一化，得到各ug的全局上下文调制特征x1；

5、局部分支，用于对各ug分别进行水平、垂直深度卷积，提取水平、垂直高频梯度特征；将两类梯度特征拼接后经逐点卷积进行通道重组，得到各ug的局部定向梯度特征x2；

6、梯度幅值池化单元，用于分别提取各x2的绝对值，得到各ug的梯度能量矩阵e2；

7、权重融合单元，用于对同组的x1、x2与e2分别进行池化与特征交互计算，得到各ug的融合权重图ω；将全部的同组ω与ug逐元素相乘后，反投影并重塑恢复为与ut同维度的事件高频增强特征。

8、作为上述方案的进一步改进：事件基底特征ut的维度为b×c×h×w，b为ut的批次大小，c为ut的总通道数，h、w为ut的空间高度、宽度；在通道维度上将ut均分为g个分组特征，各分组特征的通道数为cg；对各分组特征进行维度重排，将b与g合并为维度bg，得到维度为bg×cg×h×w的ug。

9、作为上述方案的进一步改进：在全局分支中，将高度全局特征uh与宽度全局特征uw沿通道维度拼接后，经1×1卷积后得到融合特征t：

10、；

11、其中，concat为沿通道维度的拼接操作；conv1×1为1×1卷积；

12、再将融合特征t沿通道维度均等切分为高度分量特征th与宽度分量特征tw：

13、；

14、其中，split(·)表示沿通道维度的均等分操作；

15、对高度分量特征th与逆置换后的宽度分量特征tw分别经sigmoid函数σ激活生成注意力权重，与对应的ug逐元素相乘后，通过组归一化得到全局上下文调制特征x1：

16、；

17、其中，gn(·)为组归一化；permute-1(·)为逆置换；⊙为逐元素相乘。

18、作为上述方案的进一步改进：水平深度卷积为1×3深度卷积，垂直深度卷积为3×1深度卷积；两类梯度特征拼接后经1×1逐点卷积进行通道重组，重组后的局部定向梯度特征通道数与对应ug的通道数一致。

19、作为上述方案的进一步改进：在权重融合单元中，对全局上下文调制特征x1进行池化后经softmax归一化，得到全局权重向量a1：

20、；

21、其中，pool(·)为池化操作；r为实数域；b、g分别为ut的批次大小、分组特征的数量；cg为当前ug的通道数量；

22、将局部定向梯度特征x2重塑为适配的特征矩阵b2，与全局权重向量a1交互计算得到第一权重分量w1：

23、；

24、；

25、其中，reshape(·)为重塑操作；h、w分别为事件基底特征的空间高度、空间宽度；

26、对梯度幅值池化单元输出的梯度能量矩阵e2进行池化后经softmax归一化，得到梯度权重向量a2：

27、；

28、将全局上下文调制特征x1重塑为适配的特征矩阵b1与梯度权重向量a2交互计算得到第二权重分量w2：

29、；

30、；

31、将第一权重分量w1与第二权重分量w2相加后重塑，得到单ug对应的融合权重图ω：

32、。

33、作为上述方案的进一步改进：将融合权重图ω与分组重排特征ug逐元素相乘进行调制，得到调制后的ug，此时ug维度为bg×cg×h×w，b为ut的批次大小，c为ut的总通道数，h、w为ut的空间高度、宽度；对调制后的ug执行维度反投影与重塑恢复操作：先将合并的维度bg拆分为原始批次维度b与分组维度g，再将各调制后的ug的通道维度cg依次拼接还原为总通道数c，最终重塑为与输入事件基底特征同维度b×c×h×w的事件高频增强特征。

34、作为上述方案的进一步改进：对调制后的分组重排特征执行维度反投影时，按通道维度依次拼接各分组特征，拼接顺序与分组单元的通道均分顺序保持一致，确保总通道数精准还原为事件基底特征u t的原始总通道数c。

35、一种轻量化多模态异步融合的单目深度估计方法，包括以下估计步骤：

36、步骤一、通过事件相机采集场景光强变化的物理信号并转换为事件流，通过图像相机采集场景光学图像并转换为图像帧，并获取与事件流、图像帧对应的真实深度标签，组成双模态训练与测试数据集；

37、步骤二、对事件流进行时空体素化处理，将其转换为时空体素网格，并提取时空体素网格的事件基底特征ut；对图像帧进行灰度化预处理，得到灰度图像特征；

38、步骤三、构建包括事件特征编码分支与图像特征编码分支的双流编码器，分别对步骤二得到的事件基底特征ut、灰度图像特征进行多尺度特征提取；

39、步骤四、在事件特征编码分支的多尺度特征层中，部署正交非对称多尺度注意力模块，对事件基底特征ut依次执行分组重排、全局分支处理、局部分支处理、梯度幅值池化及权重融合操作，输出提纯后的事件高频增强特征；

40、步骤五、在图像特征编码分支中，采用高效多尺度注意力机制对灰度图像特征进行增强处理，得到增强后的图像特征；

41、步骤六、对步骤四输出的事件高频增强特征与步骤五输出的增强后图像特征，根据事件与图像的异步到达时序动态融合，更新共享隐状态；

42、步骤七、对步骤六得到的融合特征进行跨层跳跃连接解码，修正图像特征的运动模糊，输出与输入图像帧尺寸一致的单目深度估计图；将单目深度估计图转换为运动控制指令，输出至自动驾驶车辆的整车控制器、无人机飞行控制器或智能机器人运动执行器，驱动对应设备执行避障、路径规划或姿态调整动作。

43、作为上述方案的进一步改进：步骤六中的时序动态融合过程为：获取事件流与图像帧的实际时间戳，判断事件与图像的异步到达顺序；若事件先于图像到达，则基于当前事件高频增强特征更新共享隐状态，待图像到达后，结合增强后图像特征对共享隐状态进行补偿修正；若图像先于事件到达，则先基于增强后图像特征初始化共享隐状态，待事件到达后，通过当前事件高频增强特征更新共享隐状态，确保双模态特征异步融合的时序一致性。

44、一种轻量化多模态异步融合的单目深度估计系统，应用上述的正交非对称多尺度注意力模块，用于实现上述的轻量化多模态异步融合的单目深度估计方法，系统搭载于包含事件相机、图像相机和运动执行机构的感知设备中，事件相机、图像相机的输出端与系统的输入端电连接，系统的输出端与运动执行机构通信连接；系统包括：

45、数据采集模块，用于采集事件流、图像帧及对应真实深度标签；

46、预处理模块，用于对事件流、图像帧分别预处理，得到事件基底特征与灰度图像特征；

47、双流编码模块，用于分别对上述两种特征进行多尺度提取；

48、特征增强模块，部署所述正交非对称多尺度注意力模块，对事件基底特征进行处理，输出事件高频增强特征；

49、模态异步融合模块，用于对事件高频增强特征与图像特征进行异步融合，动态更新共享隐状态；

50、解码输出模块，用于对融合特征解码，输出与输入图像尺寸一致的单目深度估计图；其输出端连接运动执行机构，用于将单目深度估计图转换为控制指令并传输至运动执行机构；

51、控制模块，用于控制各模块有序运行，完成深度估计。

52、与现有技术相比，本发明的有益效果是：

53、1、正交非对称多尺度注意力模块通过分组解耦、全局正交建模、局部梯度提取、梯度幅值约束到双权重融合的递进式多单元协同处理：首先，分组单元将输入的事件基底特征ut在通道维度均分并维度重排，得到分组重排特征ug，通过通道维度的解耦与并行化处理，避免了传统全局处理方式下的特征混叠与信息冗余，为后续定向处理提供了轻量化、可并行的基础特征形式；随后，全局分支针对传统方法全局上下文建模不足引发的边缘模糊问题，对各ug分别沿高度、宽度方向进行一维全局平均池化，提取正交的高度与宽度全局特征，再经拼接、卷积处理与切分生成正交全局权重，与ug逐元素相乘并组归一化得到全局上下文调制特征x1，通过高度、宽度维度的正交全局建模，精准捕捉事件特征的长距离空间依赖，为边缘特征提供全局层面的约束，初步缓解了边缘模糊问题；紧接着，局部分支针对事件数据边缘敏感的特性，通过水平、垂直方向的深度卷积提取正交的高频梯度特征，再经逐点卷积通道重组得到局部定向梯度特征x2，摒弃传统各向同性卷积的弊端，实现了水平、垂直梯度的定向解耦提取，精准保留了事件边缘的高频细节，进一步强化了边缘特征的清晰度；在此基础上，梯度幅值池化单元针对事件数据正负极性叠加引发的特征抵消问题，通过提取各x2的绝对值生成梯度能量矩阵e2，直接屏蔽极性正负符号、仅保留梯度幅值强度信息，从根源上避免了正负极性特征相互抵消导致的有效梯度削弱问题，同时通过幅值量化区分了有效强梯度与噪声弱梯度，为后续权重融合提供了抗干扰的梯度能量信号；最后，权重融合单元通过对同组x1、x2与e2的池化与特征交互计算生成融合权重图ω，再经逐元素调制、反投影与维度重塑，输出与ut同维度的事件高频增强特征，该过程结合了全局上下文调制的全局约束与局部梯度、梯度能量的局部细节约束，通过双权重交互实现全局与局部信息的互补融合，同时依托梯度能量矩阵抑制了噪声弱梯度对应的权重响应，彻底解决了噪声干扰问题，最终得到的事件高频增强特征，既具备全局上下文约束下的清晰边缘，又避免了特征抵消与噪声干扰，完美适配了事件数据的固有特性。

54、2、单目深度估计方法通过双模态标准化预处理、双流轻量化编码、事件特征专属增强、图像特征高效增强、异步时序动态融合、跨层精准解码的全流程递进式设计，系统性解决现有多模态单目深度估计方法时空对齐难、场景鲁棒性差、精度与轻量化无法兼顾的三大核心技术问题。首先通过步骤一构建双模态数据集、步骤二将事件流时空体素化得到事件基底特征ut并对图像帧灰度化预处理，把异构异步的事件与图像数据转换为标准化同维度特征，消除模态原始格式差异带来的时空对齐前置障碍；其次步骤三采用轻量化双流编码器同步完成双模态多尺度特征提取，以轻量化卷积结构实现高效特征编码，为模型轻量化奠定基础；步骤四在事件分支部署正交非对称多尺度注意力模块，对事件特征依次执行分组重排、全局上下文建模、局部正交梯度提取、梯度幅值约束与双权重融合，从根源解决事件数据稀疏、极性特征抵消、噪声干扰、边缘模糊的问题，大幅提升高速运动、弱光、光照突变等复杂场景的估计鲁棒性；步骤五采用高效多尺度注意力机制对图像特征轻量化增强，在保留纹理结构信息的同时避免参数量与计算量激增；步骤六依据事件与图像异步到达时序动态更新共享隐状态，无需强制双模态时间同步，直接破解多模态时空对齐难题；步骤七通过跨层跳跃连接解码融合深层语义与浅层细节，有效修正图像运动模糊，保障深度估计精度；整体方法以轻量化分支与高效注意力模块替代传统重型网络，在通过事件特征增强与时序异步融合大幅提升精度与鲁棒性的同时，全程保持低参数量、高计算效率，真正实现深度估计精度、场景鲁棒性与模型轻量化的协同兼顾。

55、3、时序动态融合机制无需对事件流与图像帧进行强制时间同步，可依据二者实际采集时间戳自适应判断异步到达顺序，通过“先到先更新、后到后补偿”的灵活策略，从根本上解决双模态数据因采集频率、触发机制不同导致的时空对齐困难问题；同时能够始终保持共享隐状态的时序一致性与连续性，既充分发挥事件流高频、低延迟的特性快速响应场景变化，又依托图像帧补充纹理结构信息实现特征互补，有效避免因单模态数据缺失或延迟导致的深度估计中断、精度波动问题，大幅提升模型在高速运动、光照突变等复杂场景下的实时性与鲁棒性，且无需额外增加时序校准计算开销，完美契合模型轻量化与嵌入式部署的需求。

56、4、针对自动驾驶、无人机飞行、智能机器人等应用场景，本发明输出的高质量的单目深度估计图可有效缩小避障决策偏差、提升路径规划精度、降低定位误差，从感知源头减少因深度估计失真引发的碰撞、失控等安全风险。同时本发明输出的深度图遵循行业通用标准格式，可直接适配现有成熟的感知-控制-执行链路，无需对下游执行硬件与控制逻辑进行定制化改造，具备极低的落地成本与极高的工程适用性。