面向无人机航拍的全天候多模态小目标交通检测方法及系统

本发明属于目标检测，具体涉及一种基于 dualmamba-stdet（dual-modal bidirectional mamba small target detection network，双模态双向mamba小目标检测网络）的小目标检测方法及系统，面向无人机航拍场景，采用双模态自适应融合与双向 mamba状态空间模型，适用于全天候条件下的极小目标检测。

背景技术：

1、随着低空经济发展，无人机航拍在交通巡检、道路监测等领域的应用日益广泛，基于航拍图像的目标检测是实现交通流分析与异常感知的关键技术。然而，与地面视角不同，无人机航拍目标检测存在以下问题：飞行高度高使得车辆目标像素占比常小于32×32，经深度网络多次下采样后细节特征易丢失；城市交通场景存在密集遮挡、目标重叠及类别外观相似情况；全天候作业要求算法在白天强光、夜间低照、雾霾等条件下保持稳定，单一可见光模态在弱光环境下信息退化严重。

2、针对上述问题，现有技术分为单模态检测方法与双模态融合方法两类。单模态检测方法将yolo、faster r-cnn（加速区域卷积神经网络）等通用检测器直接应用于无人机rgb或红外数据，该类方法未利用两种模态的互补信息，在弱光或复杂背景下检测精度受限。双模态融合方法依据融合时机分为早期融合、中期融合与决策级融合。现有典型技术包括：通过特征图拼接或逐元素相加实现早期融合，但模态间相互干扰未被抑制；引入注意力机制的crossmodalnet（跨模态网络）采用双向交叉注意力增强跨模态语义交互，但未考虑场景光照变化对模态可靠性的全局影响；rtmf-net（rgb-tir multimodal fusionnetwork，rgb-tir多模态融合网络）等轻量化框架采用双流结构与注意力融合，仍缺少对局部区域模态差异的细粒度建模。此外，transformer（基于自注意力机制的深度神经网络架构）虽具备全局建模能力，但其注意力计算的二次复杂度限制了高分辨率特征下的效率。上述现有技术的共同不足在于：既未建立面向环境光照变化的模态选择策略，也未对局部区域内模态优势差异进行显式建模，导致跨模态融合的自适应性不足。同时，主流检测网络受限于卷积的局部感受野，对远距离小目标的全局上下文建模能力存在局限。

3、为此，本发明提出了一种基于dualmamba-stdet的面向无人机航拍的全天候多模态小目标交通检测技术，其通过双门控跨模态自适应融合机制显式建模全局光照响应与局部差异响应，并结合双向mamba状态空间模型增强全局上下文感知，以解决现有技术在多模态融合不充分、小目标特征易丢失及全天候场景鲁棒性不足的技术问题。

技术实现思路

1、本发明的目的是提供一种基于dualmamba-stdet（双模态双向mamba小目标检测网络）的面向全天候无人机航拍场景的多模态小目标快速检测方法及系统，以解决现有技术中多模态融合效率低、小目标检测精度差及环境适应性弱的技术问题。

2、为实现上述目的，本发明采用的技术方案是：

3、一种基于dualmamba-stdet（双模态双向mamba小目标检测网络）的面向无人机航拍的全天候多模态小目标交通检测方法，包括以下步骤：

4、步骤1：获取同一场景下对齐的可见光rgb图像与红外ir图像，构建双流骨干网络分别对两种模态（即可见光rgb图像与红外ir图像）进行独立的多尺度特征提取，得到层级一一对应的rgb特征金字塔与ir特征金字塔。相同层级的rgb特征与ir特征空间分辨率、通道维度与下采样倍率完全一致，构成多组rgb与ir同尺度特征对。

5、步骤2：针对步骤1输出的rgb与ir同尺度特征对，通过光照门生成全局光照权重以评估两种模态的整体可靠性，通过差异门计算特征差异并生成局部差异权重以刻画区域模态互补优势；将光照权重与差异权重共同作用于原始特征，得到自适应融合特征。

6、步骤3：将步骤2输出的融合特征展平为序列表示，沿前向与后向通过双向mamba状态空间模型进行全局依赖编码，融合双向输出后重塑为增强特征；采用自顶向下上采样与跨层拼接策略，构建包含p2至p5（p2至p5是专业术语，为目标检测领域特征金字塔的标准层级命名，分别对应高分辨率到低分辨率特征层）的多尺度检测特征金字塔，其中，高分辨率层聚焦小目标检测。

7、步骤4：将步骤3构建的多尺度检测特征金字塔（即 ）输入至整个dualmamba-stdet 网络（包括双流骨干、双门控融合、双向 mamba、yolo26 neck 及多尺度检测头）进行端到端训练。训练过程中，引入小目标优先学习机制（small targetattention learning，stal），根据目标像素面积赋予小样本更高损失权重；当训练符合设定条件时，停止训练，例如，当训练轮数达到100轮且验证集上的损失函数趋于收敛、检测精度不再显著提升时，停止训练。

8、步骤5：在检测阶段，采用多尺度检测头对步骤3得到的多尺度特征金字塔（即）进行分类、回归与置信度预测，输出最终的检测结果，包括目标类别、边界框位置及置信度分数。

9、本发明还公开了一种面向无人机航拍的全天候多模态小目标交通检测系统，用于执行上述方法，其包括如下模块：

10、rgb与ir同尺度特征对构建模块：获取同一场景下对齐的可见光rgb图像与红外ir图像，构建双流骨干网络分别对可见光rgb图像与红外ir图像进行独立的多尺度特征提取，得到层级一一对应的rgb特征金字塔与ir特征金字塔，构成多组rgb与ir同尺度特征对；

11、自适应融合特征模块：针对输出的rgb与ir同尺度特征对，通过光照门生成全局光照权重以评估两种图像的整体可靠性，通过差异门计算特征差异并生成局部差异权重以刻画区域模态互补优势；将光照权重与差异权重共同作用于原始特征，得到自适应融合特征；

12、多尺度检测特征金字塔构建模块：将输出的融合特征展平为序列表示，沿前向与后向通过双向mamba状态空间模型进行全局依赖编码，融合双向输出后重塑为增强特征；采用自顶向下上采样与跨层拼接策略，构建包含p2至p5的多尺度检测特征金字塔；

13、训练模块：将构建的多尺度检测特征金字塔输入至双模态双向mamba小目标检测网络进行端到端训练，训练过程引入小目标优先学习机制，根据目标像素面积赋予小样本高于设定值的损失权重；当训练符合设定条件时，停止训练；

14、检测模块：采用多尺度检测头对得到的多尺度特征金字塔进行分类、回归与置信度预测，输出最终的检测结果。

15、与现有技术相比，本发明的有益效果在于：

16、第一，通过dualmamba-stdet中的双门控（光照门+差异门）跨模态融合机制，实现了从场景全局到局部区域的双层次自适应融合，相比现有简单拼接或相加方法，显著提升了多模态信息利用效率，在夜间、阴影等光照恶劣条件下仍能保持高检测精度。

17、第二，将双向mamba结构引入双模态小目标检测任务中，利用其全局感受野有效弥补卷积网络对远距离上下文建模的不足，增强了对小目标及其周围环境的语义关联能力。

18、第三，本发明提出的stal小目标优先学习机制，从训练优化层面破解了小目标被大目标样本主导梯度更新的难题，显著提高了小目标召回率。

19、第四，经实验，本发明dualmamba-stdet方法在dronevehicle公开数据集上达到77.9% map@0.5，推理速度40.2 fps，满足实时检测要求，具有良好的工程部署价值。