面向无人机集群目标的端到端检测与重识别方法
本发明涉及计算机视觉,尤其涉及一种面向无人机集群目标的端到端检测与重识别方法。
背景技术:
1、随着消费级与工业级无人机的广泛普及,无人机”黑飞”、集群入侵等安全威胁日益严峻。无人机集群监视面临以下核心挑战:
2、(1)多目标多尺度检测困难。 无人机在监控画面中通常仅占据数十至数百像素,属于典型的小目标;同时集群飞行时无人机之间距离近、姿态各异,易出现密集遮挡,传统检测器在无人机场景下漏检率与误检率居高不下。
3、(2)个体身份保持困难。 无人机监视需要在连续视频帧中对每一架无人机进行”发现—锁定—跟踪—轨迹还原”,即不仅要知道”哪里有无人机”,还要知道”这一帧的无人机a是否就是上一帧的无人机a”。无人机外观高度相似(同型号几乎无法通过纹理区分),加之飞行过程中姿态、尺度、光照的急剧变化,使得传统的基于外观特征或运动预测的跟踪算法极易发生身份跳变(id switch)。
4、(3)分离式架构效率低。 当前无人机安防系统通常采用”先检测、后识别”的级联流水线:首先由目标检测器(如 yolo 系列)定位每一帧图像中的无人机区域,然后裁剪目标区域输入独立的 reid 网络提取个体特征,最后通过关联算法完成跨帧匹配。这种分离式架构存在三方面不足:其一,检测网络与 reid 网络各自独立,底层特征无法复用,造成计算冗余与推理延迟叠加,难以满足边缘部署的实时性需求;其二,两个模型需分别训练、分别调优,系统集成复杂度高;其三,检测阶段的定位误差(如边界框偏移)会直接传播至reid 特征提取阶段,造成误差累积。
5、(4)局部建模与全局感知的矛盾。 在无人机检测场景中,目标尺寸小且飞行速度快,要求检测模型既能捕获精细的局部边缘纹理以区分外观相似的无人机个体,又必须具备全局上下文感知能力以处理密集遮挡和集群空间关系。然而,传统纯卷积网络擅长局部特征提取但缺乏长距离依赖建模能力,而纯注意力机制虽然具有全局感受野但在密集小目标场景下计算代价过高,难以在边缘设备上实时运行。
6、综上所述,目前在无人机集群监视领域,亟需一种能够在单一模型中同时完成无人机目标检测与个体重识别的端到端方法,以克服分离式方案效率低、身份关联不稳定、局部-全局特征难以统一建模的技术瓶颈。
技术实现思路
1、本发明要解决的技术问题是针对上述现有技术的不足,提供一种面向无人机集群目标的端到端检测与重识别方法,通过单一模型在一次前向传播中同时输出无人机目标检测结果(边界框与类别)和个体级重识别嵌入向量。
2、为解决上述技术问题,本发明所采取的技术方案是:面向无人机集群目标的端到端检测与重识别方法,包括:
3、步骤s1:构建基于倒置残差移动块的骨干网络;构建包含多个 basicblock_irmb残差单元的骨干网络,骨干网络从输入的监控图像中提取四个尺度级别的特征图;
4、步骤s2:构建基于注意力机制的编码器;所述编码器对骨干网络输出的最高层特征图通过自注意力机制进行全局上下文建模,得到编码器输出的特征图,使深层语义特征融合全图信息;
5、步骤s3:构建多级高分辨率的特征金字塔颈部网络;将编码器输出的特征图和骨干网络输出的其他三级特征图输入特征金字塔颈部网络,通过自上而下的语义传递与自下而上的定位增强双路径融合,生成四个尺度的增强特征图,分别对应下采样倍率为 4, 8,16, 32 的特征层;
6、步骤s4:构建联合重识别的transformer 解码器进行无人机的检测与重识别;transformer解码器接收特征金字塔颈部网络生成的四个尺度的增强特征图,通过可变形交叉注意力机制与可学习的目标查询向量交互,输出每架无人机的预测边界框与类别置信度;同时,在transformer解码器内部嵌入重识别分支,重识别分支利用 roi align 操作从最高分辨率特征图中按预测边界框提取固定尺寸的个体区域特征块,经全尺度网络处理后,生成归一化的固定维度重识别嵌入向量,用于跨帧的无人机个体身份关联。
7、进一步地,所述 basicblock_irmb 残差单元为骨干网络的核心组件,其在标准basicblock 的基础上将第二个 convnormlayer替换为一个倒置残差移动块,第一个convnormlayer 保持为标准卷积,通过主路径输出与捷径路径输出之间的残差连接实现深层网络训练。
8、进一步地,所述 basicblock_irmb 残差单元包含两条并行路径:主路径和捷径路径;在主路径中,输入特征图依次经过标准 convnormlayer、irmb,输出特征图记为;当主路径中 convnormlayer 改变通道数或空间尺寸时,捷径路径通过 1×1 卷积将输入特征图映射为与主路径输出相同的通道数和空间尺寸;当通道数和尺寸均不变时,捷径路径直接将原封不动传递;
9、主路径和捷径路径合并输出:,形成残差学习。
10、进一步地,所述骨干网络从输入的监控图像中提取四个尺度级别特征图的全阶段配置为:
11、浅层阶段,包括阶段0~3:依次经过三个 convnormlayer 和一个 2 倍下采样最大池化,将输入的监控图像映射为特征图;
12、深层阶段,包括阶段 4~7:由 basicblock_irmb 残差单元堆叠而成;每个阶段堆叠 2 个basicblock_irmb残差单元,每个阶段输出不同尺度的特征图。
13、进一步地,所述编码器对骨干网络输出的最高层特征图通过自注意力机制进行全局上下文建模的具体方法为:
14、序列化:将最高层特征图的空间维度展开为一维 token 序列,每个 token 为256 维向量,共 t个 token。
15、多头自注意力:将t个 token 通过 多个注意力头的自注意力机制进行两两交互计算,得到多头注意力输出,使得每个 token 都能够直接聚合来自特征图任意空间位置的上下文信息;
16、前馈投影:将多头自注意力输出经隐藏维度 1024 的两层前馈网络进行非线性变换,得到编码器处理后的特征序列,进一步增强 token 的语义表达;该特征序列经重塑后作为编码器输出,即编码器输出空间分辨率为 20×20、通道数为 256 的特征图,该特征图全局感知了整个图像空间中无人机集群的分布关系。
17、进一步地,所述特征金字塔颈部网络将编码器输出的特征图与骨干网络输出的其他三级多尺度特征图输入包含跨尺度连接与重参数化卷积模块的特征金字塔颈部网络,通过自上而下的语义传递与自下而上的定位增强双路径融合,生成四个尺度的增强特征图,分别对应下采样倍率为 4, 8, 16, 32 的特征层。
18、进一步地,所述联合重识别的 transformer 解码器进行无人机的检测与重识别的具体为方法为:
19、解码器接收颈部网络输出的四层增强特征图,其中为最高分辨率特征图保留了最丰富的空间细节,作为重识别分支的输入特征图;
20、初始化个可学习的目标查询向量,其中为隐藏维度,为预设的最大检测目标数;
21、通过层解码器层迭代更新目标查询向量,每层解码器由自注意力模块、可变形交叉注意力模块和前馈网络依次组成;自注意力模块建模无人机目标查询向量之间的相互关系,可变形交叉注意力模块以目标查询向量为条件,从四层增强特征图序列中自适应采样关键点进行特征聚合;最后经 ffn 做深度特征变换;经 l 层解码器层迭代后的目标查询向量即为解码器输出;
22、解码器输出的目标查询向量经线性投影层得到预测边界框和类别分数,其中为目标类别数;
23、以解码器的预测边界框为区域建议,在p2层最高分辨率特征图上执行 roialign 操作,从特征图中提取每个目标查询向量对应目标区域的固定尺寸特征块;将特征块输入预先构建的全尺度网络,输出固定维度的特征向量,经归一化后得到重识别嵌入向量,其中嵌入维度。
24、进一步地,所述方法还构建包含目标检测损失、重识别三元组损失和重识别交叉熵损失的复合损失函数,在无人机标注数据集上对所述骨干网络、颈部网络、编码器、解码器及全尺度网络进行端到端联合训练优化。
25、采用上述技术方案所产生的有益效果在于:本发明提供的面向无人机集群目标的端到端检测与重识别方法,(1)端到端一体化,满足实时性要求。 通过单一模型在一次推理中同时输出无人机检测结果和个体级 reid 嵌入向量,消除了传统”检测器 + 独立 reid网络”级联方案中的特征重复提取开销,推理延迟大幅降低,适合部署于计算资源受限的边缘设备。
26、(2)irmb 模块实现局部-全局特征统一建模。 骨干网络中采用的倒置残差移动块(irmb)将扩展窗口多头自注意力(ew-mhsa)与深度可分离卷积(dw-conv)级联融合于统一残差单元中。自注意力机制在窗口内建立全局上下文关联,使模型感知无人机集群的空间编队关系并处理密集遮挡;深度可分离卷积注入局部空间归纳偏置,精准捕获无人机个体的机身边缘、桨叶轮廓等细节,有助于区分外观高度相似的无人机。两级联跳跃连接(ew-mhsa 内和 dw-conv 内各有一跳连接)保证了深层网络的训练稳定性。
27、(3)ew-mhsa 降低注意力计算开销。 扩展窗口多头自注意力使用未扩展特征计算查询(q)和键(k),仅对值(v)进行通道扩展,使注意力机制的参数复杂度从降至,在大幅降低计算成本的同时保持了注意力机制的全局动态建模能力,满足边缘部署的实时性约束。
28、(4)p2 高分辨率层提升个体重识别精度。 在颈部网络中引入 p2 高分辨率特征层(下采样 4 倍),较传统的 p3 起始设计(下采样 8 倍)将重识别特征提取的空间分辨率提升了 4 倍。小尺寸无人机目标在 p2 特征图上占据更多的有效像素,为全尺度网络(osnet)提供了更充分的空间细节,显著提升了个体级外观特征的判别性和跨帧身份关联的稳定性。
29、(5)多尺度自适应特征提取适配无人机外观变化。 全尺度网络(osnet)采用 4 分支并行架构与聚合门控机制,在空洞率 1, 2, 3, 4 下对 roi 特征进行自适应多尺度建模,能够在无人机姿态快速变化、光照条件波动时,自动锁定最具判别性的外观尺度(如机臂、机身比例、桨叶轮廓等),生成高质量、个体可区分的重识别嵌入向量。
30、(6)共享表征学习促进多任务协同。 检测任务与重识别任务共享骨干网络、颈部网络和解码器参数。在无人机集群场景中,检测分支迫使底层特征关注”目标在哪里”,而reid 分支迫使底层特征关注”这个目标长什么样”,两种监督信号的联合梯度反传使得共享表征同时具备空间定位精度与外观判别灵敏度,避免了分离式训练中两种表征的割裂与冗余。
31、(7)即插即用,工程部署简便。 本发明的构建的联合重识别的 transformer 解码器,不改变数据加载、训练流程与推理管线,仅需修改模型配置文件中的解码器类名即可启用。在安防系统升级改造中,可直接替换现有检测模型,无需重构软件架构。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com