适应低慢小目标的多模融合反无人机探测与识别方法及装置与流程

摘要: 本发明涉及反无人机探测与识别,尤其涉及适应低慢小目标的多模融合反无人机探测与识别方法及装置。背景技术:1、低慢小(low-slow-small,lss)目标通常...
适应低慢小目标的多模融合反无人机探测与识别方法及装置与流程

本发明涉及反无人机探测与识别,尤其涉及适应低慢小目标的多模融合反无人机探测与识别方法及装置。

背景技术:

1、低慢小(low-slow-small, lss)目标通常指飞行高度在1000 m以下、飞行速度低于55 m/s、雷达散射截面(radar cross section, rcs)小于2 m²的空中目标。随着小型无人机在航拍、物流、测绘等领域的普及,黑飞、乱飞现象日益突出,对机场净空区、核电站、大型活动场所、军事基地等敏感区域构成严峻安全威胁。传统单一传感器探测手段各自存在显著局限:雷达虽具备全天候、远距离探测能力,但对低rcs目标探测距离锐减,且易受地面杂波干扰;可见光相机分辨率高但受光照条件制约严重;红外热成像可昼夜工作但目标热辐射弱时对比度低;无线电频谱探测对静默或跳频目标束手无策。因此,多模融合探测与识别已成为反无人机系统的核心技术方向。

2、现有研究在多源数据融合、ai识别、协同指挥控制等方面取得了阶段性进展。开源的anti-uav感知理解库整合了siamfusion、edtc、siamdt等双模跟踪框架,实现了可见光与红外特征的有效融合;有的构建了探测-识别-处置全流程自动化系统,cnn模型识别准确率达99.2%;有的提出了基于事件相机与rgb相机协同的lss目标检测方案,以先动态差分成像扫视发现、后传统成像聚焦凝视识别为设计思想。然而,现有研究仍存在以下不足:第一,多传感器融合多停留在两两配对层面,雷达-光电-无线电-事件的深度异构融合尚不充分;第二,融合权重多为固定预设,缺乏依据环境与目标状态动态调整的能力;第三,从探测到识别的全链路缺乏闭环进化机制,无法利用实际部署数据持续优化模型性能。

技术实现思路

1、为了解决上述技术问题,本发明提供一种适应低慢小目标的多模融合反无人机探测与识别方法,采用了如下所述的技术方案,包括:

2、部署多种类型传感器,构建立体化感知网络,并对各传感器采集的数据进行时间同步与空间坐标统一,输出时空对齐的多模态感知数据;

3、利用事件相机异步事件流,进行运动目标快速扫视检测,并根据检测结果驱动传统凝视成像系统对目标区域进行高分辨率确认成像,输出目标候选区域及其位置信息;

4、分别对各模态传感数据进行独立特征提取,并通过模态间的注意力机制实现跨模态信息互补增强,输出各模态增强后的多尺度特征图;

5、根据各传感器实时置信度与环境条件动态计算融合权重,将各模态增强特征按所述融合权重进行加权融合,并基于融合后的综合特征进行目标类型识别,输出目标类别信息;

6、通过对雷达回波进行时频分析提取微多普勒特征以反演目标结构与运动状态,同时对目标飞行航迹进行时序建模与预测以判断飞行意图,综合目标类型、运动状态与意图信息输出综合威胁等级;

7、记录全链路过程数据构建增量样本库,利用增量学习策略对各环节模型进行在线更新与参数微调,并通过性能监控与异常检测机制实现人工介入与系统自修复。

8、优选地,所述部署多种类型传感器,构建立体化感知网络,并对各传感器采集的数据进行时间同步与空间坐标统一,输出时空对齐的多模态感知数据的步骤具体包括:

9、采用固定式骨干节点与机动式补盲节点相结合的混合部署架构配置雷达、光电、无线电频谱监测、声学传感器及事件相机,消除单传感器覆盖盲区;

10、通过精密时间协议实现各传感器采集数据的亚微秒级时间同步,并通过联合标定或目标航迹关联方法将不同传感器坐标系下的数据映射至统一全局坐标系;

11、实时计算各传感器在当前环境条件下的信噪比、目标对比度、数据完整率和时间一致性偏差指标,输出各传感器的实时置信度因子。

12、优选地,所述利用事件相机异步事件流,进行运动目标快速扫视检测,并根据检测结果驱动传统凝视成像系统对目标区域进行高分辨率确认成像,输出目标候选区域及其位置信息的步骤具体包括:

13、将事件相机在预设时间窗口内输出的异步事件流按像素位置累积极性信息,构建规则网格张量形式的事件图像;

14、将所述事件图像输入轻量级目标检测网络,在预设延迟时间内输出运动目标的候选边界框集合及其置信度;

15、根据事件检测目标在事件图像中的像素坐标计算云台所需俯仰角与偏航角,驱动可见光相机对准目标区域进行变焦凝视成像,并对凝视图像进行高精度目标检测与确认。

16、优选地,所述分别对各模态传感数据进行独立特征提取,并通过模态间的注意力机制实现跨模态信息互补增强,输出各模态增强后的多尺度特征图的步骤具体包括:

17、针对可见光、红外、事件图像三种模态分别设计独立特征提取网络,将通道维度划分为多个特征组进行分组卷积操作,并采用多尺度输出结构输出各模态的多层级特征图;

18、将各模态特征图在通道维度拼接后通过全局池化提取通道描述子,经注意力网络生成通道注意力向量,将所述注意力向量按模态切分后分别与各模态原始特征图逐通道相乘,实现通道维度的跨模态信息增强;

19、计算各模态特征图每个空间位置的激活强度,以激活强度最强的模态作为引导模态,将其空间激活图归一化为空间注意力权重并作用于其余模态特征图,实现空间维度的跨模态位置增强。

20、优选地,所述根据各传感器实时置信度与环境条件动态计算融合权重,将各模态增强特征按所述融合权重进行加权融合,并基于融合后的综合特征进行目标类型识别,输出目标类别信息的步骤具体包括:

21、综合各传感器的实时置信度因子与环境适宜度因子计算各模态的综合置信度,再经归一化指数函数计算得到各模态的动态融合权重;

22、将各模态增强后的特征图经全局池化压缩为通道特征向量,按所述动态融合权重进行加权求和得到综合特征向量,再经特征变换层压缩为紧致综合特征;

23、将所述紧致综合特征输入多层全连接分类网络,经归一化指数函数输出目标属于各类别的概率分布,根据所述概率分布输出目标类型识别结果及其可信度。

24、优选地,所述通过对雷达回波进行时频分析提取微多普勒特征以反演目标结构与运动状态,同时对目标飞行航迹进行时序建模与预测以判断飞行意图,综合目标类型、运动状态与意图信息输出综合威胁等级的步骤具体包括:

25、对雷达基带信号进行时频分析得到时频谱图,从所述时频谱图中提取主体多普勒频移与微多普勒边带特征,根据微多普勒边带频率间隔反演目标旋翼转速与桨叶数量参数;

26、以连续跟踪获得的目标位置序列为输入,通过长短时记忆网络的门控机制捕捉航迹中的时序依赖关系,预测目标未来预设时段内的飞行轨迹,并将预测轨迹与禁飞区边界进行碰撞检测以判断入侵意图;

27、构建包含目标类型因子、运动状态因子和意图因子的多因子威胁评分函数,对各因子加权求和得到综合威胁评分,并根据所述综合威胁评分映射输出多级威胁等级。

28、优选地,所述记录全链路过程数据构建增量样本库,利用增量学习策略对各环节模型进行在线更新与参数微调,并通过性能监控与异常检测机制实现人工介入与系统自修复的步骤具体包括:

29、自动记录从探测到识别的全链路原始数据、特征向量、模型推理结果及对应的最终验证标签,构建包含正负样本的增量数据库;

30、利用所述增量样本库中的新数据,采用弹性权重巩固方法或分层学习率调整策略,对各环节深度网络模型进行增量式微调与参数更新;

31、对检测率、误报率、识别准确率和平均跟踪时长指标进行实时监控,采用统计过程控制方法监测核心性能指标的时间序列,当指标超出控制限时触发告警并逐级启动人工介入与复核。

32、为了解决上述技术问题,本发明还提供一种适应低慢小目标的多模融合反无人机探测与识别装置,采用了如下所述的技术方案,包括:

33、构建模块,用于部署多种类型传感器,构建立体化感知网络,并对各传感器采集的数据进行时间同步与空间坐标统一,输出时空对齐的多模态感知数据;

34、驱动模块,用于利用事件相机异步事件流,进行运动目标快速扫视检测,并根据检测结果驱动传统凝视成像系统对目标区域进行高分辨率确认成像,输出目标候选区域及其位置信息;

35、提取模块,用于分别对各模态传感数据进行独立特征提取,并通过模态间的注意力机制实现跨模态信息互补增强,输出各模态增强后的多尺度特征图;

36、计算模块,用于根据各传感器实时置信度与环境条件动态计算融合权重,将各模态增强特征按所述融合权重进行加权融合,并基于融合后的综合特征进行目标类型识别,输出目标类别信息;

37、判断模块,用于通过对雷达回波进行时频分析提取微多普勒特征以反演目标结构与运动状态,同时对目标飞行航迹进行时序建模与预测以判断飞行意图,综合目标类型、运动状态与意图信息输出综合威胁等级;

38、更新模块,用于记录全链路过程数据构建增量样本库,利用增量学习策略对各环节模型进行在线更新与参数微调,并通过性能监控与异常检测机制实现人工介入与系统自修复。

39、为了解决上述技术问题,本发明还提供一种计算机设备,采用了如下所述的技术方案,包括存储器和处理器,所述存储器中存储有计算机可读指令,所述处理器执行所述计算机可读指令时实现上述的适应低慢小目标的多模融合反无人机探测与识别方法的步骤。

40、为了解决上述技术问题,本发明还提供一种计算机可读存储介质,采用了如下所述的技术方案,所述计算机可读存储介质上存储有计算机可读指令,所述计算机可读指令被处理器执行时实现上述的适应低慢小目标的多模融合反无人机探测与识别方法的步骤。

41、与现有技术相比,本发明主要有以下有益效果:

42、(1)突破两两融合局限,实现雷达-光电-无线电-事件相机的深度异构融合:通过将事件相机异步流与雷达微多普勒、无线电频谱等多源数据统一纳入时空对齐框架,利用事件驱动快速扫视与凝视成像联动,有效补足被动传感器对静默目标的盲区,构建起覆盖广域搜索-精确认证-特征反演的全链路感知体系。

43、(2)引入动态置信度加权机制,替代固定预设权重:通过依据各传感器实时环境条件(如光照、能见度、电磁干扰)和自身工作状态(信噪比、检测率)自适应计算融合权重,使融合结果始终向当前最可靠模态倾斜,显著提升恶劣天气、强杂波等场景下的识别鲁棒性。

44、(3)建立闭环进化与自修复能力:通过记录全链路过程数据构建增量样本库,采用增量学习在线更新特征提取、识别及跟踪模型,同时嵌入性能监控与异常检测模块,在检测到模型退化或数据分布漂移时自动触发微调或人工介入,使系统在持续部署中不断进化,避免训练即冻结导致的性能衰减。这三点共同赋予本方法更高的环境适应性、融合智能度和长期可用性。