一种面向空地协同平台的自适应高分辨率多任务异常检测方法与流程

摘要: 本发明涉及无人机,具体是指一种面向空地协同平台的自适应高分辨率多任务异常检测方法。背景技术:1、无人机与四足机器人作为移动巡检平台,在安防监控、应急搜救、工业巡...
一种面向空地协同平台的自适应高分辨率多任务异常检测方法与流程

本发明涉及无人机,具体是指一种面向空地协同平台的自适应高分辨率多任务异常检测方法。

背景技术:

1、无人机与四足机器人作为移动巡检平台,在安防监控、应急搜救、工业巡检等场景中得到了日益广泛的应用。在典型的空地协同巡检任务中,无人机提供空中俯视视角,四足机器人提供地面近距视角,二者协同构建立体化感知网络。目前的视觉检测方案普遍采用以yolo系列为代表的单阶段目标检测模型,通过单一的视觉传感器对行人、车辆以及火灾烟雾等异常事件进行识别。由于此类模型具备较高的推理速度,能够满足移动平台的实时性要求,因此在常规视角的场景下已取得了一定的工程成效。

2、然而,现有基于yolo的方法在实际空地协同巡检任务中仍存在以下明显不足:第一,极端尺度变化导致小目标漏检率高。无人机在典型飞行高度下的俯视视角中,目标成像极小且缺乏纹理特征。现有模型在下采样过程中往往丢失了深层特征图的高分辨率信息,导致中远距离及俯视视角下的行人检测精度难以突破80%。虽然已有研究者通过增加小目标检测头或引入注意力机制等方式进行改进,但大多仍受限于传统特征金字塔结构的信息传递效率。第二,多级特征融合存在语义折损。空地设备采集的画面中既有四足机器人视角的正常尺度目标,也有无人机视角的微小目标。传统特征金字塔网络(fpn)在进行跨层尺度融合时,容易引入大量背景噪声,导致有效特征的语义折损。现有改进方案如bifpn虽引入了可学习的加权机制,但在应对极端尺度跨度时仍存在信息传递效率不足的问题。第三,单一网络难以兼顾多类异常事件。行人与车辆属于常规的边界框定位任务,“人群异常聚集”偏向于密度图估计任务,“火焰烟雾”不仅需要局部定位,还需要全局环境感知。现有单一目标检测头难以在一个网络前向传播中高效融合这些不同维度的检测需求,导致多任务并发时总体准确率难以稳定。

3、综上,现有方法仍存在中远距离小目标漏检率高、跨平台多视角泛化能力差、多类型异常事件无法在一个前向网络中高效统一检测等技术缺陷,亟待改进。

技术实现思路

1、本发明的目的在于克服目前基于yolo的方法在实际空地协同巡检任务中所存在中远距离小目标漏检率高、跨平台多视角泛化能力差以及多类型异常事件无法在一个前向网络中高效统一检测的技术缺陷,提供一种面向空地协同平台的自适应高分辨率多任务异常检测方法。

2、为实现上述目的,本发明采用以下技术方案来实现:一种面向空地协同平台的自适应高分辨率多任务异常检测方法,包括以下步骤:

3、s1、采集无人机或四足机器人平台上视觉传感器传回的实时rgb图像,并进行预处理;采用轻量级cnn架构作为主干网络提取图像的多尺度特征图,并保留浅层高分辨率特征;

4、s2、在颈部网络引入门控特征金字塔网络,通过门控机制动态过滤相邻层级特征融合时的背景噪声,实现跨尺度特征融合;在p3、p4、p5检测特征层的基础上新增p2检测层,利用门控特征金字塔网络将深层语义信息反向注入所述p2检测层,形成高分辨率融合特征图;

5、s3、在网络尾部引出至少包括目标检测分支和异常事件分支的多路解耦分支,并通过一次前向传播同时完成目标检测与异常事件识别;

6、s4、构建多任务联合损失函数对模型进行优化,对网络参数进行剪枝与量化压缩后部署至边缘计算节点。

7、作为优选方式,步骤s1中所述的轻量级cnn架构基于yolo框架实现。

8、进一步地,步骤s2中所述“门控机制动态过滤相邻层级特征融合时的背景噪声,实现跨尺度特征融合”,包括以下内容:先对相邻层级的特征图分别进行上采样或下采样操作以统一空间尺寸,并将统一空间尺寸后的相邻层级特征图沿通道维度拼接;再对拼接后的特征计算各通道的门控权重,并将门控权重与统一空间尺寸后的相邻层级特征图逐通道相乘,以抑制背景噪声通道并增强目标相关通道,实现强语义特征与强空间特征的融合。

9、步骤s2中p2检测层的分辨率为实时rgb图像的1/4。

10、步骤s3中的目标检测分支在接收p2至p5特征图后,通过分类解耦头和回归解耦头输出目标类别置信度与边界框坐标。

11、进一步地,步骤s3中所述的“异常事件分支”,其包括人群聚集检测模块和火焰烟雾识别模块;

12、所述人群聚集检测模块采用局部密度感知卷积提取特征图的人群分布密度,通过设定密度阈值判定是否发生人群异常聚集;

13、所述火焰烟雾识别模块利用全局池化操作与通道注意力机制,结合目标检测分支提供的局部激活信息,输出火焰烟雾的置信概率。

14、步骤s4中所述多任务联合损失函数的表达式为:,其中,、、分别为目标检测任务、人群聚集检测任务和火焰烟雾识别任务的平衡权重,为目标检测损失、为人群聚集检测损失、为火焰烟雾识别损失。

15、与现有技术相比,本发明的有益效果是:

16、(1)本发明通过引入门控特征金字塔网络(gfpn)替代传统特征金字塔结构,利用门控机制动态过滤跨层特征融合时的背景噪声,实现了强语义特征与强空间特征的高效无损融合,有效解决了多级特征融合中的语义折损问题。

17、(2)本发明在传统p3、p4、p5检测层的基础上新增p2高分辨率检测层,并利用gfpn将深层语义信息反向注入p2层,形成专为中远距离小目标优化的融合特征图,显著提升了无人机俯视视角下小目标的检测精度。

18、(3)本发明设计了统一的多任务解耦检测头,通过多路解耦分支在一次前向传播中同时完成目标检测、人群聚集检测和火焰烟雾识别三类不同维度的任务,避免了多模型级联带来的计算冗余和延时累积,实现了单传感器输入下的多任务高效并发检测。

19、(4)本发明采用动态加权策略的多任务联合损失函数,在训练过程中自适应调整各任务的平衡权重,避免单一任务梯度过大导致模型崩溃,保证了多任务学习的稳定性;通过对网络参数进行剪枝与int8量化压缩,使模型能够在典型移动平台边缘计算节点上满足实时性推理要求,具备工程可部署性。

1.一种面向空地协同平台的自适应高分辨率多任务异常检测方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的一种面向空地协同平台的自适应高分辨率多任务异常检测方法,其特征在于,步骤s1中所述的轻量级cnn架构基于yolo框架。

3.根据权利要求1所述的一种面向空地协同平台的自适应高分辨率多任务异常检测方法,其特征在于,步骤s2中所述“门控机制动态过滤相邻层级特征融合时的背景噪声,实现跨尺度特征融合”,包括以下内容:先对相邻层级的特征图分别进行上采样或下采样操作以统一空间尺寸,并将统一空间尺寸后的相邻层级特征图沿通道维度拼接;再对拼接后的特征计算各通道的门控权重,并将门控权重与统一空间尺寸后的相邻层级特征图逐通道相乘,以抑制背景噪声通道并增强目标相关通道,实现强语义特征与强空间特征的融合。

4.根据权利要求3所述的一种面向空地协同平台的自适应高分辨率多任务异常检测方法,其特征在于,步骤s2中p2检测层的分辨率为实时rgb图像的1/4。

5.根据权利要求4所述的一种面向空地协同平台的自适应高分辨率多任务异常检测方法,其特征在于,步骤s3中的目标检测分支在接收p2至p5特征图后,通过分类解耦头和回归解耦头输出目标类别置信度与边界框坐标。

6.根据权利要求5所述的一种面向空地协同平台的自适应高分辨率多任务异常检测方法,其特征在于,步骤s3中所述的“异常事件分支”,其包括人群聚集检测模块和火焰烟雾识别模块;

7.根据权利要求1所述的一种面向空地协同平台的自适应高分辨率多任务异常检测方法,其特征在于,步骤s4中所述多任务联合损失函数的表达式为:,其中,、、分别为目标检测任务、人群聚集检测任务和火焰烟雾识别任务的平衡权重,为目标检测损失、为人群聚集检测损失、为火焰烟雾识别损失。