一种针对无人机端的轻量级目标检测方法

1.本发明属于目标检测领域，具体涉及一种针对无人机端的轻量级目标检测方法。


背景技术：

2.近年来，随着智能制造技术的不断提升，在民用方面，越来越多的无人机应用于城市交通监管、电力巡检、农业保险工作等领域；在军事上，无人机可用于战场的侦察、监视及目标的搜索定位，为作战提供有效信息的同时还能干扰敌方电子设备，从而大大降低伤亡率。无人机具有成本低、灵活性高、操作简单、体积小等优点，可以弥补卫星和载人航空遥感技术的不足，催生了更加多元化的应用场景。无人机影像的智能化分析处理不仅可以快速高效地提取地物信息，还能拓展无人机的场景理解能力。目标检测技术能够自动化识别和定位图像中目标，这种技术可以增强弱人机交互下无人机的感知功能，为其自主探测和飞行提供基础的技术支持。然而无人机由于航拍视场大、背景复杂多样、目标分布不均、尺度变化大且小目标数量多，导致对目标的检测难度加深。因此，快速准确地识别航拍图像是实现无人机融入社会发展的重要研究内容。


技术实现要素：

3.发明目的：本发明针对搭载在无人机设备上的嵌入式设备算力低、识别精度低的问题，提供一种针对无人机端的轻量级目标检测方法。
4.技术方案：本发明提出了一种针对无人机端的轻量级目标检测方法，包括以下步骤：
5.(1)采集无人机端航拍图像进行标注得到数据集；
6.(2)以yolox-tiny模型为基准，构建cspbia-yolo模型；
7.(3)通过采集到的数据集对cspbia-yolo模型进行训练；
8.(4)采用训练完成后cspbia-yolo模型对航拍图像进行检测。
9.进一步地，步骤(1)所述数据集包含行人、自行车、汽车、货车、卡车、三轮车、敞篷电动车、公共汽车及其它九个类别。
10.进一步地，步骤(2)所述的cspbia-yolo模型包括：
11.特征提取网络：依次包括三个卷积层、一个跨阶段连接层、一个卷积层、一个跨阶段连接层、一个卷积层、一个跨阶段连接层、一个卷积层、一个空间金字塔池化层、一个跨阶段连接层；所述卷积层包括深度可分离卷积、批量标准化、silu激活函数；所述跨阶段连接层包括两个分支，第一个分支先进行一次卷积层处理，再将其进行两次卷积层的处理再与两次卷积层处理前的结果进行堆叠，得到第一个分支的处理结果；第二个分支只进行一次卷积层的处理就与第一个分支的处理结果进行堆叠再进行一次卷积层的处理得到最终结果；
12.特征融合网络：使用加权双向特征金字塔网络，将所述特征提取网络中各个跨阶段连接层之后的特征层依次进行注意力层处理后作为加权双向特征金字塔网络的输入，并
在加权双向特征金字塔网络中每次上采样和下采样的操作后进行一次注意力层的处理，最后得到三个有效特征层；所述注意力层使用的是基于卷积块的注意力模块，沿着通道和空间这两个维度依次推断注意力图，然后将注意力图与输入特征图相乘进行自适应特征优化；
13.在得到的三个有效特征层上使用解耦头结构，每个有效特征层都会先输入一个卷积层进行通道调整，再将其分为两个分支，第一个分支进行两次卷积层处理再进行一次卷积处理得到输出结果1，第二个分支进行两次卷积层处理后再分为两个小分支，两个小分支分别进行卷积处理得到输出结果2和输出结果3，将输出结果1、输出结果2和输出结果3在通道维度上进行堆叠处理得到网络的输出。
14.进一步地，所述步骤(3)实现过程如下：
15.使用随机梯度下降法作为优化器、初始学习率设置为1e-2、最小学习率为1e-4、权值衰减系数为5e-4、学习率的动量设置为0.937、网络共训练300个批次、每次训练的样本数量设置为16、学习率下降的方式为余弦退火。
16.有益效果：与现有技术相比，本发明的有益效果：本发明经过对数据集的训练后能够有效的在无人机端对目标进行识别定位；能够有效的搭载在无人机端的嵌入式设备上达到实时检测；本发明对yolox-tiny网络进行改进提出了一种cspbia-yolo模型，模型大小相较于原网络更加轻量，并且检测效果相较于原网络更优。
附图说明
17.图1为cspbia-yolo模型结构示意图。
具体实施方式
18.下面结合附图对本发明做进一步详细说明。
19.本发明为了满足在嵌入式设备上达到实时性与精确度的要求，针对无人机视角图像上目标密集、小目标数量多、目标存在遮挡等特性，本发明提供了一种针对无人机端的轻量级目标检测方法，具体包括以下步骤：
20.步骤1：采集无人机端航拍图像进行标注得到数据集。
21.数据使用对无人机搭载的机载电脑连接海康的摄像头进行图像拍摄，分别在10m及20m两种高度、白天和夜晚两种时段、路口广场等场景共拍摄有11629张图像，其中包括训练集7629张、验证集1000张及测试集3000张，使用labelimg对图像中目标的类别及位置进行标注，包含行人、自行车、汽车、货车、卡车、三轮车、敞篷电动车、公共汽车及其它共九个类别。
22.步骤2：以yolox-tiny模型为基准，构建cspbia-yolo模型。
23.如图1所示，cspbia-yolo模型包括：
24.特征提取网络：依次包括三个卷积层、一个跨阶段连接层、一个卷积层、一个跨阶段连接层、一个卷积层、一个跨阶段连接层、一个卷积层、一个空间金字塔池化层、一个跨阶段连接层。卷积层包括深度可分离卷积、批量标准化、silu激活函数。跨阶段连接层包括两个分支，第一个分支先进行一次卷积层处理，再将其进行两次卷积层的处理再与两次卷积层处理前的结果进行堆叠，得到第一个分支的处理结果；第二个分支只进行一次卷积层的
处理就与第一个分支的处理结果进行堆叠再进行一次卷积层的处理得到最终结果。
25.特征融合网络：使用加权双向特征金字塔网络，将所述特征提取网络中各个跨阶段连接层之后的特征层依次进行注意力层处理后作为加权双向特征金字塔网络的输入，并在加权双向特征金字塔网络中每次上采样和下采样的操作后进行一次注意力层的处理，最后得到三个有效特征层。注意力层使用的是基于卷积块的注意力模块，沿着通道和空间这两个维度依次推断注意力图，然后将注意力图与输入特征图相乘进行自适应特征优化。
26.在得到的三个有效特征层上使用解耦头结构，每个有效特征层都会先输入一个卷积层进行通道调整，再将其分为两个分支，第一个分支进行两次卷积层处理再进行一次卷积处理得到输出结果1，第二个分支进行两次卷积层处理后再分为两个小分支，两个小分支分别进行卷积处理得到输出结果2和输出结果3，将输出结果1、输出结果2和输出结果3在通道维度上进行堆叠处理得到网络的输出。
27.本实施方式中设置模型输入为(416,416,3)，首先进行一个卷积核大小为3的卷积层、一个卷积核大小为1的卷积层处理后得到大小为(208,208,12)的特征层，记作c1；对c1进行一次卷积核大小为3的卷积层和一次跨阶段连接层处理后得到大小为(104,104,24)的特征层，记作c2；对c2进行一次卷积核大小为3的卷积层和一次跨阶段连接层处理后得到大小为(52,52,48)的特征层，记作c3；对c3进行一次卷积核大小为3的卷积层和一次跨阶段连接层处理后得到大小为(26,26,96)的特征层，记作c4；对c4进行一次卷积核大小为3的卷积层、一次空间金字塔池化层处理和一次跨阶段连接层处理后得到大小为(13,13,192)的特征层，记作c5。
28.先将c3、c4、c5三个特征层分别进行一次注意力层的处理得到三个特征层，分别记作首先将层进行一次卷积核大小为3的卷积层、一次上采样及一次注意力模块的处理得到大小为(26,26,96)的特征层，记作将与进行加权特征融合后再进行一次跨阶段连接层的处理得到大小为(26,26,96)的特征层，记作将进行一次卷积核大小为3的卷积层、一次上采样及一次注意力模块的处理得到大小为(52,52,48)的特征层，记作将与进行加权特征融合后再进行一次跨阶段连接层的处理得到大小为(52,52,48)的特征层，记作将进行一次下采样和一次注意力层处理后得到大小为(26,26,96)的特征图，记作将及进行加权融合后再进行一次跨阶段连接层的处理得到大小为(26,26,96)的特征层，记作将进行一次下采样和一次注意力层处理后得到大小为(13,13,192)的特征图，记作将与加权融合后再进行一次跨阶段连接层的处理得到大小为(13,13,192)的特征图，记作
29.对及分别进行一次卷积核大小为1的卷积层进行通道调整，得到三个大小分别为(52,52,96)、(26,26,96)及(13,13,96)的特征图，分别记作个大小分别为(52,52,96)、(26,26,96)及(13,13,96)的特征图，分别记作及将进行两次卷积核大小为3的卷积层处理再进行一次卷积核大小为1的普通卷积处理得到一个大小为(52,52,10)的特征层，记作将进行两次卷积核大小为3的卷积层处理得到大小为(52,52,96)的特征层，记作对分别进行两次卷积核大小为1的普通卷积
处理得到大小为(52,52,1)及(52,52,4)的特征层，记作及将及堆叠得到大小为(52,52,15)的特征层，记作out3；将进行两次卷积核大小为3的卷积层处理再进行一次卷积核大小为1的普通卷积处理得到一个大小为(26,26,10)的特征层，记作将进行两次卷积核大小为3的卷积层处理得到大小为(26,26,96)的特征层，记作对分别进行两次卷积核大小为1的普通卷积处理得到大小为(26,26,1)及(26,26,4)的特征层，记作及将及堆叠得到大小为(26,26,15)的特征层，记作out4；将进行两次卷积核大小为3的卷积层处理再进行一次卷积核大小为1的普通卷积处理得到一个大小为(13,13,10)的特征层，记作将进行两次卷积核大小为3的卷积层处理得到大小为(13,13,96)的特征层，记作对分别进行两次卷积核大小为1的普通卷积处理得到大小为(13,13,1)及(13,13,4)的特征层，记作及将及堆叠得到大小为(13,13,15)的特征层，记作out5。
30.步骤3：通过采集到的数据集对cspbia-yolo模型进行训练。
31.训练过程中操作系统为ubuntu 18.04系统，使用nvidiateslak80作为gpu对所设计的网络进行训练，采用的深度学习框架为pytorch，网络训练中使用随机梯度下降法作为优化器，初始学习率设置为1e-2，最小学习率为1e-4，权值衰减系数为5e-4，学习率的动量设置为0.937，网络共训练300个批次，每次训练的样本数量设置为16,学习率下降的方式为余弦退火。
32.步骤4：采用训练完成后cspbia-yolo模型对航拍图像进行检测。
33.模型训练完成后将模型部署至无人机端的嵌入式设备nvidiajetsonnano上，nvidiajetsonnano的操作系统为ubuntu 18.04，cpu为4corearma57，gpu为128coremaxwell，内存为4g，开发框架是pytorch1.6。使用tensorrt对模型推理进行加速，加速之后模型在nvidiajetsonnano上的推理速度达到42ms每帧，满足在嵌入式设备上检测速度的需求。