一种新的基于深度学习的无人机目标检测方法

1.本发明属于计算机视觉领域，具体设计一种新的基于深度学习的无人机目标检测算法。


背景技术：

2.计算机视觉进行无人机识别是目前国内外无人机检测方面较为先进的方式，但传统视觉算法对于多尺度目标识别精确度较差，检测速度较慢，虽然可以对反无人机捕获打击系统进行目标引导，但精度与速度达不到要求。由于无人机普遍体积小，飞行快，因此采用传统视觉算法的目标检测系统不能很好地胜任为捕获打击系统提供目标引导信息这一任务。深度学习可以说是机器学习领域的变革者，采用深度学习的方法，以可见光摄像机为基础场景感知设备，获取待检大场景，可以针对多个动态复杂背景的目标，研究多动态目标探测跟踪技术并对探测的目标进行初步筛选，获取可疑无人机目标并进行跟踪。


技术实现要素：

3.采用深度学习的目标检测网络通常来说检测层较多，网络较深，造成参数量过大计算速度较慢，而要提升计算速度又会损失算力，造成精度的下降；并且多尺度目标尤其是小目标例如无人机的检测一直是目标检测的难点所在，本发明提出一种基于yolov3-tiny卷积神经网络的改进算法用于无人机识别，本算法利用深度可分离卷积来对标准卷积进行了替换，使得模型更加的轻量化；在原始模型网络中引入了注意力机制，以此提高目标检测的效率以及在处理多尺度目标时的检测精度；
4.本发明采用了如下的技术方案与实现步骤：
5.1.数据集采集，划分为训练集、验证集与测试集，使用图像标注工具对图像进行标注，生成标注文件；对标注文件进行处理，划分为训练集、验证集与测试集；
6.2.修改目标检测网络yolov3-tiny的基础网络，将文献1“redmon j,farhadi a.yolov3:an incremental improvement[eb/ol].(2018-04-08)[2020-7-14].http://arxiv.org/abs/1804.02767”所述的基础网络的尺寸为3
×
3、步长为1的卷积层替换为文献2“andrew g,menglong z,bo c,et al.mobilenets:efficient convolutional neural networks for mobile vision applications[eb/ol].(2017-04-17)[2020-7-14].http://arxiv.org/abs/1804.02767.”所述的深度可分离卷积层，就是将常规的卷积运算拆分为一个尺寸为3
×
3、组卷积数为通道数的深度卷积运算加一个尺寸为1
×
1、步长为1的点卷积运算。其中深度卷积1代表尺寸为3
×
3，步长为1，组卷积数与通道数为256的深度卷积1_1，深度卷积1_2，深度卷积1_3与两个最大值池化层，深度卷积2代表尺寸为3
×
3，步长为1，组卷积数与通道数为256的深度卷积2_1，深度卷积2_2，深度卷积2_3与两个最大值池化层，卷积层3与卷积层4分别代表尺寸为1
×
1，步长为1，通道数为255的标准卷积。这种替换方式的优点是可以在损失一小部分精度的情况下大大减少参数量和计算量，从而使得模型更加轻量化；借鉴注意力机制的思想，在尺寸为3
×
3，步长为1，组卷积数与通道数为256
的深度卷积2_3结尾处插入文献3“hu j,shen l,albanie s,sun g,wu e.squeeze-and-excitation networks[c]//2018ieee conference on computer vision and pattern recognition(cvpr),salt lake city,june 18-22,2018,utah,usa.new york:ieee,2018:7132-7141.”所述的se模块，resolution参数为16，目的是提取图像中的有效信息，过滤掉冗余信息从而提升检测精度；将尺寸为3
×
3，步长为1，组卷积数与通道数为256的深度卷积1_3的输出特征图与经过了上采样的se模块的通道数为128的输出特征图进行融合，有效结合上下文信息，减少信息丢失，从而实现不同特征层之间的特征融合，可以有效提升模型在对于不同尺度目标，尤其是小目标检测时的精度；
[0007]
3.使用数据集对改进的yolov3-tiny网络进行训练，将制作好的数据集放入命名为data的文件夹中，标注图像放入命名为jpegimages的文件夹中，标注文件放入命名为annotations的文件夹下；使用程序生成含标注文件的文件夹；在程序train.py中修改模型配置文件，训练轮次设置为300轮，运行train.py开始训练，在命名为weights的文件夹中可以看到训练生成的权重文件；
[0008]
4.利用改进完成后的yolov3-tiny网络对数据集进行检测识别，将测试图片放入命名为sample的文件夹中；修改程序detect.py，将所需的权重文件设置为训练完成后生成的pt格式的权重文件，运行detect.py，运行结束后生成的检测图像保存在命名为output的文件夹下。
[0009]
本发明的创造性体现在，本发明在深度神经网络yolov3-tiny算法的基础上进行改进，意图构建出兼具高精度与实时性的目标检测网络。首先采用类金字塔结构增强模型对多尺度目标的检测能力，其次将传统卷积替换为了深度可分离卷积，从而轻量化我们的模型使得运算速度加快；最后引入注意力机制，在模型的结尾处嵌入se模块，通过特征重组加强有用信息的提取，同时压缩无用信息，达到提高精度的目的。改进网络有效的提升了检测精度与检测速度，可以无人机识别的满足高精度与实时性要求。
附图说明
[0010]
图1无人机数据集样本
[0011]
图2改进网络总体结构
[0012]
图3深度可分离卷积原理
[0013]
图4通道注意力机制结构
具体实施方式
[0014]
下面结合附图对算法的实施做进一步详细说明。
[0015]
本发明提出了一种新的基于深度学习的目标检测算法用于无人机目标检测。
[0016]
1.参照说明书附图图1，本发明采集了不同天气下的无人机目标数据集，构建了无人机目标数据集，数据库总共三个种类，包含无人机、鸟和风筝。数据库中图像目标包含大量多种类、小目标图像。
[0017]
2.参照说明书附图图2，是本发明的网络总体架构示意图，其中加入了深度可分离卷积模块以及注意力机制模块，首先输入分辨率为416
×
416，通道数为3的输入特征图，通过深度卷积1输出分辨率为26
×
26，通道数为256的特征图，通过深度卷积2与注意力模块后
输出分辨率为13
×
13，通道数为256的特征图，该特征图第一条路径通过卷积层3输出分辨率为13
×
13，通道数为255的特征图，之后输出识别结果，第二条路径通过上采样后与分辨率为26
×
26，通道数为256的特征图进行特征融合，输出分辨率为26
×
26，通道数为384的特征图，再经过卷积层4输出分辨率为26
×
26，通道数为255的特征图，最终输出识别结果。
[0018]
3.参照说明书附图3，对于卷积运算来说，卷积核就是一个具有三个维度的滤波器，分别是空间维(包括特征图的宽、高两个维度)，以及通道维，也就是我们常说的“深度”。常规的卷积操作其实就是特征图与卷积核之间进行点积运算。本发明拟采用深度可分离卷积替代yolov3-tiny网络中的标准卷积，基本思路就是将常规的卷积运算拆分为一个深度卷积运算加一个与1
×
1卷积核的点卷积运算。这种替换方式的优点是可以在损失一小部分精度的情况下大大减少参数量和计算量，从而使得模型更加轻量化。
[0019]
标准卷积的计算量如下：
[0020]
wk×hk
×m×n×
wf×
hfꢀꢀ
(1)
[0021]
深度卷积对应计算量如下：
[0022]
wk×hk
×m×
wf×
hf m
×n×
wf×
hfꢀꢀ
(2)
[0023]
点卷积对应计算量如下：
[0024]
wg×
hg×m×
n，
ꢀꢀ
(3)
[0025]
其中wk代表图3(a)中卷积核k的宽，hk代表图3(a)中卷积核k的高，n代表特征图g的通道数，m代表卷积核k的通道数，wf代表输入特征图f的宽，hf代表输入特征图f的高，wg代表图3(b)中特征图g的宽,hg代表图3(b)中特征图g的高。其中，图3(a)代表输入特征图f的标准卷积的运算过程，图3(b)、(c)表示相同输入特征图f的深度可分离卷积运算过程。
[0026]
计算量减少了：
[0027][0028]
4.参照说明书附图4，输入的特征图通过主干网络后进入se结构。se模块包含squeeze和excitation两部分。squeeze操作是通过全局池化实现，具体是将输入的特定尺寸特征图x压缩为单位尺寸的特征图，相当于扩大了感受野。excitation部分首先通过全连接层加relu激活层再加一个全连接层的结构来进行通道间相关性的建模，之后再通过sigmoid激活函数进行权重归一化操作，最终scale操作将归一化后的权值加权分配到每个通道，输出特征图x
*
。
[0029]
5.将416
×
416大小的图像输入到数据集中，使用改进后的网络对数据集进行检测识别。检测效果如下：
[0030]
[0031]
实验结果表明，改进模型在无人机数据集的训练测试中，检测精度达到82.3％，检测速度达到322fps，很好的满足了无人机检测的高精度、实时性的两大要求。