基于卷积神经网络的低空小飞行物检测方法

1.本发明涉及目标检测技术领域，尤其涉及一种基于卷积神经网络的低空小飞行物检测方法。


背景技术：

2.无人机是一种利用无线电遥控的不载人飞行器。随着低空空域逐渐开放，各类飞行器也逐渐进入大众视野之内。凭借其造价低廉、功能完善等优点，无人机可满足多数领域的作业需求，例如：军事侦察、户外拍摄与表演、灾后搜救以及农业灌溉等等。同时人工智能领域以及微机电系统(micro electro mechanical system，mems)传感器、微型全球定位系统(global positioning system，gps)和微电子技术等多种技术手段的突破，无人机技术也逐渐向微型化、高精度化发展。随着低空空域利用率的提高，诸多问题也接踵而来，“黑飞”、“乱飞”的情况屡禁不止，更为严重的是有些无人机使用者无视航空管制，在机场附近肆意起飞，甚至对飞机造成威胁，如果不能管理好无人机的飞行秩序，必然导致空中事故等一系列严重后果，因此，弱小目标将成为未来低空空域监视的难点与重点。
3.在深度学习领域兴起之前，传统的目标检测都是基于数字图像处理和计算机视觉技术来实现的，其流程都是在输入图像中选择一些候选区域，然后使用特征描述符提取相应的特征，最后送入分类器中。但低空空域中的飞行物图像目标尺寸小、飞行速度快，导致其边缘模糊，人为设计的特征提取器泛化能力差，运行时间长、容易受到光线的影响并且候选框的定位也存在较大误差，传统的目标检测方法在弱小目标的检测上面的效果并不理想，难以适用于当前情况。
4.随着深度领域的不断发展，各种基于卷积网络的深度模型也不断被研发，图片数据集中的特征不在基于人为设计，而是利用卷积层、池化层来提取目标的语义信息，并采用上下采样技术实现图像特征的维度转换，达到在高分辨率的特征地图上学习到强语义信息的目的。不仅如此，深度学习技术还具备信息复用性高、共享权重等优势。不仅提高了模型的泛化能力，还能够降低数据维度，减少冗余信息，从而减少计算成本，大幅度提高了检测的速度与精度。自2012年，首次提出深度卷积神经网络，并将其运用到目标检测领域，完成智能检测任务。自此以后，目标检测取得了巨大的突破，卷积神经网络正式被用来完成目标识别等任务。
5.但低空空域中小型无人机具有尺度小、数量多等特点,导致其纹理特征难以提取,现有的深度学习经典检测算法对此类目标的检测精度较低。


技术实现要素：

6.本发明要解决的技术问题是针对上述现有技术的不足，提供一种基于卷积神经网络的低空小飞行物检测方法，分别从提高模型获取小目标语义信息的能力以及模型对候选框的准确定位这两个角度入手进行优化和改进，提高了模型对小目标的敏感程度，以及模型在待检测物密集出现情况下的准确率，并能提高模型对低空小目标检测的位置精度。
7.为解决上述技术问题，本发明所采取的技术方案是：
8.一种基于卷积神经网络的低空小飞行物检测方法，包括以下步骤：
9.步骤1：首先对所有的数据样本图片重新进行尺寸的调整，将图像缩放成固定大小，即800
×
600，模型将图片数据集送入特征提取网络resnet50，经过卷积层、池化层的一系列操作运算，输出特征图。
10.步骤2：将特征图传入区域候选网络，在区域候选网络中利用k-means聚类算法对数据样本集中的真实框的尺寸进行聚类，取代原模型中的基于人为经验预先设定好的尺寸。
11.步骤3：对聚类后的锚框尺寸进行线性缩放处理，然后在区域候选网络中进行正负样本的划分和对锚框位置的修正，区域候选网络将正负样本得分和锚框的坐标参数分别通过两个全连接层，第一个全连接层用来生成这些锚框的目标概率，产生正样本的得分和负样本的得分，第二个全连接层用来编码每个锚框的四个坐标值，即计算锚框的偏置量，使得候选框更接近真实框，最终计算出候选区域。
12.步骤4：在计算出候选区域之后，再一次对锚框的数量进行优化，利用soft-nms算法，降低重合锚框的权重，在多个小目标重叠的情况下可以提高模型预测的准确率，减少漏检情况发生，并将优化后的候选区域传入roi align层。
13.步骤5：roi align层将不同尺寸的候选区域进行了固定，将候选区域映射回原图中，通过全连接层对低空小飞行物进行最后的结果预测。
14.采用上述技术方案所产生的有益效果在于：本发明提供的基于卷积神经网络的低空小飞行物检测方法，分别从提高模型获取小目标语义信息的能力以及模型对候选框的准确定位这两个角度入手进行优化和改进。通过改进特征提取网络的结构，采用跳跃链接的残差结构来提高模型对小目标的敏感程度；在后处理部分，利用soft-nms去优化冗余锚框，提高模型在待检测物密集出现情况下的准确率；在锚框的生成上，采用roi align，用线性内插算法替换原本的两次取整操作，提高模型对低空小目标检测的位置精度，使卷积神经网络模型能够精确检测低空小飞行物。
附图说明
15.图1为本发明实施例提供的基于卷积神经网络的低空小飞行物检测方法的算法结构图；
16.图2为本发明实施例提供的特征提取网络resnet50结构图；
17.图3为本发明实施例提供的resnet残差网络结构图；
18.图4为本发明实施例提供的resnet残差网络结构提取特征图的过程；
19.图5为本发明实施例提供的区域候选网络锚框的产生流程图；
20.图6为本发明实施例提供的区域候选网络流程图；
21.图7为本发明实施例提供的iou计算过程示意图；
22.图8为本发明实施例提供的柔性非极大值抑制的效果图；
23.图9为本发明实施例提供的roi网络align层结构示意图；
24.图10为本发明实施例提供的roi align候选框映射过程示意图；
25.图11为本发明实施例提供的roi align计算示意图；
26.图12为本发明实施例提供的优化后的模型针对单个小目标的预测示意图；
27.图13为本发明实施例提供的优化后的模型针对密集小目标的预测示意图。
具体实施方式
28.下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。
29.如图1所示，本实施例的方法如下所述。
30.步骤1：首先对所有的数据样本图片重新进行尺寸的调整，将图像缩放成固定大小，即800
×
600，将缩放后的图像送入特征提取网络resnet50，经过卷积层、池化层的一系列操作运算，输出特征图。faster r-cnn模型特征提取网络的浅层网络主要用于提取待检测物的形状、大小等几何信息，网络层数的加深有助于更好地提取到待检测目标的语义信息，但可能出现“网络退化”、“梯度爆炸”等问题。所以faster r-cnn的特征提取网络选择resnet50网络，它的整体结构如图2所示，除了传统的卷积网络的正向传播之外，它还添加了独特的残差结构增加了临近网络层之间的信息传递，具体如图3所示，这种跳跃链接的结构可以提升网络的可设置深度，使其学习到更加复杂和准确的语义信息。图4为resnet50残差网络结构利用卷积层正向卷积得到一个最高层特征图。
31.步骤2：在候选区域网络中利用k-means聚类算法去生成尺寸合适的锚框，k-means算法可以取代传统目标检测模型的人为设置锚框尺寸，帮助深度学习检测模型更好的设计锚框的大小，减少冗余的锚框，节省算力，提高模型运算速度的同时能够提高模型的正确率。且本实施例的检测任务只要是针对小目标，数据集中也是尺寸小的无人机和飞鸟数量偏多，传统的深度学习检测模型将大、中、小三种尺寸的锚框生成的数量一致，在本实施例的检测需求中显然不合理，而k-means算法能够解决这一问题。k-means算法实现起来比较简单，对于一个给定的数据样本集，划分成k个簇，设划分的簇为：(c1,c2,...ck)，则最小化平方误差e如公式(1)所示：
[0032][0033]
式中：k表示簇的个数；ci表示划分的簇；μi表示簇ci的均值向量。其中μi也被称之为簇的质心，表达式如公式(2)所示：
[0034][0035]
k-means算法的具体求解过程如下：(1)对于一个初始的数据样本集，随机选取两个点作为初始簇心；(2)计算出数据样本中所有的点到初始簇心的距离，并标记每个点的类别，即距离该点最近的初始簇心的类别，经过一轮计算，可以得到全部样本数据的第一次迭代的类别；(3)重复上述过程，对第一次粗略分好的样本数据集分别求其新的质心；新的质心就是算法最终的聚类结果。在实际的应用中，往往会多次重复上述过程，保证结果的准确性。
[0036]
在上述传统的聚类算法中利用了欧氏距离来计算差异，但这种计算方法并不适用于所有情况，通过大量的实验结果验证发现，在模型锚框尺寸大小较为集中时，k-means聚类算法的结果往往不够准确，针对此类问题，在算法的计算中引入了iou值，定义了距离d来
表示误差，d的计算公式如(3)所示：
[0037]
d＝1-iou
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)
[0038]
其中iou(intersection over union)的集体计算过程如图7所示，它是衡量两个锚框之间的重合度，计算锚框之间的交并比得到的。在聚类算法中iou指的是每个聚类中心与其它的框的重合程度，iou越大重合度越高，而在聚类算法则希望重合度越高距离越短，聚类效果更好，所以用公式(3)来表示。在n＝5和n＝9的情况下运行k-means算法后得到的正确率分别为69.12％和75.27％，所以选择生成9种锚框，经过聚类运算，这9种锚框的尺寸[宽,长]分别为：{[9.36,9.24]、[14,17.81]、[16.9,27.82]、[21.97,38.39]、[26.61,22.68]、[30.16,54.87]、[34.53,33.73]、[46.17,48.92]、[63.41,83.76]}。
[0039]
步骤3：由于本实施例检测的目标主要集中于低空小飞行物，对自主采集的数据集进行聚类，锚框的尺寸比较集中，且偏小，考虑到实际检测的数据集中仍有大尺度的目标，所以本实施例对聚类后的锚框尺寸进行线性缩放处理，进行拉伸，避免影响其他尺度目标的正确率。
[0040]
具体的计算过程如公式(4)～(7)所示：
[0041]
x
′1＝αx1ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(4)
[0042]
x
′9＝βx9ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(5)
[0043][0044][0045]
其中，xa、ya为第a个锚框的宽和长，x
′a、y
′a为第a个锚框缩放后的宽和长，a＝1,2,
…
,9；α、β为常量，分别取0.5和1.5。
[0046]
在区域候选网络中进行正负样本的划分和对锚框位置的修正，如图5所示，区域候选网络会将2k个正负样本样本得分和4k个坐标参数(k为步骤2中的9种尺寸的锚框，k＝9)分别通过两个全连接层，其中坐标参数包括锚框的长、宽和中心坐标。如图6所示，第一个全连接层用来生成这些锚框的目标概率，会产生2k scores，即正样本的得分和负样本的得分；第二个全连接层用来编码每个锚框的四个坐标值，也就是计算锚框的偏置量，使得候选框更接近真实框，最终计算出候选区域。
[0047]
步骤4：利用soft-nms算法对锚框置信度优化，在多个小目标重叠的情况下可以提高模型预测的准确率，减少漏检情况发生。
[0048]
通过区域候选网络得到候选区域，对该区域进行密集预测，在两阶段检测算法中，边界框回归操作会将生成的邻近候选框中的目标视为相同对象，而低空空域中的小目标，例如：无人机和飞鸟总是密集的出现，也就是说基础模型在检测这些小目标的时候会在结果图中存在大量冗余的候选矩形框指向同一个结果，导致模型的正确率下降。所以采取柔性非大值抑制(soft non-maximum suppression，soft-nms)算法过滤不必要的候选框。
[0049]
考虑到锚框分类置信度以及定位置信度，利用高斯权重函数筛选冗余的锚框，具体如公式(8)所示：
[0050]
[0051]
式中：m为当前得分最高框，bi为待处理框，si为bi的得分，σ为超参数，一般取0.5；
[0052]
深度检测模型faster rcnn中两次用到了非极大值抑制算法，第一次是在训练阶段，区域候选网络大量的产生锚框的情况下使用非极大值抑制算法粗略的进行过滤，第二次是在后处理阶段，利用非极大值抑制算法对锚框精确筛选。针对以上情况进行实验验证，结果如表1所示。
[0053]
表1实验验证结果
[0054][0055]
从实际检测的情况以及结合上表中的数据，修改训练阶段的非极大值抑制算法，不仅增加的模型的运行时间，浪费算力，同时在预测的过程中出现了大量多余的锚框，第一次利用非极大值抑制算法对锚框进行处理时，应该大量的删除无用锚框，而非增加权值函数来衡量锚框的重要性，降低锚框权值，当同时修改两处的非极大值抑制算法时，不仅造成模型运行时间过长，在此过程中，由于缺少一个初步的大量筛选删除的过程，在最后预测时，也出现的较多的锚框；修改后处理阶段的非极大值抑制算法，模型的初始预测结果中的平均准确率比第二次修改非极大值抑制算法的准确率高1％，修改非极大值抑制算法的意义就在于第二次修改时的预测锚框更加精准，相比于模型初始预测的截图，右边的无人机有1/3的体积都在锚框之外，而当修改的第二次的非极大值抑制算法时，虽然损失了一些精度，但是锚框的定位更加准确，且损失后的锚框置信度较高为93％，在可接受的范围之内，所以只对第二次的非极大值抑制算法进行优化即可。柔性非极大值抑制的效果如图8所示，在图片数据集中待检测物上存在冗余锚框，通过对比待检测物的iou值，保留置信度最大的锚框。
[0056]
步骤5：将步骤1计算的特征图和步骤4得到的优化后的候选区域传入roi align层，具体流程如图9所示，该层可以将不同尺寸的候选区域进行固定，将候选区域映射回原图中，通过全连接层对低空小飞行物进行最后的结果预测。
[0057]
目标检测模型在最开始数据输入的时候，就对原图进行了一次尺寸的固定，由于特征提取网络的网络层数固定，产生的特征图尺寸也是固定的。在忽略维度的情况下，这二者之间的倍数同样是固定的，即m＝m/16、n＝n/16，在大多数情况之下，将特征图的尺寸均匀的分成x份会产生浮点数，此时模型会默认的向下取整，最后造成候选框的偏置。对于一些尺寸足够的大的目标来说，这些影响是微乎其微的，可以忽略不计的，但对于小目标来说，其影响甚至可以导致模型分类错误。所以本实施例放弃对映射过程中的数据进行运算，而是重新生成数值，通过一种图像仿射变换中常用的插值算法计算出新的值，避免量化带来的精度损失，不进行取整，该算法无论是从结果的精度还是运行的速度，都有不俗的表
现，该算法的具体计算过程如图10所示。图10中有一个124
×
124的候选区域，对应缩放16倍，保留了浮点数之后，它的尺寸为7.75
×
7.75，同样均匀的划分成四个小区域，如图11所示，每一个小区域尺寸为3.875
×
3.875。之后在每一个小区域内利用插值算法进行像素值提取。该线性内插算法是利用目标像素坐标附近四个点来计算，所以再次将小区域划分为四份。roi align层无论是从取样点的选择还是结果的精度均有所提升，roi align的反向传播公式如公式(9)所示：
[0058][0059]
式中，xi代表池化前特征图上的第i个像素点；y
rj
代表池化后的第r个候选区域的第j个点，d(.)为池化前特征图上的像素点；δh为xi与x
i*(r，j)
横坐标的差值；δw为xi与x
i*(r，j)
纵坐标的差值，x
i*(r，j)
是一个浮点数的坐标位置(前向传播时计算出来的采样点)。在反向传播的过程中，roi align不再只针对某一个点的像素值，它是针对某一个范围之内的像素值，因为在计算过程中取消了量化这一操作，无法找到对应点，所以利用映射到特征图中的浮点坐标，作为圆心，将半径为1的圆内所有特征点全部回传，即每一个与x
i*(r，j)
横纵坐标均小于1的点。最后利用全连接层进行对低空小飞行物进行分类预测，并输出结果。
[0060]
图12为单个小目标数据样本，图13为多个小目标数据样本。模型对图12进行预测，检测出样本种类的uav(无人机)，置信度为93％，预测效果良好；对图13进行预测，检测出样本种类为bird(鸟)，并针对多个样本重叠在一起的情况，模型预测效果良好，且置信度普遍大于90％。
[0061]
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明权利要求所限定的范围。