一种基于SSD卷积网络的大尺寸航拍图像目标检测方法

一种基于ssd卷积网络的大尺寸航拍图像目标检测方法
技术领域
1.本发明涉及图像目标检测技术领域，具体是一种基于ssd卷积网络的大尺寸航拍图像目标检测方法。


背景技术：

2.航拍图像相比于地面拍摄图像，拥有更广阔的视野，可以获得更加丰富的信息，在侦查监视、城市规划、交通管制等领域有着广泛的应用。基于深度学习的航拍目标检测算法很好地解决了多类目标的检测问题以及检测准确率问题，但对大尺寸航拍图像检测的实时性问题一直无法得到有效解决。
3.文献[1](gong c,zhou p,han j.learning rotation-invariant convolutional neural networks for object detection in vhr optical remote sensing images[j].ieee transactions on geoscience and remote sensing,2016,54(12):7405-7415.)设计了对目标旋转特性不敏感的目标函数来训练网络，对大尺寸航拍图像采用了选择性搜索算法提取目标候选框，但是提取大量的目标候选框很耗时，最后所达到的速度是检测每张图耗时8.77s。文献[2](sommer l w,schuchert t,beyerer j.fast deep vehicle detection in aerial images[c]//2017ieee winter conference on applications of computer vision(wacv).ieee,2017.)指出由于目前gpu的限制，深度卷积网络(cnn)不能处理大尺寸的图像，针对这个问题提出了利用滑动窗口将大尺寸图像裁剪(crop)成多个小块(patch)进行训练和检测，但是在一张图像上进行大量的检测严重拖累了检测速度。文献[3](sakla w,konjevod g,mundhenk t n.deep multi-modal vehicle detection in aerial isr imagery[c]//applications of computer vision.ieee,2017.)对三类8种主要的区域建议算法(objectproposalsmethods)在航拍目标检测中的应用进行了研究分析，但仍旧没有解决航拍图像检测速度的问题。
[0004]
上述三个文献中的方法分别利用选择性搜索方法、滑动窗口方法以及区域建议算法对大尺寸的图像进行分割，之后再将分割得到到图像快送入目标检测网络进行检测，从而得到大尺寸图像中目标情况。三种方法均从图像的角度出发，将大图像分割成小图像块，从而满足了检测网络的检测需求，本质上都是将大尺寸航拍图像看成了一般图像进行处理，忽略了大尺寸航拍图像的一些独特性质，而对大尺寸的普通图像进行检测处理，必然导致算法实时性较差的情况，从而不利于实际应用中的使用。


技术实现要素：

[0005]
本发明要解决的技术问题是提供一种基于ssd卷积网络的大尺寸航拍图像目标检测方法，采用梯度聚类模块、卷积神经网络检测模型和融合模块的大尺寸航拍图像检测框架，实现对大尺寸航拍图像的快速检测。
[0006]
本发明的技术方案为：
[0007]
一种基于ssd卷积网络的大尺寸航拍图像目标检测方法，首先采用梯度聚类模块
对大尺寸航拍图像进行梯度运算，再对梯度运算所得到的梯度图进行区域聚类计算，得到目标集中的聚类区域，然后采用ssd目标检测模型检测得出每个聚类区域中的目标，最后融合模块根据梯度聚类模块计算得到的聚类区域、ssd目标检测模型得到的目标检测结果进行映射融合，从而得到整张大尺寸航拍图像的目标检测结果。
[0008]
所述的大尺寸航拍图像在进行梯度运算前，采用模板尺寸为(2k 1)
×
(2k 1)、标准差为σ的高斯滤波器进行滤波，有效去除大尺寸航拍图像中的自然噪声，然后再在滤波后的大尺寸航拍图像上进行梯度运算；其中，k取值越大代表高斯滤波器的模板越大，更能适应大尺寸人造物体的筛选，σ取值越大代表高斯滤波器对图像的平滑效果越显著，更适应于自然背景较多的情况。
[0009]
所述的梯度聚类模块采用sobel算子对大尺寸航拍图像进行梯度运算，sobel算子的具体参数选择如下：
[0010][0011][0012]
然后在ig上利用s1、s2进行sobel梯度运算，即可得到梯度图。
[0013]
所述的梯度图进行区域聚类计算的具体步骤为：在梯度图上进行阈值滤波，剔除大尺寸航拍图像自然背景中少量非人造物体的梯度边缘点，设置全局阈值为128，由此得到大尺寸航拍图像中人造物体边缘点的二值图ie为：
[0014][0015]
人造物体边缘点的二值图ie为二维数据点，采用聚类算法对二值图ie进行聚类，得到多个目标集中的聚类区域。
[0016]
所述的聚类算法采用sting算法，sting算法将二值图ie构成的平面空间划分成s
×
s的网络，并统计落入每个网络单元格中点的数量，根据连通阈值d，将达到连通阈值d的单元格进行连通，得到聚类区域r；其中，所述的s的取值为300、512或1024，所述的连通阈值d的取值由聚类算法运算量和网格召回率决定，连通阈值d的取值越大，则聚类算法运算量越小，速度越快，召回率越低。
[0017]
所述的ssd目标检测模型是由多个并行的ssd目标检测算法组成，每个ssd目标检测算法的输入尺寸为b
×
b，b的取值为300、512或1024,以实现与梯度聚类模块的数据传递；其中，ssd目标检测模型中的一个ssd目标检测算法接收梯度聚类算法计算得到的一个聚类区域，并进行检测，由此得出每个聚类区域中的目标。
[0018]
所述的融合模块的映射融合关系如下：
[0019][0020]
其中，b为ssd目标检测算法的输入尺寸，x、y代表某个点在整张大尺寸航拍图像上的坐标，n_x、n_y分别代表聚类区域在整张大尺寸航拍图像上的横纵编号，x
(n
_
x)
、x
(n
_
y)
代表某个点在聚类区域上的坐标；由于ssd目标检测模型的目标检测结果为标注框，该标注框由左上角点和右下角点组成，因此融合模块进行映射融合时，只需要对标注框的左上角点和右下角点的坐标进行映射即可。
[0021]
本发明的优点：
[0022]
(1)、本发明利用大尺寸航拍图像与普通大尺寸图像相比、通过人造物体的边缘信息对目标区域进行筛选提取的这个特点，为大尺寸航拍图像的各类图像处理方式提供新的思路。
[0023]
(2)、本发明的梯度聚类模块创造性地将描述边缘特性的梯度方法与代表聚集特征的聚类方法相结合，可以快速完成对大尺寸航拍图像中目标集中区域的筛选，相比以前的滑动窗口方法、选择性搜索方法具有运算速度快、精度基本持平的优势。
[0024]
(3)、本发明采用了梯度聚类模块、卷积神经网络检测模型、融合模块相结合的大尺寸航拍图像检测框架，可实现对大尺寸航拍图像的快速检测。
附图说明
[0025]
图1是本发明大尺寸航拍图像中人造物体边缘点的二值图ie。
[0026]
图2是本发明采用sting算法划分得到的聚类区域r。
具体实施方式
[0027]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0028]
一种基于ssd卷积网络的大尺寸航拍图像目标检测方法，具体包括有以下步骤：
[0029]
(1)、采用模板尺寸为(2k 1)
×
(2k 1)、标准差为σ的高斯滤波器进行滤波(k＝3，σ＝1.5)，有效去除大尺寸航拍图像中的自然噪声，然后梯度聚类模块再在滤波后的大尺寸航拍图像上进行梯度运算；
[0030]
梯度聚类模块采用sobel算子对大尺寸航拍图像进行梯度运算，sobel算子的具体参数选择如下：
[0031][0032]
[0033]
然后在ig上利用s1、s2进行sobel梯度运算，即可得到梯度图；
[0034]
(2)、梯度聚类模块对梯度运算所得到的梯度图进行区域聚类计算，得到目标集中的聚类区域，具体是在梯度图上进行阈值滤波，剔除大尺寸航拍图像自然背景中少量非人造物体的梯度边缘点，设置全局阈值为128，由此得到大尺寸航拍图像中人造物体边缘点的二值图ie为：
[0035][0036]
人造物体边缘点的二值图ie为二维数据点(见图1)，采用sting算法将二值图ie构成的平面空间划分成s
×
s的网络，并统计落入每个网络单元格中点的数量，根据连通阈值d，将达到连通阈值d的单元格进行连通，得到多个目标集中的聚类区域r(见图2中的黑色色块)；其中，s＝512，连通阈值d＝600；
[0037]
(3)、采用ssd目标检测模型检测得出每个聚类区域中的目标，其中，ssd目标检测模型是由多个并行的ssd目标检测算法组成，每个ssd目标检测算法的输入尺寸为512
×
512，以实现与梯度聚类模块的数据传递；其中，ssd目标检测模型中的一个ssd目标检测算法接收梯度聚类算法计算得到的一个聚类区域，并进行检测，由此得出每个聚类区域中的目标；
[0038]
(4)、融合模块根据梯度聚类模块计算得到的聚类区域、ssd目标检测模型得到的目标检测结果进行映射融合，从而得到整张大尺寸航拍图像的目标检测结果；
[0039]
融合模块的映射融合关系如下：
[0040][0041]
其中，x、y代表某个点在整张大尺寸航拍图像上的坐标，n_x、n_y分别代表聚类区域在整张大尺寸航拍图像上的横纵编号，x
(n
_
x)
、x
(n
_
y)
代表某个点在聚类区域上的坐标；由于ssd目标检测模型的目标检测结果为标注框，该标注框由左上角点和右下角点组成，因此融合模块进行映射融合时，只需要对标注框的左上角点和右下角点的坐标进行映射即可。
[0042]
现有的聚类算法通常包括基于划分的聚类算法、基于层次的聚类算法、基于密度的聚类算法和基于网格的聚类算法等，在对二维梯度点图进行聚类时，更适合使用基于网格的聚类算法，这样可以简化算法对二维数据的运算。在基于网络的聚类算法中，有sting、wavecluster、clique等算法，sting算法利用统计信息来实现对网格单元的聚类，运算量小，速度快，可以满足简单的二维梯度点的聚类需求；wavecluster算法引入了小波变换的原理，在信号处理、加密解密领域有重要应用，聚类准确度很高，但其引入的其他原理增加了其运算量，速度较慢；clique算法是一种结合了网格和密度的聚类算法，速度和准确度介于前两个算法之间，综合考虑，本发明采用sting算法即可实现对简单二维梯度点图的聚类。
[0043]
本发明(简写gcs)在一台操作系统为ubuntu16.06、显卡为nvidia gtx1080ti、处理器为xeon e5-2673、内存为32gb的工作站上进行了实验分析，并与faster r-cnn(简写f)、yolov2(简写y)、sliding windowsssd(简写sws)三种算法进行了对比。实验时，使用的
数据为dota数据集中选取的151张图像，涉及的物体类别有6类：飞机、船、储油罐、操场、港口以及转盘，实验结果如下表1所示。
[0044]
表1各类目标检测方法在大尺寸航拍图像上的效果对比
[0045][0046]
表1中，map为模型对多类别目标检测准确率的评价指标，百分比越大代表效果越好；每个目标类别下面的数字为ap值，代表模型对该类目标检测准确率的评价指标，百分比越大代表效果越好；spf代表处理一帧图像需要花费的时间，单位为秒。
[0047]
从上表1可以看出，faster r-cnn的检测速度最慢，yolo检测速度最快，本发明相比最快的yolo算法，spf提高了1.06秒，提高幅度达到了34.64％，同时保持了较好的检测准确率，map相比yolo也提高了3.42％。由此可见，本发明在保持一定检测准确率的情况下，大幅提高了对大尺寸航拍图像的检测速度。
[0048]
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。