一种基于压缩SSD的低空飞行物检测方法

一种基于压缩ssd的低空飞行物检测方法
技术领域
1.本发明涉及目标检测技术领域，尤其涉及一种基于压缩ssd的低空飞行物检测方法。


背景技术：

2.低空空域是指高度在1000m以下的飞行区域，该领域对于农业生产、医疗救助以及交通行业而言，都有着重要的应用价值。近年来，我国为支持国内航空产业，逐步开放了低空空域，其管理问题也随之而来。目前，常见的低空飞行物主要有鸟类以及无人机。无人机作为高科技产品，被广泛应用到各个领域，如农业生产、旅行航拍与竞技比赛等方面，它给人们带来便捷与快乐的同时，也存在安全隐患。部分私人拥有的无人机，在进行飞行时，会对低空领域内飞行的客机产生安全威胁。且无人机进行航拍时，存在侵犯私人空间、泄露他人隐私等问题。因此，需进一步加强对低空空域的管理，完善对于低空中各类飞行目标的检测问题。
3.近些年，随着深度学习的不断发展，卷积神经网络作为其代表算法之一，在图像识别和检测方面也取得了显著的成果，从2016年至今，先后涌现了faster r-cnn,yolo,ssd等优越的目标检测方法。得益于越来越深、越来越复杂的网络结构，大型卷积神经网络的性能更加强大，能更好地提取特征。因此，可利用卷积神经网络对低空飞行物进行检测识别。低空飞行物的运行速度快，且距离地面近，从被系统捕捉到消失历时较短。对此，为满足检测模型的实用性，对模型的识别速度有较高的要求。现有目标检测模型中，ssd(single shot multibox detector)模型在检测速度与精度方面皆表现良好，但ssd模型结构复杂、体积庞大，针对低空飞行物，其检测速度相对较慢。针对这一问题，需要对目标检测模型进行压缩，在保证其精度的情况下，降低模型的复杂度和资源需求，提高模型在服务器平台上的检测速度。


技术实现要素：

4.本发明要解决的技术问题是针对上述现有技术的不足，提供一种基于压缩ssd的低空飞行物检测方法，采用通道剪枝算法对ssd模型加以压缩，模型网络结构更加精炼，其体积相较于原模型更小，在保证精度的同时大大提高了检测速度。
5.为解决上述技术问题，本发明所采取的技术方案是：
6.一种基于压缩ssd的低空飞行物检测方法，包括以下步骤：
7.步骤1：对ssd模型内部隐藏层输入的数据进行批量归一化处理，加快网络收敛速度，使ssd模型拥有更好的性能。
8.步骤2：采用l1正则化方法，以衡量通道重要性的因素作为正则化方法的目标参数，将正则化项加入ssd模型的损失函数中，从而实现对ssd模型的内部通道进行稀疏化处理的作用。
9.步骤3：在ssd模型中引入比例因子，对模型中各个通道的重要性进行衡量。选用bn
层的γ参数作为各个通道的比例因子。将比例因子与通道输出相乘，作为通道的最终输出，对网络权重与比例因子进行联合训练。在训练的过程中，当比例因子取零时，可实现对目标检测模型中的通道自动进行剪枝的效果。为便于后期的剪枝操作，对比例因子进行了稀疏正则化处理，使其整体数值逼近于零，其中部分数值归零，实现化简模型的效果。
10.步骤4：以vgg16作为基础网络，构建ssd模型的具体网络结构，并在模型的激活层后添加bn层对模型加以优化。以bn层中的参数γ作为各个通道的比例因子，并设置正则化项的惩罚因子、初始学习率设置和batch_size，基于低空飞行物数据集，使用随机梯度下降算法对模型进行训练。
11.步骤5：针对训练后获得的稀疏模型，确定剪枝率，获得对应的数值作为全局修剪阈值。通过该阈值对ssd模型中的各条通道进行衡量，剪除重要性低的通道，获得压缩ssd模型。
12.步骤6：输入待检测的视频名称，运行压缩ssd模型对视频中的低空飞行目标进行检测。首先在压缩ssd模型的命令窗口中输入视频的存放地址，然后运行压缩ssd模型，对视频开始检测。
13.采用上述技术方案所产生的有益效果在于：本发明提供的基于压缩ssd的低空飞行物检测方法，采用通道剪枝算法对ssd模型加以压缩。以批量归一化层中的仿射变换参数γ作为各个通道的比例因子，即利用该参数衡量目标检测模型中各个通道的重要性，将模型中影响力小的通道剪除从而精简模型的结构。并且，为进一步提高通道剪枝的效率，采用l1正则化方法，对通道剪枝的比例因子进行稀疏化处理，再选定合适的剪枝率，对ssd模型进行通道剪枝，获得一个经过优化的目标检测模型。该模型的各方面性能均优于原模型，从模型体积方面分析，经过优化处理的模型网络结构更加精炼，其体积相较于原模型会大大降低；从模型的检测速度方面分析，优化后的模型体积更小，运行的速度也更快，会得到更高的检测速度。从模型的检测精度方面分析，本发明所采用的通道剪枝方法对各个通道的重要性进行了衡量，以保证被剪除的通道对模型的精度影响较小，因此，优化后的模型精度与原模型精度接近。
附图说明
14.图1为本发明实施例提供的ssd目标检测模型的基础网络结构图；
15.图2为本发明实施例提供的通道剪枝算法的操作示意图；
16.图3为本发明实施例提供的ssd模型进行通道剪枝前后的部分网络结构图；其中，图(3a)为剪枝前的ssd模型中的部分网络结构，图(3b)为图(3a)对应的剪枝后的结构；
17.图4为本发明实施例提供的ssd模型进行通道剪枝前后的检测效果对比图；其中，图(4a)为剪枝前的模型检测效果图，图(4b)为剪枝后的模型检测效果图；
18.图5为本发明实施例提供的进行通道剪枝后ssd模型的pr图像；其中，图(5a)为无人机类检测目标的pr图像，图(5b)为鸟类检测目标的pr图像；
19.图6为本发明实施例提供的ssd模型进行通道剪枝前后的检测精度对比图；其中，图(6a)为剪枝前的模型map值图像，图(6b)为剪枝后的模型map值图像。
具体实施方式
20.下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。
21.本实施例基于压缩ssd的低空飞行物检测方法具体如下所述。
22.步骤1：对ssd模型内部隐藏层输入的数据进行批量归一化处理。
23.ssd模型训练时，会对输入数据进行数据增强与归一化处理，但在训练过程中，由于一次次进行卷积运算，中间层数据分布变动，将导致梯度消失或爆炸，影响模型训练速度。为此，本实施例在ssd模型中添加批量归一化层(batch normalization，bn)，该层将对输入数据进行批量归一化处理，加快网络收敛速度，使模型拥有更好的性能。为减少bn层的计算量，该层参考权值共享策略，以通道为范围，对输入数据进行如下处理。
[0024][0025][0026][0027]
其中，x代表ssd模型中间层输入特征图的均值；xi代表第i张特征图的均值；m代表输入的一个小批量内所包含的特征图数量；代表输入的中间值；z
in
代表单一通道的输入值；z
out
代表单一通道的输出值；μb代表输入的一个小批量内数据的平均值；σb代表输入的一个小批量内数据的标准差；γ代表单一通道的缩放参数；β代表单一通道的平移参数；ε是为防止除以零而引入的极小量，可忽略不计。γ和β作为bn层引入的可训练的仿射变换参数，γ的初始值为1，β的初始值为0。在模型训练的过程中，γ和β与权重参数一样不断进行学习优化。
[0028]
由公式(1)可知，对输入数据进行批量归一化处理，在调整数据分布的同时，会影响模型的表达能力。因此引入了可训练的仿射变换参数γ和β，当β＝μb时，模型可恢复出未经归一化处理的网络所学到的特征。在批量归一化层，为降低计算量，以通道为单位，每条通道内的特征图对应同一组γ、β参数，且γ参数在训练的过程中，会逐渐接近该通道内权重参数的标准差。由此，可反映出参数γ与该通道的关联性，即γ可在一定程度上评估所关联通道的重要程度，这一点对于后续通道剪枝部分有重要意义。
[0029]
步骤2：采用l1正则化方法，以衡量通道重要性的因素作为正则化方法的目标参数，将正则化项加入模型的损失函数中，从而实现对ssd模型的内部通道进行稀疏化处理的作用。
[0030]
正则化也是一种解决算法过拟合问题的方法，按策略可分为经验正则化、参数正则化、隐式正则化三种。其中较为常见的是参数正则化，以l1正则化、l2正则化为代表，二者皆是通过限制权重参数的大小，从而降低输入数据中的异常数据对于模型准确度的影响，同时降低模型的复杂度，提高其泛化能力。l2正则化又称岭回归，其应用方式很简单，具体公式如下。
[0031][0032]
在公式(4)中，e
in
代表目标检测模型的原损失函数；wi代表模型内的目标参数；l代表模型的新损失函数；λ代表正则化参数。在原损失函数中添加正则化项后，在λ的值接近于零时，正则化项对目标参数的约束力较小，在λ接近无穷时，正则化项对目标参数的约束作用增大，使wi尽量接近于零，来降低模型的损失值。因此，需根据实际情况，合理设置λ的值。在损失函数中加入l2正则化项，且将目标参数设置为权重参数时，模型训练的过程中，不仅要考虑检测结果与真实值之间的误差，还要保证权重参数的值足够小，由此可降低输入样本中的异常值对模型产生的影响，也可解决模型中参数的过拟合问题。l1正则化又叫lasso回归，其原理与l2正则化相同，具体应用公式如下所示。
[0033][0034]
二者之间最大的区分在于l1正则化具有一定的稀疏化作用，而l2正则化没有。在高纬度函数求解中同样如此，lasso回归所得参数值存在大部分为零的情况，而岭回归并不具备这一特性。因此，通过添加l1正则化项，还可达到对目标参数的稀疏化作用。本实施例正是利用l1正则化的这一特性，实现对模型进行稀疏化处理的效果。
[0035]
步骤3：在ssd模型中引入比例因子，对模型中各个通道的重要性进行衡量。
[0036]
直接对预训练模型进行通道剪枝，所产生的模型压缩效果并不明显。因为只有极少部分通道满足输入、输出同时为0的剪枝要求，删除这部分通道，对模型的体积影响较小，难以达到提高模型速度的目的。
[0037]
针对这一问题，本实施例采用引入比例因子的方式对模型中各个通道的重要性进行衡量，再通过重要性的高低对模型进行通道剪枝。通过上文对bn层的分析可知，模型中的每一条通道都对应一个bn层的γ参数，且该参数的大小与通道的输出值相关联，因此，本实施例选用bn层的γ参数作为各个通道的比例因子。将比例因子与通道输出相乘，作为通道的最终输出，对网络权重与比例因子进行联合训练。在训练的过程中，当比例因子取零时，可实现对目标检测模型中的通道自动进行剪枝的效果。因此，为便于后期的剪枝操作，对比例因子进行稀疏正则化处理，使其整体数值逼近于零，其中部分数值归零，实现化简模型的效果。经过多番处理，改进后的ssd模型的新损失函数l如下所示：
[0038][0039]
在公式(6)中，n代表与真实框匹配的默认框数量；α代表ssd模型内部的权重因子；l
conf
代表ssd模型进行检测时的分类损失；l
loc
代表ssd模型检测时的定位损失；λ为惩罚因子；γ为比例因子；α用于调整分类损失与定位损失之间的比例，其值默认为1。λ作为正则化项的惩罚因子，其值设置过小时，正则化项对通道比例因子的约束力小，无法达到化简模型的效果；其值设置过大时，正则化项对比例因子的约束力增大，影响模型的训练效果。g(γ)是为稀疏化比例因子而引入的惩罚函数。本实施例采用l1正则化对比例因子进行稀疏化处理，故g(γ)＝|γ|。
[0040]
步骤4：以vgg16作为基础网络，构建ssd模型的具体网络结构，如图1所示，并在模型的激活层后添加bn层对模型加以优化。以bn层中的参数γ作为各个通道的比例因子，并
设置正则化项的惩罚因子λ＝0.001，初始学习率设置为0.001，batch_size设置为16，基于低空飞行物数据集，使用随机梯度下降算法对模型进行训练。其中正则化项的惩罚因子λ、初始学习率和batch_size的设置可以根据实际情况适当调整，只要设置的合理即可。
[0041]
具体实验环境如表1所示。
[0042]
表1实验环境
[0043][0044][0045]
步骤5：针对训练后获得的稀疏模型，选取合适数值作为全局修剪阈值，对该模型进行通道剪枝。
[0046]
首先为模型添加全局阈值，该阈值由通道剪枝的比例所决定，以70％的剪枝率为例，此时的全局阈值为所有比例因子从小到大排序，70％处比例因子的值。
[0047]
通过正则化方法对ssd模型进行稀疏训练后，选取不同的剪枝率进行通道剪枝，其剪枝示意图如图2所示，所得结果如表2所示。
[0048]
表2模型剪枝前后对比
[0049][0050]
通过对比表格中的数据可知，当目标检测模型进行剪枝的阈值设置为80％时，剪枝操作将会破坏模型的整体结构，导致模型精度受到了剧烈影响，因此，该剪枝操作获得的模型不可取。当以70％为全局阈值进行剪枝操作时，模型压缩率可达到18.43％，删除了原模型中大量对检测效果影响力小的通道，使模型的结构更加精炼，从而提高了模型的检测速度。因此，选取以70％作为阈值进行剪枝后得到的模型，对低空中的飞行物进行检测，该模型剪枝前后的局部结构对比图如图3所示，其中，图(3a)为剪枝前的ssd模型中的部分网络结构，图(3b)为图(3a)对应的剪枝后的结构。
[0051]
步骤6：输入待检测的视频名称，运行剪枝后的ssd模型对视频中的低空飞行目标进行检测。首先在压缩后的ssd模型命令窗口中输入视频的存放地址，然后运行该模型，对视频开始检测。
[0052]
模型的检测速度是衡量模型性能的重要标准之一，在目标识别领域，通常采用fps(frames per second)值衡量模型检测速度。fps代表图像每秒传输帧数，其值越大，画面越流畅。通常情况下，对目标检测模型进行测试，其fps值达到40以上，就证明该模型可以达到实时检测的效果，能够有效捕捉到高速运动中的目标。
[0053]
为验证模型剪枝后，对于低空飞行物的检测能力有所提升，在pc机上分别运行剪枝前后(选用以70％作为全局阈值进行剪枝的模型)的ssd模型，对视频进行检测，其检测效果如图4所示，其中，图(4a)为剪枝前的模型检测效果图，图(4b)为剪枝后的模型检测效果图。所得的时间参数如表3所示。
[0054]
表3模型剪枝前后速度对比
[0055][0056]
经对比可发现，剪枝后的模型检测速度得到了明显提升，由原本的每秒30帧左右提升至每秒80帧左右，有效提升了模型对于低空中高速飞行目标的捕捉能力，使模型达到了实时检测的效果。
[0057]
模型精度是衡量模型性能的又一重要标准，在ssd模型中，通常采用map(mean average precision)值对模型精度进行评判，所谓map值，就是指模型的平均精度，它由模型的精确度与召回率两方面因素所共同决定。在多目标检测的模型中，针对每一类目标都有属于这一类的ap值，本发明所涉及的鸟类与无人机的ap值图像如图5所示，其中，图(5a)为无人机类检测目标的pr图像，此类的平均精度值为0.69，图(5b)为鸟类检测目标的pr图像，此类的平均精度值为0.90。将这些ap值进行汇总，求平均值，最终所得结果即为衡量模型精确度的的标准—map值。
[0058]
分别对模型剪枝前后的平均精度均值(map)进行检测可发现，模型对鸟类图片的预测精确度由91％变为90％，降低了1％，对uav图片的预测精确度由68％变为69％，提升了1％，模型整体的map值由79.37％变为79.55％，提升了0.2％，具体实验数据如图6所示，其中，图(6a)为剪枝前的模型map值图像，其平均精度值为79.37％，图(6b)为剪枝后的模型map值图像，其平均精度值为79.55％。由此可知，经过剪枝优化后的ssd模型，在提高了检测速度的同时，也保持了良好的检测精度。
[0059]
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明权利要求所限定的范围。