基于多尺度融合轻量化深度学习卷积网络的目标检测方法与流程

1.本发明属于机器学习及深度学习的技术领域，具体涉及一种基于多尺度融合的轻量化深度学习卷积网络的目标检测方法。


背景技术：

2.通常，深度神经网络的参数数目可以达到千万甚至亿级，随着网络的深度和广度的增加，网络模型存在着大量的冗余参数，这是导致深度学习模型计算量大、内存消耗严重的主要原因。实际上，在网络传播过程中，只需要保留重要程度较高的神经元或者以更为优化和简单的方式组织表示神经元就可以提供足够的特征信息给神经网络的输出层进行结果预测。针对这个现象，很多关于模型压缩和模型运算加速的方法被提出，总结为，深度神经网络模型加速和优化的策略研究主要可以归结为三个层面：精简权重的表示方式、减少网络连接和神经元冗余、网络结构的优化。
3.(1)精简网络权重的表示
4.常用的神经网络模型参数的表示形式都是浮点型(单精度)数或者双精度数，即一个参数需要占用4个字节(32位)或者8个字节(64位)。为了降低深层神经网络模型的存储空间和内存消耗从而达到压缩和加速深度模型的目的，很多相关研究学者企图通过利用更少的比特位来近似表示深度神经网络模型的实数权重值。
5.(2)降低网络权重的冗余
6.深度神经网络模型在参数学习的过程中其实大部分的参数对输入对象的特征抽取影响微乎其微或者用少量的神经元即可以达到分类器对特征抽取的要求。因此，对深度神经网络模型网络层与层之间连接和神经元冗余问题的相关研究进展也是降低深度神经网络模型对内存大小和计算量需求的另一个切入点。
7.(3)优化网络结构
8.不同的神经网络结构对模型性能的影响非常显著，更好的网络结构可以减少每一层的神经元和权重的数量，从而可以在保证不会出现梯度消失等问题的同时设计更深层的神经网络模型。此外，更优化的网络结构还可以让网络更加容易训练，减少网络模型的运算量和学习参数，达到加速神经网络训练和推断过程的目的。
9.不难发现，深度神经网络模型如果具有更小和更少的神经元往往意味着更低的计算量需求。因此探索更合适的神经网络结构也可以显著地加速网络的训练和推断过程。以2014年imagenet竞赛为例子，获得优胜的vgg模型和googlenet模型在图片分类任务中取得了相近的成绩，但是googlenet不仅运行速度明显快于vgg，而且模型参数的数量也远远小于vgg。出现这种情况的主要原因是googlenet使用了更多的小尺寸卷积核和池化操作，即在两种网络的神经元个数相同的情况下，googlenet的权重矩阵和卷积操作的计算量也明显小于vgg。在过去几年中，不少相关研究提出新的神经网络结构单元，企图通过利用更小或者更简单的神经单元构造网络，以此来减少训练参数的数量。2015年，srivastava等人受到长短期记忆循环网络结构的启发，设计出了公路神经网络。相比在此之前提出的教师网
络，具有更深网络结构的公路网络不仅克服梯度消失的问题，而且它仅仅用了1.25m的参数就在cifar-10和cifar-100数据集上取得了更好的表现。同年，kaiming he等人设计了一种新的结构单元来构建深层神经网络，称为残差块。他们提出的resnets网络最终获得了2015年imagenet比赛的优胜。与公路网络相比，resnets网络仅仅使用1/3的学习参数就获得了更好的性能表现。


技术实现要素：

10.有鉴于此，本发明提供了一种基于多尺度融合的轻量化深度学习卷积网络的目标检测方法，能够减少传统深度学习模型对资源受限嵌入式平台带来巨大的计算压力。
11.实现本发明的技术方案如下：
12.一种基于多尺度融合的轻量化深度学习卷积网络的目标检测方法，包括以下步骤：
13.步骤一、获取卫星宽幅图像数据，对图像数据中的飞机目标进行标注，对标注后的数据进行拆分形成训练集、测试集和验证集；
14.步骤二、构建由stem模块、双路卷积密集连接(two-way dense)模块和传输层(transition layer)构成的骨干网络；
15.步骤三、为了检测尺度差异大的飞机目标，构建多种尺度的卷积层来用于分类和检测；
16.步骤四、基于飞机目标的任意方向性，构建两个网络分支提取不同特征进行分类和回归；
17.步骤五、在回归的网络分支加入arf(主动旋转滤波器)和orn(旋转方向网络)；
18.步骤六、基于步骤五的网络提取旋转不变特征，构建特征映射关系，对飞机目标类别进行置信度确定及四个边界框的确定；
19.步骤七、基于步骤六得到的不同尺度特征下的目标的四个边界框，进行非极大值抑制操作，最后得到最终的检测结果，从而完成轻量化网络的设计；利用步骤一获得的训练集、测试集和验证集对所述轻量化网络进行训练；
20.步骤八、利用训练好的轻量化网络对卫星宽幅图像数据中的飞机目标进行检测。
21.进一步地，所述卫星宽幅数据为8米民用分辨率。
22.进一步地，步骤三中，采用采用4种尺度特征图做检测。
23.进一步地，步骤三中，采用了残差模块和反卷积模块构成了多尺度特征融合模块(3-way残差模块)，并且将其嵌入到每种尺度特征下。
24.进一步地，步骤四中，回归分支通过主动旋转卷积滤波器来提取旋转敏感特征，分类分支通过汇集旋转敏感特征来提取旋转不变性特征。
25.有益效果：
26.1.本发明基于多层次循环剪枝和递进式定点化的网络优化技术：为减少传统深度学习模型对资源受限嵌入式平台带来巨大的计算压力，针对星上在轨平台具有低功耗、存储少、重量轻的特点，通过多层次等比例循环迭代剪枝和递进式定点量化操作实现对网络的运算量和参数量的优化。
27.2.本发明基于旋转敏感回归检测器的设计提高网络检测性能：设计两个网络分支
提取不同特征进行分类和回归。具体而言，回归分支通过主动旋转卷积滤波器来提取旋转敏感特征，而分类分支通过汇集旋转敏感特征来提取旋转不变性特征，降低了目标本身的条状、旋转、聚集的特性以及飞机目标尺寸小的特点导致传统目标检测算法存在高漏检、高虚警和难以精准定位的问题，实现对多尺度、多方向飞机目标得高效检测。
附图说明
28.图1为本发明方法流程图。
29.图2为stem模块示意图。
30.图3为two-way dense模块示意图。
31.图4为3-way残差模块示意图。
32.图5为旋转敏感回归模块(rsr)。
33.图6为机场场景飞机的检测结果；(a)(b)(c)(d)为同一机场不同视角下的成像检测效果。
具体实施方式
34.下面结合附图并举实施例，对本发明进行详细描述。
35.参照图1的流程图，以光学机场飞机检测为例，进行实验，具体实施步骤如下：
36.s1：基于谷歌卫星数据的宽幅数据，8米民用分辨率。
37.s2：轻量化特征提取主干网络
38.项目的骨干网络由三部分构成：stem模块、双路卷积密集连接(two-way dense)模块和传输层(transition layer)，其网络结构参数列表如表1所示。下面我们将分别来介绍：
39.表1主干网络结构参数列表
40.[0041][0042]
stem模块：受多尺度卷积的inceptionv4结构启发，我们在two-way dense模块前，设计了一种精简有效的stem模块，其示意图如图2所示。stem模块借鉴了inception多尺度的思想，其结构中包含了3*3卷积和最大池化，增加了网络对不同尺度的适应性，并且增加1*1的卷积操作用于降低通道维数的同时也提高了网络表达能力。因此，与传统在初始层的基础上逐层增加网络层数方法相比，stem模块在不增加计算复杂度的前提下，能够有效提高特征表达能力。
[0043]
two-way dense模块：借鉴inceptionv3网络多通道卷积结构和空间非对称卷积的思想设计两层密集连接层，来获得多尺度的感受野。一路卷积通道使用了小尺度3*3卷积核来提取尺寸小的飞机目标特征，其中为了降低3*3卷积的计算复杂度，我们将3*3卷积分成非对称卷积核：1*3和3*1卷积；另一路卷积通道使用了两层堆积式的3*3卷积核来学习尺度大的飞机视觉模板，其中最后的3*3卷积也采用了非对称卷积核方式。two-way dense模块的示意图如图3所示。
[0044]
transition模块：transition模块的主要作用是保证特征图下采样的同时，并使用1*1卷积操作降低two-way dense模块传递的特征通道数。在本发明的网络设计中，transition模块包含批量bn层和1*1卷积层，接着是2*2平均池化层。
[0045]
s3：多尺度特征融合的检测模块
[0046]
为了检测尺度差异大的飞机目标，本发明继承ssd目标检测的多尺度特征检测结构，在轻量化特征提取主干网络之后构建多种尺度的卷积层来用于分类和检测。在这里，为了减少计算量，本发明采用4种尺度特征图(32*32,16*16,8*8,4*4)做检测。考虑到ssd目标检测方法虽然能够检测到多尺度目标，但是具有高分辨率的浅层特征不具有充分的特征表达能力且每种尺度特征图的检测互相独立，导致对尺度小的目标往往检测效果不佳。
[0047]
针对上述问题，我们采用了残差模块和反卷积模块构成了多尺度特征融合模块(3-way残差模块)，并且将其嵌入到检测模块的每种尺度特征下，该模块的示意图如图4所示。3-way残差模块分为branch1,branch2和branch3三条支路，其中branch1采用1*1卷积核作为残差模块的快捷连接，该结构能够缓解梯度消失问题，保持从预测损失函数传来的梯度能够直接进入主干网络中；为了增强浅层特征的表达能力，本发明使用了3*3卷积核作为残差模块branch2支路。baranch2支路具有较高的感受野，能够提取小目标的周围环境信息，提升小目标的检测性能；branch3支路里面包含3*3卷积和反卷积，其作用将浅层特征与之接近的高层特征进行融合，增强高空间分辨率浅层特征的表达能力，使得目标与背景易于区分。
[0048]
s4：旋转敏感回归检测器
[0049]
光学遥感图像中的飞机目标具有任意方向，需要根据定向边界框进行检测。通常情况下，一个多方向的目标检测器涉及两个关键任务：1)目标存在检测，这是无视目标方向的分类问题；2)面向边界框的回归，它关注目标的方向。以前的深度学习目标检测方法依赖于这两个任务的共享功能，由于两个任务不兼容导致性能下降。为了解决该问题，本项目对
分类和定位两种不同任务，设计两个网络分支提取不同特征进行分类和回归。具体而言，回归分支通过主动旋转卷积滤波器来提取旋转敏感特征，而分类分支通过汇集旋转敏感特征来提取旋转不变性特征。旋转敏感回归检测器结构图如图5所示。
[0050]
旋转敏感回归(rrd)是一种端到端的可训练全卷积神经网络，其体系结构受ssd的启发。其架构使用本项目设计的轻量化网络作为其骨干网络，以与ssd相同的方式添加额外的层。采用四层骨干网进行密集预测。
[0051]
密集的预测与ssd相似。对于每个默认框，rrd都会对其标签(文本或非文本)进行分类并对相对偏移进行回归。之后，rrd将偏移量应用于被分类为默认框的偏移量，产生多个四边形，每个都有一个分数。四边形由非最大抑制滤波，输出最终检测结果。我们的方法的关键新颖之处在于密集预测部分，其中rrd分别提取具有不同特征的两类特征映射用于分类和回归。分类特征图对文本方向不敏感，而回归特征图很敏感。如前所述，这些特征很好地说明了这两项任务的性质。
[0052]
s5：旋转敏感回归
[0053]
飞机目标坐标对方向很敏感，因此，在旋转敏感特征上执行坐标偏移的回归。面向响应卷积通过主动旋转其卷积滤波器来编码旋转信息，从而产生用于回归的旋转敏感特征。与标准cnn功能不同，rrd使用主动旋转滤波器(arf)提取旋转敏感特征。arf通过规范滤波器及其旋转的克隆来卷积特征映射。将arf的标准滤波器表示为f0∈rk×k×n，其中k是内核大小，n是旋转数。arf通过将n-1旋转到不同角度分别使n-1标准滤波器的克隆变为fj,j＝1:n。mi(j)和mo(j)分别表示第j个方向的输入特征映射和输出特征映射。arf通过计算来卷积特征映射：
[0054][0055]fj
(n)表示fj的第n个方向通道。卷积后，它产生n个通道的响应图，每个通道对应与规范滤波器或其旋转克隆的响应。arf产生额外的渠道，以结合更丰富的旋转信息。在arf的帮助下，旋转方向网络(orn)生成带有方向通道的特征图，捕获旋转敏感特征并提高其旋转样本的通用性，这是以前从未见过的。此外，由于n之间的参数是共享的，因此学习arf需要的训练范例少得多。
[0056]
s6：旋转不变分类
[0057]
与回归相比，飞机存在的分类应该是旋转不变的，即任意方向的目标区域应该被分类为正面。因此，应该为该任务提取旋转不变特征映射。orn通过汇集所有n个响应地图的响应来实现旋转不变性。旋转敏感特征图沿其深度轴汇集。假定是n个定向通道的旋转敏感输入特征映射，旋转不变特征映射是的元素最大值，其方向索引可以按如下方式计算：
[0058][0059]
由于池操作是无序的并适用于所有n个响应地图，因此得到的特征地图对于对象旋转是局部不变的。因此，我们使用这个特征映射进行分类。此外，起始块的设置与回归分支相同。
[0060]
s7：默认框和预测
[0061]
默认框是具有不同尺寸和宽高比的水平矩形。b0＝(x0,y0,w0,h0)表示一个水平的
默认框，也可以用其四个顶点q0＝(v
10
,v
20
,v
30
,v
40
)，来表示，其中回归分支预测从水平预设框到四边形(真实目标位置)的偏移量。四边形可以表示为q＝(v1,v2,v3,v4)，其中vi＝(xi,yi),i∈{1,2,3,4}，代表四边形的四个顶点。对于每个默认框，预测层输出默认框q0和边界框q之间的分类分数和偏移量(δx1,δy1,δx2,δy2,δx3,δy3,δx4,δy4,c)。最终的输出四边形可以由下式计算得出：
[0062][0063][0064]
式中，w0和h0分别表示默认框的宽度和高度。当所有预测框被表示之后，需要进行基于四边形的非极大值抑制操作，最后得到真正的检测结果。
[0065]
s8：基于设计的轻量化网络对机场飞机目标进行检测试验，实验结果如图6所示，由图(a)(b)(c)(d)四个图像的检测结果可以看出轻量化后的网络通过多尺度信息利用和旋转敏感回归检测器的优化设计不仅没有降低网络对小目标的检测率，反而提高网络检测性能，更好的实现对弱小目标在有限算力要求下的性能保证。
[0066]
综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。