基于轻量级的航拍车辆目标检测方法、系统及存储介质

1.本发明涉及目标检测算法技术领域，更具体的说是涉及一种基于轻量级的航拍车辆目标检测方法、系统及存储介质。


背景技术：

2.航拍场景下的车辆目标检测在军事和民用领域中有着广泛的应用前景。最近，基于深度模型的目标检测算法在航拍车辆检测中表现出了优越的性能。然而，这些检测算法往往伴随着大量的计算和资源消耗，从而无法有效地进行实时的检测。另外，复杂的背景信息及目标的特征不明显也导致了检测的精度较低。为了降低深度神经网络模型的计算量，一些学者开发出了一系列的轻量级的深度卷积深度网络模型，这些轻量级的深度神经网络模型通过降低卷积的运算量和提升实际的执行速度在不降低模型的精度的同时提升了模型的运行效率。轻量级的深度模型在常规的图像分类和检测任务中取得了良好的效果，但是在面对复杂的航拍背景信息和微弱的车辆小目标时其检测的精度还不够高。因此，对本领域技术人员来说，如何在降低模型计算量的同时保障检测精度是亟待解决的问题。


技术实现要素：

3.有鉴于此，本发明提供了一种基于轻量级的航拍车辆目标检测方法、系统及存储介质，以解决背景技术中存在的问题。
4.为了实现上述目的，本发明采用如下技术方案：一种基于轻量级的航拍车辆目标检测方法，具体步骤包括如下：
5.获取航拍图像；
6.利用轻量级主干特征提取网络对所述航拍图像中的目标进行特征提取，得到第一特征；
7.将所述第一特征输入到上下文信息特征提取网络中，得到上下文和背景信息；
8.将所述第一特征输入到残差注意力网络中，获取目标的显著特征；
9.将所述上下文和背景信息、所述显著特征进行融合，得到第二特征；
10.采用基于anchor-free的目标检测算法对所述第二特征进行目标检测。
11.可选的，在所述轻量级主干特征提取网络中，采用5个stage对目标的特征进行提取，在每个stage中特征的提取均采用通道堆栈的方式。
12.通过采用上述技术方案，具有以下有益的技术效果：传统的特征提取主干网络在进行特征提取时，特征通道的增加方式较为粗鲁，例如特征通道往往直接从32到64再到128等。这种特征通道的增加方式使得特征通道的数量成倍的增加，因此使得特征提取的过程不够精细化并造成了大量小目标信息的丢失，本发明主干网络的设计，可以有效的逐步的获取到更加完整和显著的特征。
13.可选的，在所述残差注意力网络中，进行了三次下采样和三次上采样运算，并在不同的尺度上对所述第一特征进行融合和提取。
14.通过采用上述技术方案，具有以下有益的技术效果：在深度模型中引入注意力机制可以使网络忽略掉那些不重要的信息，从而更加关注图像中的重要信息。
15.可选的，所述上采样运算采用双线性差值算法。
16.可选的，在stage 1中分为stage 1-1和stage 1-2，stage 1-1特征块的大小为h/2
×
w/2
×
16，stage 1-2的大小为h/2
×
w/2
×
32，每次特征在传播的过程中仅增加数量为16的特征通道数。
17.另一方面，提供一种基于轻量级的航拍车辆目标检测系统，包括数据获取模块、主干网络提取模块、上下文特征信息提取模块、显著特征提取模块、融合模块、目标检测模块；
18.所述数据获取模块，用于获取航拍图像；
19.所述主干网络提取模块，用于利用轻量级主干特征提取网络对所述航拍图像中的目标进行特征提取，得到第一特征；
20.所述上下文特征信息提取模块，用于将所述第一特征输入到上下文信息特征提取网络中，得到上下文和背景信息；
21.所述显著特征提取模块，用于将所述第一特征输入到残差注意力网络中，获取目标的显著特征；
22.所述融合模块，用于将所述上下文和背景信息、所述显著特征进行融合，得到第二特征；
23.所述目标检测模块，用于采用基于anchor-free的目标检测算法对所述第二特征进行目标检测。
24.最后，提供一种计算机存储介质，所述计算机存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现所述的一种基于轻量级的航拍车辆目标检测方法的步骤。
25.经由上述的技术方案可知，与现有技术相比，本发明公开提供了一种基于轻量级的航拍车辆目标检测方法、系统及存储介质，具有以下有益的技术效果：
26.(1)建立了one-stage轻量级的航拍车辆目标检测模型，该模型中的主干网络采用通道堆栈的方式进而能够逐步获取到小目标的特征信息，并能够通过中心点的预测和边界框的回归直接预测目标的类别和位置；
27.(2)上下文信息模块和多尺度融合的残差注意力模块的引入可以有效的提取航拍图像中更加价值的信息，并同时充分的利用目标的周围信息来提升检测的精度和效率；
28.(3)轻量级的目标特征提取主干网络通过通道堆栈的方式逐步对图像中的目标进行特征的提取，不仅提升神经网络对小目标特征提取的能力而且降低了模型的计算量。
附图说明
29.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
30.图1为本发明的方法流程图；
31.图2为本发明的航拍车辆目标检测算法的整体架构图；
32.图3为本发明的stage 1内部特征提取方式图；
33.图4为本发明的上下文信息特征提取网络图；
34.图5为本发明的多尺度融合的残差注意力网络图。
具体实施方式
35.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
36.本发明实施例1公开了一种基于轻量级的航拍车辆目标检测方法，如图1所示，具体步骤包括如下：
37.s1、获取航拍图像；
38.s2、利用轻量级主干特征提取网络对航拍图像中的目标进行特征提取，得到第一特征；
39.s3、将第一特征输入到上下文信息特征提取网络中，得到上下文和背景信息；
40.s4、将第一特征输入到残差注意力网络中，获取目标的显著特征；
41.s5、将上下文和背景信息、显著特征进行融合，得到第二特征；
42.s6、采用基于anchor-free的目标检测算法对第二特征进行目标检测。
43.基于深度模型的目标检测算法按照检测的过程可以分为two-stage和one stage。two-stage目标检测算法首先由卷积神经网络生成一系列的区域建议网络(rpn)，再对样本进行边界框的回归和目标类别的预测。典型的two-stage目标检测算法包括r-cnn、fast r-cnn、fasterr-cnn、mask r-cnn。这些检测算法虽然在检测精度上得到了提升，但是由于rpn和候选框的存在，使得检测的速度较慢，从而无法满足实时性的检测场景。one-stage目标检测算法能够在单次训练中实现特征共享，并同时摒弃了rpn和候选框的限制，该类算法能够保证精度的同时，其训练和检测速度得到了较大的提升。这类anchor-free的one stage目标检测算法不受anchor尺寸的限制，进而为检测模型提供了一个更加灵活的求解空间，在降低计算成本的同时提升了检测精度。因此，在本发明实施例中采用one-stage的目标检测方法来对航拍图像任意方向的车辆目标进行检测。
44.如图2所示为航拍车辆目标检测算法的整体架构图，包含轻量级的主干特征提取网络、上下文信息融合模块和残差注意力模块。
45.轻量级的主干特征提取网络：
46.该主干网络通过通道堆栈的方式逐步对图像中的目标进行特征的提取，这不仅提升神经网络对小目标特征提取的能力而且降低了模型的计算量。此外，在内部特征传播的过程中采用1
×
1的小卷积核来提升小目标的特征提取能力，同时采用两路分支来进行特征的融合。
47.传统的特征提取主干网络在进行特征提取时，特征通道的增加方式较为粗鲁，例如特征通道往往直接从32到64再到128等。这种特征通道的增加方式使得特征通道的数量成倍的增加，因此使得特征提取的过程不够精细化并造成了大量小目标信息的丢失。在本发明所提出的主干网络中，采用5个stage来对目标的特征进行提取，在每个stage中特征的提取均采用通道堆栈的方式。
48.例如，在stage 1中分为stage 1-1和stage 1-2，stage 1-1特征块的大小为h/2
×
w/2
×
16，stage 1-2的大小为h/2
×
w/2
×
32，每次特征在传播的过程中仅增加数量为16的特征通道数。同样的道理，在stage 2中分为stage 2-1和stage 2-2，在stage 3中分为stage 3-1，stage 3-2，stage 3-3，stage 3-4，每个小的stage仅增加16个通道数。因此，stage 4中共有8特征堆栈模块，stage 5中包含了16个小的特征堆栈传播模块。这种主干网络的设计，可以有效的逐步的获取到更加完整和显著的特征。
49.图3展示出了stage 1中详细的特征提取和融合的方式。在stage 1-1中，输入图像的大小为h
×w×
3，经过一个卷积核大小为3
×
3，stride为2，通道数为8的卷积运算后输出的特征大小为h/2
×
w/2
×
8。接下来特征块沿着两路进行特征的提取和传播，其中一路执行一个卷积核大小为1
×
1，stride为1，通道数为8和一个大小为3
×
3，stride为1，通道数为8的卷积运算，另一路按照1
×
1(stride＝1，channel＝8)，3
×
3(stride＝1，channel＝8)和1
×
1(stride＝1，channel＝8)的运算顺序来进行特征的提取和传播。最后，将这两路的特征块通过concat方式进行特征融合。在stage 1-2中，将stage 1-1中获取到特征块进行三路通道的特征传播和融合，其中两路的特征提取和传播方式与stage 1-1中的特征提取方式类似，另一路为stage 1-1中提取到特征块，最后将这三路特征以concat方式进行特征融合。由于两路特征提取中每一路的特征通道的数量为8，融合上之前传过来的特征块之后，stage 1-2的特征通道就增加了16。而且，在特征通道两路的特征提取和传播中，特征通道的数量统一为8，这样特征在提取和传播的过程中内部的特征通道的数量就完全一致，这样统一的特征通道数量不仅可以更加精确地对目标特征进行提取，而且能够大大的降低特征在内部传播中的计算量。另外，在内部两路特征提取的过程中，采用1
×
1的小卷积核来对小目标的特征进行提取，这样使得模型能够在提升小目标特征提取能力的同时降低模型的大小。
50.上下文特征信息提取网络：
51.常规的目标检测算法能够在自然场景下对大目标进行有效的检测，但是在航拍场景下的车辆小目标检测时由于目标的特征不明显使得检测的精度较低。目标周围区域上下文信息作为目标特征的一个重要的补充信息，利用上下文信息可以有效的提升目标检测模型的性能。目标周围上下文信息及背景信息可以有效的辅助特定的检测任务，例如在航拍场景下车辆目标检测任务中，车辆周围的目标信息及背景的充分利用可以增强目标的置信度。
52.输入的航拍图像在经过轻量级主干特征提取网络后生成一个大小为h/16
×
w/16
×
512的特征块，然后将该特征块输入到上下文信息特征提取网络中来获取到目标周围的上下文和背景信息。
53.图4展示出了本实施例所提出的上下文信息特征提取模块。在本实施例中定义主干网络输出的特征块的大小为r
×r×
d，在该特征块上进行不同尺度的上下采样来获取上下文特征信息。另外，定义两个参数α和β来对上下采用的规模进行控制和调节。
54.r( α)和r( β)表示在这两个尺度上进行上采用操作，r(-α)和r(-β)表示分别进行不同尺度的下采用运算。将提取到的不同尺度的上下文特征块再次进行上下采样操作，使得这些特征图的大小与r
×r×
d的大小相同。例如，r( α)
×
r( α)
×
d特征块为r
×r×
d在尺度大小为r α上进行上采样运算，然后在down-r( α)
×
r( α)
×
d特征块中进行下采样运算，
使得下采样后特征块的尺度与r
×r×
d的尺度一致。然后将这些经过上下采样提取到的上下文特征块分别进行eltwise和concat特征融合，eltwsie特征融合模块采用等价的特征权重融合了不同尺度的目标特征进而有效的提升了上下文信息的利用率，concat特征融合模块有效的降低了背景噪声对目标特征提取过程中产生的干扰。然后将eltwise和concat特征融合模块生成的特征图进行再次的特征融合并生成大小为r
×r×
d的上下文信息特征块。最后将生成的上下文特征块经过两个全连接层并进行特征的输出。
55.残差注意力网络：
56.注意力机制即对重点的区域投入更多的资源，以此来获取目标的显著信息，该机制提高了从大量的数据中筛取出高价值信息的效率。在深度模型中引入注意力机制可以使网络忽略掉那些不重要的信息，从而更加关注图像中的重要信息。受残差注意力网络的启发，我们在本文所提出的航拍车辆检测模型中引入了一个多尺度融合的残差注意力模块。
57.如图5所示，在本实施例中采用多尺度融合的方式建立了一个深度残差注意力模块，该注意力模块进行了三次下采样和三次上采样运算，并在不同的尺度上对特征块进行特征的融合和提取。在下采样运算中，通过残差块和下采样模块进行了三次下采样操作，下采样的方式为max-pool，卷积的尺度为3
×
3，padding为1，stride为2，每次下采样将特征图的尺度降为原来的一半，这样经过三次重复的残差和下采样运算后特征图降为原来尺寸的八分之一。在上采样运算中，将下采样获得的特征图逐步进行三次上采样运算，使特征图的尺度恢复到输入尺度的大小。上采样运算采用双线性差值算法，该算法不需要网络学习任何参数通过预选设定的不同方向最邻近的值来对特征图实现上采样。另外，在上下采用的过程中对同一尺度的特征图进行融合，进而获得目标更加丰富的显著特征。
58.进一步的，通过实验以及与其他检测算法对比来验证本发明所提出的检测模型的有效性。采用深度学习框架pytorch在ubuntu操作系统上来对模型进行训练和测试。硬件的环境为gpu采用nvidia gtx 2080ti with 12gb，内存采用16gb的ddr4 with 2400mhz.在训练的过程中，设定模型的学习率为0.001，增量为0.9，在前80k的迭代中权重衰减率为0.0005，后80k的迭代中设定为0.0001。
59.数据集：1)dlr-3k航拍车辆数据集：该数据集采用dlr 3k图像采集设备在德国慕尼黑上空1000米对地面信息进行拍摄。该数据集包含20张大规模的航拍图像，并标注了超过1万4千个实例样本。在实验中，对大尺寸的图像采集成小的图像块，小的图像块之间有重叠，保证目标信息在图像裁剪的过程中的完整性。
60.2)南京航拍车辆数据集：该数据集为在中国南京采用无人机来获取的航拍图像。该数据集包含了3752张高分辨率的航拍图像，在数据集中对图像进行0.8和1.2两个规模的比例对图像进行缩放和扩张。在每张图像中都对车辆类别进行了标注。
61.上下文特征提取模块和残差注意力模块单独在模块中引入可以分别在不同程度上使检测精度得到提升，这两个模块的同时在模型中引入可以进一步的提升检测的精度。这两个特征提取模块为轻量级的模块，可以嵌入到任何特征提取主干网路中，并能够实现在几乎不增加计算量的同时有效的提升模型的分类和检测精度。另外，anchor-free目标检测算法的引入对检测精度和检测效率也有积极的影响。最终，本发明的检测方法在dlr-3k航拍车辆数据集上检测精度达到了89.7％，检测时间为每张图像1.56s，在南京航拍车辆数据集上的检测精度为94.1％，检测时间为每张图像0.049s。
62.为了进一步证明所提出的检测算法在检测精度及速度上的优势，在本实施例中与其他几种最新的航拍车辆目标检测算法在dlr-3k和南京航拍车辆数据集上的检测结果进行了对比分析。表1展示出了几种最新的航拍车辆目标检测算法在dlr-3k数据集上的检测结果。如表1所示，本发明所提出的检测算法在召回率，精确率，f1-score和检测时间四个指标上几乎都达到了最优。更详细地,所提出的检测算法在dlr-3k数据集上的召回率达到了92.8％，精确率达到了94.3，f1-score为0.94，每张图像的检测时间为1.64s。与最新的航拍车辆目标检测算法vcsop detector相比，本发明所提出的检测算法在召回率上领先了6.8％，精确率上几乎持平，f1-score上领先了4％，同时检测时间仅为vcsop检测时间的58％。另外，与其他几种最新的航拍车辆目标检测算法相比，本发明所提出的检测算法在检测精度和检测时间上也具有明显的优势。
63.表1、不同的检测模型在dlr-3k数据集上的检测结果
[0064][0065]
表2展示出了几种最新的航拍车辆检测模型在南京航拍车辆数据集上的检测结果。
[0066]
表2.不同的检测模型在南京航拍数据集上的检测结果
[0067][0068]
如表2所示，与其他几种state-of-the-art检测算法相比，本发明所提出的基于轻量级的上下文信息和注意力机制航拍车辆目标检测算法在召回率、精确率、f1-score和检测时间上均达到了最优的效果。更详细的，本发明所提出的航拍车辆目标检测算法在召回率上达到了94.3％，精确率达到了95.6％，f1-score为0.95，每张图像的检测时间为0.049s。
[0069]
与目标检测算法faster r-cnn相比，本发明所提出的检测算法在召回率上提升了24.1％，精确率上提升了5.9％，f1-score上提升了13％，同时消耗的检测时间仅为faster r-cnn目标检测算法的24％。与航拍车辆目标检测算法vcsop相比，本发明检测算法在在召回率，精确率上分别领先了2.8％和3.5％，同时在检测时间上也具有较大的优势。
[0070]
本发明实施例2公开了一种基于轻量级的航拍车辆目标检测系统，包括数据获取模块、主干网络提取模块、上下文特征信息提取模块、显著特征提取模块、融合模块、目标检测模块；
[0071]
数据获取模块，用于获取航拍图像；
[0072]
主干网络提取模块，用于利用轻量级主干特征提取网络对航拍图像中的目标进行特征提取，得到第一特征；
[0073]
上下文特征信息提取模块，用于将第一特征输入到上下文信息特征提取网络中，得到上下文和背景信息；
[0074]
显著特征提取模块，用于将第一特征输入到残差注意力网络中，获取目标的显著特征；
[0075]
融合模块，用于将上下文和背景信息、显著特征进行融合，得到第二特征；
[0076]
目标检测模块，用于采用基于anchor-free的目标检测算法对第二特征进行目标检测。
[0077]
最后，提供一种计算机存储介质，计算机存储介质上存储有计算机程序，计算机程序被处理器执行时实现一种基于轻量级的航拍车辆目标检测方法的步骤。
[0078]
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
[0079]
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。