一种基于注意力的二次特征融合机制的弱小目标检测方法与流程

1.本发明涉及目标检测技术领域，特别是涉及一种基于注意力的二次特征融合机制的弱小目标检测方法。


背景技术：

2.随着嵌入式设备性能提高和边缘计算技术发展，在边缘计算设备上配置深度模型日益普及，这使得无人机携带嵌入式设备进行高空目标检测任务成为可能。无人机作为近年来的新生事物，因为其本身灵活、轻便、不受地形控制和利于获取近地面遥感数据等优势，已经被越来越多的行业引入并执行相关任务。
3.而这其中，深度智能模型的效果是关键。随着卷积神经网络(cnn)的发展，目标检测算法的性能得到了很大的提高。研究人员将这些卷积神经网络应用到目标检测中，相对于传统的目标检测算法，在速度和准确度上都有了极大提升。基于深度学习的目标检测算法主要分为2类:(1)以r-cnn系列为代表的基于分类的two-stage目标检测框架,基于分类的two-stage目标检测算法首先利用selective search、edge boxes等算法生成可能包含待检测目标的候选区域(region proposal)，再对这些候选区域进一步进行分类以及位置校准得到最终的检测结果；(2)以yolo、ssd算法为代表的基于回归的one-stage目标检测框架,基于回归的目标检测方法不需要产生候选区域，通过直接在特征图上进行打锚框的方式得到目标的检测结果，并最终映射回原图上，在速度上相对于two-stage算法有极大的提升。两阶段的目标检测算法虽然精度较高，但是速度很慢；一阶段的目标检测算法虽然速度较快，但是精度较低。针对复杂背景下的目标检测问题，以及最终在资源受限的硬件平台进行部署，模型的精度和速度都是很大的挑战。
4.虽然深度模型的效果越越好，但是模型效果依赖于数据集，现有的模型大多数是在公开的数据集上进行训练，而这些公开的数据集基本都是在理想环境在进行拍摄的，这就导致大多数已有的深度模型不能适用于真实的复杂环境中。与此同时，无人机拍摄的图像一般在高空场景，这就导致拍摄的目标像素过小，而现有的主流检测模型对小目标的检测效果都比较差。
5.无人机搭载智能算法实现无人智能系统也越来越热门。例如在军事领域中，军事无人机搭载智能检测算法实现军事目标检测等；在工业领域，工业无人机搭载智能检测算法实现森林防火和野生动植物保护等。由于目前基于深度学习模型进行目标检测大都是在理想环境下进行实验而没有考虑到实际的复杂环境下，如雾霾环境。与此同时，无人机高空拍摄的目标像素往往过小，而当前主流检测模型对小目标的检测效果都比较差。因此，如何在雾霾环境中实现对车辆目标的有效检测；如何对无人机拍摄的小目标进行有效检测，是必要要解决的技术难题。


技术实现要素：

6.本发明的目的是针对现有技术中存在的技术缺陷，而提供一种基于注意力的二次
特征融合机制的弱小目标检测方法，通过设计基于注意力机制的二次特征融合网络能够实现无人机搭载嵌入式设备在雾霾环境中的进行实时检测，有效的提升了检测效果。
7.为实现本发明的目的所采用的技术方案是：
8.一种基于注意力的二次特征融合机制的弱小目标检测方法，是利用基于双层金字塔的二次特征融合模块将主干网络从待处理图片中提取的特征信息进行融合；其中，所述二次特征融合模块的主干网络采用残差网络，第一次从上到下特征融合是对主干网络提取的特征图进行不断卷积和下采样，第二次从下到上特征融合是对第一次得到的特征图进行不断卷积和上采样，然后引入注意力机制分别对相同大小的特征图相加融合，保留浅层特征图中小目标特征信息；然后基于相加融合所形成的不同尺寸感受野的特征图进行预测，并将预测结果汇总。
9.优选的，所述的残差网络在不断卷积和下采样的过程中获取下采样倍数为2倍、4倍、8倍、16倍、32倍的特征图。
10.优选的，所述的残差网络在对特征图融合处理过程中，在相同尺寸的特征图之间加入注意力机制聚焦目标特征，使得模型对于被雾霾影响的目标区域加大特征权重，将模型的注意力聚焦到雾霾遮挡的区域，以提升对目标的特征提取效果。
11.优选的，所述注意力机制采用将空间注意力和通道注意力相结合的混合注意力机制。
12.优选的，输入的多通道的特征图经过卷积处理后，首先引入通道注意力机制，对每个通道赋予不同权重进行处理，输出处理结果，然后基于该处理结果再引入空间注意力，对多个通道进行mean操作，学到所有通道的整体分布，抛弃奇异的通道，对每个通道中的图片特征同等处理，最后输出结果图。
13.优选的，所述待处理图片包括由飞行器在雾霾环境下和\或高空环境下采集的目标像素低于预定阈值的图片。
14.本发明提出了基于二次特征融合的注意力机制，有效的解决的雾霾环境下对车辆目标的有效检测。通过将注意力机制嵌入到第二次自底向上的特征融合过程中，充分利用了不同感受野中对车辆目标提取的特征信息，将模型注意力聚焦于有效目标特征上，提升了目标检测效果。
附图说明
15.图1是不同感受野特征图上不同尺寸目标的热力图显示示意图。
16.图2为本发明的双层金字塔特征融合方式的示意图。
17.图3为基于注意力机制的二次特征融合模块的结构图。
18.图4为64通道的通道特征图的示意图。
19.图5为本发明的混合注意力机制的示意图。
20.图6为基于注意力的二次特征融合机制的弱小目标检测方法的流程图。
具体实施方式
21.以下结合附图和具体实施例对本发明作进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
22.基于深度模型的目标检测算法一般包括主干网络(backbone)、特征融合网络(neck)和预测网络(head)。主干网络的作用是是提取图片中的特征信息，供后面的网络利用；特征融合网络是放在主干网络和预测网络之间的，是为了更好的利用主干网络提取的特征；预测网络是获取网络输出内容的网络，利用之前提取的特征进行结果预测。
23.为了解决背景技术中的问题，本发明实施例设计了自下而上和自上而下的二次特征金字塔融合模块，以解决小目标的检测问题并且在二次融合过程中添加了注意力机制来解决雾霾环境下目标的检测问题。
24.基于卷积神经网络的深度模型中，目标特征与特征图的感受野息息相关，不同阶段的特征图对应于不同大小的感受野，相应地，它们所表达的信息的抽象程度也不同。具体来说，浅层特征图具有较小的感受野，因此更适合检测小物体，而深特征图具有较大的感受野，更适合检测大物体。
25.随着卷积过程的不断加深，特征图的感受野也越来也大，这样一来小目标的特征随着卷积的加深逐渐消失，通过打印卷积过程中不同阶段的热力图可以发现这一点，如图1所示，对于图中斑马这种大目标更容易被高层的特征捕捉到，因为对于大物体需要更大的感受野和高级语义特征。而对于下面的羊群的检测来讲，可以看到更需要底层特征中的细粒度特征来辨别。因此为了提高小目标的检测效果，需要将浅层的特征和深层的特征进行融合。
26.为了充分利用不同感受野的特征图上目标的特征，本发明设计了双层金字塔进行二次特征融合模块，如图2所示，其中主干网络使用的是残差网络，在不断卷积和下采样的过程中获取下采样倍数为2倍、4倍、8倍、16倍、32倍的特征图，第一次从上到下特征融合是对主干网络提取的特征图进行不断卷积和下采样，第二次从下到上特征融合是对第一次得到的特征图进行不断卷积和上采样，然后分别对相同大小的特征图进行相加融合，最后在不同尺寸感受野的特征图上做预测，并最后将预测结果汇总。通过上述的多次融合，实现了保留浅层特征图中的小目标特征信息，提升小目标的检测效果。
27.为了实现在雾霾环境下对目标特征的有效提取，本发明实施例设计了基于注意力的二次融合模块，其结构如图3所示，并且相同尺寸的特征图之间加入了注意力机制来聚焦目标特征，以提升对目标的特征提取效果。
28.注意力机制和人类的视觉注意力很相似，人类的注意力是人类视觉所特有的大脑信号处理机制。人类通过快速扫描全局图像，获得需要重点关注的目标区域，得到注意力焦点，而后对这一区域投入更多注意力，以获取更多所需要关注目标的细节信息，从而抑制其他无用信息。这是人类利用有限的注意力资源从大量信息中快速筛选出高价值信息的手段，是人类在长期进化中形成的一种生存机制，极大地提高了视觉信息处理的效率与准确性。
29.比如给一张印有图片的报纸，那人会先去看报纸的标题，然后会看显目的图片。深度学习中的注意力机制从本质上讲和人类的选择性视觉注意力机制类似，目的也是从众多信息中选择出对当前任务目标更关键的信息。
30.注意力机制常被认为是一种资源分配机制，原本网络模型对于输入数据平均分配所有资源，但经研究证实数据之间都有其关联性，如可以找出数据中较为重要的部分，根据重要程度重新分配资源，突出某些重要特征。因此在雾霾环境中，本发明需要利用注意力机
制使得模型对于被雾霾影响的目标区域加大特征权重，通俗点说就是将模型的注意力聚焦到雾霾遮挡的区域。
31.注意力模块分为通道注意力和空间注意力。通道注意力机制的作用是分配每个通道不同的权重，让网络关注重要的特征，抑制不重要的特征。而空间注意力机制是将重要性更高通道信息加权到重要性更低的通道上，从而从整体上提高特征图每个通道的重要性。
32.下面，通过一个64通道的特征图4来解释两者的差别。
33.通道注意力：就是对于每个channel赋予不同的权重，比如1，2处马的形状比较明显，所以理所当然，对1，2通道的权重比较大，3，4处权重小。
34.空间注意力：空间注意力是对64个通道进行mean的一个操作，得到一个(w、x、h)的权重，mean的操作就学到所有通道的整体分布，而抛弃了奇异的通道。比如说1，2的图可以很好的描绘出马的形状，而3和4就不行(但本质上它也是要显示出马的形状)，但通过mean后，得到w、x、h权值共享后，给了3，4一定权值描述，相当于给3，4一定的注意力，这样它们也可以描绘出马的形状。
35.了解了这两种注意力的设计思路后，简单对比可以发现两种注意力机制各有优缺。首先，空间注意力忽略了通道域中的信息，将每个通道中的图片特征同等处理，这种做法会将空间域变换方法局限在原始图片特征提取阶段，应用在神经网络层其他层的可解释性不强。通道注意力是对一个通道内的信息直接全局平均池化，而忽略每一个通道内的局部信息，这种做法其实也是比较暴力的行为。所以将单一的注意力机制融合，设计出取长补短的混合注意力机制模型。本发明的模型采用的注意力机制就是将空间注意力和通道注意力结合的混合注意力机制，具体方式如图5所示：
36.上述的混合注意力机制最后嵌入到二次特征融合过程中，并且在不同尺寸的特征图上进行结果预测，最后将预测结果汇总。
37.本发明的网络模型在coco数据集上与开源的检测模型进行了实验对比，在小目标方面的检测效果提升了4.9％，总体检测效果提升了2.1％。
38.实验比较结果如下：
[0039] apap50ap75apsapmaplarsarmarldenet33.853.436.112.336.150.819.246.964.3couplenet34.454.837.213.438.150.820.753.168.5cascade-rcnn42.862.146.323.745.555.2
‑‑‑
mask-rcnn39.862.343.322.143.2.51.2
‑‑‑
dssd33.253.335.21335.451.121.849.166.4cornernet42.157.845.320.844.856.738.562.777.4ssd31.250.433.310.234.549.821.849.166.4yolov443.860.746.925.348.656.745.869.179yolov542.561.245.220.647.462.632.864.478.5ours44.663.747.525.549.761.742.265.877
[0040]
表1
[0041]
与此同时，本发明还对自己设计的网络模型进行了消融实验，并且在车辆数据集上进行了效果测试。通过调整检测分支和注意力模块进行了对比实验，结果如表2所示：
[0042] prap0.5apnormal71.775.670.848.1add-detection68.380.574.951.8add-attention72.376.47248.8add-detection-attention73.881.275.950.8
[0043]
表2
[0044]
本发明的轻量化的网络模型，使得深度模型部署在资源受限的硬件设备上并进行实时检测提供了可能。与此同时，设计了基于注意力机制的二次特征融合模块在雾霾环境中有效提取弱小目标特征信息，使得无人机在雾霾环境中能够有效的检测目标车辆提供了可能。
[0045]
试验结果表明，本发明能实现在nvidia agx xavier硬件设备上达到实时检测(30fps)效果，提升了雾霾环境下的检测效果。
[0046]
以上所述仅是本发明的优选实施方式，应当指出的是，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。