一种基于改进的YOLOv5目标检测方法与流程

一种基于改进的yolov5目标检测方法
技术领域
1.本发明涉及深度学习中的目标检测领域，针对无人机拍摄场景下的目标检测技术。


背景技术：

2.近年来，随着科技的发展，配备高清摄像头的无人机受到了广泛的关注。无人机场景下拍摄的数据集也得到了极大的补充。因此，越来越多的学者将视觉任务的关注点从对传统公开数据集下自然条件拍摄的目标检测转为对无人机拍摄条件下的目标检测，在无人机拍摄场景下进行目标检测任务也逐渐成为主流的领域应用。传统的目标检测算法在绝大多数情况下往往可以表现出较好的性能，但是针对于无人机捕获场景中的目标检测任务，由于无人机飞行高度的限制，目标在图像中往往只占很少的像素，并且存在目标尺度变化剧烈以及背景元素复杂的问题，这给目标检测算法带来了巨大的挑战。


技术实现要素：

3.为了解决无人机场景下目标检测的问题，本发明提出了一种基于注意力机制的游走切片检测算法。该算法采用了深度学习中的通用目标检测框架yolov5，并针对无人机场景下存在的问题对yolov5进行了进一步的改进。首先，在网络的检测颈部分设计了一种高效的特征金字塔模块，其次，通过引入注意力机制帮助网络在大范围的图像区域中快速找到感兴趣的目标所在区域，最后，基于注意力机制以及检测结果设计了一种图像切片模块作为网络输入之前的预处理模块。
4.本发明具体步骤如下：
5.步骤1：图像在送入检测网络之前会经过一个切片模块对图像进行预处理，然后将预处理后的图像集并行地送入到检测网络中；
6.步骤2：对送入网络中的图像进行处理，经过骨干网络进行特征提取，并通过增强的特征金字塔网络进行特征融合；
7.步骤3：在检测头输出检测结果之前引入注意力机制，并通过注意力图的权重信息和输出的检测结果为下一帧图像的切片模块处理提供区域建议信息。
8.与现有技术相比，本发明的有益效果是：
9.(1)利用同层跳跃连接以及加权融合的策略构建的增强的特征金字塔网络，使得网络可以进行更高效的特征融合，对原始特征的利用率得到提升，并且充分考虑了不同特征之间贡献的不平等性；
10.(2)通过引入注意力机制，使得模型可以快速地找到感兴趣地区域，并在此基础上构建了游走切片检测框架，从而兼顾了不同尺寸目标的检测精度。
附图说明
11.图1为：算法整体框图。
12.图2为：增强的特征金字塔结构图。
13.图3为：注意力机制结构图。
14.图4为：基于注意力机制的游走切片检测框架结构图。
15.图5为：轮询检测分支示意图。
具体实施方式
16.下面结合附图对本发明进一步说明。
17.本发明提出了一种基于注意力机制的游走切片检测算法，旨在优化目标检测算法对于无人机场景下的适应能力。算法总体框架如图1所示。
18.(1)增强的特征金字塔模块
19.增强的特征金字塔模块采用一种跳跃连接与加权特征融合的方式，实现了一种简单而高效的加权特征金字塔结构bpanet。具体的结构如图2所示。
20.从图中可以看出，提出的改进结构在原有的panet的基础上增加了两条从骨干网络提取到的原始特征到第二级特征的融合路径。
21.接下来将对特征融合的方式进行改进，在每一个特征融合的节点处使用快速归一化加权融合的方式对特征进行融合，该融合方式的数学表示如式(1)所示：
[0022][0023]
其中，ωi表示一个可学习的权重，对于每一个归一化的权重，它的值都在0到1之间，并且通过在每个ωi之后施加relu激活函数来保证ωi≥0。这种快速融合的方法和基于softmax的融合具有非常相似的学习行为和准确性，但是在gpu上运行速度却高出了30％，极大的提升了效率。结合图2进行分析，可以得到如式(2)和式(3)所示的特征融合表达式。
[0024][0025][0026]
其中，是图2中m2处对应的中间特性，是中n2层的输出特性。所有其他功能都以类似的方式构造。
[0027]
(2)基于注意力机制的游走切片检测框架
[0028]
本发明提出了一种基于注意力机制的游走切片检测框架，其中注意力机制结构图如图3所示，具体的框架结构图如图4所示。
[0029]
在全局检测分支中，网络的关注点主要在于大尺寸的目标，也就是说，在该分支中，网络着重于保证大尺寸目标的检测精度。而且通过网络中的注意力机制以及当前帧的全局检测的结果，可以为下一帧的切片检测分支中的游走切片检测分支提供一个区域建议信息。具体来说，注意力机制最终输出的结果为注意力图的形式，而注意力图本质上则是一张带有权重的特征图，权重大的像素区域包含目标的概率要更高。因此，根据注意力图的权重分布可以知道图片上哪些区域可能存在目标，而通过最终网络输出的检测结果可以得到目标的尺度信息。在结束一帧的全局检测后，将注意力图中权重大于周围像素值的点作为
每个切片区域的中心点，采用与轮询切片相同的尺寸作为切片的像素尺寸进行切片操作得到一个切片区域集合，然后再对该集合中区域重叠率超过90％的区域进行一个合并操作，得到最终的切片区域的集合。
[0030]
根据上一帧全局检测分支提供的信息，在后续帧的游走切片检测分支中，采用一种尺度自适应的策略来进行图像切片检测的操作。结合上一帧的检测结果对切片区域的集合做出分析，对于大尺寸的目标，仍然通过全局检测的方式来进行检测，不对其所在区域进行切片处理。而对于中小尺寸的目标，即coco数据集中规定的小于96*96像素尺寸的目标，将其像素尺寸映射到320-640之间，得到的尺寸则为该目标所在区域对应的切片尺寸。按上述尺寸在对应区域进行切片操作后，将切片送入检测网络中进行检测，最后将得到的结果映射到原图坐标系下即可得到最终的检测结果。
[0031]
而对于轮询切片检测分支，则采用常规的相同尺寸的重叠切片方式。首先将输入图像划分为重叠的切片，对于小目标相对于输入网络的原始图像产生较大的像素区域。每个图像frame1，frame2，
…
,framej被切分成重叠的且尺寸为m*n的小块frame1，frame2，
…
,framek。我们假设每两个小块之间的重叠率为然后我们将图像的长度m、宽度n和重叠率都视为超参数，并在实验的过程中去调整他们以获得最好的检测效果。在切分完成后，我们将每个重叠的小块frame1，frame2，
…
,framek依次送入检测网络中做目标检测任务，并将最后的检测结果映射到原图中，即可得到最终的检测结果。具体流程如图5所示。
[0032]
对于检测结果部分，由于切片操作存在将图片中的大尺寸目标分割开来的情况，并且切片检测分支与全局检测分支会存在一定的重复结果框，因此，在算法的结果输出之前，需要对切片检测分支以及全局检测分支的结果进行一次非极大值抑制操作，剔除掉不符合要求的检测框，得到最终的检测结果。
[0033]
该目标检测网络框架具体的流程如下。
[0034]
1.接入视频图像数据后，对视频图像的第一帧进行处理，在第一帧上，算法采取全局检测与轮询切片检测结合的方式来进行处理。通过全局检测分支，检测第一帧图像中的大、中尺寸的目标，根据硬件平台的条件对图像进行轮询切片处理，并将切片后的图像送入切片检测网络进行小目标的检测。对两个检测步骤得到检测结果进行非极大值抑制的融合策略得到最终的检测结果，对于全局检测分支，通过分析其检测结果以及注意力图的权重分布得到可能出现小目标的区域。而对于轮询切片检测，将存在小目标的切片进行标记。将这两者的集合作为下一帧指定区域切片检测的输入。
[0035]
2.进入到下一帧的图像处理，依旧是并行地执行全局图像检测与切片图像检测两个分支。对于切片图像检测与第一帧不同的是，在有上一帧小目标切片区域信息的情况下，首先进行指定区域的切片图像检测，在该分支中，通过上一帧得到的信息自适应的调整切片的尺寸。在硬件平台资源充足的前提下，再对上一帧图像中没有轮询到的切片区域进行轮询切片图像检测，这些所有的操作都是并行执行的，最后通过一个线程同步锁来获取到每个处理线程得到的检测结果。再将当前帧存在小目标的区域组成一个新的集合传递到下一帧图像处理中去。最后仍然通过一个非极大值抑制的操作得到最终的检测结果。
[0036]
3.在后续帧中重复步骤2中的操作，直到视频帧处理完毕。