一种基于改进YOLOv5的卫星图像小目标检测方法与流程

一种基于改进yolov5的卫星图像小目标检测方法
技术领域
1.本发明涉及深度学习中的目标检测领域，针对小目标检测特别是遥感影像目标检测技术。


背景技术：

2.在遥感领域中，卫星图像的分辨率一般比较大，其中存在着大量的小目标物体。由于这些目标相对于整幅图像来说，尺寸较小、分辨率较低，使得在实现快速检测识别目标时，很难准确检测到存在的小目标。随着深度学习技术的不断成熟，用于遥感影像的目标检测方法越来越多。由于图像中存在众多的目标物体，想要从其中检测并定位出小目标是非常具有挑战性的，实现过程中会存在大量误检和漏检，从而影响到整体的检测效果。因此，研究遥感影像中的小目标检测技术是人工智能发展领域中的热点之一。
3.为了能够准确的检测出遥感图像中存在的弱小目标，常用的检测方法有：haar分类器；梯度定向直方图和支持向量机方法(hog svm)；可变形部分模型技术(dpm)；基于深度神经网络的方法。haar分类器将adaboost算法训练出来的强分类器进行级联，并且在底层的特征提取中采用了高效率的矩形特征和积分图方法，但是由于原始特征中含有较少的上下文信息，无法提取更多高频特征并有效识别出待检目标。梯度直方图特征(hog)是一种对图像局部重叠区域的密集型描述符，它通过计算局部区域的梯度方向直方图来构成特征，使用梯度直方图特征结合svm分类器来对目标进行检测，但是梯度直方图的方法存在描述子生成过程冗长，较难处理密集型目标等问题，并且有对噪声数据相当敏感等缺点。可变形部分模型(dpm)方法可以看作是梯度直方图和svm分类器的升级版，但是dpm结构相对复杂，检测速度也比较慢，同时无法对复杂场景下的目标表现出良好的检测效果。
4.随着深度学习的不断进步和快速发展，其在遥感图像领域的应用越来越广泛，尤其是在目标检测领域，出现了yolo、rcnn、ssd等优秀的目标检测框架，但对于小目标检测，始终是目标检测领域的一个难题。本发明就是着力于解决遥感影像中存在大量小目标造成的难题。本发明在小目标检测领域具有一定的通用性，并针对图像中存在小目标的问题而改进了数据增强模块，使得网络能够学习提取到更多微小细节。


技术实现要素：

5.为了克服上述现有技术的不足，本发明提出了一种基于改进的yolov5小目标检测技术。该技术应用了深度学习中的高性能通用的目标检测模型yolov5，并针对遥感图像中存在的小目标以及分布数量众多等问题(如附图1所示)对yolov5算法作了进一步的改进。
6.本发明所采用的技术方案是：
7.步骤1：输入图像进入网络，第一进行锚框的自适应计算、第二进行图片的自适应缩放，第三实现mosaic-6数据增强；
8.步骤2：特征提取主干网络采用swin-transformer结构，包括第一focus切片操作，第一下采样层，第二卷积归一化层，第二下采样层，第三卷积归一化层，第三下采样层，第四
卷积归一化层，第四下采样层，第五卷积归一化层，第五下采样层；
9.步骤3：步骤2中第三至第五下采样层产生的特征图都采用1x1的卷积进行特征提取，得到的特征图分别记为m3，m4，m5；
10.步骤4：该步骤为传统的fpn网络结构，采用自底向上的通路进行多尺度目标检测，使得底层的特征与含有丰富位置信息的底层信息进行融合；m5经过3
×
3卷积消除融合带来的混叠效应，记为p5；m5经两倍上采样，与m4逐像素相加，再经过3
×
3卷积消除融合带来的混叠效应生成特征图，记为p4；m4经两倍上采样，与m3逐像素相加，经过3
×
3卷积消除融合带来的混叠效应生成特征图p3；
11.步骤5：在步骤4中fpn的基础上，添加一条自底向上的通路，称为pan网络，使得底层特征与含有丰富语义信息的高层特征进行融合；p3作为底层特征a3，进行2倍下采样后，与p4进行逐像素相加，得到特征图a4；a4经过2倍下采样后，与p5进行逐像素相加，生成特征图a5；与步骤4一样，a3至a5经过3
×
3卷积消除混叠效应，生成最终特征图q3至q5；
12.步骤6：该步骤是该专利的核心内容，在步骤4每次上采样之后集成一个轻量的注意力模块(cbam)，将沿着通道和空间两个独立维度依次推断出注意力映射，然后将注意力映射与输入特征映射相乘，以执行自适应特征细化；同理，在步骤5每次下采样之后添加一个cbam模块，从特征中学习或者提取出权重分布，再拿这个权重分布施加在原来的特征之上，改变原有特征的分布，增强有效特征抑制无效的特征；
13.步骤7：将特征图q3至q5分别输入yolo检测头网络，预测网络的anchor设置依据事先对数据集的聚类进定；然后将预测网络通过非极大值抑制输出的候选框映射成原图大小，框选出图像中的目标物体，最终得出检测结果。
14.与现有技术相比，本发明的有益效果是：
15.(1)在卫星图像小目标检测上，能够达到更高的识别精度；
16.(2)对于密集型目标检测，能够表现出更好的检测效果。
附图说明
17.图1为：遥感影像典型小目标示意图。
18.图2为：mosaic数据增强流程示意图。
19.图3为：mosaic-6数据增强细节示意图。
20.图4为：原始yolov5特征提取模型示意图。
21.图5为：特征提取网络各层感受野。
22.图6为：增添swin transformer网络采样示意图。
23.图7为：改进后的特征融合网络示意图。
24.图8为：原始yolov5中anchor尺寸示意图。
25.图9为：利用改进的算法模型对图像小目标的检测效果。
具体实施方式
26.下面结合附图对本发明进一步说明。
27.首先，利用yolov5网络模型cspnet对遥感影像图像进行特征提取的过程如图4所示。输入图像的大小为640x640x3，图像首先经过focus结构，进行切片操作，即降低图像尺
寸大小增加通道数，特征图的大小变成320x320x32；进行第二个卷积操作后，特征图的大小变成160x160x64；进行第三个卷积操作后，特征图的大小变成80x80x128；进行第四个卷积操作后，特征图的大小变成40x40x256；进行第五个卷积操作后，特征图的大小变成20x20x512。
28.在生成特征图的卷积网络中，生成底层特征图的神经元所叠加的前置计算较少，在原图上的感受野小，更注重保留图像的边缘、纹理等细节信息，而生成高层特征的神经元所叠加的前置计算较多，在原图上的感受野大，更注重保留图像的语义信息。高层特征经过多次下采样，一般会忽略较多的细节信息。图5是根是cspnet各层输出特征图的感受野情况。
29.yolov5利用的是8、16、32倍下采样后输出的特征图进行后续的分类和回归任务，也就是说利用的是感受野大小为8、16、32等大、中、小尺度的特征图，而遥感影像中小目标一般只具有几个像素，网络从这些仅有的少量像素中能提取出的语义信息是非常有限的。极端情况下，一个影像小目标在高层特征图上可能只对应一个点，所以小目标的检测需要更多的考虑具有较小感受野的神经元提取出的特征图。
30.然后，本发明对yolov5检测模型做出了改进，引入swin transformer特征提取主干网络。如图6所示，待检测图像通过一个深度网络提取特征，使用了windows multi-head self-attention(w-msa)的概念，比如在图中4倍下采样和8倍下采样中，将特征图划分成了多个不相交的区域(window)，并且multi-head self-attention只在每个窗口(window)内进行。减少计算量的同时让信息在相邻的窗口中进行传递，有利于网络提取目标更多的细节信息。
31.具体方法
32.(1)输入端对图像做预处理，受mosaic思想的启发，采用mosaic方法的增强版——mosaic-6，即采用6张图片随即裁剪、随机排列、随机缩放，然后组合成一张图片，以此来增加样本的数据量，同时合理引入一些随机噪声，增强网络模型对图像中小目标样本的区分力，提升模型的泛化能力。
33.(2)m5经过3
×
3卷积消除融合带来的混叠效应，记为p5；m5经两倍上采样，与m4逐像素相加，再经过3
×
3卷积消除融合带来的混叠效应生成特征图，记为p4；m4经两倍上采样，与m3逐像素相加，经过3
×
3卷积消除融合带来的混叠效应生成特征图p3；
34.(3)在以上的基础上，添加一条自底向上的通路，称为pan网络，使得底层特征与含有丰富语义信息的高层特征进行融合；p3作为底层特征a3，进行2倍下采样后，与p4进行逐像素相加，得到特征图a4；a4经过2倍下采样后，与p5进行逐像素相加，生成特征图a5；与步骤4一样，a3至a5经过3
×
3卷积消除混叠效应，生成最终特征图q3至q5；
35.这样改进的好处有两个方面，一方面，模型充分利用了含有丰富细节信息的低层特征进行小目标检测；另一方面，特征金字塔网络自顶向下传递深层次语义特征，路径聚合网络自底向上传递目标的位置信息，通过自顶向下和自底向上的特征信息融合有利于模型更好的学习到特征，增强模型对小目标和遮挡目标的敏感度。
36.在原始yolov5中，对于下采样步骤进行完成后继续进行采样操作，这样会损失部分良好特征信息；同理，对于上采样步骤进行完成后直接进行采样操作，也会令某些特征缺失，产生恢复不完全现象。因此，对采样操作后引入注意力机制模块(cbam)，给定一个特征
映射，cbam将沿着通道和空间两个独立维度依次推断出注意力映射，然后将注意力映射与输入特征映射相乘，以执行自适应特征细化，保留更多特征进行接下来的卷积操作。
37.anchor的设定可以很大程度上影响检测的精度和模型的收敛速度，在yolov5中默认的anchor长宽比与尺寸是针对coco数据集验证所设置的，anchor的设计应该考虑被检测目标的实际尺寸。本文的被检测对象为遥感影像小目标，存在较多的小目标以及1:1比例的目标，所以应根据待测目标在数据集中的具体分布情况，来自动设定anchor的尺寸和长宽比参数。
38.本发明通过k-means聚类算法对载入网络的遥感图像数据集进行锚框聚类，自动生成相应anchor尺寸，并与上述多尺度检测方案相结合，对不同大小特征图设置不同尺寸的anchor。这相当于加入了良好的先验信息，在一定程度上可以降低边框回归的难度。
39.图9为改进后的yolov5算法对待测目标的检测效果，可以发现算法模型能够准确的检测出图像中存在的小目标，很好的解决了误检、漏检等问题。
40.本发明在原有yolov5算法的基础上，分别从mosaic数据增强、特征提取主干网络、注意力机制等三个方面进行改进优化，有效地增强了yolov5网络模型对小目标物体的检测精度。
41.以上所述，仅为本发明的具体实施方式，本说明中所公开的任一特征，除非特别叙述，均可被其他等效或者具有类似目的的替代特征加以替换；所公开的所有特征、或所有方法或过程中的步骤，除了互相排斥的特征或步骤外，均可以任何方式组合。