一种基于ESR-YOLOv5的光学遥感图像目标检测方法

一种基于esr-yolov5的光学遥感图像目标检测方法
技术领域
1.本发明涉及光学遥感图像处理技术领域，尤其涉及一种基于esr-yolov5的光学遥感图像目标检测方法。


背景技术：

2.目标检测技术是研究光学遥感图像理解的基础性问题，无论是从民用领域或是军用领域中都扮演者及其非凡的角色和非常重要的应用价值，在军事领域中，遥感图像技术被广泛应用于战略侦察、武器识别和陆海勘测等诸多方面，在民用领域中，遥感图像技术为国民生产提供重要信息指导，为百姓生活提供便利的指引，而现有的数据增强式的目标检测方法主要有以下缺点，目前的现有方法大多适应样本数较多的遥感图像数据集，并且针对数据样本中类别不均衡问题解决的较少，目标检测模型输入端的数据增强的方式主要依赖于手工制作的规则方式，因此较难以产生一些即多样化又更接近原始数据的真实的样本；目标检测模型的主干网络和输入端中锚框以及网络使用的iou损失函数无法精确的反映目标框和预测框两者的重合度大小，仍有较大的优化空间。


技术实现要素：

3.为了解决上述技术问题，本发明的目的是提供一种基于esr-yolov5的光学遥感图像目标检测方法，不仅能够对光学遥感图像的质量进行了提高还能够提高esr-yolov5网络整体的检测精度和普适性的程度。
4.本发明所采用的第一技术方案是：一种基于esr-yolov5的光学遥感图像目标检测方法，包括以下步骤：
5.获取光学遥感影像数据集并输入至超分辨率生成对抗网络模型进行预处理，生成预处理后的光学遥感影像数据集；
6.构建改进的yolov5网络模型；
7.基于预处理后的光学遥感影像数据集对改进的yolov5网络模型进行训练，得到训练后的esr-yolov5模型；
8.将待检测的遥感影像数据集输入至训练后的esr-yolov5模型，得到遥感影像目标检测结果。
9.进一步，所述获取光学遥感影像数据集并输入至超分辨率生成对抗网络模型进行预处理，生成预处理后的光学遥感影像数据集这一步骤，其具体包括：
10.获取光学遥感影像数据集；
11.通过双三次插值方法对光学遥感图像数据集进行缩小处理，得到低分辨率图像数据集并输入至超分辨率生成对抗网络模型；
12.所述超分辨率生成对抗网络模型包括生成器和判别器；
13.基于超分辨率生成对抗网络模型的生成器，对低分辨率图像数据集进行放大处理，生成初步的超分辨率图像数据集；
14.基于超分辨率生成对抗网络模型的判别器，对初步的超分辨率图像数据集进行判别处理，生成超分辨率图像数据集；
15.对低分辨率图像数据集和超分辨率图像数据集进行合并，得到预处理后的遥感影像数据集。
16.进一步，所述基于超分辨率生成对抗网络模型的判别器，对初步的超分辨率图像数据集进行判别处理，生成超分辨率图像数据集这一步骤，其具体包括：
17.超分辨率生成对抗网络模型的判别器对超分辨率生成对抗网络模型的生成器生成的初步的超分辨率图像数据集与光学遥感影像数据集之间的的相似度进行计算与判断，直至满足预设的精度条件，输出超分辨率图像数据集。
18.进一步，所述构建改进的yolov5网络模型这一步骤，其具体包括：
19.基于原始的yolov5网络模型，对原始的yolov5网络模型中锚框数值的长宽比进行重新设定处理，得到改进的yolov5网络模型。
20.进一步，所述基于预处理后的光学遥感影像数据集对改进的yolov5网络模型进行训练，得到训练后的esr-yolov5模型这一步骤，其具体包括：
21.对预处理后的光学遥感影像数据集进行划分处理，得到训练集、验证集和测试集；
22.基于训练集对改进的yolov5网络模型进行训练，得到遥感影像权重模型；
23.基于验证集和测试集对遥感影像权重模型调参与测试，得到训练后的esr-yolov5模型。
24.进一步，所述基于训练集对改进的yolov5网络模型进行训练，得到遥感影像权重模型这一步骤，其具体包括：
25.将训练集输入至改进的yolov5网络模型进行训练，所述改进的yolov5网络模型包括输入层、下采样层、卷积层、csplayer层、sppbottleneck层、上采样层和输出层；
26.基于改进的yolov5网络模型的输入层对训练集进行图像矩阵化处理，得到图像矩阵化后的训练集；
27.基于改进的yolov5网络模型的下采样层对图像矩阵化后的训练集中的遥感影像尺寸进行降维和抽象处理，得到降维后的训练集；
28.基于改进的yolov5网络模型的卷积层对降维后的训练集进行卷积核计算处理，得到训练集的特征信息；
29.基于改进的yolov5网络模型的csplayer层对训练集的特征信息进行卷积计算与矩阵归一化处理，得到归一化后的训练集；
30.基于改进的yolov5网络模型的sppbottleneck层对归一化后的训练集进行卷积核计算处理，得到计算结果；
31.基于改进的yolov5网络模型的上采样层对计算结果中的遥感影像的尺寸进行还原处理，得到矩阵化遥感影像；
32.基于改进的yolov5网络模型的输出层将矩阵化遥感影像输出，构建遥感影像权重模型。
33.进一步，所述基于验证集和测试集对遥感影像权重模型调参与测试，得到训练后的esr-yolov5模型这一步骤，其具体包括：
34.将验证集输入至遥感影像权重模型进行验证处理，得到初步的遥感影像目标检测
结果；
35.根据初步的遥感影像目标检测结果对遥感影像权重模型的超参数进行调整处理，得到调整后的遥感影像权重模型；
36.将测试集输入至调整后的遥感影像权重模型进行测试，得到训练后的esr-yolov5模型。
37.本发明方法及系统的有益效果是：本发明通过超分辨率生成对抗网络模型对光学遥感影像数据集进行预处理，对遥感影像的特征空间进行增强处理，改善低质量遥感图像，能够优化并补充更加清晰地遥感图像的目标纹理和边界，使得预处理后的遥感影像数据集更接近真实的图像样本，对yolov5网络模型的初始化自适应锚框尺度进行改进，避免了因遥感图像中存在不同尺度大小目标而出现特征信息丢失的可能，通过预处理后的遥感影像数据集对改进的yolov5网络模型进行训练，进而有效的提高目标检测网络整体的检测精度和网络普适性的程度。
附图说明
38.图1是本发明一种基于esr-yolov5的光学遥感图像目标检测方法的步骤流程图；
39.图2是本发明esr-yolov5网络模型结构示意图；
40.图3是本发明esr-yolov5网络的遥感图像目标检测的实施流程图；
41.图4是本发明改进后的esr-yolov5模型的具体结构示意图。
具体实施方式
42.下面结合附图和具体实施例对本发明做进一步的详细说明。对于以下实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。
43.参照图1和图3，本发明提供了一种基于esr-yolov5的光学遥感图像目标检测方法，该方法包括以下步骤：
44.s1、获取光学遥感影像数据集并输入至超分辨率生成对抗网络模型进行预处理，生成预处理后的光学遥感影像数据集；
45.s11、获取光学遥感影像数据集；
46.具体地，准备原始的二维图像数据集即光学遥感影像数据集(光学遥感图像ucas aod数据集和vedai数据集)，作为超分辨率生成对抗网络模型的输入。
47.s12、通过双三次插值方法对光学遥感图像数据集进行缩小处理，得到低分辨率图像数据集并输入至超分辨率生成对抗网络模型；
48.具体地，双三次插值是二维图像空间中最常用的插值处理方法，其相比于其他方法(如双线性滤波算法等)的优势和依据在于，在处理图像的缩放中能够更好的保留图像像素中的细节质量，所述双三次插值方法的处理过程为针对一张二维图像进行4倍缩放，使用双三次插值方法就是通过对原始图像(hr)中每个像素点的周边16个点(a、b、c、
…
、n、o、p)进行加权计算得到缩放后图像中对应的目标像素点的值，如此，使用程序进行批量缩放二维图像数据集。
49.s13、所述超分辨率生成对抗网络模型包括生成器和判别器；
50.s14、基于超分辨率生成对抗网络模型的生成器，对低分辨率图像数据集进行放大处理，生成初步的超分辨率图像数据集；
51.s15、基于超分辨率生成对抗网络模型的判别器，对初步的超分辨率图像数据集进行判别处理，生成超分辨率图像数据集；
52.具体地，超分辨率生成对抗网络模型的判别器对超分辨率生成对抗网络模型的生成器生成的初步的超分辨率图像数据集与光学遥感影像数据集之间的相似度进行计算与判断，直至满足预设的精度条件，输出超分辨率图像数据集，其中，针对相似度问题，在本方案中我们主要是对比原始图像和超分辨率图像的相似度，以此衡量网络生成的图像质量，而ssim是一种衡量两幅图像相似度的指标，ssim取值范围是[0，1]，它的值越大，表示图像失真越小，所述ssim的公式如下所示：
[0053]
ssim(x，y)＝l(x，y)*c(x，y)*s(x，y)
[0054]
上式中，x表示原始图像，y表示超分辨率图像，l(
·
)表示两幅图像之间的亮度，c(
·
)表示两幅图像之间的对比度，s(
·
)表示两幅图像之间的结构；
[0055]
可以看到ssim分别从亮度、对比度、结构三个角度衡量图像相似性，其中：
[0056][0057][0058][0059]
上式中，μ
x
、μy表示图像x、y的均值，σ
x
、σy表示图像x、y的方差，σ
xy
表示图像x、y的协方差，c1、c2和c3均表示常数；
[0060]
进一步的，为了避免出现分母为零的情况，通常取c1＝(k1*l)2，c2＝(k2*l)2，c3＝(c2)2，一般的，取k1＝0.01，k2＝0.03，l＝255；
[0061]
判别器网络d(x)对生成网络g(x)生成的超分辨率图像和真实的label做相似度计算，并d作为二值分类器试图去区分判断该生成图像是否接近真实的label，而g通过提高合成输出图像的质量来欺骗d，如此经过反复博弈，最终g合成出更加清晰的超分辨率图像sr，因此一般地，精度d(g(x))≥0.5，其中，尽可能接近d(g(x))＝1，此时得到的生成网络g就可以用来输出生成图片；
[0062]
s16、对低分辨率图像数据集和超分辨率图像数据集进行合并，得到预处理后的遥感影像数据集。
[0063]
具体地，该预处理方法是将低分辨率的遥感目标图像进行转化与增强光学遥感的原始图像被裁剪通过bicubic的方式，使其缩小4倍，作为低分辨率图像数据，然后，低分辨率图像被输入至生成器进行x4比例的图像超分辨率生成，即如下所示：
[0064]
g：sr＝g(lr)
[0065]
上式中，g表示生成器，sr表示超分辨率图像，lr表示低分辨率图像，g表示生成器g的函数g(x)，x表示此处低分辨率图像lr，通过g(lr)函数生成超分辨率遥感图像sr；
[0066]
生成与原始图像具有一样尺寸的超分辨率的遥感图像，生成器生成的超分辨率图
像输入判别器与原始的光学遥感影像数据集进行判别，判别器作为二值分类器试图去区分判断生成器生成的sr图像与hr原始图像的相似度，而生成器通过提高合成输出图像的质量来欺骗判别器，如此经过反复博弈，最终生成器合成出更加清晰的超分辨率图像，然后将超分辨率图像数据集和低分辨率图像数据进行合并成预处理后的遥感影像数据集，所述合并的过程为将其中一个低分辨率图像的数据库数据随机无序的导入至存放超分辨图像的数据库中，用于模型训练的输入，之后被输入至检测模型即改进的yolov5网络模型；
[0067]
与现有的技术相比，传统的很多遥感图像数据受过去拍摄的硬件条件以及复杂环境等因素的影响，这使得其具有图像分辨率低和数据集的样本量少等特点，因此目标检测模型识别这些图像目标的效果并不理想，然而，本方案通过esrgan生成后的超分辨率图像(sr)作为数据增强的一种方式即对原始的低分辨率的遥感图像数据集进行特征空间的增强和扩充。
[0068]
s2、构建改进的yolov5网络模型；
[0069]
具体地，不同目标检测算法的锚框设置有很大的区别；原始yolov5框架的三种尺寸的初始检测锚框是为了适应于coco数据集特性而设置的，它们分为三个层次，第一层是用于匹配最大的特征图，设定大小为10x13、16x30和33x23；第二层是作为中间的特征图上的锚框，设定大小为30x61、62x45和59x119；第三层是作为最小的特征图上的锚框，设定大小为116x90、156x198和373x326；对于目标检测的任务而言，一般希望在更大的特征图上去检测小目标，因为大的特征图上包含有更多的小目标信息，所以较大的特征图上的anchor数值通常设置的较小，而较小的特征图的锚框数值设置的相对较大，用于检测大的目标，然而，由于遥感数据的特殊性，其图像的背景视野大而远，目标对象相比于整个图像的尺寸较小，相比于卡车，飞机等尺寸较大的目标对象，那些摩托车、小汽车等尺寸较小的目标难以被检测器检测为有效的识别对象，因此，基于对前景中的目标尺寸大小的分析和遥感图像的大小分析，对原始yolov5s、yolov5m、yolov5l和yolov5x模型的小/中/大尺度目标检测层的初始锚框进行改进，其中yolov5s，yolov5m，yolov5l，yolov5x这四个是yolov5系列中具体的模型方法，如esr-yolov5s，esr-yolov5m等；根据模型轻量化的思想，四个方法的特点是模型推理的参数量不同，直接影响到推理速度和检测精度大小，参数量大的推理速度越慢，同时检测精度相对变小，其中yolov5s参数量最少，为7.2m，在gpu v100b1上的推理速度为6.4ms；yolov5m为21.2m，速度为8.2ms；yolov5l为46.5m，速度为10.1ms；yolov5x最大，为86.7m，速度为12.1ms，此外，四个具体方法中每个都包含了小/中/大尺度目标检测层，其用于从三种尺度中框定并检测出目标物体的大小，观察更多的实验数据表明，遥感图像和自然图像不同，遥感图像存在着图像尺寸大，但图像中的目标物体较小，因此，适用于自然图像的原始方法的锚框尺寸大小较大，难以更好的框定并检测出遥感图像中目标物体，为此，尝试进一步改进方法中锚框数值的长宽比，以便适配特殊应用场景的遥感图像领域，设定小/中尺度的锚框长宽比为1/2左右，改进为15x35、20x50和25x55，55x100、60x110和65x120；而大尺度的锚框长宽比为1/4左右，调整为25x100、30x130和35x140，使得实现遥感图像目标的准确识别，在改进前使用原始yolov5方法的锚框大小和改进后锚框大小的esr-yolov5方法对遥感图像场景进行目标物体检测实验时，发现改进后的精度更高，如在ucas aod遥感图像数据集上，esr-yolov5s方法检测精度相比原始方法提升5.1-6.9％。
[0070]
s3、基于预处理后的光学遥感影像数据集对改进的yolov5网络模型进行训练，得
到训练后的esr-yolov5模型。
[0071]
s31、对预处理后的光学遥感影像数据集进行划分处理；
[0072]
具体地，为适应模型训练的要求，按照比例6:3:1划分成训练集，验证集和测试集，分别为187个、47个和47个；
[0073]
s32、基于训练集对改进后的yolov5网络模型进行训练，得到遥感影像权重模型；
[0074]
具体地，参照图4，为改进后的yolov5模型具体结构以及连接层的关系，其中包含inputs(输入层)、focus(下采样层)、conv2d_bn(卷积层)、csplayer(由卷积层 归一化层组成)、sppbottleneck(由几层卷积层组合)、upsampling2d(上采样层)和yolohead(输出层)，其模型中的各个层的名称是经过抽象化的，在计算机程序中其实是一个个的矩阵参数的计算，因此，层与层的连接关系也是通过上一层的矩阵数据值输出至下一层的，都有计算机程序代码实现；其中，inputs(输入层)：是对遥感图像进行图像矩阵化；focus(下采样层)：对输入的图像进行降维和抽象，用更高层次的特征表示图像，其将图像划分为若干个矩形区域，对每个子区域输出最大值，可以帮助减小了下一层的输入大小，进而减少计算量和参数个数；conv2d_bn(卷积层)：对上一层输出进行卷积核的计算，提取输入的不同特征信息；csplayer(由卷积层 归一化层组成)：进行卷积计算以及将卷积后的矩阵归一化操作；sppbottleneck(由几层卷积层组合)：不同结构组成的卷积层进行卷积核计算；upsampling2d(上采样层)：将原先被尺寸缩小的下采样层进行还原，输入特征图像还原到原图像的尺寸大小；yolohead(输出层)：将矩阵化图像进行输出；
[0075]
预处理后数据集导入检测模型中进行训练，此时进入检测模型的backbone的focus部分，它将从遥感图像中周期性的抽出像素点重构至低分辨率图像中，即将图像相邻的四个位置进行堆叠，关注w、h维度信息到conv通道空间，提高每个像素点的感受野，并减少原始信息的丢失，该模块主要是减少计算量并加快计算速度，进一步地，再通过conv模块和bottleneckcsp模块的交替操作以及spp模块最大池化的下采样，再进行融合，进一步提高感受野，由上一个模块输出的特征图再输入到下一个neck网络中计算，再由head输出端对遥感图像中潜在的目标做出三个不同尺度的预测目标结果。
[0076]
s33、将验证集与测试集输入至遥感影像权重模型进行调参与测试处理，得到遥感影像目标检测结果；
[0077]
具体地，参照图2，所述验证集的只要作用为评估模型的效果和调整超参数，在验证集中包含了遥感图像若干张和这若干张遥感图像相对应目标物体的标签，当训练集中一组遥感图像输入至初始模型训练的过程中生成的遥感图像权重模型，当达到10epoch时，输入验证集中的遥感图像若干张至遥感图像权重模型中进行矩阵计算，该模型输出若干份图像标签，再将输出的若干份图像标签与原本的图像目标物体的标签进行评估计算，计算map、pr曲线、精度、召回率；依此进入下一个10epoch阶段直至到100epoch，观察验证计算的结果，进而调整模型结构、学习率、优化器等参数；对训练以及验证生成的权重模型好与坏进行测试，输入测试集中的遥感图像若干张至遥感图像权重模型中进行矩阵计算，该模型输出若干份图像标签，将输出的若干份图像标签与原本的图像目标物体的标签进行评估计算，计算map、pr曲线、精度、召回率，将测试集中的遥感图像一次计算完成为止，得出的平均精度等评估结果表示提出方法模型性能；
[0078]
将遥感影像权重模型用于验证集上自动得到遥感图像的初步识别检测结果，并调
整遥感影像权重模型的超参数，对一些模型参数进行调整，如模型结构、学习率、优化器、锚框长宽比、计算批次等，需要调整参数如epoch设定训练100次迭代，batch大小，学习率等，其中，一个epoch表示将所有训练样本训练一次的过程，batch表示单次传递给程序用以训练的参数个数，batch大小决定了数量梯度下降的方向，过小的批数量，极端情况下，例如batch大小为1，即每个样本都去修正一次梯度方向，样本之间的差异越大越难以收敛，而过大的batch，会使得梯度方向基本稳定，容易陷入局部最优解，降低精度；学习率作为监督学习以及深度学习中重要的超参，其决定着目标函数能否收敛到局部最小值以及何时收敛到最小值；合适的学习率能够使目标函数在合适的时间内收敛到局部最小值，学习率直接控制着训练中网络梯度更新的量级，直接影响着模型的有效容限能力；最后，需要将遥感影像权重模型放置测试集测试检测性能，用以验证提出的自动遥感图像目标检测模型esr-yolov5是可行的。
[0079]
上述方法实施例中的内容均适用于本系统实施例中，本系统实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。
[0080]
以上是对本发明的较佳实施进行了具体说明，但本发明创造并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本技术权利要求所限定的范围内。