一种基于无人机图像的小目标检测方法及系统与流程

1.本发明属于图像处理领域，尤其涉及一种基于无人机图像的小目标检测方法及系统。


背景技术：

2.随着无人机图像采集技术的迅速发展，基于无人机图像处理的应用也越来成熟。相较于普通图像，无人机视角图像小、目标多且密集，受限于目标类别及无人机的飞行高度，基于无人机图像的小目标检测较为困难。
3.当前，主流的无人机图像目标检测分类有单阶段和两阶段两种方式，典型的单阶段算法包括ssd和yolo两种，典型的两阶段算法包括fast r－cnn和faster r－cnn。两阶段算法由于需要先生成候选框再进行分类回归，其精度也会优于单阶段。但对于小目标，受拍摄距离的影响，目标像素少、成像较为模糊且会受限于预测框尺寸等，导致对无人机图像中的小目标检测准确度偏低，容易存在漏检。


技术实现要素：

4.有鉴于此，本发明实施例提供了一种基于无人机图像的小目标检测方法及系统，用于解决现有无人机图像识别中小目标检测精度低的问题。
5.在本发明实施例的第一方面，提供了一种基于无人机图像的小目标检测方法，包括：
6.获取无人机采集的图像，对图像进行预处理后，通过聚类算法计算出图像中不同尺寸的目标的anchor值；
7.通过csp－darknet53骨干特征提取模型提取不同分辨率的特征图；
8.基于swin－transformer结构和sppf结构对所述特征图进行特征加强；
9.基于不同分辨率的特征图和特征加强后的特征图，融合不同网络层特征信息进行目标特征提取；
10.根据提取的目标特征，检测输出目标位置和类别信息。
11.在本发明实施例的第二方面，提供了一种基于无人机图像的小目标检测系统，包括：
12.预处理模块，用于接收无人机采集的图像，对图像进行预处理，通过聚类算法计算出图像中不同尺寸的目标的anchor值；
13.特征提取模块，用于通过csp－darknet53骨干特征提取模型提取不同分辨率的特征图；
14.特征增强模块，用于基于swin－transformer结构和sppf结构对所述特征图进行特征加强；
15.增强特征提取模块，用于基于不同分辨率的特征图和特征加强后的特征图，融合不同网络层特征信息进行目标特征提取；
16.目标预测模块，用于根据提取的目标特征，检测输出目标位置和类别信息。
17.在本发明实施例的第三方面，提供了一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器运行的计算机程序，所述处理器执行所述计算机程序时实现如本发明实施例第一方面所述方法的步骤。
18.在本发明实施例的第四方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现本发明实施例第一方面提供的所述方法的步骤。
19.本发明实施例中，通过在csp－darknet53骨干特征提取模型的基础上，增加swin－transformer结构和sppf结构进行特征加强，从而可以提高无人机图像中小目标检测识别准确率，减少目标提取中对小目标的遗漏，保障目标检测精度。
附图说明
20.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单介绍，显而易见地，下面描述的附图仅仅是本发明的一些实施例，对本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获取其他附图。
21.图1为本发明一个实施例提供的一种基于无人机图像的小目标检测方法流程示意图；
22.图2为本发明一个实施例提供的swin－transformer结构和sppf结构的连接示意图；
23.图3为本发明一个实施例提供的小目标检测效果示意图；
24.图4为本发明一个实施例提供的一种基于无人机图像的小目标检测系统的结构示意图；
25.图5为本发明的一个实施例提供的一种电子设备的结构示意图。
具体实施方式
26.为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
27.应当理解，本发明的说明书或权利要求书及上述附图中的术语“包括”以及其他相近意思表述，意指覆盖不排他的包含，如包含一系列步骤或单元的过程、方法或系统、设备没有限定于已列出的步骤或单元。此外，“第一”“第二”用于区分不同对象，并非用于描述特定顺序。
28.请参阅图1，本发明实施例提供的一种基于无人机图像的小目标检测方法的流程示意图，包括：
29.s101、获取无人机采集的图像，对图像进行预处理后，通过聚类算法计算出图像中不同尺寸的目标的anchor值；
30.获取无人机采集的图像，图像中一般包含有特定的成像目标，如人、车辆等。对无人机采集的原始图像进行预处理，标注出图像中小目标的位置，并添加标签。
31.其中，预处理过程至少包括：
32.将图像在预定区间内进行缩放处理，并对缩放后的图像进行mosaic数据增强处理。
33.所述预定区间为根据实际需要设定的缩放区间，可以在此区间内进行图片的放大和缩小，本实施例中区间大小为0.5－1.5的尺度，可以将原始图像放大至1.5倍，也可以将图像缩小至0.5倍。
34.所述mosaic数据增强处理是将选定的图片与随机的3张图片进行随机裁剪后，拼接到一张图片上作为训练数据，从而可以丰富图片背景，增强网络鲁棒性。
35.对预处理后的图像，通过聚类算法可以计算出目标的框集合，所述anchor值为与目标匹配的目标框宽度和高度。所述聚类算法可以为k－means等聚类方法。
36.其中，根据目标框的大小可以对目标进行分类，如将目标划分小目标、常规目标，常规目标也可以进一步根据尺寸划分小、中、大三类目标，由此，可以得到四类大小的目标。
37.s102、通过csp－darknet53骨干特征提取模型提取不同分辨率特征图；
38.所述csp－darknet53骨干特征提取模型为yolov4中的骨干网络，可用于图像特征的提取，csp(cross－stage－partial－connections)为跨阶段部分连接。
39.通过csp－darknet53骨干特征提取模型可以提取不同高低分辨率的特征图。
40.s103、基于swin－transformer结构和sppf结构对所述特征图进行特征加强；
41.swin－transformer结构由多头注意力模块组成，包含w－msa与sw－msa结构，w－msa和sw－msa分别通过固定窗口和偏移窗口来学习窗口内的特征值。swin－transformer v2则是在swin－transformer结构上提出的改进，扩大了参数容量和窗口分辨率等，本实施例中，可以采用swin－transformer v2与sppf相连，实现特征加强。
42.其中，所述sppf结构将输入的特征图并联级联，并进行通道维度的堆叠处理，通过cbl(即conv bn leakyrelu)模块提取特征图特征。
43.示例性的，参见图2，swin－transformer v2结构与sppf结构的连接如图所示，ln(layer normalization)表示层标准化，mlp(multilayer perceptron)表示多层感知，“ ”表示特征融合，concat表示通道维度堆叠。
44.s104、基于不同分辨率的特征图和特征加强后的特征图，融合不同网络层特征信息进行目标特征提取；
45.上述s102和s103中步骤中输出的不同尺度的特征图进行融合，提取不同关注区域的特征。
46.具体的，通过双向特征金字塔模块bifpn上下连接融合不同阶段的特征图，并通过加入cbam(convolutional block attention module)空间和通道注意模块，捕捉图像中密集对象的关注区域。
47.s105、根据提取的目标特征，检测输出目标位置和类别信息。
48.基于检测提取的特征，判定与目标特征相匹配后，输出目标在图像中的位置以及目标分类。具体可以检测大尺寸的特征图中小目标的位置、类别等信息，以及原图尺寸下常规目标的位置和类别信息等。
49.基于本实施提供的小目标检测方法以及yolov5模型小目标检测的实际效果如图3所示，图中(a)为本实施提供的小目标检测方法的检测效果，图中(b)为yolov5模型小目标检测效果。
50.本实施例中，在模型的输出预测阶段，模型的预测特征层上，小目标经过特征提取和加强后，特征尺寸进一步缩小，当设置的anchor框尺寸过大，易出现预测框和真实框的iou过小，导致小目标样本被过滤掉的问题，针对这一问题，在模型预测时增加小目标的检测头，通过重新设计anchor框的尺寸，适配小目标的尺度，解决了没有预测小目标特征层，小目标遗漏的问题。
51.小目标在模型的特征提取阶段，增加感受野的同时模型的特征图尺寸不断缩小，当卷积核步距超过小目标尺寸时，小目标的特征很难在神经网络中进行正向传播。针对这一问题，通过在模型特征提取backbone网络中，增加了swin-transformerv2和sppf结构，通过增加头部数量和增大窗口的尺寸，提取更加精细和微小的目标特征信息，解决了小目标特征提取遗漏的问题。
52.在本发明另一实施例中，定义目标尺寸加权的损失函数，增加预定目标的预测头损失，并增加预定目标的权重数值。
53.mlp预测头是一个3层的perceptron，激活函数为relu，隐层节点数是d。每个object queries通过预测头预测目标的bounding box和类别，其中bounding box有三个值，分别是目标的中心点以及宽和高。
54.示例性的，设计一种目标尺寸加权的损失函数，公式如下：
55.loss＝λ1l
cls
λ2l
obj
λ3l
loc
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
56.loss
总
＝w1loss1 w2loss2 w3loss3 w4loss4ꢀꢀꢀꢀ
(2)
57.式中，loss为每个预测头的损失，包含分类损失l
cls
，置信度损失l
obj
和回归损失l
loc
，分别采用不同权重的系数λ1、λ2、λ3；loss总为不同尺度类型的目标总损失，其中loss1和loss2、loss3、loss4分别为小目标、常规小中大目标的预测头损失，为增加小目标的检测准确率，增加loss1小目标的预测头损失，且增大w1的权重数值，从而提升小目标的检测精度。
58.由于不同尺度的目标数量不同，小目标正样本数量少，对模型的损失贡献小，难以区分大中小不同尺度的问题，设计了不同加权的损失函数，通过增加小目标层的损失权重，可以解决小目标的样本对模型的贡献小，反向传播梯度损失的问题。
59.应理解，上述实施例中各步骤的序号大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
60.图4为本发明实施例提供的一种基于无人机图像的小目标检测系统的结构示意图，该系统包括：
61.预处理模块410，用于接收无人机采集的图像，对图像进行预处理，通过聚类算法计算出图像中不同尺寸的目标的anchor值；
62.其中，所述预处理模块410包括：
63.缩放处理单元，用于将图像在预定区间内进行缩放处理；
64.数据增强单元，用于对缩放后的图像进行mosaic数据增强处理。
65.特征提取模块420，用于通过csp－darknet53骨干特征提取模型提取不同分辨率
的特征图；
66.特征增强模块430，用于基于swin－transformer结构和sppf结构对所述特征图进行特征加强；
67.其中，所述sppf结构中，将输入的特征图并联级联，并进行通道维度的堆叠处理，通过cbl模块提取特征图特征。
68.加强特征提取模块440，用于基于不同分辨率的特征图和特征加强后的特征图，融合不同网络层特征信息进行目标特征提取；
69.具体的，通过双向特征金字塔bifpn上下连接融合不同阶段的特征图，并通过cbam空间和通道注意模块，提取图像中密集对象的关注区域。
70.目标预测模块450，用于根据提取的目标特征，检测输出目标位置和类别信息。
71.在一些实施例中，定义目标尺寸加权的损失函数，增加预定目标的预测头损失，并增加预定目标的权重数值，从而提升小目标的检测准确率。
72.所述领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置和模块的具体工作过程可以参考前述方法实施例中对应的过程，在此不再赘述。
73.图5是本发明一实施例提供的一种电子设备的结构示意图。所述电子设备用于无人机图像中的小目标检测。如图5所示，该实施例的电子设备5至少包括：存储器510、处理器520以及系统总线530，所述存储器510包括存储其上的可运行的程序5101，本领域技术人员可以理解，图5中示出的电子设备结构并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
74.下面结合图5对电子设备的各个构成部件进行具体的介绍：
75.存储器510可用于存储软件程序以及模块，处理器520通过运行存储在存储器510的软件程序以及模块，从而执行电子设备的各种功能应用以及数据处理。存储器510可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据电子设备的使用所创建的数据(比如缓存数据)等。此外，存储器510可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
76.在存储器510上包含网络请求方法的可运行程序5101，所述可运行程序5101可以被分割成一个或多个模块/单元，所述一个或多个模块/单元被存储在所述存储器510中，并由处理器520执行，以实现预定小目标检测等，所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序5101在所述电子设备5中的执行过程。例如，所述计算机程序5101可以被分割为预处理模块、特征提取模块、特征增强模块、增强特征提取模块和目标预测模块等。
77.处理器520是电子设备的控制中心，利用各种接口和线路连接整个电子设备的各个部分，通过运行或执行存储在存储器510内的软件程序和/或模块，以及调用存储在存储器510内的数据，执行电子设备的各种功能和处理数据，从而对电子设备进行整体状态监控。可选的，处理器520可包括一个或多个处理单元；优选的，处理器520可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器520中。
78.系统总线530是用来连接计算机内部各功能部件，可以传送数据信息、地址信息、控制信息，其种类可以是例如pci总线、i sa总线、can总线等。处理器520的指令通过总线传递至存储器510，存储器510反馈数据给处理器520，系统总线530负责处理器520与存储器510之间的数据、指令交互。当然系统总线530还可以接入其他设备，例如网络接口、显示设备等。
79.在本发明实施例中，该电子设备所包括的处理520执行的可运行程序包括：
80.获取无人机采集的图像，对图像进行预处理后，通过聚类算法计算出图像中不同大小尺寸的目标的anchor值；
81.通过csp－darknet53骨干特征提取模型提取图像中不同分辨率的特征图；
82.基于swin－transformer结构和sppf结构对所述特征图进行特征加强；
83.基于不同分辨率的特征图和特征加强后的特征图，融合不同网络层特征信息进行目标特征提取；
84.根据提取的目标特征，检测输出目标位置和类别信息。
85.所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
86.在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
87.以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。