基于级联型回归修正的光学遥感图像飞机检测方法和装置与流程

1.本发明涉及遥感图像处理技术领域，尤其涉及一种基于级联型回归修正的光学遥感图像飞机检测方法和装置。


背景技术：

2.近年来，随着遥感技术的发展和遥感图像分辨率的提高，获取途径变得更为方便，其研究价值越来越高。飞机作为一种重要的交通工具和常规武器在民用和军用领域有着重要的地位，是遥感目标检测的重点对象。在民用方面，随着社会的高速发展进步，人民生活质量不断提升，飞机已经成为了人们出行必不可少的交通工具之一。通过对机场区域的遥感图像分析，自动检测出当前飞机的数量型号，可以帮助航空公司更好地实施调度管理及飞机统计。既节约了人力成本，又提高了安全保障；在军事领域，空中打击是军事打击中最为重要的一环，毫无疑问飞机是最为重要的作战工具，因此，飞机的定位及识别能提供重要的战场动态和情报。
3.遥感图像处理方式主要是通过人工进行判读，尽管准确性相对较高，但会消耗大量的人力资源，同时处理速度慢，很难满足现代化信息时代的所需求的时效性，因此人们考虑借助计算机高效的处理速度来解决遥感图像的处理问题。目前，已有许多自动化的遥感图像目标检测方法被提出，其主要分为两类：传统的机器学习方法和深度学习方法。对于前者，主要是通过手工提取特征并通过训练得分类器得到结果，因此人工所提取的目标特征是非常重要的。然而这些特征，通常都缺乏鲁棒性和通用性，很难获得精确的结果。近年来，卷积神经网络(convolutional neural networks，cnns)被提出，引起了研究者的广泛关注，对于计算机视觉领域而言是一个里程碑式的发展。基于卷积神经网络的目标辨识技术可以通过网络的学习，自动化提取图片的各种特征，并最终利用提取的特征对目标进行定位和分类。此类方法避免了人工设计的特征提取过程，同时还可以自动学习到目标的深层次信息、目标周围及背景信息。此外通过卷积层所构建的定位器，也加强了定位的精准度。因此基于卷积神经网络的目标辨识方法其鲁棒性、准确率远远高于传统方法。
4.然而，大视场光学遥感图像通常背景复杂、虚警干扰因素多，而且飞机目标之间尺度差异大。一般的深度学习方法难以实现遥感图像下飞机的精准检测。
5.因此，如何避免现有的飞机目标检测算法中无法利用遥感图像特性而导致得到的飞机目标检测结果鲁棒性和适应性都弱且检测效率低，仍然是本领域技术人员亟待解决的问题。


技术实现要素：

6.本发明提供一种基于级联型回归修正的光学遥感图像飞机检测方法和装置，用以解决现有的飞机目标检测算法中无法利用遥感图像特性而导致得到的飞机目标检测结果鲁棒性和适应性都弱且检测效率低的问题。
7.本发明提供一种基于级联型回归修正的光学遥感图像飞机检测方法，包括：
8.将采集的原始光学遥感图像进行剪裁，得到多个切片图像；
9.将所述多个切片图像依次输入飞机检测模型，输出各个切片中检测到目标飞机的检测框位置信息；
10.其中，所述飞机检测模型基于初步检测框修正模型和再次修正分类模型级联构成，所述初步检测框修正模型基于样本第一图像和对应的目标物体标注框进行训练后得到的，所述再次修正分类模型基于样本第二图像、对应的目标物体标注框和目标物体是否为飞机分类标签进行训练后得到的，所述样本第一图像来自于基于剪裁后光学遥感图像构建的第一样本集，所述样本第二图像来自于基于带初步检测框的样本第一图像构建的第二样本集；
11.将所述检测框位置信息映射回所述原始光学遥感图像的坐标并合并，得到最终的飞机检测结果。
12.根据本发明提供的一种基于级联型回归修正的光学遥感图像飞机检测方法，所述初步检测框修正模型训练时的网络结构包括顺次连接的多尺度特征提取网络、先验锚框生成网络和检测框修正网络；
13.其中，所述多尺度特征提取网络用于将输入任一图像进行下采样，得到所述任一图像的n种尺寸特征图，对所述n种尺寸特征图以预设规则进行融合，得到所述任一图像的n种融合特征图；
14.所述先验锚框生成网络用于基于预先设置的先验锚框长宽比的数量和先验锚框尺度的数量确定n种融合特征图的每个点上的产生先验锚框的数量；
15.所述检测框修正网络用于基于所述先验锚框与真实目标物体标注框之间的偏移量优化修正先验框参数。
16.根据本发明提供的一种基于级联型回归修正的光学遥感图像飞机检测方法，所述再次修正分类模型包括所述多尺度特征提取网络、检测框再次修正网络和分类网络；
17.其中，所述检测框再次修正网络用于基于所述初步检测框样本和真实物体标注框之间的偏移量优化修正初步检测框参数；
18.所述分类网络用于基于所述检测框再次修正网络输出的预测检测框确定的预测目标物体为飞机概率和目标飞机标注框之间的分类误差优化所述分类网络中的置信度参数。
19.根据本发明提供的一种基于级联型回归修正的光学遥感图像飞机检测方法，所述第一样本集的构建，具体包括：
20.将采集的样本光学遥感图像进行若干次旋转、水平和垂直翻转操作，得到初步扩充后样本光学遥感图像；
21.将所述初步扩充后样本光学遥感图像再进行马赛克数据增强，得到完全扩充后样本光学遥感图像；
22.将所述完全扩充后样本光学遥感图像中的每一图像进行剪裁，得到第一样本集。
23.根据本发明提供的一种基于级联型回归修正的光学遥感图像飞机检测方法，所述第二样本集的构建，具体包括：
24.将所述第一样本集中的图像输入训练完成的所述初步检测框修正模型，输出各样本图像的带有初步检测框的样本第二图像；
25.基于所述第二样本图像构建第二样本集。
26.根据本发明提供的一种基于级联型回归修正的光学遥感图像飞机检测方法，所述将采集的原始光学遥感图像进行剪裁，得到多个切片图像，具体包括：
27.使用重叠滑动窗口对采集的原始光学遥感图像进行剪裁，得到多个前后剪裁图像之间存在重叠像素的剪裁图像序列；
28.将所述剪裁图像序列中的图像依次进行差值上采样，得到多个切片图像。
29.根据本发明提供的一种基于级联型回归修正的光学遥感图像飞机检测方法，所述将所述检测框位置信息映射回所述原始光学遥感图像的坐标并合并，得到最终的飞机检测结果，具体包括：
30.基于所述差值上采样的采样规则，确定还原映射函数；
31.基于所述还原映射函数将所述检测框位置信息映射回所述原始光学遥感图像的坐标，得到目标结果坐标；
32.采用非极大值抑制规则对所述目标结果坐标中的重叠数据进行合并，得到最终的飞机坐标检测结果。
33.本发明还提供一种基于级联型回归修正的光学遥感图像飞机检测装置，包括：
34.剪裁单元，用于将采集的原始光学遥感图像进行剪裁，得到多个切片图像；
35.检测单元，用于将所述多个切片图像依次输入飞机检测模型，输出各个切片中检测到目标飞机的检测框位置信息；
36.其中，所述飞机检测模型基于初步检测框修正模型和再次修正分类模型级联构成，所述初步检测框修正模型基于样本第一图像和对应的目标物体标注框进行训练后得到的，所述再次修正分类模型基于样本第二图像、对应的目标物体标注框和目标物体是否为飞机分类标签进行训练后得到的，所述样本第一图像来自于基于剪裁后光学遥感图像构建的第一样本集，所述样本第二图像来自于基于带初步检测框的样本第一图像构建的第二样本集；
37.拼接单元，用于将所述检测框位置信息映射回所述原始光学遥感图像的坐标并合并，得到最终的飞机检测结果。
38.本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述的基于级联型回归修正的光学遥感图像飞机检测方法的步骤。
39.本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述的基于级联型回归修正的光学遥感图像飞机检测方法的步骤。
40.本发明提供的基于级联型回归修正的光学遥感图像飞机检测方法和装置，由于本发明提供的飞机检测模型基于初步检测框修正模型和再次修正分类模型级联构成，通过设计一种级联型的回归修正模块，相比于传统方法中的一次回归，级联式回归的飞机检测模型通过对生成的先验锚框进行修正后，再基于前次初步修正结果继续通过回归进行二次修正得到最终飞机目标检测结果，两次回归修正的方式可以得到更加精准的飞机检测结果，而且飞机检测模型的网络结构复杂度也不高。因此，本发明提供的方法和装置，实现了高效地对遥感图像中的目标飞机进行检测，且检测结果的鲁棒性和适应性均有所提高。
附图说明
41.为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
42.图1为本发明提供的一种基于级联型回归修正的光学遥感图像飞机检测方法的流程示意图；
43.图2为本发明提供的基于级联型回归修正模块的光学遥感图像飞机检测方法的流程示意图；
44.图3为本发明提供的基于级联型回归修正的光学遥感图像飞机检测装置的结构示意图；
45.图4为本发明提供的一种电子设备的实体结构示意图。
具体实施方式
46.为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
47.由于现有的飞机目标检测算法中普遍存在无法利用遥感图像特性而导致得到的飞机目标检测结果鲁棒性和适应性都弱且检测效率低的问题。下面结合图1
‑
图2描述本发明的一种基于级联型回归修正的光学遥感图像飞机检测方法。图1为本发明提供的一种基于级联型回归修正的光学遥感图像飞机检测方法的流程示意图，如图1所示，该方法包括：
48.步骤110，将采集的原始光学遥感图像进行剪裁，得到多个切片图像。
49.具体地，由于采集的原始遥感图像通常为高分辨率、大视场图像，其像素尺寸大小通常达到四位数以上。受硬件条件和网络本身结构等限制，后文会介绍的可以处理遥感图像的飞机检测模型无法直接处理高分辨率、大视场的原始遥感图像，因此，需要对其进行剪裁处理，将一个原始遥感图像剪裁成多个切片图像，所述多个切片图像的组合包括了原始遥感图像中的所有像素信息。
50.步骤120，将所述多个切片图像依次输入飞机检测模型，输出各个切片中检测到目标飞机的检测框位置信息；
51.其中，所述飞机检测模型基于初步检测框修正模型和再次修正分类模型级联构成，所述初步检测框修正模型基于样本第一图像和对应的目标物体标注框进行训练后得到的，所述再次修正分类模型基于样本第二图像、对应的目标物体标注框和目标物体是否为飞机分类标签进行训练后得到的，所述样本第一图像来自于基于剪裁后光学遥感图像构建的第一样本集，所述样本第二图像来自于基于带初步检测框的样本第一图像构建的第二样本集。
52.具体地，将多个切片图像依次输入飞机检测模型，所述飞机模型会对应地依次输出各切片图像的检测到目标飞机的检测框位置信息，该位置信息以各切片图像的图像坐标系衡量。
53.此处进一步对飞机检测模型进行限定，为基于初步检测框修正模型和再次修正分类模型级联构成，通过设计一种级联型的回归修正模块，对生成的先验锚框进行修正后，再基于前次初步修正结果继续通过回归进行二次修正得到最终飞机目标检测结果，两次回归修正的方式可以得到更加精准的飞机检测结果，初步检测框修正模型仅用于在预设先验框的基础上得到初步修正量输出初步修正检测框，而再次修正分类模型以同样的修正原理进行修正时，修正基础不再是初步检测框修正模型中使用的预设先验框，而是初步检测框修正模型输出的已经经过一次调整的初步修正检测框，在初步修正检测框的基础上进行二次修正，得到更精确的检测框位置，其次，再次修正分类模型还包括分类功能，对再次修正分类模型得到的完全修正锚框进行二分类，判断锚框中是否含有飞机目标，其分类损失函数采用焦点损失。
54.因此，初步检测框修正模型基于样本第一图像和对应的目标物体标注框进行训练后得到的；再次修正分类模型基于样本第二图像、对应的目标物体标注框和目标物体是否为飞机分类标签进行训练后得到的，其中，再次修正分类模型包括二次修正网络和分类网络，所述二次修正网络中的待优化参数基于完全修正框的定位误差构建的定位损失函数进行调整，所述分类网络中的待优化参数基于完全修正框的定位误差构建的定位损失函数进行调整，第一样本集中的样本第一图像要采用与使用飞机检测模型时对输入的待检测原始遥感图像相同的剪裁方式，第二样本集中的样本第二图像为初步检测框修正模型训练完后，使用训练好的初步检测框修正模型处理第一样本集中的样本第一图像得到的样本第二图像，即带初步检测框的剪裁后光学遥感图像。因此，飞机检测模型中的再次修正分类模型可以精确标出各个遥感图像切片中检测到目标物体的检测框，还可以对目标物体进行是否为目标飞机的分类识别，得到最后的目标飞机检测框作为整个飞机检测模型的输出。
55.步骤130，将所述检测框位置信息映射回所述原始光学遥感图像的坐标并合并，得到最终的飞机检测结果。
56.具体地，对于步骤120得到的每个光学遥感图像切片的检测结果坐标，均要映射回原始遥感图像所在坐标系，所述映射规则是基于原始遥感图像裁剪成遥感图像切片的方式确定，即映射规则为该剪裁方式的逆操作，得到真实坐标，然后再将各个真实坐标进行拼接，得到最终的飞机检测定位框位置信息。
57.本发明提供的基于级联型回归修正的光学遥感图像飞机检测方法，由于本发明提供的飞机检测模型基于初步检测框修正模型和再次修正分类模型级联构成，通过设计一种级联型的回归修正模块，相比于传统方法中的一次回归，级联式回归的飞机检测模型通过对生成的先验锚框进行修正后，再基于前次初步修正结果继续通过回归进行二次修正得到最终飞机目标检测结果，两次回归修正的方式可以得到更加精准的飞机检测结果，而且飞机检测模型的网络结构复杂度也不高。因此，本发明提供的方法，实现了高效地对遥感图像中的目标飞机进行检测，且检测结果的鲁棒性和适应性均有所提高。
58.基于上述实施例，该方法中，所述初步检测框修正模型训练时的网络结构包括顺次连接的多尺度特征提取网络、先验锚框生成网络和检测框修正网络；
59.其中，所述多尺度特征提取网络用于将输入任一图像进行下采样，得到所述任一图像的n种尺寸特征图，对所述n种尺寸特征图以预设规则进行融合，得到所述任一图像的n种融合特征图；
60.所述先验锚框生成网络用于基于预先设置的先验锚框长宽比的数量和先验锚框尺度的数量确定n种融合特征图的每个点上的产生先验锚框的数量；
61.所述检测框修正网络用于基于所述先验锚框与真实目标物体标注框之间的偏移量优化修正先验框参数。
62.具体地，多尺度特征提取网络使用卷积神经网络对输入图像数据进行特征提取，具体的卷积神经网络采用resnet
‑
50架构，其输出结果为不同尺寸大小的特征图，具体步骤如下：
63.1、将输入图像送入resnet
‑
50卷积神经网络中，通过卷积计算得到多种不同尺寸大小的特征图，本实施例优先选择使用4种特征图，作为后续预测飞机目标位置的输入，以适应光学遥感图像中目标尺寸的飞机目标。这4种特征图寸大小分别为原图下采样4倍、8倍、16倍和32倍后得到的特征图。
64.2、将上述得到的4种不同尺寸特征图进行融合，具体地：首先通过使用1x1卷积降维，减少每个特征图中的通道个数，以减少网络规模和计算量。其次，将低分辨率的特征图进行插值上采样后，通过特征图拼接的操作对两组特征图进行初步融合，即用下采样32倍的特征图上采样成16倍特征图后去拼接原16倍特征图以更新16倍特征图，然后以更新后的16倍特征图再上采样成8倍特征图去拼接原8倍特征图以更新8倍特征图，最后以更新后的8倍特征图上采样成4倍特征图去拼接原4倍特征图以更新4倍特征图，即保留原下采样32倍的特征图，其他原下采样的特征图均被更新，更新方式就是拼接式的融合，即每个更新后的特征图的通道数会翻倍；最后使用卷积核为3x3大小的卷积操作对特征图进行最终融合，以得到最终的特征图用于后续步骤结果的预测，所述最终融合的方式即将上一步拼接融合造成的更新后的特征图通道数翻倍进行逆处理，将通道数还原，即真正的对应通道的数值融合。该步骤所得到的结果同样为4种特征图，其尺寸大小与上一步一致。通过融合操作，可以丰富特征图中的信息，使模型预测结果更为精准。
65.本实施例飞机检测模型中的初步检测框修正模型的检测架构为基于锚框类的深度学习检测方法，因此会先生成先验锚框，具体的，在以上得到4种特征图的每个点上同时产生9个先验锚框，以保证检测结果的准确率和召回率；其中，产生先验框的个数n的来由基于以下公式：
66.n＝ratios
×
scales
67.其中，ratios表示预先设置生成锚框长宽比的数量，scales表示预先设置生成锚框尺度的数量，在本实施例中，将ratios设置为0.5、1、2，scales设置为1、1.26、1.59，以上数值为经过大范围的试验所得到的经验值。因此，n＝3
×
3＝9。
68.使用以上多尺度特征提取网络输出的4种不同尺度特征图对先验锚框生成网络生成的先验锚框进行修正，其数据结果为修正后的锚框。该操作通过对生成的先验锚框进行中心点的偏移和宽高的放缩以使生成的先验锚框能够对输入图像中的飞机进行定位。其中修正操作为对先验锚框的回归，其具体操作如下：
69.计算生成的先验锚框与人工标注锚框的交并比，当交并比大于人为设定阈值时，则认为该生成锚框有能力回归成最终检测结果，进行保留，其中设定阈值优选0.4；并将保留的先验锚框与人工标注锚框进行匹配，当同一个先验锚框与多个人工标注锚框的交并比均大于阈值时，则将其与具有最大交并比的人工标注锚框进行匹配。
70.计算保留后的生成先验锚框与人工标注锚框的偏移值δ具体公式如下：
71.δ
cx
＝(g
x
‑
b
x
)/b
w
72.δ
cy
＝(g
y
‑
b
y
)/b
h
73.δ
w
＝log(g
w
/b
w
)
74.δ
h
＝log(g
h
/b
h
)
75.其中，g代表人工标注框的位置信息，b代表生成先验锚框，x,y,w,h分别代表中心点横坐标、纵坐标、锚框宽度及高度。
76.计算最终损失模型回归损失l
loc
，其具体公式如下：
[0077][0078]
l
loc
＝smooth
l1
(δt
‑
δp)
[0079]
其中，δt代表偏移值δ，δp为模型预测的偏移值即初步检测框修正模型需要学习的待优化参数。
[0080]
基于上述实施例，该方法中，所述再次修正分类模型包括所述多尺度特征提取网络、检测框再次修正网络和分类网络；
[0081]
其中，所述检测框再次修正网络用于基于所述初步检测框样本和真实物体标注框之间的偏移量优化修正初步检测框参数；
[0082]
所述分类网络用于基于所述检测框再次修正网络输出的预测检测框确定的预测目标物体为飞机概率和目标飞机标注框之间的分类误差优化所述分类网络中的置信度参数。
[0083]
具体地，还是使用多尺度特征提取网络里面的特征提取方法得到的4种不同尺度特征图对初步检测框样本进行进一步的分类和回归以得到最终检测结果。具体的，回归操作与初步检测框修正模型中的回归操作一致，只是计算生成的先验锚框与人工标注锚框的交并比，当交并比大于人为另一设定阈值时，则认为该生成锚框有能力回归成最终检测结果，进行保留，其中另一设定阈值优选0.6，将修正的设定阈值进行抬高，其目的是进一步对修正锚框进行修正，以得到更精确到飞机目标检测结果。分类的目的是对再次修正分类模型得到的完全修正锚框进行二分类，判断锚框中是否含有飞机目标，其分类损失函数采用焦点损失，其具体步骤如下：
[0084]
计算生成的先验锚框与人工标注锚框的交并比，当交并比大于人为设定阈值0.6时，则认为该生成锚框包含目标，当交并比小于人为设定阈值0.4时，则认为该生成锚框包含目标，忽视0.4
‑
0.6之间生成的先验锚框。
[0085]
计算最终损失模型分类损失，其具体公式如下：
[0086][0087]
其中，α代表类别权重，γ为难度权重，两者均是人为根据训练数据集的分布而设置的超参数，在本实施例中α＝0.25，γ＝2，target＝1代表生成锚框包含飞机目标，target＝0代表生成锚框不包含飞机目标，p为模型预测的该生成锚框包含飞机目标的置信度，即再次修正分类模型中分类网络需要学习的待调参数。
[0088]
基于上述实施例，该方法中，所述第一样本集的构建，具体包括：
[0089]
将采集的样本光学遥感图像进行若干次旋转、水平和垂直翻转操作，得到初步扩充后样本光学遥感图像；
[0090]
将所述初步扩充后样本光学遥感图像再进行马赛克数据增强，得到完全扩充后样本光学遥感图像；
[0091]
将所述完全扩充后样本光学遥感图像中的每一图像进行剪裁，得到第一样本集。
[0092]
具体地，本实施例通过利用常用的，以及目前较为先进的数据增广手段，以提升遥感图像中飞机目标的数量，间接增大网络训练的样本量，提升网络检测性能。本实施例所采用的数据增广步骤如下：
[0093]
1、图像旋转和翻转
[0094]
对图像的旋转操作是光学遥感图像增广的重要方式之一，相比于一般的光学图像，由于其是航拍的俯视视角图，本身目标为旋转目标，因此在遥感图像处理领域被认为是一种有效且高效的数据增广方式，并被广泛的应用。本实施例首先分别对原始图片进行90
°
、180
°
和270
°
的旋转。区别于图像的旋转，是指对图像进行镜像的操作，具体的包含水平翻转，和垂直翻转两种方式。本实施例对进行旋转后所得到的全部图像数据，再进行水平和垂直翻转两种操作，以达到扩充样本量的目的。
[0095]
2、马赛克数据增强
[0096]
为了进一步增加样本量，提升后续模型的检测性能，本实施例还对经过图像旋转和翻转处理步骤后得到的数据使用了目标先进的马赛克增强技术，其被嵌入在模型的训练过程中，具体如下：
[0097]
从图像旋转和翻转步骤所得到的增广数据集中随机选择4张图像，并将这些图像进行随机位置的剪裁。
[0098]
将随机剪裁后的4张图像进行拼接，得到与数据集中相同尺寸大小的图像。在模型训练过程中，将4张图拼接后的图像作为模型训练过程中的输入数据。
[0099]
使用第一步数据增广后，再通过马赛克增强技术得到图像作为后续输入进行飞机检测模型的训练数据集，以供得到更精确的具有检测能力的网络模型。
[0100]
基于上述实施例，该方法中，所述第二样本集的构建，具体包括：
[0101]
将所述第一样本集中的图像输入训练完成的所述初步检测框修正模型，输出各样本图像的带有初步检测框的样本第二图像；
[0102]
基于所述样本第二图像构建第二样本集。
[0103]
具体地，将所述第一样本集中的图像输入训练完成的所述初步检测框修正模型，训练完成的所述初步检测框修正模型输出各样本图像的带有初步检测框的样本第二图像，以样本第二图像构建第二样本集。
[0104]
基于上述实施例，该方法中，所述将采集的原始光学遥感图像进行剪裁，得到多个切片图像，具体包括：
[0105]
使用重叠滑动窗口对采集的原始光学遥感图像进行剪裁，得到多个前后剪裁图像之间存在重叠像素的剪裁图像序列；
[0106]
将所述剪裁图像序列中的图像依次进行差值上采样，得到多个切片图像。
[0107]
优选地，将原始遥感图像剪裁尺寸大小为600x600的切片。由于剪裁过程中会出现
目标裁断的情况，因此使用重叠的滑动窗口剪裁方式，其中滑动窗口的重叠大小为200像素值。针对遥感图像中目标通常属于小目标的情况，我们在送入网络之前对其进行差值上采样，将600x600的切片上采样为800x800的大小。
[0108]
基于上述实施例，该方法中，所述将所述检测框位置信息映射回所述原始光学遥感图像的坐标并合并，得到最终的飞机检测结果，具体包括：
[0109]
基于所述差值上采样的采样规则，确定还原映射函数；
[0110]
基于所述还原映射函数将所述检测框位置信息映射回所述原始光学遥感图像的坐标，得到目标结果坐标；
[0111]
采用非极大值抑制规则对所述目标结果坐标中的重叠数据进行合并，得到最终的飞机坐标检测结果。
[0112]
具体地，对于光学遥感图像切片的检测结果坐标，映射回原始图像坐标。由于本发明采用重叠的滑动窗口方式对原始图片进行检测，因此在重叠图像部分，会出现重复检测情况。使用非极大值抑制对重叠结果进行合并以得到最终检测结果，具体实现过程如下。
[0113]
假设对于一张遥感图像中检测结果有4个定向锚框，根据分类结果的置信度从大到小分别排序为a、b、c、d，则操作具体步骤如下：
[0114]
(1)从最大概率定向锚框a开始，分别判断a与b、a与c、a与d的交并比是否大于人为设定阈值(本发明设定为0.4)。
[0115]
(2)假设a与b、a与c交并比大于设定阈值，则丢掉b、c两个检测结果，保留a检测结果。
[0116]
(3)剩下的a与c未满足设定阈值，则认为c检测结果与a检测结果所定位的不是同一个待检测目标，因此保留c检测结果。
[0117]
(4)重复步骤(1)、(2)和(3)找到所有被保留下来的定向锚框作为最终检测结果。
[0118]
基于上述实施例，本发明还提供一种基于级联型回归修正模块的光学遥感图像飞机检测方法，图2为本发明提供的基于级联型回归修正模块的光学遥感图像飞机检测方法的流程示意图，如图2所示，将采集的原始遥感图像作为训练数据输入光学遥感图像的飞机数据增广模块，进行图像旋转和翻转处理，再经过马赛克数据增强处理，作为可以直接用于检测模型训练的直接训练数据输入至基于级联型回归修正模块的检测模型，先后进行特征提取、先验框生成、先验框修正、最终位置确认(基于初步修正框的二次修正确认)及结果筛选的训练步骤，训练出油检测能力的模型，在使用该模型时，先将待检测大尺寸的原始遥感图像基于滑动窗口进行剪裁得到图像切片，将各图像切片输入训练完成的有检测能力的模型，然后基于检测模型的结果预测映射回原始遥感图像的坐标系，并经过基于非极大值抑制的结果合并输出最终的检测结果。该方法能达到以下三个有益效果：
[0119]
(1)针对遥感图像数据集的样本量非常有限，导致网络模型训练效果不佳的情况。本发明提出一种针对光学遥感图像数据样本的增广方式，该方法充分增加了训练数据的样本量，以提升训练后检测模型的精度。
[0120]
(2)本发明针对大视场遥感图像背景复杂，虚警干扰因素多，而且飞机目标之间尺度差异大的问题，构建了深度学习类的一种基于级联型回归修正模块的检测模型结构。具体的，通过在特征提取阶段对多个不同尺寸大小的特征图进行融合，并共同参与结果的预测，以解决飞机目标之间尺度差异大的问题。针对大视场遥感图像背景复杂，虚警干扰因素
多的特点，通过设计一种级联型的回归修正模块，相比于一般方法的一次回归，该方法通过对生成的先验锚框进行修正后，再通过回归得到最终检测结果。这种两次回归的方式得到更加精准的飞机检测结果。
[0121]
(3)在目标检测阶段，本发明首先采用滑动窗口的方式对原始大尺寸的图像进行切片，后进行上采样操作以放大图像中的飞机目标后，送入训练好的模型进行检测。该操作避免一般检测时将大尺寸图像缩小导致飞机目标变小，检测精度下降的问题。同时还在切片中加入上采样步骤以放大飞机目标，提升检测精度。最后，将对于切片的检测结果映射回原图后，使用非极大值抑制去除重复检测结果。
[0122]
下面对本发明提供的基于级联型回归修正的光学遥感图像飞机检测装置进行描述，下文描述的基于级联型回归修正的光学遥感图像飞机检测装置与上文描述的一种基于级联型回归修正的光学遥感图像飞机检测方法可相互对应参照。
[0123]
图3为本发明提供的基于级联型回归修正的光学遥感图像飞机检测装置的结构示意图，如图3所示，基于级联型回归修正的光学遥感图像飞机检测装置包括剪裁单元310、检测单元320和拼接单元330，其中，
[0124]
所述剪裁单元310，用于将采集的原始光学遥感图像进行剪裁，得到多个切片图像；
[0125]
所述检测单元320，用于将所述多个切片图像依次输入飞机检测模型，输出各个切片中检测到目标飞机的检测框位置信息；
[0126]
其中，所述飞机检测模型基于初步检测框修正模型和再次修正分类模型级联构成，所述初步检测框修正模型基于样本第一图像和对应的目标物体标注框进行训练后得到的，所述再次修正分类模型基于样本第二图像、对应的目标物体标注框和目标物体是否为飞机分类标签进行训练后得到的，所述样本第一图像来自于基于剪裁后光学遥感图像构建的第一样本集，所述样本第二图像来自于基于带初步检测框的样本第一图像构建的第二样本集；
[0127]
所述拼接单元330，用于将所述检测框位置信息映射回所述原始光学遥感图像的坐标并合并，得到最终的飞机检测结果。
[0128]
本发明提供的基于级联型回归修正的光学遥感图像飞机检测装置，由于本发明提供的飞机检测模型基于初步检测框修正模型和再次修正分类模型级联构成，通过设计一种级联型的回归修正模块，相比于传统方法中的一次回归，级联式回归的飞机检测模型通过对生成的先验锚框进行修正后，再基于前次初步修正结果继续通过回归进行二次修正得到最终飞机目标检测结果，两次回归修正的方式可以得到更加精准的飞机检测结果，而且飞机检测模型的网络结构复杂度也不高。因此，本发明提供的装置，实现了高效地对遥感图像中的目标飞机进行检测，且检测结果的鲁棒性和适应性均有所提高。
[0129]
在上述实施例的基础上，该基于级联型回归修正的光学遥感图像飞机检测装置中，所述初步检测框修正模型训练时的网络结构包括顺次连接的多尺度特征提取网络、先验锚框生成网络和检测框修正网络；
[0130]
其中，所述多尺度特征提取网络用于将输入任一图像进行下采样，得到所述任一图像的n种尺寸特征图，对所述n种尺寸特征图以预设规则进行融合，得到所述任一图像的n种融合特征图；
[0131]
所述先验锚框生成网络用于基于预先设置的先验锚框长宽比的数量和先验锚框尺度的数量确定n种融合特征图的每个点上的产生先验锚框的数量；
[0132]
所述检测框修正网络用于基于所述先验锚框与真实目标物体标注框之间的偏移量优化修正先验框参数。
[0133]
在上述实施例的基础上，该基于级联型回归修正的光学遥感图像飞机检测装置中，所述再次修正分类模型包括所述多尺度特征提取网络、检测框再次修正网络和分类网络；
[0134]
其中，所述检测框再次修正网络用于基于所述初步检测框样本和真实物体标注框之间的偏移量优化修正初步检测框参数；
[0135]
所述分类网络用于基于所述检测框再次修正网络输出的预测检测框确定的预测目标物体为飞机概率和目标飞机标注框之间的分类误差优化所述分类网络中的置信度参数。
[0136]
在上述实施例的基础上，该基于级联型回归修正的光学遥感图像飞机检测装置中，所述第一样本集的构建，具体包括：
[0137]
将采集的样本光学遥感图像进行若干次旋转、水平和垂直翻转操作，得到初步扩充后样本光学遥感图像；
[0138]
将所述初步扩充后样本光学遥感图像再进行马赛克数据增强，得到完全扩充后样本光学遥感图像；
[0139]
将所述完全扩充后样本光学遥感图像中的每一图像进行剪裁，得到第一样本集。
[0140]
在上述实施例的基础上，该基于级联型回归修正的光学遥感图像飞机检测装置中，所述第二样本集的构建，具体包括：
[0141]
将所述第一样本集中的图像输入训练完成的所述初步检测框修正模型，输出各样本图像的带有初步检测框的样本第二图像；
[0142]
基于所述第二样本图像构建第二样本集。
[0143]
在上述实施例的基础上，该基于级联型回归修正的光学遥感图像飞机检测装置中，所述将采集的原始光学遥感图像进行剪裁，得到多个切片图像，具体包括：
[0144]
使用重叠滑动窗口对采集的原始光学遥感图像进行剪裁，得到多个前后剪裁图像之间存在重叠像素的剪裁图像序列；
[0145]
将所述剪裁图像序列中的图像依次进行差值上采样，得到多个切片图像。
[0146]
在上述实施例的基础上，该基于级联型回归修正的光学遥感图像飞机检测装置中，所述将所述检测框位置信息映射回所述原始光学遥感图像的坐标并合并，得到最终的飞机检测结果，具体包括：
[0147]
基于所述差值上采样的采样规则，确定还原映射函数；
[0148]
基于所述还原映射函数将所述检测框位置信息映射回所述原始光学遥感图像的坐标，得到目标结果坐标；
[0149]
采用非极大值抑制规则对所述目标结果坐标中的重叠数据进行合并，得到最终的飞机坐标检测结果。
[0150]
图4为本发明提供的一种电子设备的实体结构示意图，如图4所示，该电子设备可以包括：处理器(processor)410、通信接口(communications interface)420、存储器
(memory)430和通信总线440，其中，处理器410，通信接口420，存储器430通过通信总线440完成相互间的通信。处理器410可以调用存储器430中的逻辑指令，以执行基于级联型回归修正的光学遥感图像飞机检测方法，该方法包括：将采集的原始光学遥感图像进行剪裁，得到多个切片图像；将所述多个切片图像依次输入飞机检测模型，输出各个切片中检测到目标飞机的检测框位置信息；其中，所述飞机检测模型基于初步检测框修正模型和再次修正分类模型级联构成，所述初步检测框修正模型基于样本第一图像和对应的目标物体标注框进行训练后得到的，所述再次修正分类模型基于样本第二图像、对应的目标物体标注框和目标物体是否为飞机分类标签进行训练后得到的，所述样本第一图像来自于基于剪裁后光学遥感图像构建的第一样本集，所述样本第二图像来自于基于带初步检测框的样本第一图像构建的第二样本集；将所述检测框位置信息映射回所述原始光学遥感图像的坐标并合并，得到最终的飞机检测结果。
[0151]
此外，上述的存储器430中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read
‑
only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0152]
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的基于级联型回归修正的光学遥感图像飞机检测方法，该方法包括：将采集的原始光学遥感图像进行剪裁，得到多个切片图像；将所述多个切片图像依次输入飞机检测模型，输出各个切片中检测到目标飞机的检测框位置信息；其中，所述飞机检测模型基于初步检测框修正模型和再次修正分类模型级联构成，所述初步检测框修正模型基于样本第一图像和对应的目标物体标注框进行训练后得到的，所述再次修正分类模型基于样本第二图像、对应的目标物体标注框和目标物体是否为飞机分类标签进行训练后得到的，所述样本第一图像来自于基于剪裁后光学遥感图像构建的第一样本集，所述样本第二图像来自于基于带初步检测框的样本第一图像构建的第二样本集；将所述检测框位置信息映射回所述原始光学遥感图像的坐标并合并，得到最终的飞机检测结果。
[0153]
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的基于级联型回归修正的光学遥感图像飞机检测方法，该方法包括：将采集的原始光学遥感图像进行剪裁，得到多个切片图像；将所述多个切片图像依次输入飞机检测模型，输出各个切片中检测到目标飞机的检测框位置信息；其中，所述飞机检测模型基于初步检测框修正模型和再次修正分类模型级联构成，所述初步检测框修正模型基于样本第一图像和对应的目标物体标注框进行训练后得到的，所述再次修正分类模型基于样本第二图像、对应的目标物体标注框和目标物体是否为飞机分类标签进行训练后得到的，所述样本第一图像来自于基于剪裁后光学遥感图
像构建的第一样本集，所述样本第二图像来自于基于带初步检测框的样本第一图像构建的第二样本集；将所述检测框位置信息映射回所述原始光学遥感图像的坐标并合并，得到最终的飞机检测结果。
[0154]
以上所描述的服务器实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
[0155]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
[0156]
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。