一种航空遥感图像的车辆检测方法

1.本发明属于图像处理技术领域，特别涉及一种航空遥感图像的车辆检测方法。


背景技术：

2.航空遥感通常以飞机或气球作为工作平台，飞行高度通常有数百米到数十公里之间。航空遥感具有成像比例尺大、分辨率高、几何纠正准确等优点，是重要的遥感手段之一。在航空遥感图像中，车辆检测是民用和军事监控中不可或缺的技术，如交通管理、城市规划等。但通过人工判读的方式进行车辆识别，数据利用率低且情报时效性差，且易受身体状况、精神和主观意识的影响。因此，通过计算机视觉减少对人力资本的消耗，高效准确的可见光遥感图像的自动检测技术尤为重要。
3.与一般影像相比，航空遥感影像具有独特的视角。这项任务的难点主要有：
4.1、大视场：航空遥感图像由高空高分辨率成像设备拍摄，得到的图像一般具有大视场、高分辨率的特点，因此简单的向下采样到大多数算法所要求的输入大小是不合适的。
5.2、较大的尺度范围：由于遥感图像的采集高度和传感器参数不同，导致相似目标的尺度也不一致。一般来说，在航空成像中，感兴趣的目标往往非常小，密集地聚集在一起。
6.3、特殊的视角：航空图像是俯视视角，这使得地面目标具有旋转不变性，方向角度为任意值。因此，目标不存在重叠的问题。
7.4、背景复杂：城市的遥感图像中存在大量与车辆目标拥有相近特征的物体，且航拍图像的拍摄易受到云雾等天气的影响，需要考虑复杂气象条件对航拍图像的影响。
8.现有的许多航空遥感图像处理方法利用了先进的通用图像检测模型，如faster r-cnn、deformable r-cnn、yolov4等来检测。观察模型的输入尺寸，faster rcnn模型会要求输入图像的短边为600像素，yolo模型也会将图像调整为608
×
608像素作为输入图像，这些框架都无法直接接收到航空遥感图像的典型输入尺寸(itcvd遥感数据集：5616*3744像素，dota遥感数据集：约4000*4000像素)。
9.为满足标准架构的要求，对图像直接缩小是不可行的，因为这种方法将直接导致小像素目标的丢失。为了解决上面提到的问题，现有算法通常会先对原始图像进行分割。yolt模型采用“滑动窗口”方法进行分割图像，并设计了15％的重叠，以确保所有区域都能被分析。然而，目标物体的像素大小取决于拍摄高度与相机参数，使用固定尺寸对原图进行裁剪，目标像素仍存在较大动态范围，影响目标的检测能力。
10.此外，一些研究采用了长短期记忆网络(lstm)和空间记忆网络(smn)来增强目标特征。例如，ac-fcn模型指出，目标对象之间的信息有助于提升检测能力。这种方法的训练通常是复杂的，并且这些方法仍是简单的前馈网络，易造成特征信息的丢失。fa-ssd模型通过使用更高级的抽象特性，提高了从小目标中提取上下文信息的能力。这些方法虽然对一些小目标取得了良好的效果，但由于不具备实时性它们不适用于空中图像，检测效率低。
11.总之，现有的航空遥感图像的车辆检测方法具有以下缺点：
12.1、现有航空遥感图像的目标识别技术采用固定像素尺寸的分割方法，对每个图片
分割后再进行检测。这样的分割方法难以对目标像素尺寸进行统一，导致目标的像素尺寸有较大范围的变化，影响识别精度。
13.2、现有航空遥感图像通常直接采用通用检测器，难以达到较高的检测精度和较快的检测效率，无法很好的在实际工程项目中应用。由于遥感图像中目标的尺度缩放区间大，通用检测器采用的多尺度固定参考框无法很好的匹配目标的尺度，导致模型的检测能力较差。
14.3、现有航空遥感图像车辆检测数据集的图像来源以谷歌地球等航天卫星影像截取为主，缺乏实际飞机拍摄的图像，且数据集均不具有飞行及拍摄数据信息。
15.4、对于航空遥感图像中常见的云雾现象，现有两种解决方案：一种是通过云雾去除算法来提高图像质量，传统的去雾算法有暗通道先验法(dcp,dark channel prior)、最大对比度法(mc,maximum contrast)、颜色衰减先验法(cap,color suppression prior)等，也有通过基于深度学习的思路直接将图像去雾的模型，但这使得检测效率大幅度下降，难以进行后续的检测任务。另一种方案是直接将云雾遮挡的图片送入网络训练，通过目标函数约束特征，从而提高目标识别率。现有去云雾算法通常会产生光晕效应或者色彩严重失真现象，检测效果较差。而现有数据集均无云雾等气象环境下的图片，缺乏数据的支持，导致设计的模型难以应对云雾等复杂气象环境。


技术实现要素：

16.本发明的目的在于，针对上述现有技术的不足，提供一种航空遥感图像的车辆检测方法。
17.为解决上述技术问题，本发明所采用的技术方案是：
18.一种航空遥感图像的车辆检测方法，其特点是包括以下步骤：
19.步骤1，获得光学遥感影像输入数据；
20.步骤2，根据训练数据集中车辆目标的实际像元尺寸，对所述输入数据中的图像进行自适应尺度裁切，得到待训练影像数据集；
21.步骤3，基于待训练影像数据集中已标注检测框计算固定参考框，代入模型并训练得到模型参数，获得训练好的模型；
22.步骤4，根据拍摄待检测图像的相关数据逐一将待检测图像进行自适应裁剪；
23.步骤5，利用训练好的模型搜索裁剪后待检测图像中的车辆目标；
24.步骤6，将步骤5获得的识别结果进行拼接，去除重复重叠图像部分的目标，获得车辆检测结果。
25.作为一种优选方式，所述步骤2中，若训练数据集成像相关参数明确，则利用车辆目标的理论像素值乘以比例系数k计算得到图像应分割的尺寸大小；否则，统计训练数据集中各图片中标注好的目标像素长宽尺寸并计算均方根，取中位数乘以放大比例k得到对应图片的裁剪像素边长；对训练集中所有图片分割完成后，得到尺寸不同的正方形图像分割后，通过插值缩放的方法，将所有分割图像尺度统一为模型的输入尺寸，得到待训练影像数据集。
26.作为一种优选方式，训练数据集成像相关参数包括相机成像焦距、航拍高度、像元尺寸参数中的至少一个。
27.作为一种优选方式，所述步骤2中，裁切时，以训练数据集图像中目标像素的n倍设置重叠区域，其中，n大于1。
28.作为一种优选方式，所述步骤3中，对步骤2处理后的待训练影像数据集中车辆目标大小进行聚类，得到多个目标尺寸的典型值作为固定参考框代入模型。
29.作为一种优选方式，所述步骤3中，采用k-means 方法对步骤2处理后的待训练影像数据集中车辆目标大小进行聚类。
30.作为一种优选方式，所述步骤4中，通过拍摄待检测图像的相机成像焦距、航拍高度、像元尺寸参数计算车辆目标的理论像元尺寸，以此估计值乘以比例系数k计算得到图像应分割的尺寸大小。
31.作为一种优选方式，所述步骤5中，采用卷积神经网络结合全局注意力机制的方式，搜索裁剪后待检测图像中的车辆目标。
32.作为一种优选方式，所述步骤3中，模型训练时采用数据增强方法提升鲁棒性。
33.作为一种优选方式，所述步骤6中，去除重复重叠图像部分的目标包括：采用非极大值抑制方法找到最佳的目标边界框，消除冗余的边界框，输出最终结果。
34.与现有技术相比，本发明具有以下有益效果：本发明将卷积神经网络与注意力机制相结合，将环境信息更多的融合在特征图中，增强了模型对目标与环境信息的关联性，进而辅助对大视场城市光学遥感图像车辆目标进行全局显著性检测和目标确认。模型训练时采用自对抗的方式增强模型网络的鲁棒性，通过仿射变换和云雾模拟的方式扩充数据集以增强模型的性能。模型根据实际应用场景特点减少固定参考框的数量并优化其计算方式，提升目标检测效率与检测精度。根据自适应的图像分割尺寸对待检测影像切片，将目标尺寸统一，并优化重叠区域的尺寸设计，从而实现快速检测。最后根据原有切割参数将检测目标拼接重组，采用非极大值抑制方法找到最佳的目标边界框，消除冗余的边界框，最终输出检测结果。本发明参数设置简单，计算复杂度低，可快速提取大视场城市背景的车辆目标，准确快速获取其数量和位置信息，有效降低了虚警率，为航天航空光学遥感图像车辆目标检测提供了一种可行的办法。
附图说明
35.图1为本发明提出的航空遥感图像的车辆检测方法检测过程示意图。
36.图2为本发明的应用环境示意图。
37.图3为本发明提出的检测模型结构示意图。
38.图4为自适应分割效果示意图。
39.图5为检测模型中带旋转角度检测框的标注示意图。
40.图6为本发明提出的云雾仿真原理示意图。
41.图7为gr模块的卷积结构示意图。
具体实施方式
42.下面结合附图对本发明的实施方式做进一步详细说明。
43.现有航空遥感图像的目标识别技术采用固定像素尺寸的分割方法，对每个图片分割后再进行检测。这样的分割方法难以对目标像素尺寸进行统一，导致目标的像素尺寸有
较大范围的变化，影响识别精度。基于这一缺点，本发明提出了一种基于飞行器和相机参数的自适应图像分割方法，该方法通过动态调整作物大小，将目标对象的大小限制在一个小范围内。它对提高模型检测的速度和精度起着重要作用。
44.其次，现有航空遥感图像通常直接采用通用检测器，难以达到较高的检测精度和较快的检测效率，无法很好的在实际工程项目中应用。由于遥感图像中目标的尺度缩放区间大，通用检测器采用的多尺度固定参考框无法很好的匹配目标的尺度，导致模型的检测能力较差。为此，本发明结合自适应图像分割方法，使同类目标尺度统一，模型设计采用更具有针对性的固定参考框，提高模型的检测精度。本发明设计的模型采用cspdarknet53网络作为车辆检测的主干框架，优化特征融合结构，提高小目标的检测能力，并删除了实际使用中通用检测器冗余的结构，提高了模型的检测效率。
45.现有航空遥感图像车辆检测数据集的图像来源以谷歌地球等航天卫星影像截取为主，缺乏实际飞机拍摄的图像，且数据集均不具有飞行及拍摄数据信息。为此，本发明提供了一种具有旋转检测框的航空遥感图像数据集(ro-ars)。该数据集中图片标注了飞行高度、相机焦距，检测框的标注数据包括车辆的长宽尺寸、中心位置以及旋转角度。为了提高数据集的真实性，本发明的数据集包含较多复杂气象环境的城市背景图像。
46.此外，对于航空遥感图像中常见的云雾现象，现有两种解决方案：一种是通过云雾去除算法来提高图像质量，传统的去雾算法有暗通道先验法(dcp,dark channel prior)、最大对比度法(mc,maximum contrast)、颜色衰减先验法(cap,color suppression prior)等，也有通过基于深度学习的思路直接将图像去雾的模型，但这使得检测效率大幅度下降，难以进行后续的检测任务。另一种方案是直接将云雾遮挡的图片送入网络训练，通过目标函数约束特征，从而提高目标识别率。现有去云雾算法通常会产生光晕效应或者色彩严重失真现象，检测效果较差。而现有数据集均无云雾等气象环境下的图片，缺乏数据的支持，导致设计的模型难以应对云雾等复杂气象环境。为丰富所提出数据集的云雾图像，本发明依据retinex理论对云雾下光学成像的原理，利用柏林噪声(perlin noise)与分形布朗运动(fractal brownian motion)的方式对所提出的数据集进行了云雾模拟。
47.本发明是应对复杂背景下航空遥感图像的车辆快速检测完整方法。针对大视场城市航空影像具有高分辨率、大视场的特点，在航天航空光学遥感目标检测中，传统方法存在检测效率低和可靠性差等问题，本发明提出了一种单尺度快速卷积神经网络车辆检测方法。
48.本发明检测流程如图1所示，包括以下步骤：
49.步骤1，获得城市背景下的大视场光学遥感影像输入数据；
50.步骤2，根据训练数据集中车辆目标的实际像元尺寸，对所述输入数据中的图像进行自适应尺度裁切，得到待训练影像数据集；
51.步骤3，基于待训练影像数据集中已标注检测框计算固定参考框，代入模型并训练得到模型参数，获得训练好的模型；
52.步骤4，根据拍摄待检测图像的相关数据逐一将待检测图像进行自适应裁剪；
53.步骤5，利用训练好的模型搜索裁剪后待检测图像中的车辆目标；
54.步骤6，将步骤5获得的识别结果进行拼接，去除重复重叠图像部分的目标，获得车辆检测结果。
55.步骤1获得的城市背景下的大视场光学遥感影像拥有大视场角的特点，本发明适用的背景如图2所示。车辆目标在遥感图像中像素数量及占比小，目标具有特征尺寸小，城市背景环境复杂，存在大量相似目标干扰。此外，目标具有完全的旋转不变性，目标分布不均衡，局部密集的特点。
56.步骤2所述的根据训练数据集中车辆目标的像元尺寸，提取图像切片得到待训练影像数据集，包括：对于具有相机成像焦距、航拍高度、像元尺寸参数的数据集，可利用车辆目标的理论像素值乘以比例系数k计算得到图像应分割的尺寸大小，其中k值与模型相匹配，默认值为15。对于缺乏相关数据支持的训练数据集，本发明设计如下处理规则：首先统计训练集各张图片中标注好的目标像素长宽尺寸并计算均方根，取中位数乘以放大比例k得到对应图片的裁剪像素边长。对训练集中所有图片分割完成后，得到了尺寸不同的正方形图像分割后，通过插值缩放的方法，对所有分割图像尺度统一为模型的输入尺寸(608
×
608像素)，得到待训练数据集。
57.本发明采用的计算得到的自适应分割尺寸，能够使目标像素尽可能统一，便于目标的检测与识别，同时也利于简化模型结构，提升网络的检测效率，降低错检漏检的问题，如图3所示。
58.所述步骤2中，裁切时，为保证目标不被分割，以训练数据集图像中目标像素的n倍设置重叠区域，以此确保分割图像边缘的检测效果。其中，n大于1，如，n取1.5。
59.所述步骤3中，采用k-means 方法对步骤2处理后的待训练影像数据集中车辆目标大小进行聚类，得到3个目标尺寸的典型值作为固定参考框代入模型。利用待训练数据集对提出的方法进行训练将得到能够鉴别车辆目标的卷积神经网络模型。
60.所述步骤4中，通过拍摄待检测图像的相机成像焦距、航拍高度、像元尺寸参数计算车辆目标的理论像元尺寸，以此估计值乘以比例系数k计算得到图像应分割的尺寸大小。
61.步骤5所述的ssrd-net网络可以提取车辆目标的坐标位置、长宽尺寸、旋转角度信息，为了增强检测目标区域的鲁棒性和抗干扰性，采用卷积神经网络结合全局注意力机制的方式，对大视场城市光学遥感图像车辆目标进行全局显著性检测，模型结构如图3所示，包括如下步骤：
62.步骤5-1：利用基于cnn卷积神经网络的cspdarknet53网络作为主干网络，对图像进行特征提取，得到不同卷积深度的特征图s
72
×
72
、s
38
×
38
、s
19
×
19
。
63.步骤5-2：将s
72
×
72
、s
38
×
38
、s
19
×
19
带入到网络颈形结构之中，将不同网络深度的特征图融合识别，采用特征金字塔池化方法(spatial pyramid pooling，spp)拓展网络的感受野，并采用修改后的多头自注意力机制设计出gr模块对特征图进一步信息提取，得到网络的输出特征图sn。gr模块的结构设计结构如图7所示。网络剔除了在该任务环境下与目标尺寸不匹配的检测分支，降低了模型的复杂度，提升的了模型的检测效率。
64.步骤5-3：将特征图sn输入到模型的头部结构中，通过两个卷积模块将其尺度规范化为yolo的格式，得到网络的最终输出。
65.所述步骤3中所述的训练过程中，根据实际航空检测情况，本发明设计了多种数据增强方法，提升网络的鲁棒性，包括以下步骤：
66.步骤3-1：针对航空数据集图像较少的问题，采用仿射变换算法：
[0067][0068]
其中，(x,y)为原始像素点坐标，(u,v)为仿射变换后的点坐标，增加了图像的数量，对于itcvd等数据集中存在的目标车辆旋转角度分布不均匀问题，利用旋转变换降低模型对车辆角度的敏感度。
[0069]
步骤9-2：针对现有数据集中气象条件单一的问题，如图6所示，根据retinex云雾成像理论：
[0070]
i(x)＝j(x)t(x) a(1-t(x))
[0071]
其中，i是观察到的强度，j是场景辐射，a是全局大气光，t是描述未散射并到达相机的光部分的介质传输。退化模型的目标是在j的基础上以t的比例添加a。采用设计柏林噪声(perlin noise)与分形布朗运动(fractal brownian motion)的方法，对云雾进行了模拟，增强模型对云雾条件下对目标的检测能力。
[0072]
所述步骤6将识别到的目标结果拼接为原始图像，并去除重复目标，包括如下步骤：
[0073]
步骤6-1：将来源于同一张影像的切片图像所检测出的目标信息位置换算至原始图片中，得到大量目标候选框，缩放系数及重叠区域与步骤3一致；
[0074]
步骤6-2：目标信息换算后会在同一目标的位置上会产生大量的候选框，这些候选框相互之间可能会有重叠，采用非极大值抑制方法(non-maximum suppression，nms)找到最佳的目标边界框，消除冗余的边界框，输出最终结果。
[0075]
步骤6所述的将识别到的目标结果如图5所示，包含5部分，目标x方向中心坐标b
x
、y方向中心坐标by、检测框的长边长度l、检测框的短边长度s、检测框的旋转角度θ。其中，旋转角度定义为长边与y轴正方向的夹角。为了使模型输出归一化，中心点p的坐标由对应的网格的相对坐标[σ(x),σ(y),t
l
,ts]表示，计算公式如下所示：
[0076]bx
＝σ(t
x
) i
·cx
[0077]by
＝σ(ty) j
·cy
[0078][0079][0080]
其中，(c
x
,cy)表示分割网格的尺寸，(i,j)为该检测框所处网格在全图的位置坐标，(p
l
,ps)表示固定参考框的预设长短边，如图5所示。
[0081]
本发明设计了一套完整的航空遥感图像的车辆目标检测技术。本发明结合飞行器和相机参数的自适应图像分割，使得目标尺寸较为统一，这样的分割方法可以使模型具有较低的复杂度，加快模型的检测效率。在模型的设计中，根据实际目标尺寸设置固定参考框，并在特征融合过程中剔除通用检测器中冗余的检测结构，提升了检测速度。对于模型训练的数据集中缺乏云雾等复杂气象环境的问题，本发明设计了云雾仿真程序，增强了模型在复杂气象环境下的检测精度。
[0082]
仿真表明，本发明实用有效，达到预计效果，检测效率与检测精度高于现有检测方法，对复杂气象环境的鲁棒性更强。
[0083]
上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体
实施方式，上述的具体实施方式仅仅是示意性的，而不是局限性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护范围之内。