一种遥感影像目标检测方法、装置、设备及计算机介质与流程

1.本发明涉及图像处理技术领域，特别是涉及一种遥感影像目标检测方法、装置、设备及计算机介质。


背景技术：

2.随着遥感成像技术的迅速发展，遥感影像数据的规模日益增加，分辨率也日益增高。高时空分辨率的遥感影像使地物目标的纹理细节更加清晰，为遥感影像地物解译工作提供了丰富的数据基础，然而，在大范围遥感影像中检测小目标成为当前卫星图像分析面临的主要问题之一。
3.现有的大尺寸遥感影像小目标检测问题主要聚焦于小目标的检测精度，通常是对整张影像进行一次检测，检测过程中，通过影像下采样或者多层次图像特征图来获取多尺度的图像特征，从而提高小目标检测的准确性。
4.但是，由于小目标区域往往仅占整张影像较小的比例，因而现有的检测方法需耗费较长时间进行大面积无意义的计算，造成了计算资源的浪费，且检测效率低下。


技术实现要素：

5.为了解决上述技术问题，本发明提供了一种遥感影像目标检测方法，通过结合影像金字塔进行自上而下的逐层筛选，最终定位目标场景影像块并进行目标检测，实现在保证目标检测精度的同时，有效提高检测效率。
6.第一方面，本发明提供一种遥感影像目标检测方法，包括：
7.对待处理遥感影像进行逐层下采样，构建影像金字塔；
8.按照从所述影像金字塔的顶层至底层的顺序，对所述影像金字塔进行逐层筛选，直至获得底层影像的筛选结果；其中，
9.在对每一层影像进行筛选时，基于预设的图像分类模型获取当前层影像的候选影像块的场景分类结果，将场景分类结果为目标场景的候选影像块作为筛选结果；同时，
10.根据所述筛选结果确定下一层影像的候选影像块，直至下一层影像为底层影像；
11.对所述底层影像的筛选结果进行目标检测，得到所述待处理遥感影像的目标检测结果。
12.可选的，所述对待处理遥感影像进行逐层下采样，构建影像金字塔，具体为：
13.将所述待处理遥感影像按照设定的重叠度均匀划分为若干个影像块，得到影像金字塔的底层影像；其中，相邻各所述影像块之间具有设定的所述重叠度大小的重叠区域；
14.根据预设的下采样比例对若干个所述影像块进行逐层递进下采样，直至生成所述影像金字塔的顶层影像。
15.可选的，所述对待处理遥感影像进行逐层下采样，具体为：
16.通过均值下采样算法对所述待处理遥感影像进行逐层下采样。
17.可选的，所述根据所述筛选结果确定下一层影像的候选影像块，具体为：
18.分别定位所述筛选结果中各候选影像块对应的下一层影像中的下采样影像块；
19.将所定位的各所述下采样影像块设置为下一层影像的候选影像块。
20.可选的，所述对所述底层影像的筛选结果进行目标检测，得到所述待处理遥感影像的目标检测结果，具体为：
21.利用实例分割算法分别对底层影像的筛选结果所对应的各候选影像块进行目标检测，得到目标掩膜；
22.将所述目标掩膜对应的候选影像块与底层影像的非筛选结果所对应的影像块进行拼接，得到所述待处理遥感影像的目标检测结果。
23.可选的，当底层影像的筛选结果中存在包含重叠区域的候选影像块时，利用非极大值抑制算法对所述候选影像块的重叠区域进行处理。
24.可选的，所述预设的图像分类模型的构建过程包括：
25.构建初始卷积神经网络模型；
26.对所采集的不同尺度的遥感图像进行数据增强，得到土地利用场景分类图像数据集；
27.基于所述土地利用场景分类图像数据集对所述初始卷积神经网络模型进行训练，得到所述图像分类模型。
28.第二方面，本发明还提供一种遥感影像目标检测装置，包括：
29.构建模块，用于对待处理遥感影像进行逐层下采样，构建影像金字塔；
30.筛选模块，用于按照从所述影像金字塔的顶层至底层的顺序，对所述影像金字塔进行逐层筛选，直至获得底层影像的筛选结果；其中，
31.在对每一层影像进行筛选时，基于预设的图像分类模型获取当前层影像的候选影像块的场景分类结果，将场景分类结果为目标场景的候选影像块作为筛选结果；同时，
32.根据所述筛选结果确定下一层影像的候选影像块，直至下一层影像为底层影像；
33.检测模块，用于对所述底层影像的筛选结果进行目标检测，得到所述待处理遥感影像的目标检测结果。
34.第三方面，本发明提供一种数据处理设备，包括处理器，所述处理器和存储器耦合，所述存储器存储有程序，所述程序由所述处理器执行，使得所述数据处理设备执行第一方面所述的遥感影像目标检测方法。
35.第四方面，本发明还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现如上述第一方面所述的遥感影像目标检测方法。
36.相比现有技术，本发明的有益效果在于：
37.本发明提供的遥感影像目标检测方法通过对大尺度高分辨率遥感影像构建影像金字塔模型，从上到下地对影像金字塔模型各层级的遥感影像块进行逐层场景分类，使得每一层保留了目标所处场景的影像块，同时对目标场景影像块下一层的更小尺度影像块进行场景分类，逐层保留目标场景，并剔除不相关影像块，直至得到底层的高分辨率影像块，以达到快速定位底层影像中目标所在场景影像块的目的。
38.上述方法避免了大面积不相关影像块的目标检测，可有效提高检测效率，且确保检测结果的准确性。
39.对应地，本发明还提供了遥感影像目标检测装置。
附图说明
40.为了更清楚地说明本发明的技术方案，下面将对实施方式中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
41.图1是本发明实施例提供的遥感影像目标检测方法的流程示意图；
42.图2是本发明实施例提供的遥感影像目标检测装置的结构示意图。
具体实施方式
43.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
44.应当理解，文中所使用的步骤编号仅是为了方便描述，不对作为对步骤执行先后顺序的限定。
45.应当理解，在本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
46.术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
47.术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
48.在对遥感影像进行分析时，如何在大尺度遥感影像中找到小目标一直是遥感影像目标检测的难点。若是缩小影像分辨率，将会造成影像信息的丢失；若不缩小分辨率而对影像进行切割分块检测，又会造成大面积不相关区域的无效检测。为了解决这个问题，本发明一个实施例提供一种遥感影像目标检测方法。
49.请参照图1，本发明实施例所提供的遥感影像目标检测方法具体包括下述步骤。
50.s1：对待处理遥感影像进行逐层下采样，构建影像金字塔。
51.影像金字塔是指由原始影像按一定规则生成的不同分辨率的影像集，金字塔底层通常是分辨率最高的原始图像，且数据量最大，随着层数的增加，其分辨率逐渐降低，数据量也按比例减少。
52.在本实施例中，影像金字塔的底层影像为待处理遥感影像数据，其他层的影像数据则是由底层影像数据通过下采样抽取构建得到。
53.s2：按照从所述影像金字塔的顶层至底层的顺序，对所述影像金字塔进行逐层筛选，直至获得底层影像的筛选结果。
54.在本实施例中，在对每一层影像进行筛选时，基于预设的图像分类模型获取当前层影像的候选影像块的场景分类结果，将场景分类结果为目标场景的候选影像块作为筛选结果；同时，根据所述筛选结果确定下一层影像的候选影像块，直至下一层影像为底层影像。
55.需要说明的是，当当前层为顶层时，直接获取全量影像块的场景分类结果。
56.可以理解的是，场景分类是指根据遥感影像内容所表达的场景为影像分配场景类型标签，以实现对影像进行分类。
57.示例性的，当所述待处理遥感影像的检测目标为船舶时，则设定目标场景为水域，并将当前层影像中场景分类结果为水域的候选影像块设置为筛选结果。
58.s3：对所述底层影像的筛选结果进行目标检测，得到所述待处理遥感影像的目标检测结果。
59.在本实施例中，可利用实例分割算法分别对底层影像的筛选结果所对应的各候选影像块进行目标检测，得到目标掩膜，再将目标掩膜对应的候选影像块与底层影像的非筛选结果所对应的影像块进行拼接，得到待处理遥感影像的目标检测结果。
60.需要说明的是，当底层影像的筛选结果中存在包含重叠区域的候选影像块时，利用非极大值抑制算法对候选影像块的重叠区域进行处理。
61.上市实施例通过对影像金字塔各层级影像块进行图像分类和筛选后，可得到底层影像中包含有检测目标的候选影像块，再对各候选影像块进行目标检测，可减少对大面积不相关影像块的检测，提高检测效率。
62.需要说明的是，在构建影像金字塔的过程中，先将待处理遥感影像按照设定的重叠度均匀划分为若干个影像块，得到影像金字塔的底层影像；其中，相邻各影像块之间具有设定的所述重叠度大小的重叠区域，以避免检测目标被划分至不同影像块，导致目标检测准确率降低。
63.具体地，获取待处理遥感影像后，首先设置每一个影像块的不重叠尺寸为m
×
m，同时设置重叠度为a，则所划分的各影像块最终尺寸为(m a)
×
(m a)。
64.进一步地，根据预设的下采样比例对若干个影像块的不重叠区域进行逐层递进下采样，直至生成影像金字塔的顶层影像。
65.在本实施例中，可通过均值下采样算法对待处理遥感影像进行逐层下采样。
66.需要说明的是，在每一层影像进行筛选的过程中，需分别定位当前层筛选结果中各候选影像块对应的下一层影像中的下采样影像块，并将所定位的各下采样影像块设置为下一层影像的候选影像块，进而迭代对下一层影像的候选影像块进行图像分类和筛选。
67.可以理解的是，当前层的各候选影像块是由下一层影像中所对应的下采样影像块通过下采样操作得到。
68.在本实施例中，对候选影像块进行图像分类的图像分类模型通过下述方式构建：构建初始卷积神经网络模型；对所采集的不同尺度的遥感图像进行数据增强，得到土地利用场景分类图像数据集；基于所述土地利用场景分类图像数据集对所述初始卷积神经网络模型进行训练，得到所述图像分类模型。
69.上述实施例通过数据增强方法，使所得到的土地利用场景分类图像数据集相比现有的图像数据集具备更高的类内变化和更小的类间差异，能够避免样本不平衡问题。
70.以下将通过一个具体实施例描述本发明所提供的遥感影像目标检测方法的实施流程。
71.首先需基于待处理遥感影像构建影像金字塔。在构建过程中，为了避免检测目标被划分至不同的影像块，造成目标检测准确率降低，本实施例在影像金字塔的底层进行有重叠度的影像划分。
72.具体地，考虑目标检测时对所输入的影像块的尺寸要求，在影像金字塔的底层，本实施例将待处理遥感影像划分为多个尺寸为1024
×
1024的影像块，并设置重叠度为128个像素，则底层影像的各影像块不重叠区域的尺寸为896
×
896。
73.进一步地，考虑常规图像分类模型(如vgg16、inception v3以及resnet152等)的图像输入尺寸为224
×
224，故本实施例设置下采样比例为4：1，并对底层影像的各影像块的不重叠区域进行下采样操作，得到第一层的影像块。
74.进一步地，根据所设置的下采样比例依次对每一层的影像块进行逐层递进下采样，直至生成金字塔顶层的影像块。
75.为了降低计算复杂度，提高计算效率，本发明使用均值下采样算法构建上述影像金字塔。
76.需要说明的是，本实施例在得到影像金字塔不同层级的影像层后，采用均匀网格法对每一层影像进行划分，在划分过程中，若存在不足像素的“尾块”，则先对其补全再进行剖分。
77.完成影像金字塔的构建后，还需构建索引进行管理，本实施例结合影像金字塔的结构和数据量，采用线性四叉树进行索引构建。
78.可以理解的是，本发明构建的影像金字塔中，底层影像用于目标检测，其余层级影像则用于目标场景分类和筛选，从而快速定位底层影像中目标所在的区域影像块，避免在不相关区域进行目标检测的无效计算。
79.在本实施例中，目标场景分类和筛选通过对各层级影像块进行场景分类遍历完成。
80.具体地，从影像金字塔的顶部起，基于预设的图像分类模型，自上而下对每一层的影像块进行场景分类。
81.在场景分类过程中，每一层保留目标场景所在的影像块，剔除非目标场景影像块；同时，对保留的影像块所对应的下一层的4张下采样影像片迭代进行场景分类，直至得到底层影像中，目标场景所在的所有影像块。
82.在本实施例中，预设的图像分类模型具体为resnet-v1-50网络模型。
83.考虑现有的公开遥感数据集存在一些缺陷，包括类内变化小、类间差异大、数据源单一、样本不平衡及数据集规模较小等问题，本实施例通过采集不同尺度的遥感图像，构建新的土地利用场景分类图像数据集。
84.进一步地，本实施例对所述土地利用场景分类图像数据集中的数据进行数据增强，以确保小样本类型特征具备很好的表现，并具备更高的类内变化和更小的类间差异。
85.具体地，本实施例所使用的数据增强方法包括图像旋转(30
°
、90
°
、180
°
及270
°
)、图像镜像、亮度升高降低和对比度增强减弱和缩放等。
86.需要说明的是，上述数据增强方法未改变遥感图像的基本特征，保证了场景分类中的一致性原则。
87.在本实施例中，参考2005年中国ch/t 1012-2005数字产品土地覆盖图将土地分为耕地、林地、园地、草地、水域、建设用地、未利用地和湿地等类型，本实施例将土地利用场景分类图像数据集划分为裸地、建筑物、农田、绿地、道路、水域和机场七类场景类型。
88.具体地，本实施例基于8：2的比例将土地利用场景分类图像数据集划分为训练集
和验证集，对resnet-v1-50网络模型进行训练，最终得到图像分类模型。
89.在本实施例中，利用图像分类模型对影像金字塔进行目标场景分类和筛选，得到底层中包含目标场景的影像块后，分别对各影像块进行目标检测，得到目标所在的掩膜。
90.目标检测主要用于提供目标地理信息的具体位置并生成掩膜，本实施例采用mask r-cnn模型进行目标检测。
91.具体地，可通过采集训练样本，并使用labelme进行目标掩膜标注，以生成目标检测样本库，再基于所述目标检测样本库对mask r-cnn神经网络进行训练，得到目标检测模型。
92.在本实施例中，利用上述目标检测模型对所筛选的底层影像的各影像块进行目标检测，得到目标掩膜。
93.其中，对于包含重叠区域的影像块，使用非极大值抑制算法(non-maximum suppress，nms)进行处理，得到唯一目标掩膜。
94.进一步地，将目标场景所在影像块的检测结果与非目标场景对应的影像块进行拼接，得到待处理遥感影像的最终检测结果。
95.本发明上述实施例通过对大尺度高分辨率遥感影像构建影像金字塔模型，并从上到下对遥感影像块进行逐层场景分类，每一层仅保留目标(如飞机、船舶)所处场景(机场、水域)的影像块，进而根据金字塔的四叉树结构，对各目标场景影像块下一层级的更小尺度影像块进行分类，逐层保留目标场景，剔除不相关影像块，直至获得底层的高分辨率影像块，再对其进行目标检测，以快速定位目标所在场景影像块，从而避免大面积不相关影像的检测，有效提高检测效率。
96.请参照图2，第二方面，本发明另一实施例还提供一种遥感影像目标检测装置，包括构建模块101、筛选模块102和检测模块103。
97.构建模块101用于对待处理遥感影像进行逐层下采样，构建影像金字塔。
98.筛选模块102用于按照从所述影像金字塔的顶层至底层的顺序，对所述影像金字塔进行逐层筛选，直至获得底层影像的筛选结果。
99.具体地，筛选模块102在对每一层影像进行筛选时，基于预设的图像分类模型获取当前层影像的候选影像块的场景分类结果，将场景分类结果为目标场景的候选影像块作为筛选结果；同时，根据所述筛选结果确定下一层影像的候选影像块，直至下一层影像为底层影像。
100.检测模块103用于对所述底层影像的筛选结果进行目标检测，得到所述待处理遥感影像的目标检测结果。
101.上述装置内的各模块之间信息交互、执行过程等内容，由于与本发明的遥感影像目标检测方法实施例基于同一构思，具体内容可参见本发明方法实施例中的叙述，此处不再赘述。
102.第三方面，本发明提供一种数据处理设备，包括处理器，所述处理器和存储器耦合，所述存储器存储有程序，所述程序由所述处理器执行，使得所述数据处理设备执行第一方面所述的遥感影像目标检测。
103.第四方面，本发明还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现如上述第一方面所述的遥感影像目标检测。
104.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于计算机可监听存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(read-only memory，rom)或随机存储记忆体(random access memory，ram)等。
105.以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。