一种基于自监督机制的遥感图像细粒度目标识别方法与流程

1.本技术属于目标识别技术领域，特别涉及一种基于自监督机制的遥感图像细粒度目标识别方法。


背景技术：

2.遥感图像的目标检测和识别是遥感情报侦察中最为基础的研究课题之一，两者可视作遥感图像分析中的两项基本问题。在传统遥感图像的目标检测中，分析的目标对象隶属类别通常是如“飞机”、“建筑”和“河流”等传统意义上的类别分类。该情形下，不同类图像间的差异较大，同类图像间的差异则较小。
3.但细粒度图像分析处理的对象则是传统类别下的子类别，如“飞机”类别中的不同军用和民用飞机的型号，因细粒度级别子类别间较小的类间差异，使其区别于传统遥感图像的目标检测问题，从而更具挑战性。因此，解决细粒度目标遥感图像目标的检测和识别问题具有重要意义。


技术实现要素：

4.本技术的目的是提供一种基于自监督机制的遥感图像细粒度目标识别方法，用于解决通用目标检测识别算法中对于传统类别下的子类别(如飞机类别下的具体不同型号飞机类别)识别准确度低的问题。
5.为了实现上述目的，本技术技术方案如下：
6.一种基于自监督机制的遥感图像细粒度目标识别方法，包括：
7.获取高光谱卫星遥感图像并按照预设规则对所述高光谱卫星遥感图像进行切割获得切割后的高光谱卫星遥感图像；
8.对切割后的高光谱卫星遥感图像进行预处理，而后根据不同的波段获得可见光卫星遥感图像以及对应的红外成像卫星遥感图像，并对所述可见光卫星遥感图像以及对应的红外成像卫星遥感图像进行图像融合以得到融合卫星遥感图像；
9.将所述融合卫星遥感图像输入目标检测卷积神经网络以获得目标位置；
10.根据所述目标位置从所述融合卫星遥感图像截取目标图像截图，输入语义分割卷积神经网络以获得所述目标图像截图的语义分割结果；
11.根据所述语义分割结果对所述目标图像截图进行图像滤波，并将滤波后的图像输入细粒度目标识别网络模型进行目标细粒度识别获得遥感图像目标识别结果。
12.进一步的，对所述可见光卫星遥感图像以及对应的红外成像卫星遥感图像进行图像融合以得到融合卫星遥感图像，包括：
13.融合采用如下公式：
14.is＝λaia λbib15.其中，is为所述融合卫星遥感图像，ia为所述可见光卫星遥感图像，ib为所述红外成像卫星遥感图像，“ ”表示所述可见光卫星遥感图像和所述红外成像卫星遥感图像相对
应位置处的元素相加，λa和λb表示可见光卫星遥感图像和所述红外成像卫星遥感图像的权重。
16.进一步的，0《λb 0.5《λa《1.0。
17.进一步的，所述目标检测卷积神经网络采用改进的yolov3网络，包括特征提取网络层、特征融合层以及检测输出层，其中：
18.在特征提取网络层darknet-53中加入两组hrfb结构以及对应的两组空间注意力结构；
19.所述hrfb结构包括输入层、卷积层和拼接层，所述卷积层包括三个支路，第一支路包括一个1*1的卷积结构，第二支路包括一个1*1的卷积结构和两个3*3的卷积结构，第三支路包括一个1*1的卷积结构和一个3*3 的卷积结构，其中3*3的卷积结构的间隔率均为1；
20.所述空间注意力结构包括池化核分别为3、5、7的三个最大池化层，所述三个最大池化层的输出经过拼接后在输入到一个卷积层，最后经过激活函数输出空间注意力特征。
21.进一步的，所述根据所述语义分割结果对所述目标图像截图进行图像滤波，包括：
22.滤波采用公式：
23.fs＝fb·f24.其中，fs为滤波后的图像，fb为所述语义分割结果的二值化图像，其中有目标的位置像素值为1，其余为背景位置像素值为0；f为所述目标图像截图，“·”表示所述二值化图像和所述目标图像截图相对应位置处的元素相乘。
25.进一步的，所述细粒度目标识别网络模型包括第一网络结构和第二网络结构，其中：
26.所述第一网络结构用于预测图像中每个预选区域的信息量，并根据信息量推荐预定数量的图像区域作为特征提取的候选区域，所述信息量用于表征所述预选区域的目标特征显著程度；
27.所述第二网络结构将第一网络结构获得的候选区域缩放至相同大小并通过卷积网络结构进行特征提取和特征融合以获得图像的联合特征向量，将所述联合特征向量输入支持向量机以获得目标细粒度识别结果。。
28.进一步的，所述使用第一网络结构用于预测图像中每个预选区域的信息量，并根据信息量推荐预定数量的图像区域作为特征提取的候选区域的方法，包括：
29.根据输入图像，随机产生n个矩形区域{r1，r2，
…
，rn}，其中，所述矩形区域具有m种不同的分辨率和m种不同的长宽比率；
30.将所述n个矩形区域通过所述第一网络结构进行信息量提取得到信息量列表{i1，i2，
…
，in}；
31.对所述信息量列表从大到小进行排序，选取信息量列表前m个信息量对应的矩形区域作为特征提取的候选区域。
32.本技术提出的一种基于自监督机制的遥感图像细粒度目标识别方法，分阶段进行目标检测和类别细粒度分类，对遥感图像进行检测再进行细粒度识别，对两种方法的结果进行融合。首先采用图像融合方法以及图像分割方法实现目标细节的增强和背景干扰的消除突出目标特征的显著性，再基于部件信息构建对应的局部部件子空间，最终在各自子空间进行知识迁移，从而解决细粒度遥感图像检测和识别中标注样本监督信息不充足、领域
知识不匹配问题，提高了识别准确度。
附图说明
33.图1为本技术一种基于自监督机制的遥感图像细粒度目标识别方法流程图；
34.图2为本技术网络结构示意图；
35.图3为本技术目标检测卷积神经网络结构示意图；
36.图4为现有技术rfb结构示意图；
37.图5为本技术实施例hrfb结构示意图；
38.图6为现有技术空间注意力结构示意图；
39.图7为本技术实施例空间注意力结构示意图。
具体实施方式
40.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处描述的具体实施例仅用以解释本技术，并不用于限定本技术。
41.本技术的总体思路是，将遥感图像细粒度目标识别分为两个部分：遥感目标检测部分和遥感目标精细识别部分。遥感目标检测部分主要负责从遥感图像中定位出目标的位置以及目标大类，遥感目标精细识别部分以目标检测结果为输入，对检测到的目标做细粒度分类，从而确定目标的型号类别。
42.卫星在采集遥感图像的过程中难免会出现云雾遮挡或光线不足的情况，使得原本类内差异就不明显的遥感目标更加难以分辨其特征。相对可见光波段而言，红外成像对云雾具有较强的穿透能力以及低光照强度的目标成像能力，可以很好的克服在云雾遮挡或光线不足的情况，相应的，可以通过采用获取高光谱卫星遥感图片的形式，并通过图像融合的方法得到融合图片解决上述问题。
43.此外，对于同类图像不同子类之间的差异主要体现在一些局部细节部分，现有方法只将不同子类图像整体作为输入提取全局特征，对局部特征的重要性没有得到体现，同时，目标区域以外的背景区域也会对结果带来不同程度的干扰，相应的，可以通过图像分割的方法分割出目标所述区域，然后将图像分割得到的二值图与原图相乘从而实现背景区域的滤除排除背景干扰，然后构建自监督学习的机制将全局图像细分为不同的局部区域，再由卷积神经网络学习选取最优的局部区域用于图像特征提取，然后并对特征进行融合，实现不同子类目标的准备识别。
44.在一个实施例中，如图1所示，提供了一种基于自监督机制的遥感图像细粒度目标识别方法，包括：
45.步骤s1、获取高光谱卫星遥感图像并按照预设规则对所述高光谱卫星遥感图像进行切割获得切割后的高光谱卫星遥感图像。
46.本实施例获取遥感图像，将图像切割为1024x1024像素大小的子图区块。不同子图区块之间存在50像素的重叠区域以减少图像切割过程中对目标的“破坏”。
47.步骤s2、对切割后的高光谱卫星遥感图像进行预处理，而后根据不同的波段获得可见光卫星遥感图像以及对应的红外成像卫星遥感图像，并对所述可见光卫星遥感图像以
及对应的红外成像卫星遥感图像进行图像融合以得到融合卫星遥感图像。
48.对切割后的高光谱卫星遥感图像进行预处理，图像预处理是对输入的图像在做图像后处理之前对图像进行的操作，包含几何校正、辐射校正、图像增强、几何配准。
49.在预处理后，根据不同的波段获得可见光卫星遥感图像以及对应的红外成像卫星遥感图像，对所述可见光卫星遥感图像以及对应的红外成像卫星遥感图像进行图像融合，融合采用如下公式：
50.is＝λaia λbib51.其中，is为所述融合卫星遥感图像，ia为所述可见光卫星遥感图像，ib为所述红外成像卫星遥感图像，“ ”表示所述可见光卫星遥感图像和所述红外成像卫星遥感图像相对应位置处的元素相加，λa和λb表示可见光卫星遥感图像和所述红外成像卫星遥感图像的权重，用于控制所述可见光卫星遥感图像和所述红外成像卫星遥感图像之间的平衡的加权参数。
52.相比红外成像卫星遥感图像，可见光卫星遥感图像包含更多的细节特征，因此在融合过程中可见光卫星遥感图像的权重取值大于红外成像卫星遥感图像的权重，优选的，0《λb 0.5《λa《1.0。
53.在本实施例中取λb＝0.3，λa＝0.9。
54.步骤s3、将所述融合卫星遥感图像输入目标检测卷积神经网络以获得目标位置。
55.本实施例目标检测卷积神经网络采用改进的yolov3网络，其结构图如图3所示，包括特征提取网络层、特征融合层以及检测输出层。
56.目标检测卷积神经网络的输入主要为可见光卫星遥感图像以及对应的红外成像卫星遥感图像融合的融合卫星遥感图像。
57.特征提取网络层为卷积神经网络，主要由卷积层、池化层、批归一化层等基本单元构成，负责图像特征的提取。
58.特征融合层主要由一种双向特征融合结构实现，对不同层次提取的图片特征进行双向融合，增强检测网络的多尺度检测能力。
59.检测输出采用三尺度输出结构，保留较强的小目标检测和多尺度目标检测识别能力。三尺度输出结构中，不同组输出对应锚框大小范围不同，共9个预设锚框大小，每个尺度输出结构对应3个锚框，能够有效提高网络的多尺度检测识别能力。
60.本实施例以目标检测领域实测效果最好的yolov3为网络结构设计原型，进行特征表达能力更强、小目标检测能力更强的改进。
61.在一个实施例中，如图3所示，本实施例目标检测卷积神经网络的特征提取网络层在darknet-53中加入两组hrfb结构以及对应的两组空间注意力结构。
62.本实施例在特征提取网络层darknet-53中加入两组hrfb结构，提升网络特征表达能力，提高从复杂遥感图像背景下提前目标特征的能力。
63.传统的rfb结构如图4所示，采用空洞卷积增加感受野，同时采用多路分支结构提高特征提取能力。对于小目标检测识别，采用空洞卷积具有增加感受野的能力，同时也会损失部分小目标的特征，而对于像素数量极少的小目标，空洞卷积的计算方式意味着目标信息的严重丢失。所以本实施例对传统的rfb结构进行改进，采用hrfb结构(如图5所示)提高基础网络的特征提取能力，去除传统rfb结构中不同间隔率(rate)带来的信息丢失影响。
64.本实施例hrfb结构设置在特征提取网络层darknet-53的第一特征提取模块和第二特征提取模块中，也可以设置在第一特征提取模块和第三特征提取模块中，这里不做具体的限制。hrfb结构包括输入层(previouslayer)、卷积层和拼接层(concatenation)，所述卷积层包括三个支路，第一支路包括一个1*1的卷积结构，第二支路包括一个1*1的卷积结构和两个3*3的卷积结构，第三支路包括一个1*1的卷积结构和一个3*3的卷积结构，其中3*3的卷积结构的间隔率(rate)均为1。
65.本实施例空间注意力结构设置在特征提取网络层darknet-53的第一特征提取模块和第二特征提取模块中，所述空间注意力结构包括池化核分别为3、5、7的三个最大池化层，所述三个最大池化层的输出经过拼接后在输入到一个卷积层，最后经过激活函数输出空间注意力特征。
66.在特征提取网络层中加入改进的空间注意力结构，典型的空间注意力结构可以通过增加感兴趣目标的权重来提升目标检测效果，空间注意力结构如图6所示，对输入特征通过卷积操作，再使用sigmoid函数将特征值限定为在[0,1]之间的权重特征。
[0067]
为了更好的检测小目标，本实施例针对空间注意力结构做了如下改进：
[0068]
s＝conv[maxpool3(x),maxpool5(x),maxpool7(x)]
[0069]
如图7所示所示，s为空间注意力的输出，x为输入特征，conv表示卷积操作，maxpool3、maxpool5、maxpool7分别代表核为3、5、7的最大池化，sigmoid函数用于将输出限制在0和1之间，[，]表示特征拼接，空间注意力结构将特征图经过3，5，7不同尺度的最大池化来学习目标的显著特征，增强大尺度特征图上小型目标的关键点信息。
[0070]
本实施例目标检测卷积神经网络保留了yolov3三尺度特征输出的设计，增强遥感图像场景下多尺度目标检测的能力；保留yolov3训练trick，包括多尺度缩放增广训练等，提高训练模型参数的鲁棒性；保留训练锚框的聚类计算，加快训练收敛速度，同时获得更好的收敛效果。
[0071]
需要说明的是，本技术目标检测卷积神经网络也可以直接采用 yolov3网络，其效果没有改进的yolov3网络好，但是结合本技术后续的步骤，总体效果要好于传统的仅采用yolov3目标检测算法的检测结果。
[0072]
步骤s4、根据所述目标位置从所述融合卫星遥感图像截取目标图像截图，输入语义分割卷积神经网络以获得所述目标图像截图的语义分割结果。
[0073]
本实施例语义分割卷积神经网络采用u-net，u-net网络的典型特点是，它是u型对称结构，左侧是卷积层，右侧是上采样层。u-net结构中，包含4个convolutional layer(卷积层)和对应的4个upsampling layer(上采样层)。所以在实现的时候，既可以从头实现网络并进行权重的初始化，然后进行模型的训练；也可以借用现有一些网络的卷积层结构和对应的已训练好的权重文件，再加上后面的upsampling layer，进行训练计算，比如 resnet，vgg等，因为在深度学习的模型训练中，如果能够使用已有的权重模型文件，可以大大加快训练的速度。
[0074]
需要说明的是，语义分割卷积神经网络还可以采用本领域其他语义分割卷积神经网络，这里不再赘述。
[0075]
步骤s5、根据所述语义分割结果对所述目标图像截图进行图像滤波，并将滤波后的图像输入细粒度目标识别网络模型进行目标细粒度识别获得遥感图像目标识别结果。
[0076]
本实施例，滤波采用公式：
[0077]fs
＝fb·f[0078]
其中，fs为滤波后的图像，fb为所述语义分割结果的二值化图像，其中有目标的位置像素值为1，其余为背景位置像素值为0；f为所述目标图像截图，“·”表示所述二值化图像和所述目标图像截图相对应位置处的元素相乘。
[0079]
可以理解，通过以上滤波处理可以有效的将目标背景干扰去除，留下目标所在区域的特征。
[0080]
然后，将滤波后的图像输入细粒度目标识别网络模型进行目标细粒度识别获得遥感图像特征向量，最后得到识别结果。
[0081]
本实施例中，所述细粒度目标识别网络模型由第一网络结构、第二网络结构构成，第一网络结构为nts-net用于预测图像中每个预选区域的信息量，第二网络结构为resnet18，用于提取图像特征。
[0082]
其中：
[0083]
所述第一网络结构用于预测图像中每个预选区域的信息量，并根据信息量推荐预定数量的图像区域作为特征提取的候选区域，所述信息量用于表征所述预选区域的目标特征显著程度，包括：
[0084]
首先，根据输入图像，随机产生n个矩形区域{r1，r2，
…
，rn}，其中，所述矩形区域具有m种不同的分辨率和m种不同的长宽比率。
[0085]
本实施例中，对于分辨率大小为512的遥感图像，通过选取3种不同分辨率{96,112,224}下长宽比为{1,1/2,1/3}的矩形区域作为候选区域,矩形区域数量n为1000。
[0086]
然后将所述n个矩形区域通过所述第一网络结构进行信息量提取得到信息量列表{i1，i2，
…
，in}；
[0087]
对所述信息量列表从大到小进行排序，选取信息量列表前m个信息量对应的矩形区域作为特征提取的候选区域，本实施例中m取3。
[0088]
所述第二网络结构将第一网络结构获得的优选图像区域缩放至相同大小并通过卷积网络结构进行特征提取和特征融合以获得图像的联合特征向量。
[0089]
本技术细粒度目标识别网络模型，旨在区分同一超类的从属类，例如飞机型号和舰船型号。挑战来源于找出信息区域和提取其中的判别特征。因此，细粒度分类的关键在于开发自动方法以准确识别图像中的信息区域。实现更精准地确定具有判别力的子区域，并采用高分辨率、精细化特征进行描述，进而大大提高精细化目标分类的精度。
[0090]
本方发明提出一种自监督机制深度学习网络有效地定位信息区域而无需边界框/部分注释,能够有效找出不同类别之间的判别特征，选用实现更精准地确定具有判别力的子区域，并采用高分辨率、精细化特征进行描述，进而大大提高精细化目标分类的精度。
[0091]
本技术为了验证本发明在遥感目标检测识别的效果，设计了对比试验，首先建立了一批遥感数据集，主要来自于谷歌地球(google earth)不同时期的卫星图像，包含两个类别：飞机和舰船，数据集大致分布如下表所示，数据集展示如下所示。
[0092][0093]
表1
[0094]
在airplane-ship数据集上分别对比了与目前业界最主流的算法ssd、 centernet-hg、yolov3以、efficientnet-d1以及本发明所述方法的效果，结果如下所示，由对比结果可知本技术的map值比目前业界最主流的几个算法都要高。
[0095]
算法名称map(％)ssd86.81centernet-hg89.74yolov391.05efficientnet-d191.42本技术93.18
[0096]
表2
[0097]
仅采用yolov3目标检测算法的检测结果，对于飞机类别，只能区分出该类别为战斗机而无法知道具体型号，而采用本技术的方法的目标检测识别结果，通过目标细分类网络进行进一步的细粒度类别识别，能准确得到飞机类别。
[0098]
以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术专利的保护范围应以所附权利要求为准。