深度特征集成学习的遥感图像目标识别泛化性方法与流程

1.本发明属于图像信息处理技术领域，涉及遥感图像目标识别的方法，特别是一种深度特征集成学习的遥感图像目标识别泛化性方法。


背景技术：

2.目前，与本专利相关的方法包括两方面：第一是基于深度特征的集成学习方法；第二是基于深度学习的泛化性方法。
3.基于深度特征的集成学习方法主要分为两类：一类是从损失上进行设计，首先构建神经网络的多个子分支，然后使用损失函数控制这些子分支所产生结果的多样性，实现模型的多样性。dvornik等人在文献《diversity with cooperation:ensemble methods for few
‑
shot classification》中提出使用余弦相似度损失控制子分支的输出，使得各个子分支的输出趋于不同，以鼓励多样性；一类是从训练数据上提升各个分支的多样性，meshgi等人在文献《efficient diverse ensemble for discriminative co
‑
tracking》中使用不同的训练数据训练不同的子分支，由于使用不同训练数据进行训练会使得各个子分支的输出不同，所以可以实现多样性，从而达到集成学习的目的。
4.基于深度学习的域泛化性方法的目标是通过利用一个或多个可见的源域数据集来学习一个对未知目标域表现良好的广义模型。jin等人在文献《style normalization and restitution for generalizable person re
‑
identification》中提出了一种泛化性方法，即使用实例正则化滤除掉特征里和图像内容无关的风格信息，为了避免相关的内容信息丢失，设计了一个恢复策略，最终可以提取图像的内容特征。由于影响泛化性的主要因素就是各个图像域的风格特征不一致，所以在滤除图像的风格信息之后，网络的泛化性得到很大提升。
5.针对于遥感图像的目标识别，解决该问题的一种常见的方法是使用多个图像域的训练数据对网络进行训练，来获取针对不同域的适用的网络模型。但是由于遥感图像的训练数据集的图像域较少，所以无法通过这种方式提升模型的泛化性。本专利提出深度特征集成学习的遥感图像目标识别泛化性方法来解决上述问题。


技术实现要素：

6.针对难以获得多个域对网络进行训练的问题，提出了一种基于集成学习的泛化的遥感图像目标识别方法。它可以适用于不同种类的输入源图像，均可以得到较好的预测结果。它在网络结构中使用多个子分支预测得到多个输出特征，并使用余弦相似度控制这些输出特征的多样性，实现模型的多样性；为了能够从所得的集成特征中进一步选择所需的特征，它使用一个自适应选择网络对特征进行筛选。
7.本发明的技术方案：
8.一种深度特征集成学习的遥感图像目标识别泛化性方法，步骤如下：
9.首先构建一个基础的网络模型：vgg16的前13层作为编码器，一个7层的卷积网络
作为解码器，然后使用训练数据训练好该基础网络；为了提升该网络的泛化性，提出两个策略：
10.策略一是在该网络模型中添加一个能去除风格信息的集成模块，该集成模块中包含实例标准化层、批标准化层和多个集成分支；实例标准化层能学习到和外观(光照，色调，对比度，饱和度，图像质量/分辨率等)无关的特征，批标准化层对于保存与内容相关的信息是必不可少的，所以结合使用实例标准化和批标准化能够提高泛化和学习性能；对于不同源的遥感图像来说，色调、对比度、饱和度、图像质量/分辨率等都会对模型产生影响，加入了实例标准化层和批标准化层则减少了这些影响，也就提升了遥感图像目标识别的泛化能力和准确性。
11.然而，在使用实例标准化层和批标准化层的过程中不可避免地丢弃了一些内容信息，从而影响算法的性能。所以从原始特征经过提取特征之后剩余的风格信息中进一步提取内容相关的信息，作为之前正则化得到信息的补充，则能较为完整地从输入图像中挖掘出与风格无关的内容信息。我们的做法是使用注意力图从剩余的风格信息中提取待挖掘的补充信息，则每个位置都能自适应地提取到补充的内容信息。
12.如果仅使用一个注意力图去提取补充信息，可能只能聚焦于某些区域，忽视了一些潜在的重要区域，所以我们提出使用集成模型即使用多个注意力图从剩余的风格信息中提取补充信息，这些注意力图关注剩余的风格信息中不同的区域，从而挖掘出不同区域的内容信息。为了达到这个目的，我们引入了多样性学习，即利用余弦相似度去控制注意力图之间的多样性，对注意力图的聚焦位置进行引导，从而能够从剩余的风格信息中提取出具有多样性的内容信息。
13.策略二是提出使用一个自适应选择网络从集成的特征信息中二值化地选取重要信息。网络的自适应选择通过一个门控子网络来实现，输出得到二值化的门控选择结果。由于一个全局的门控能做出更全面的决定，所以门控网络的输入是原始输入图像，经过一系列卷积输出二值化的门控选择。由于直接对集成某个分支输出的整个特征进行二值化选择过于粗糙，所以我们基于特征的每个通道进行二值化选择。如果门控没有和主网络之间的交互，那么门控的选择就会有些盲目，因为对于要选择的东西一无所知，所以将主网络中集成的输出特征作为先验信息输入到门控网络中，来提升门控的选择能力。
14.在网络训练阶段，我们采用端到端的方式对网络进行训练。为了控制集成模型的各个子模型输出的多样性，我们使用余弦相似度损失函数对各个子模型对应的注意力图进行控制：
[0015][0016]
其中，n是各个子模型输出的多样性特征的数量，i和j表示特征的索引，cos()表示余弦相似度函数，m代表注意力图，∑()表示求和。
[0017]
对于目标分类的训练，我们使用交叉熵损失函数进行训练，交叉熵损失定义如下：
[0018]
l
c
＝
‑
∑
x
p(x)logq(x)(1
‑
2)
[0019]
其中，x是输入图像，p(x)代表遥感图像的真值，q(x)是网络对输入的遥感图像输出的预测值，log()表示对数运算。
[0020]
本发明的有益效果：本发明的深度特征集成学习的遥感图像目标识别泛化性方法
利用了集成的方式，目前常见的泛化性的算法需要使用多个域的图像训练网络结构，而这一需求一般难以满足。而本发明的方法不存在这个问题，充分利用遥感图像深度特征的不同表达，如色调，对比度，饱和度，图像质量/分辨率等，设计基于门控的自适应集成架构得到用于遥感图像目标识别的具有泛化性的网络模型。
附图说明
[0021]
图1为网络的训练方法流程图。
[0022]
图2为网络整体结构示意图。
[0023]
图3为集成网络示意图。
具体实施方式
[0024]
以下结合附图和技术方案，进一步说明本发明的具体实施方式。
[0025]
图一为网络的训练流程图，我们首先使用训练数据训练网络结构中的编码器和解码器，损失函数使用公式(1
‑
2)来对预测值和真值进行约束，得到一个基础的目标识别网络模型。然后我们在网络中添加集成网络，输入图像经过编码器和集成网络之后，集成网络中的多个分支产生了多个特征图，为了使特征图具有多样性，我们使用公式(1
‑
1)来对集成网络中每个分支上得到的注意力图进行多样性约束，同时也需要对网络的预测分类值和真值进行约束，所以我们结合使用公式(1
‑
1)和(1
‑
2)对网络进行训练，直至损失函数收敛。最后我们在网络中添加门控网络，此时我们固定编码器和集成网络的参数，只训练网络中门控网络以及其他部分的参数，此时依然使用公式(1
‑
1)和(1
‑
2)对网络的训练进行约束。待损失在遥感图像上收敛时，训练过程结束，我们就可以得到一个具有泛化性的模型。
[0026]
总的来说，本方法设计了一种深度特征集成学习的遥感图像目标识别泛化性方法，可以有效的针对不同源的遥感图像进行目标识别。