基于卫星遥感多光谱和全色影像融合的地物要素分类方法与流程

1.本发明涉及多源遥感影像特征级融合和分类领域，尤其是涉及一种基于卫星遥感多光谱和全色影像融合的地物要素分类方法。


背景技术：

2.随着遥感平台和传感器类型的不断丰富，单一传感器可以同时获得多光谱影像(ms影像)和全色影像(pan影像)。多光谱影像通常包含4个或更多波段，但空间分辨率低。全色影像则反之，空间分辨率高但是单一波段。有效融合光谱信息丰富的多光谱影像和物体边界信息精确的全色影像，进行地物要素的高精度识别具有巨大的应用潜力。
3.目前多光谱影像和全色影像数据融合方式主要可分为：1)像素级融合；2)特征级融合。像素级融合的主要方法是全色锐化，但该过程会引入一些光谱和空间畸变，且多光谱影像和全色影像的优点没有被完全利用，特别是有利于要素识别的跨分辨率隐含特征。特征级融合从多光谱影像和全色影像中分别提取特征，然后融合这些特征进行地物要素识别，从而避免像素级融合的缺陷。但主要挑战是如何有效地从多光谱影像和全色影像中提取显著的特征并构建融合模型。


技术实现要素：

4.本发明的目的就是为了克服上述现有技术存在的单一的多光谱影像或全色影像会导致地物要素的识别精度较低的缺陷而提供一种基于卫星遥感多光谱和全色影像融合的地物要素分类方法。
5.本发明的目的可以通过以下技术方案来实现：
6.一种基于卫星遥感多光谱和全色影像融合的地物要素分类方法，具体包括以下步骤：
7.s1、获取卫星遥感采集的目标区域的多光谱影像和全色影像，提取多光谱影像的扩展多属性剖面(extended multi
‑
attribute profiles，emap)空间特征，将emap特征与原始的多光谱影像进行级联，得到全局上的浅层空谱特征；
8.s2、所述浅层空谱特征作为类似自编码深度网络的输入，全色影像作为类似自编码深度网络的重构输出，通过网络训练得到输入与输出之间的多分辨率隐层特征；
9.s3、分别提取所述多分辨率隐层特征中的第2隐层特征、第5隐层特征和第8隐层特征作为低分辨率隐层特征、中分辨率隐层特征和高分辨率隐层特征，通过卷积神经网络分别对低分辨率隐层特征、中分辨率隐层特征和高分辨率隐层特征进行特征融合与分类训练，得到目标区域内的地物要素分类结果。
10.所述步骤s2中输入和输出都为图斑(patch)，输入的图斑大小为r
×
r
×
d，输出的图斑大小为nr
×
nr
×
1，r为图斑的边长，n为全色影像相对于多光谱影像分辨率的倍数。
11.所述低分辨率隐层特征、中分辨率隐层特征和高分辨率隐层特征作为多光谱影像和全色影像的融合特征。
12.所述第2隐层特征的分辨率为低分辨率，与多光谱影像的分辨率相同；所述第5隐层特征的分辨率为中分辨率，介于多光谱影像和全色影像的分辨率之间；所述第8隐层特征的分辨率为高分辨率，与全色影像的分辨率相同。
13.所述多光谱影像的尺寸大小为h
×
w
×
c，其中h、w和c分别为多光谱影像的高、宽和波段数。
14.进一步地，所述扩展多属性剖面空间特征的维度大小为h
×
w
×
d，其中d为扩展多属性剖面空间特征的维度。
15.所述扩展多属性剖面空间特征提取使用区域面积、区域边框对角线长度、转动惯量以及区域内像素灰度值的标准差四个属性，每个属性根据实际数据选择合适的参数。
16.所述类似自编码深度网络的网络结构依次包括输入层(input)、卷积块1(conv_block1)、卷积块1、上采样层(upsampling)、卷积块1、卷积块1、上采样层、卷积块2(conv_block2)、卷积块2、总卷积层(conv)、输出层(output)，上采样层的上采样因子大小为2
×
2，网络训练中使用的优化器为adam，学习率为0.0001，损失函数为mse损失函数。
17.进一步地，所述卷积块1包括卷积层、批归一化层和激活层，所述卷积块2包括卷积层、批归一化层和激活层。
18.进一步地，所述卷积块1中卷积层的卷积核大小为3
×
3，滤波器数量为128；所述卷积块2中卷积层的卷积核大小为5
×
5，滤波器数量为128；所述总卷积层的卷积核大小为3
×
3，滤波器数量为1。
19.所述低分辨率隐层特征对应的卷积神经网络依次包括卷积块3(conv_block3)、卷积块4(conv_block4)、卷积块5(conv_block5)、全局最大池化层(globalmaxpool)、全连接层(dense)和softmax分类器；所述中分辨率隐层特征对应的卷积神经网络依次包括卷积块3、最大池化层(maxpooling)、卷积块4、卷积块5、全局最大池化层、全连接层和softmax分类器；所述高分辨率隐层特征对应的卷积神经网络依次包括卷积块3、最大池化层、卷积块4、最大池化层、卷积块5、全局最大池化层、全连接层和softmax分类器。
20.进一步地，单分支卷积神经网络训练中使用的优化器是sgd(stochastic gradient descent)，学习率为0.001，损失函数为categorical_crossentropy损失函数。
21.进一步地，所述卷积块3包括卷积层、批归一化层和激活层，卷积层的卷积核大小为3
×
3，滤波器数量为128；所述卷积块4包括卷积层、批归一化层和激活层，卷积层的卷积核大小为3
×
3，滤波器数量为256；所述卷积块5包括卷积层、批归一化层和激活层，卷积层的卷积核大小为3
×
3，滤波器数量为512。
22.进一步地，所述步骤s3还包括去除低分辨率隐层特征、中分辨率隐层特征和高分辨率隐层特征对应的三个分支卷积神经网络中全局最大池化层后的所有层，级联(concatenate)三个分支卷积神经网络的全局最大池化层，并且固定网络权重，后面依次连接全连接层、全连接层和softmax分类器，进行微调融合分类训练和预测，网络训练中使用的优化器是sgd，学习率为0.0001，损失函数为categorical_crossentropy损失函数。
23.与现有技术相比，本发明具有以下有益效果：
24.1.本发明在类似自编码深度网络切取图斑之前，提取多光谱影像全局的浅层空间特征，弥补图斑切割过程中可能将完整地物分割开来，但由于地物内部不一致性所导致的破坏地物空间连通性和一致性的缺点，实现浅层和深层，全局和局部特征的结合，从而提高
了深度网络的分类性能。
25.2.本发明通过类似自动编码器的深层网络来消除多光谱和全色影像中空间和光谱分辨率信息的差异，非监督提取多光谱影像和全色影像之间的多分辨率隐层特征，通过多分支卷积神经网络对隐层特征进行融合分类，提高了地物分类的准确性。
26.3.本发明直接利用原始多光谱影像进行操作，而不是提前将多光谱影像上采样到与全色影像相同分辨率，减少由于上采样插值带来的误差和计算时间；另外，本发明采用非监督特征与监督特征的结合，使得分类结果鲁棒性更高。
附图说明
27.图1为本发明的流程示意图；
28.图2为本发明神经网络的结构示意图；
29.图3为本发明实施例中多光谱影像的真彩色合成图；
30.图4为本发明实施例中全色影像的示意图；
31.图5为本发明实施例中地面真实参考图的示意图；
32.图6为本发明实施例中svm(support vector machine)方法在ms*pan上的分类结果的示意图，ms*pan为多光谱影像和全色影像的数据全色锐化影像；
33.图7为本发明实施例中rf(random forest)方法在ms*pan上的分类结果的示意图；
34.图8为本发明实施例中vgg
‑
like方法在ms*pan上的分类结果的示意图；
35.图9为本发明实施例中svm方法在ms pan上的分类结果的示意图，ms pan为多光谱影像和全色影像数据级联后的结果；
36.图10为本发明实施例中rf方法在ms pan上的分类结果的示意图；
37.图11为本发明实施例中vgg
‑
like方法在ms pan上的分类结果的示意图；
38.图12为本发明实施例中dmil(deep multiple instance learning)方法的分类结果的示意图；
39.图13为本发明实施例中multiresolcc(multi
‑
resolution land cover classification)方法的分类结果的示意图；
40.图14为本发明实施例中本发明提出的方法在msemap_pan上的分类结果的示意图，msemap_pan为在多光谱影像上提取的emap特征和全色影像特征级融合。
具体实施方式
41.下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
42.实施例
43.如图1所示，一种基于卫星遥感多光谱和全色影像融合的地物要素分类方法，具体包括以下步骤：
44.s1、获取卫星遥感采集的目标区域的多光谱影像和全色影像，提取多光谱影像的扩展多属性剖面(extended multi
‑
attribute profiles，emap)空间特征，将emap特征与原始的多光谱影像进行级联，得到全局上的浅层空谱特征；
45.s2、浅层空谱特征作为类似自编码深度网络的输入，全色影像作为类似自编码深度网络的重构输出，通过网络训练得到输入与输出之间的多分辨率隐层特征；
46.s3、分别提取多分辨率隐层特征中的第2隐层特征、第5隐层特征和第8隐层特征作为低分辨率隐层特征、中分辨率隐层特征和高分辨率隐层特征，通过卷积神经网络分别对低分辨率隐层特征、中分辨率隐层特征和高分辨率隐层特征进行特征融合与分类训练，得到目标区域内的地物要素分类结果。
47.步骤s2中输入和输出都为图斑(patch)，输入的图斑大小为r
×
r
×
d，输出的图斑大小为nr
×
nr
×
1，r为图斑的边长，n为全色影像相对于多光谱影像分辨率的倍数。
48.低分辨率隐层特征、中分辨率隐层特征和高分辨率隐层特征作为多光谱影像和全色影像的融合特征。
49.第2隐层特征的分辨率为低分辨率，与多光谱影像的分辨率相同；第5隐层特征的分辨率为中分辨率，介于多光谱影像和全色影像的分辨率之间；第8隐层特征的分辨率为高分辨率，与全色影像的分辨率相同。
50.多光谱影像的尺寸大小为h
×
w
×
c，其中h、w和c分别为多光谱影像的高、宽和波段数。
51.扩展多属性剖面空间特征的维度大小为h
×
w
×
d，其中d为扩展多属性剖面空间特征的维度。
52.扩展多属性剖面空间特征提取使用区域面积、区域边框对角线长度、转动惯量以及区域内像素灰度值的标准差四个属性，每个属性根据实际数据选择合适的参数。
53.如图2所示，类似自编码深度网络的网络结构依次包括输入层(input)、卷积块1(conv_block1)、卷积块1、上采样层(upsampling)、卷积块1、卷积块1、上采样层、卷积块2(conv_block2)、卷积块2、总卷积层(conv)、输出层(output)，上采样层的上采样因子大小为2
×
2，网络训练中使用的优化器为adam，学习率为0.0001，损失函数为mse损失函数。
54.卷积块1包括卷积层、批归一化层和激活层，卷积块2包括卷积层、批归一化层和激活层。
55.卷积块1中卷积层的卷积核大小为3
×
3，滤波器数量为128；卷积块2中卷积层的卷积核大小为5
×
5，滤波器数量为128；总卷积层的卷积核大小为3
×
3，滤波器数量为1。
56.低分辨率隐层特征对应的卷积神经网络依次包括卷积块3(conv_block3)、卷积块4(conv_block4)、卷积块5(conv_block5)、全局最大池化层(globalmaxpool)、全连接层(dense)和softmax分类器；中分辨率隐层特征对应的卷积神经网络依次包括卷积块3、最大池化层(maxpooling)、卷积块4、卷积块5、全局最大池化层、全连接层和softmax分类器；高分辨率隐层特征对应的卷积神经网络依次包括卷积块3、最大池化层、卷积块4、最大池化层、卷积块5、全局最大池化层、全连接层和softmax分类器。
57.单分支卷积神经网络训练中使用的优化器是sgd(stochastic gradient descent)，学习率为0.001，损失函数为categorical_crossentropy损失函数。
58.卷积块3包括卷积层、批归一化层和激活层，卷积层的卷积核大小为3
×
3，滤波器数量为128；卷积块4包括卷积层、批归一化层和激活层，卷积层的卷积核大小为3
×
3，滤波器数量为256；卷积块5包括卷积层、批归一化层和激活层，卷积层的卷积核大小为3
×
3，滤波器数量为512。
59.步骤s3还包括去除低分辨率隐层特征、中分辨率隐层特征和高分辨率隐层特征对应的三个分支卷积神经网络中全局最大池化层后的所有层，级联(concatenate)三个分支卷积神经网络的全局最大池化层，并且固定网络权重，后面依次连接全连接层、全连接层和softmax分类器，进行微调融合分类训练和预测，网络训练中使用的优化器是sgd，学习率为0.0001，损失函数为categorical_crossentropy损失函数。
60.具体实施时，选取某地区获取的2015年1月高分2号遥感影像。图3～图5给出了ms数据真彩色合成图、pan影像和地面真实参考图。该数据集包含建筑、道路、水体、树木和草地5中地表要素类别。表1提供了每种地表要素参考样本的详细信息，表1具体如下：
61.表1总样本以及实验训练和测试样本数量介绍
[0062][0063]
为了对比不同方法的性能，选取总精度(overall accuracy，简称oa)，平均精度(average accuracy，简称aa)，kappa系数(kappa coefficient，简称kappa)作为评价指标。
[0064]
如图6～图14所示，给出了不同方法10次评价的平均结果，每种方法都使用相同的训练样本。为了对比不同方法的鲁棒性，给出了10次结果的标准差，表2中
“±”
后的数值代表标准差，可以看出本发明所提出的方法标准差最小，鲁棒性更高，表2具体如下：
[0065]
表2不同方法的精度评价结果
[0066][0067]
本发明所提出方法mrhff(msemap_pan)的总精度是98.12％，比深度学习方法vgg
‑
like(ms pan)、dmil、multiresolcc分别提高了4.53％、9.33％、2.56％，比传统机器学习方法svm(ms pan)和rf(ms pan)分别提高了15.83％和12.85％。
[0068]
本发明所提出方法的隐层特征具有不同的分辨率，能够专注地物类别的不同方面，如低分辨率的特征中同一地物内部更加均一，更利于地物内部类别判断，高分辨率的特征中地物边界更加精确，能够保证地物边界的分类精度。图6～图14给出了不同方法的分类图以及9次精度中与整体分类精度最接近的精度。可以看出传统的机器学习模型svm和rf分类结果较差，存在较多的错分，椒盐现象比较明显。本发明所提出的方法(ms_pan)相比于目前常用的深度学习方法分类性能也更好，由分类图可以看出本发明所提出方法的建筑和道路的错分相对较少，内部及边界分类也较为精确。
[0069]
综上，经过一系列定性和定量的实验分析的结果表明，本发明所提出的ms和pan数据非监督多分辨率隐层特征融合及分类方法与其它方法相比，可以实现更高精度的高分辨率地表要素分类，在准确刻画地表要素的几何边界以及内部光谱的均一性上具有十分明显的优势，且鲁棒性高。
[0070]
此外，需要说明的是，本说明书中所描述的具体实施例，所取名称可以不同，本说明书中所描述的以上内容仅仅是对本发明结构所做的举例说明。凡依据本发明构思的构造、特征及原理所做的等效变化或者简单变化，均包括于本发明的保护范围内。本发明所属技术领域的技术人员可以对所描述的具体实例做各种各样的修改或补充或采用类似的方法，只要不偏离本发明的结构或者超越本权利要求书所定义的范围，均应属于本发明的保护范围。