一种土地利用分类方法及系统

1.本发明涉及土地利用分类技术领域，特别是涉及一种基于注意力机制卷积神经网络和条件随机场的土地利用分类方法及系统。


背景技术：

2.目前，对遥感影像进行高精度的土地利用分类是一个巨大的挑战，传统的机器学习方法和图像语义分割模型分类效果难以满足高精度要求。经典土地分类的图像语义分割模型存在着无法充分利用图像的空间和上下文信息的问题，导致其不能达到高精度的土地利用分类。


技术实现要素：

3.本发明的目的是提供一种土地利用分类方法及系统，引入通道注意力模块和空间位置注意力模块、空间金字塔池化模块对目标土地影像进行分类，充分利用图像的空间和上下文信息，以提高土地利用的分类精度，采用条件随机场对土地利用分类模型的分类结果进行优化，以进一步提高土地利用的分类精度。
4.为实现上述目的，本发明提供了如下方案：
5.本发明提出了一种土地利用分类方法，所述方法包括：
6.获取目标土地影像；
7.将所述目标土地影像输入至训练好的土地利用分类模型，对所述目标土地影像中各像素进行土地利用类型分类，得到第一土地分类图像；
8.所述土地利用分类模型包括编码器、双路注意力模块、空间金字塔池化模块和解码器；所述双路注意力模块包括第一通道注意力模块和第一空间位置注意力模块；所述第一通道注意力模块用于对所述编码器提取的各局部特征进行有效特征的提取，得到通道注意力加权特征；所述第一空间位置注意力模块用于对所述编码器提取的局部特征进行加强，得到空间注意力加权特征；所述空间金字塔池化模块，用于对所述通道注意力加权特征和所述空间注意力加权特征进行融合，得到融合特征；
9.将所述第一土地分类图像输入至条件随机场中，对所述第一土地分类图像中各像素进行土地利用类型分类，得到第二土地分类图像。
10.可选地，所述编码器，包括密集连接块、过渡层和第二通道注意力模块，用于对输入的所述目标土地影像进行特征提取。
11.可选地，所述解码器，包括转置卷积模块、密集连接块、深度可分离卷积模块和第二空间位置注意力模块，用于根据所述融合特征，解码得到所述第一土地分类图像。
12.可选地，所述将所述第一土地分类图像输入至条件随机场中，对所述第一土地分类图像中各像素进行分类，具体包括：
13.根据所述条件随机场确定所述第一土地分类图像中的相似像素，将所述相似像素分配为相同的土地利用类型。
14.可选地，在所述将所述目标土地影像输入至训练好的土地利用分类模型之前，还包括：
15.根据样本土地影像以及样本土地影像中各像素对应的土地利用类型标签对所述土地利用分类模型进行训练，得到训练好的土地利用分类模型。
16.可选地，在所述根据样本土地影像以及样本土地影像中各像素对应的土地利用类型标签对所述土地利用分类模型进行训练之前，还包括：
17.获取样本土地原始影像；
18.采用旋转、平移和缩放方法对所述样本土地原始影像进行图像增强处理，得到所述样本土地影像；
19.对所述样本土地影像中各像素的土地利用类型进行标注。
20.可选地，采用梯度递减方法对所述土地利用分类模型进行训练。
21.本发明还提出了一种土地利用分类系统，该系统包括：
22.目标土地影像获取模块，用于获取目标土地影像；
23.第一土地分类图像确定模块，用于将所述目标土地影像输入至训练好的土地利用分类模型，对所述目标土地影像中各像素进行土地利用类型分类，得到第一土地分类图像；
24.所述土地利用分类模型包括编码器、双路注意力模块、空间金字塔池化模块和解码器；所述双路注意力模块包括第一通道注意力模块和第一空间位置注意力模块；所述第一通道注意力模块用于对所述编码器提取的各局部特征进行有效特征的提取，得到通道注意力加权特征；所述第一空间位置注意力模块用于对所述编码器提取的局部特征进行加强，得到空间注意力加权特征；所述空间金字塔池化模块，用于对所述通道注意力加权和所述空间注意力加权特征进行融合，得到融合特征；
25.第二土地分类图像确定模块，用于将将所述第一土地分类图像输入至条件随机场中，对所述第一土地分类图像中各像素进行土地利用类型分类，得到第二土地分类图像。
26.可选地，还包括：
27.相似像素确定单元，用于根据所述条件随机场确定所述第一土地分类图像中的相似像素，将所述相似像素分配为相同的土地利用类型。
28.可选地，还包括：
29.训练模块，用于根据样本土地影像以及样本土地影像中各像素对应的土地利用类型标签对所述土地利用分类模型进行训练，得到训练好的土地利用分类模型。
30.根据本发明提供的具体实施例，公开了以下技术效果：本发明提供的土地利用分类方法及系统，包括：获取目标土地影像；将所述目标土地影像输入至训练好的土地利用分类模型，对所述目标土地影像中各像素进行土地利用类型分类，得到第一土地分类图像；所述土地利用分类模型包括编码器、双路注意力模块、空间金字塔池化模块和解码器；所述双路注意力模块包括第一通道注意力模块和第一空间位置注意力模块；所述第一通道注意力模块用于对所述编码器提取的各局部特征进行有效特征的提取，得到通道注意力加权特征；所述第一空间位置注意力模块用于对所述编码器提取的局部特征进行加强，得到空间注意力加权特征；所述空间金字塔池化模块，用于对所述通道注意力加权特征和所述空间注意力加权特征进行融合，得到融合特征；将所述第一土地分类图像输入至条件随机场中，对所述第一土地分类图像中各像素进行土地利用类型分类，得到第二土地分类图像。本发
明在土地利用分类模型中引入通道注意力模块和空间位置注意力模块、空间金字塔池化模块对目标土地影像进行分类，充分利用了图像的空间和上下文信息，提高了土地利用的分类精度，采用条件随机场对土地利用分类模型的分类结果进行优化，进一步提高了土地利用的分类精度。
附图说明
31.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
32.图1为本发明实施例1提供的土地利用分类方法流程示意图；
33.图2为本发明实施例1中的土地利用分类模型结构图；
34.图3为本发明实施例1中的densenet网络结构图；
35.图4为本发明实施例1中的密集连接块的组合函数结构图；
36.图5为本发明实施例1中的通道注意力模块结构图；
37.图6为本发明实施例1中的空间位置注意力模块结构图；
38.图7为本发明实施例1中的空间金字塔池化模块结构图；
39.图8为本发明实施例2提供的土地利用分类系统结构示意图。
具体实施方式
40.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
41.本发明的目的是提供一种土地利用分类方法及系统，引入通道注意力模块和空间位置注意力模块、空间金字塔池化模块对目标土地影像进行分类，充分利用图像的空间和上下文信息，以提高土地利用的分类精度，采用条件随机场对土地利用分类模型的分类结果进行优化，以进一步提高土地利用的分类精度。
42.为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
43.实施例1
44.本发明提供了一种土地利用分类方法，参见图1，该方法包括：
45.步骤s1：获取目标土地影像。
46.步骤s2：将所述目标土地影像输入至训练好的土地利用分类模型，对所述目标土地影像中各像素进行土地利用类型分类，得到第一土地分类图像。
47.所述土地利用分类模型包括编码器、双路注意力模块、空间金字塔池化模块和解码器；所述双路注意力模块包括第一通道注意力模块和第一空间位置注意力模块；所述第一通道注意力模块用于对所述编码器提取的各局部特征进行有效特征的提取，得到通道注意力加权特征；所述第一空间位置注意力模块用于对所述编码器提取的局部特征进行加
强，得到空间注意力加权特征；所述空间金字塔池化模块，用于对所述通道注意力加权特征和所述空间注意力加权特征进行融合，得到融合特征。
48.所述编码器，包括密集连接块、过渡层和第二通道注意力模块，用于对输入的所述目标土地影像进行特征提取。所述解码器，包括转置卷积模块、密集连接块、深度可分离卷积模块和第二空间位置注意力模块，用于根据所述融合特征，解码得到所述第一土地分类图像。
49.步骤s3：将所述第一土地分类图像输入至条件随机场中，对所述第一土地分类图像中各像素进行土地利用类型分类，得到第二土地分类图像。
50.在本实施例中，步骤s2所述土地利用分类模型(即dadnet模型)基于densenet和通道与空间位置注意力机制搭建的卷积神经网络，前者的特征是重复利用，减少参数量，提高运算效率；后者是可以解决不同尺度下物体语义分割，以及相似特征融合，dadnet模型(土地利用分类模型)结构如图2所示，编码器与解码器中加入densenet，下采样结束后加入双路注意力模块。
51.dadnet模型的所述编码器包括densenet的密集连接块与过渡层和第二通道注意力模块(channelattentionmodule，cam)，其中的卷积核大小依次为32*32、64*64、128*128、256*256和512*512。
52.经过一系列下采样后的特征图，分别输入双路注意力模块中的sam和cam，模块前后特征图大小保持一致，再通过空间金字塔池化模块对二者特征(通道注意力加权特征和空间注意力加权特征)相加融合。所述解码器中包括转置卷积和第二空间位置注意力模块，解码器对融合后的特征图采用转置卷积(transpose convolution)进行上采样，跳跃连接串联前后，结合来自解码器的高级语义特征和来自编码器中对应尺寸特征图的高级语义特征。最后，在深度可分离卷积模块(separable convolution，separable conv)中添加softmax激活函数输出分割结果，即得到所述第一土地分类图像。
53.densenet是在resnet上改进后的密集连接网络。假设组合函数是h
l
(
·
)，l指层数，每层的输出定义为x
l
。传统卷积网络通过前向传播方式连接第l层和第l 1层，如下所示：
54.x
l
＝h
l
(x
l-1
)
ꢀꢀ
(1)
55.resnet增加了跳跃连接，将第l层与前面2至3层短路连接起来，连接方式是元素级相加，输出如公式(2)。这样在一定程度上解决了梯度爆炸，实现特征共享。但是相加的方式连接，可能会导致网络信息流的损失。
56.x
l
＝h
l
(x
l-1
) x
l-1
ꢀꢀ
(2)
57.densenet为了提高信息流在网络中的利用率，采用密集连接的方式，通过前向反馈第l层的输入是前面所有层的输出特征图，直接使用串联的方式连接，输出如下，实现了特征复用，提升了利用效率。
58.x
l
＝h
l
[x0,x1,
…
,x
l-2
,x
l-1
]
ꢀꢀ
(3)
[0059]
densenet网络结构主要由密集连接块和过渡层组成，如图3所示。密集连接块每层的特征图大小一致，可以在通道上串联起来，其组合函数结构是3*3的深度可分离卷积层(separable conv) 批量归一化层(batch normal，bn) relu(修正线性)激活函数层，如图4所示。过渡层用于连接相邻两个密集连接块，并用来降低特征图大小。在dadnet中编码器过
渡层结构是1*1的separable conv 2*2的最大池化(maxpooling)层，解码器中是1*1的separable conv 3*3的transpose convolution层。
[0060]
本发明通过引入通道注意力模块(cam)和空间位置注意力模块(sam)，来解决全局依赖问题，在一定程度上融合不同尺寸物体的相似特征和避免大物体特征影响不明显小物体的标签。如图5所示的cam结构图，cam用于对所述编码器提取的各局部特征进行有效特征的提取，并将其进行融合，得到通道注意力加权特征；整个模块没有卷积层，将输入特征图a经过reshape、相乘、转置、softmax、相加和相乘等运算操作完成输出特征图e。具体见公式(4)、公式(5)。a和e分别代表输入与输出特征图，i、j为行列数，β是可自学习参数，初始值为0，x是通过每行做softmax运算得到的。
[0061][0062][0063]
sam用于对所述编码器提取的局部特征进行加强，得到空间注意力加权特征。sam可以使局部特征联系上下文语义来达到增强特征目的，相似特征经过模块计算后进行融合，有利于进行语义上的分割，如图6、式(6)和式(7)所示。与通道注意力模块不同的是，输入特征图首先进行卷积操作得到b、c和d三个特征图，再进行reshape、transpose和相乘等一系列计算输出特征图e，与a形状保持一致。另外，参数s
ji
是b与c相乘后经过softmax激活函数，可以理解为b与c之间相似程度越大，s的值越大，其中两者是对称关系。
[0064][0065]
最后，特征图e通过与d线性组合进行输出，α也是自学习参数，初始值为0。公式如下。
[0066][0067]
在高分辨率影像中，不同尺度地物具有明显边界，为了增加土地利用分类模型对多尺度地物的识别能力，采用空间金字塔池化模块(aspp)融合多尺度信息，其通过一组不同采样率的空洞卷积来学习不同尺度地物特征，从而来提高多尺度地物分割精度。aspp结构如图7所示，具体计算过程如下：
[0068]
y＝concat(h
1,3
(x),h
6,3
(x),h
12,3
(x),h
18,3
(x),i
pooling
(x))
ꢀꢀ
(8)
[0069]
concat(
·
)表示对不同尺度的特征结果进行拼接操作，h
r,n
(x)是指不同采样率r，卷积核大小为n的空洞卷积，i
pooling
(x)是指对输入特征图的池化操作。
[0070]
步骤s3中，将所述第一土地分类图像输入至条件随机场中，对所述第一土地分类图像中各像素进行分类，具体包括：
[0071]
根据所述条件随机场确定所述第一土地分类图像中的相似像素，将所述相似像素分配为相同的土地利用类型。
[0072]
lafferty等人在2001年提出条件随机场(crfs)是一种鉴别式概率模型，融合了最大熵模型和马尔可夫模型的特点，主要用于序列标注任务，近年来常用在语义分割上，也取得很好效果。如krahenbuhl等人利用改进后的全连接crfs进行有效的图像分割，肖春娇等
人通过深度融合网络crfs对遥感图像进行语义分割，对边缘轮廓进行精确识别。
[0073]
crfs在图像语义分割领域中，常用于同时对比原始图像和预测标签图像的上下文信息，根据像素之间的关系，再对类验证概率进行建模。依据hammersley-clifford定理证明，公式(9)中i表示给定的高分辨率遥感影像，x是相应的标签图像的后验概率，其服从吉布斯分布：
[0074][0075]
其中，z(i)是归一化因子，是在基团c上的条件势能函数，根据c中所包含的变量个数的不同，势能函数分为一阶势、二阶势和高阶势，具体表达式如下：
[0076]
e(x)＝∑iφi(xi) α∑
i,j
φ
i,j
(xi,xj)
ꢀꢀ
(10)
[0077]
其中，φi(xi)是一阶势函数，φ
i,j
(xi,xj)是二阶势函数，形式如下：
[0078][0079]
公式(11)中，若xi≠xj，那么u(xi,xj)＝1，否则为0。wm是高斯核函数的权重，km(xi,xj)是高斯核函数，本发明是将两种高斯核函数进行线性组合作为二阶势函数，具体如下：
[0080][0081]
一种高斯核函数同时依赖于位置和光谱信息，另一种只依赖于位置信息。通过线性组合形成crfs模型，进一步学习空间上下文关系，从而细化边缘轮廓和提高分割精度。
[0082]
在本实施例中，在所述将所述目标土地影像输入至训练好的土地利用分类模型之前，还包括：
[0083]
根据样本土地影像以及样本土地影像中各像素对应的土地利用类型标签对所述土地利用分类模型进行训练，得到训练好的土地利用分类模型。在所述根据样本土地影像以及样本土地影像中各像素对应的土地利用类型标签对所述土地利用分类模型进行训练之前，还包括：
[0084]
获取样本土地原始影像；
[0085]
采用旋转、平移和缩放方法对所述样本土地原始影像进行图像增强处理，得到所述样本土地影像；
[0086]
对所述样本土地影像中各像素的土地利用类型进行标注。
[0087]
采用梯度递减方法对所述土地利用分类模型进行训练。
[0088]
在本实施例中，武汉大学官网下载获取gaofenimage dataset的large-scale dataset作为样本土地原始影像以及样本土地原始影像中各像素对应的土地利用类型标签的来源。
[0089]
对样本土地原始影像进行预处理：首先按照一定尺寸大小进行数据裁剪，删除标注错误的地物样本(例如，forest地物被错误标注为meadow地物等。)，清洗数据。在此基础上采用旋转、平移和缩放方法对样本土地原始影像进行图像增强得到所述样本土地影像，完成对现有数据集进行扩充。根据8:1:1的比例将土地利用数据集划分为训练集、验证集和测试集。
[0090]
将土地利用数据集的训练集和验证集输入土地利用分类模型中，按照梯度递减方
法进行深度学习，直到训练集和验证集拟合后，训练结束，得到训练好的土地利用分类模型。将土地利用数据集的测试集输入dadnet模型，预测得到分割后的第一样本土地分类图像。将所述第一样本土地分类图像输入条件随机场中，进一步优化，其中，根据overall accuracy和miou精度，选择最优迭代次数，从而得到条件随机场优化后的第二样本土地分类图像。选择recall、precision、f1-score、overallaccuracy和miou精度对第二样本土地分类图像进行多方位测试评定验证。若验证通过，则得到最终土地利用分类结果图。
[0091]
本发明提出的一种土地利用分类方法，无论是目视效果，还是评价指标，都要比fcn-8s、bisenet模型的分类效果更好。与fcn-8s、bisenet模型相比总体精度分别提高7.36％和1.61％。同时，发现crfs对fcn-8s、bisenet和dadnet等模型均能起到提升分类结果精度的作用。通过随机选取单幅测试集影像进行结果测试，发现与未结合crfs之前相比分别提升了0.70％、1.23％和0.42％。而在三种已结合的模型中，本发明的总体分类精度最高，达到93.04％。可见，本发明能够有效提升土地利用分类结果的精度，改善分类效果。
[0092]
本发明的土地利用分类模型采用了两种注意力机制，其中空间位置注意力模块将像素融合其他每个像素的位置信息，把其中相似的空间特征互相关联起来，从而防止出现地物分类错误；而通道注意力模块是在构建通道特征图之间的相互依赖性，通过这种通道特征图之间的相互关系，可以得到通道的权重大小，抑制不重要的语义特征，关注重要语义特征，以提高特定语义的特征表示。因此，对这两个注意力模块进行特征融合，不仅充分利用空间长程的上下文信息，也有效增强了语义特征表示。另外，crfs可以对分类结果进一步优化，通过描述像素点之间的关系，鼓励相似像素分配相同的标签，而相差较大的像素分配不同标签，从而可以综合其中的全局信息与局部信息，增加空间上下文关系，融入不同尺度的细节信息，使边缘轮廓更加精确细化，降低噪声的影响，减少空洞的问题，分类效果整体性更加连续。
[0093]
实施例2
[0094]
本发明还提供了一种土地利用分类系统，参见图8，该系统包括：
[0095]
目标土地影像获取模块t1，用于获取目标土地影像；
[0096]
第一土地分类图像确定模块t2，用于将所述目标土地影像输入至训练好的土地利用分类模型，对所述目标土地影像中各像素进行土地利用类型分类，得到第一土地分类图像；
[0097]
所述土地利用分类模型包括编码器、双路注意力模块、空间金字塔池化模块和解码器；所述双路注意力模块包括第一通道注意力模块和第一空间位置注意力模块；所述第一通道注意力模块用于对所述编码器提取的各局部特征进行有效特征的提取，得到通道注意力加权特征；所述第一空间位置注意力模块用于对所述编码器提取的局部特征进行加强，得到空间注意力加权特征；所述空间金字塔池化模块，用于对所述通道注意力加权和所述空间注意力加权特征进行融合，得到融合特征；
[0098]
第二土地分类图像确定模块t3，用于将将所述第一土地分类图像输入至条件随机场中，对所述第一土地分类图像中各像素进行土地利用类型分类，得到第二土地分类图像。
[0099]
所述系统还包括：
[0100]
相似像素确定单元，用于根据所述条件随机场确定所述第一土地分类图像中的相似像素，将所述相似像素分配为相同的土地利用类型。
[0101]
所述系统还包括：
[0102]
训练模块，用于根据样本土地影像以及样本土地影像中各像素对应的土地利用类型标签对所述土地利用分类模型进行训练，得到训练好的土地利用分类模型。
[0103]
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
[0104]
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。