基于深度学习的高分遥感影像耕地变化检测装置及方法与流程

1.本发明涉及遥感影像智能解译技术领域，特别涉及基于深度学习的高分遥感影像耕地变化检测装置及方法。


背景技术：

2.随着遥感卫星的技术不断进步，对地观测获取高空间分辨率遥感影像也越来越容易，因高分辨率遥感影像内各地物的各种纹理、色彩、空间等特征信息比较明显，所以高分辨率遥感影像逐渐成为遥感地物信息处理的重要影像数据。
3.伴随着城乡建设快速发展，人类活动逐渐加剧，土地利用类型变化的速度日益加快，幅度日益加大，如何快捷高效地监测并更新土地利用类型成为遥感学科亟待解决的问题。土地利用类型更新最重要的环节是变化区域提取，即变化检测。目前土地利用变化检测的方式主要为人工目视解译，不仅耗费大量的人力，而且时间长，效果差，缺漏严重。随着土地变化速度的加剧，环境复杂性的加深以及遥感数据多样性的增加，传统的方法已经不能很好适应变化检测的需求。
4.为了解决上述问题，近年来使用机器学习的方法对高分辨率遥感影像进行地物变化检测的研究不断深入，使用机器学习的方法一般先根据专家设定的特征描述子提取遥感影像的光谱、纹理和结构特征，然后进行特征分类(特征分类方法包括最大似然法、决策树和支持向量机等基于浅层特征判别的有监督分类方法)，这种方法一般需要人工确定特征值及核函数，很难跨越底层图像数据与高层逻辑信息的语义鸿沟，分类精度往往较差。
5.传统的基于深度学习(如全卷积网络、segnet网络、u型网络等)的方法能够通过端到端地学习机制从数据中自动学习特征提取与特征分类模型，从而自适应地提取遥感影像的特征并进行分类。在具有充足有标记训练样本保障的前提下往往可以取得比较好的分类精度。然而，深度学习神经网络高度依赖数据学习，无法充分利用地物之间丰富的逻辑信息(如空间关系)进行自我纠错，其结果的可解释性较差(深度网络的黑盒特性仍然十分显著)及精度有待提高。


技术实现要素：

6.针对上述问题，本发明提出基于深度学习的高分遥感影像耕地变化检测方法及装置，以解决现有技术中存在的技术问题，能够通过采用聚合残差卷积层，将特征提取通道由单通道提取变为多通道提取，使网络充分学习图像的特征；引入残差模块可以使模型有效地训练更加深层的网络结构，防止由于网络加深而出现的模型退化等问题。
7.为实现上述目的，本发明提供了如下方案：本发明提供基于深度学习的高分遥感影像耕地变化检测装置，包括：影像校正单元、影像绘制单元、数据处理单元、模型构建单元、通信单元、终端设备；
8.所述影像校正单元、影像绘制单元、数据处理单元、模型构建单元、通信单元、终端设备依次相连；
9.所述影像校正单元用于采集耕地的高分辨率遥感影像，并对所述高分辨率遥感影像进行预处理，获得耕地校正影像；
10.所述影像绘制单元基于所述耕地校正影像绘制标签图；
11.所述数据处理单元用于对所述耕地校正影像和所述标签图进行分割处理，获取分割数据集；
12.所述模型构建单元用于对所述分割数据集进行卷积操作，提取所述分割数据集的特征，并基于所述特征构建resnext attu
‑
net模型，基于所述resnext attu
‑
net模型获取所述耕地的变化结果；
13.所述通信单元用于将所述耕地的变化结果传输至所述终端设备中。
14.优选地，所述影像校正单元包括采集模块和校正模块；所述采集模块、校正模块、影像绘制单元依次相连；
15.所述采集模块用于采集耕地的高分辨率遥感影像；
16.所述校正模块用于对所述高分辨率遥感影像进行预处理，获得耕地校正影像。
17.优选地，所述影像绘制单元包括解译模块和勾绘模块；所述校正模块、解译模块、勾绘模块、数据处理单元依次相连；
18.所述解译模块用于对所述耕地校正影像进行加载和人工目视解译，获得解译影像；
19.所述勾绘模块用于对所述解译影像中耕地变化的图斑进行勾绘，获得标签图。
20.优选地，所述数据处理单元包括分割模块和集合模块；所述校正模块和所述勾绘模块均与所述分割模块相连；所述分割模块、集合模块、模型构建单元依次相连；
21.所述分割模块用于对所述耕地校正影像和所述标签图进行分割处理，获取若干个影像分割图；
22.所述集合模块用于将所有所述影像分割图进行集合，获得分割数据集。
23.优选地，所述模型构建单元包括特征提取模块、聚合残差模块、模型构建模块；所述集合模块、特征提取模块、聚合残差模块、模型构建模块依次相连；
24.所述特征提取模块用于对所述分割数据集进行卷积操作，提取所述分割数据集的特征；
25.所述聚合残差模块用于对所述分割数据集的特征进行聚合残差处理；
26.所述模型构建模块基于经过所述聚合残差处理的所述特征构建resnext attu
‑
net模型，并基于所述resnext attu
‑
net模型获取所述耕地变化的结果。
27.优选地，所述通信单元包括第一通信模块和第二通信模块；所述第一通信模块置于所述模型构建单元中；所述第二通信模块置于所述终端设备中；
28.所述第一通信模块用于传输所述耕地变化的结果；
29.所述第二通信模块用于接收所述耕地变化的结果。
30.优选地，所述第一通信模块和所述第二通信模块之间通过2.4g无线连接。
31.基于深度学习的高分遥感影像耕地变化检测方法，包括以下步骤：
32.s1、采集耕地的高分辨率遥感影像，并对所述高分辨率遥感影像进行预处理，获得耕地校正影像；
33.s2、基于所述耕地校正影像绘制标签图；
34.s3、对所述耕地校正影像和所述标签图进行分割处理，获取分割数据集；
35.s4、对所述分割数据集进行卷积操作，提取所述分割数据集的特征，并基于所述特征构建resnext attu
‑
net模型，所述resnext attu
‑
net模型用于获取所述耕地的变化结果。
36.本发明公开了以下技术效果：
37.(1)将模型在上采样和下采样过程中的卷积层改为聚合残差卷积层，将特征提取通道由单通道提取变为多通道提取，使网络充分学习图像的特征；引入残差模块可以使模型有效地训练更加深层的网络结构，防止由于网络加深而出现的模型退化等问题；
38.(2)本发明改变了u
‑
net模型原始的跳跃连接，在跳跃连接的过程中引入了注意力机制，注意力机制可以对特征图中的每一个分量的权重进行调节，通过减小与任务无关特征图的权重来抑制对该类特征的学习，增大与任务相关的特征权重来加强对该类特征的学习。在高分辨率遥感影像的变化检测任务中，其重点是从两期影像中提取变化区域，因此通过引入注意力机制来，增大变化类型的信息权重从而使得模型重点对变化区域进行学习，同时减少未变化类型的权重，提高模型对变化类型的敏感性，能够获得更为精确的耕地变化情况。
附图说明
39.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
40.图1为本发明的装置模块图；
41.图2为本发明的方法流程图；
42.图3为本发明实施例中的聚合残差结构示意图；
43.图4为本发明实施例中的总体流程图；
44.图5为本发明实施例中前后影像的样本区域图；其中，(a)为前一期影像图；(b)为后一期影像图；
45.图6为本发明实施例中的神经网络结构图；
46.图7为本发明实施例中的关键结构图；
47.图8为本发明实施例中的影像前后对比图；其中，(a)为前一期影像图；(b)为后一期影像图；(c)为勾绘标签图；
48.图9为本发明实施例中的不同区域模型检测结果图；其中，(a)为区域1的模型检测结果图；(b)为区域2的模型检测结果图；(c)为区域3的模型检测结果图；
49.图10为本发明实施例中采用不同方法的检测结果对比图；其中，(a)为采用fcn方法的检测结果图；(b)为采用segnet方法的检测结果图；(c)为采用siamunet diff方法的检测结果图；(d)为采用u
‑
net方法的检测结果图；(e)为采用resnext attunet方法的检测结果图。
具体实施方式
50.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
51.为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
52.参照图1所示，本实施例提供基于深度学习的高分遥感影像耕地变化检测装置，包括：影像校正单元、影像绘制单元、数据处理单元、模型构建单元、通信单元、终端设备；影像校正单元、影像绘制单元、数据处理单元、模型构建单元、通信单元、终端设备依次相连。
53.影像校正单元用于采集耕地的高分辨率遥感影像，并对高分辨率遥感影像进行预处理，获得耕地校正影像；影像绘制单元基于耕地校正影像绘制标签图；数据处理单元用于对耕地校正影像和标签图进行分割处理，获取分割数据集；模型构建单元用于对分割数据集进行卷积操作，提取分割数据集的特征，并基于特征构建resnext attu
‑
net模型，基于resnext attu
‑
net模型获取耕地的变化结果；通信单元用于将耕地的变化结果传输至终端设备中；所述终端设备用于储存并查看耕地的变化结果。
54.其中，影像校正单元包括采集模块和校正模块；采集模块、校正模块、影像绘制单元依次相连；采集模块用于采集耕地的高分辨率遥感影像；校正模块用于对高分辨率遥感影像进行预处理，获得耕地校正影像。
55.影像绘制单元包括解译模块和勾绘模块；校正模块、解译模块、勾绘模块、数据处理单元依次相连；解译模块用于对耕地校正影像进行加载和人工目视解译，获得解译影像；勾绘模块用于对解译影像中耕地变化的图斑进行勾绘，获得标签图。
56.数据处理单元包括分割模块和集合模块；校正模块和勾绘模块均与分割模块相连；分割模块、集合模块、模型构建单元依次相连；分割模块用于对耕地校正影像和标签图进行分割处理，获取若干个影像分割图；集合模块用于将所有影像分割图进行集合，获得分割数据集。
57.模型构建单元包括特征提取模块、聚合残差模块、模型构建模块；集合模块、特征提取模块、聚合残差模块、模型构建模块依次相连；特征提取模块用于对分割数据集进行卷积操作，提取分割数据集的特征；聚合残差模块用于对分割数据集的特征进行聚合残差处理；模型构建模块基于经过聚合残差处理的特征构建resnext attu
‑
net模型，并基于resnext attu
‑
net模型获取耕地变化的结果。
58.通信单元包括第一通信模块和第二通信模块；第一通信模块置于模型构建单元中；第二通信模块置于所述终端设备中；第一通信模块用于传输耕地变化的结果；第二通信模块用于接收耕地变化的结果。第一通信模块和所述第二通信模块之间通过2.4g无线连接。
59.参照图2
‑
10所示，本实施例提供基于深度学习的高分遥感影像耕地变化检测方法，包括以下步骤：
60.s1、采集耕地的高分辨率遥感影像，并对高分辨率遥感影像进行预处理，获得耕地校正影像。
61.卫星在成像过程中，由于不同时刻所处的轨道位置、太阳高度角以及传感器的瞬时视场角不同，可能会导致获取到的遥感影像存在位置上的几何畸变，不能直接使用。因此，遥感影像解译的第一步就是对获取的影像进行预处理。预处理一般包括辐射校正、几何校正、图像增强等，通过对影像进行预处理，消除由于外部因素导致的“伪变化”，减弱对遥感影像变化检测的影响。
62.辐射校正是修正或消除传感器在接收来自地表物体发射的电磁波辐射能量时，由于受到大气作用以及光照条件等因素的影响，使得传感器接收到的探测值与地表物体实际发出的光谱辐射率不一致，从而导致影像灰度失真的现象，即辐射误差。
63.辐射校正又分为绝对辐射校正和相对辐射校正。其中，辐射校正采用相对辐射校正，即以两期影像中的一期影像为参考影像，另一期影像为待校正影像，采用回归分析方法建立两期影像之间的线性映射y
i
公式如下：
64.y
i
＝k
i
*x
i
b
i
65.式中，y
i
表示后一期待校正影像的在辐射校正后第i波段像元辐射亮度值，x
i
为待校正影像在第i波段的像元辐射亮度值，k
i
、b
i
为第i波段线性回归方程的斜率和截距。采用迭代加权多元算法在两期影像中选取伪不变特征点，经过多次迭代后选取阈值和权重值，采用最小二乘法对伪不变特征点进行计算，进而求得上述公式中的斜率k
i
和截距b
i
。
66.影像的几何误差是由于传感器平台的高度、地球曲率、空气折射的变化、地形变化等一系列因素造成的。几何校正就是对两期影像中的某类信息在规定的图像投影参考系统时，相同地物的几何位置、形状大小、空间位置等特征产生的几何形变误差。本技术利用控制点对影像进行几何校正，控制点选择的数量与几何校正使用多项式模型的次数有关，对于n阶多项式，理论上至少需要(n 1)*(n 2)/2个控制点，在实际选择控制点的过程中，控制点的数量至少要大于最低理论值。控制点的选择主要遵循以下原则：(1)控制点应选取在影像容易分辨、永久性并且比较精细的特征点，如房屋拐角处、道路交叉口、机场等；(2)图像上特征变化较大的区域应该多选择一些控制点；(3)图像边缘区域一定要选择控制点，避免造成经过校正的影像外推；(4)控制点的选择应在影像上分布均匀。本技术实施例以前一期影像为参考影像，后一期影像为待校正影像，几何校正采用二阶多项式模型进行校正，其公式为：
[0067][0068]
式中，x
l
、y
l
为校正后的后一期影像的像元坐标，x1和y1为前一期影像像元坐标。和为二阶多项式校正模型的系数，是由人工选取的控制点通过最小二乘方法得到的，i＝0，1，2，3，4，5。
[0069]
遥感影像中的图像增强的方法有很多，比如彩色增强、辐射增强等，不同的方法得到最后的结果是不同的。本技术实施例主要针对获取的两期影像进行灰度拉伸。灰度拉伸是一种简单、高效的线性图像增强方法。其中，分段线性灰度拉伸可以抑制图像中的低频部分，提升高频部分的对比度和亮度，提高图像的视觉效果更加明显，在对影像进行目视解译时，可以从影像中提取到对当前任务更加有用的信息。对实验所采用的两幅影像进行2％的线性拉伸，即对图像灰度值在2％和98％之间的像素灰度值进行线性拉伸，将小于2％和大
于98％的灰度值设置为0，这样可以舍弃部分异常值，将剩余范围内的像素值重新拉伸至0
‑
255的灰度值范围内，其公式为：
[0070][0071]
式中，g(x,y)表示处理后的图像，f(x,y)为输入图像，v为图像像素灰度值。
[0072]
s2、基于耕地校正影像绘制标签图。
[0073]
利用遥感影像处理软件将两期影像分别加载，采取人工目视解译的方式，勾绘两期影像中耕地变化的图斑，作为模型的训练样本。
[0074]
s3、对耕地校正影像和标签图进行分割处理，获取分割数据集。
[0075]
将s1和s2中得到的处理后的两期影像以及人工目视解译勾绘的标签图按照同一尺寸进行分割处理，将分割后的影像和标签图按照一定的比例划分为训练样本和验证样本。
[0076]
s4、对分割数据集进行卷积操作，提取分割数据集的特征，并基于特征构建resnext attu
‑
net模型，resnext attu
‑
net模型用于获取耕地的变化结果。
[0077]
首先调用深度学习框架pytorch中的卷积操作对输入的影像进行特征提取，由于一个卷积核只能提取一张特征图，不能将整个图像的不同特征全部提取出来，因此，每个卷积层都由若干个不同的卷积核来提取不同类型的特征，其中，低层的卷积层主要提取到图像的浅层特征，如边界、轮廓等信息，而高层的卷积层则是将低层卷积提取到的信息进行叠加综合从而提取图像的高级特征，如图像的几何关系、空间关系等。其次，调用pytorch中的池化操作。由于输入的图像经过卷积层后的特征图维度较高，且包含着一些不重要的高频信息，若将这些高维特征图直接输入到下一个卷积层的话，会导致模型的计算量变大、维数过高，从而出现过拟合的现象。因此，需要对经过卷积后的特征图进行聚合处理，即采用一种较小维度的特征来描述大面积区域的方法，这种方法可以降低特征图的维度，并且很好的保留特征图的主要特征，有效的降低参数的数量，防止发生过拟合现象。然而，上述的卷积操作仅对输入的图像进行了线性变换，无论神经网络中有多少隐含层进行叠加，输出的结果都是线性变换的组合，只能表达简单的映射关系。面对遥感影像等复杂的任务场景时，线性变换的模型表达能力不足，泛化能力也十分有限。因此，为了提高模型的表达能力和泛化能力，就需要引入激活函数将卷积层提取的线性特征映射为非线性特征，增强模型的泛化能力。
[0078]
针对u
‑
net模型在高分影像的变化检测中存在漏检、错检等现象，本发明对其改进。在原始u
‑
net模型的上下采样阶段，引入了聚合残差模块，要提高模型的准确率，传统方法都是加深或加宽网络，但是随着超参数数量的增加，网络设计的难度和计算开销也会增加。resnext结构可以在不增加参数复杂度的前提下提高准确率，同时还减少了超参数的数量。resnext处理相同尺寸的特征图时，采用相同大小、数量的卷积核，当特征图分辨率长宽降低两倍时，特征通道数翻倍，block中各分支采用相同结构，特征通道数的增加可以充分提取图像的特征信息，节省特征提取时间，提高检测精度(如图3所示)。在跳跃连接层增加注意力模块，注意力机制减小处理高维输入数据的计算负担，通过结构化的选取输入的子
集，降低数据维度，让任务处理系统更专注于找到图像变化的区域，增加变化区域信息权重的同时对非变化区域特征信息的抑制，忽略输入中的噪声和冗余，从而提高输出的质量。
[0079]
resnext attu
‑
net模型与u
‑
net模型结构相似，都是编码器、解码器和跳跃连接三部分组成。在编码器部分，resnext attu
‑
net模型是由4个卷积层和下采样层组成，其中卷积层部分采用上述提到的聚合残差卷积模块，以改善由于网络层数的加深而导致的模型退化的问题，同时多通道提取图像的特征信息，对图像的特征信息进行充分利用，提高变化检测精度。在每层编码器和解码器之间都采用合并注意力模块的跳跃连接，共4层。跳跃连接可以将浅层特征与深层特征在波段维度上进行拼接，添加的注意力模块可以对增加变化信息的特征权重，提升了模型的抗噪能力。
[0080]
本发明公开了以下技术效果：
[0081]
(1)将模型在上采样和下采样过程中的卷积层改为聚合残差卷积层，将特征提取通道由单通道提取变为多通道提取，使网络充分学习图像的特征；引入残差模块可以使模型有效地训练更加深层的网络结构，防止由于网络加深而出现的模型退化等问题；
[0082]
(2)本发明改变了u
‑
net模型原始的跳跃连接，在跳跃连接的过程中引入了注意力机制，注意力机制可以对特征图中的每一个分量的权重进行调节，通过减小与任务无关特征图的权重来抑制对该类特征的学习，增大与任务相关的特征权重来加强对该类特征的学习。在高分辨率遥感影像的变化检测任务中，其重点是从两期影像中提取变化区域，因此通过引入注意力机制来，增大变化类型的信息权重从而使得模型重点对变化区域进行学习，同时减少未变化类型的权重，提高模型对变化类型的敏感性，能够获得更为精确的耕地变化情况。
[0083]
最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。