一种高光谱遥感影像变化检测方法

1.本发明涉及一种高光谱遥感影像变化检测方法，特别是涉及一种引入时间依赖性和空间
ꢀ‑
光谱特征的高光谱遥感影像变化检测方法。


背景技术：

2.随着遥感技术的飞速发展，越来越多的遥感传感器被用于对地观测，对于地表的动态观测产生了大量可用的遥感影像，可用于监测土地覆盖和土地利用变化。目前，遥感变化检测已在城市扩展监测、灾害监测等方面得到了广泛的应用。
3.高光谱影像可以提供丰富的光谱和空间信息，多时相高光谱遥感影像对于揭示地表物体的细微变化具有重要意义。但目前针对高光谱遥感影像的变化检测方法大多来源于经典的单波段或多光谱变化检测方法，在高维特征的高光谱遥感影像中性能有限。近年来，深度神经网络在各种计算机视觉和遥感应用中取得了巨大的成功，对于变化检测同样具有较好的应用前景。目前基于深度学习的多光谱/高光谱变化检测主要采用cnn、rnn两种神经网络结构，或者将cnn与rnn结合提取深层特征进行变化检测。
4.大多数变化检测方法是针对多光谱和合成孔径雷达图像提出的。在高光谱图像适应性不足，高光谱图像的空间分辨率通常较低，但光谱分辨率非常高，尽管具有丰富光谱信息的高光谱图像被认为能够识别细微的变化。传统的单波段或多光谱图像的变化检测方法在高光谱图像变化检测任务中很少有应用，主要是由于其高维特征。相邻波段之间的信息冗余和图像的高维度给高光谱图像的变化检测算法开发带来了额外的困难。对于高光谱图像的分类，随着参与的波段数量的增加，分类精度通常会增加，然后减少，这就是所谓的"休斯"效应，这一效应在高光谱图像的变化检测中也是不可忽视的。


技术实现要素：

5.为了解决上述技术问题，本发明考虑到两时相的高光谱遥感影像存在时间关联，并且每个像元对应着较长的光谱序列，因此对于高光谱影像变化检测，长短时记忆(long short-termmemory，lstm)模型比其他深度学习模型具有更大的优势，而在lstm基础上改进得到的convlstm不仅可以像lstm一样建立时序关系，而且可以像cnn一样刻画局部空间特征。本发明以convlstm为基础提出了一种高光谱遥感影像变化检测方法。
6.lstm是一种循环神经网络，适合于处理时间序列，对于时间序列数据具有强大建模能力，可自适应学习多时相影像之间的时间依赖性。但lstm缺乏cnn空间特征提取的能力，忽略了影像中像素的邻域空间信息。而本发明将lstm和cnn结合的convlstm模型结合了二者的优势，可以学习两时相高光谱影像的联合光谱-空间-时间特征表示。
7.本发明的技术方案为：一种高光谱遥感影像变化检测方法，具体包括以下步骤：
8.步骤1、输入第一时相高光谱影像以及第二时相高光谱影像，分别剔除高光谱影像异常波段；
9.步骤2、利用变化向量分析法生成高置信度样本，作为神经网络训练样本；
10.步骤3、对高光谱图像进行pca降维；
11.步骤4、对于孪生卷积神经网络进行训练，完成训练后的孪生卷积神经网络用于对输入的不同时相高光谱影像进行降维、特征提取；
12.步骤5、输入两时相的特征张量，输出多尺度的时间-空间-光谱变化特征表征；
13.步骤6、结合注意力机制对输出多尺度的时间-空间-光谱变化特征进行特征融合，得到最终的检测结果。
14.进一步的，所述步骤2、利用变化向量分析法生成高置信度样本，作为神经网络训练样本，具体包括以：
15.用后一时相的高光谱图像减前一时相的高光谱图像，生成差异图像，通过大津阈值分割得到初始的差值图像，选取其中差异最大的10％像素作为训练标签，然后随机选择样本像素，选定的样本像素为中心的构建三维图像斑块，作为基于卷积长短时记忆神经网络模型的训练集。
16.进一步的，所述步骤3具体包括：
17.分别对第一时相和第二时相的高光谱图像进行如下运算：计算高光谱图像每个像素各波段均值得到波段均值图像，原始图像与波段均值图像做差得到平均偏差图像，计算平均偏差图像的协方差矩阵，对协方差矩阵进行特征值分解得到特征值和对应的特征向量，提取特征值较大的特征向量再组合作为降维后的图像，由此得到降维后的两个时相的高光谱图像。
18.进一步的，所述步骤4具体包括：
19.将降维后的两个时相的高光谱图像分别输入孪生神经网络的两个卷积神经网络分支，两个分支的权重值共享，每个分支只包括一个卷积层，卷积核的数目小于上一步骤降维后的通道数，使得特征维数进一步降低，输出第一时相和第二时相的高光谱图像对应的特征。
20.进一步的，所述步骤5具体包括：
21.上一步骤中输出的一对特征张量输入并联卷积长短时记忆神经网络模块，对来自两个时相的特征的空间、时间、光谱维度的特征提取，由于并联结构，得到由低层次和高层次特征构成的多尺度时间-空间-光谱特征输出。
22.有益效果：
23.本发明提出的变化检测方法，利用孪生卷积神经网络降低图像的维度，从而缓解了高光谱图像高维度、相邻波段信息冗余性对变化检测的影响，突出变化特征。通过并联结构，构建一个层次化卷积长短时记忆网络，形成不同梯度传播路径以输出不同尺度的隐藏状态，自适应地学习与真实变化相关的依赖性和光谱变化特征，增强对伪变化像素的鲁棒性。利用注意力机制融合不同路径的卷积长短时记忆单元输出的隐藏状态，对于两个时相的高光谱图像之间的多层次时间依赖进行建模，利用传统的变化向量分析法构建训练集，少量训练样本即可学习两个时相图像间的多尺度时间-空间-光谱特征表征，训练后的神经网络模型能够有效区分对由于成像条件和噪声造成的虚假变化像素和由于地物类型变化造成的真实变化像素。
附图说明
24.图1：convlstm神经网络结构；
25.图2：基于convlstm神经网络的变化检测流程图；
26.图3：mp-convlstm模块结构示意图。
具体实施方式
27.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅为本发明的一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域的普通技术人员在不付出创造性劳动的前提下所获得的所有其他实施例，都属于本发明的保护范围。
28.convlstm通过某一像元局部邻域的输入和过去状态来确定未来时刻像元的状态，相比lstm不仅能获得时间依赖性还能通过卷积提取空间特征。基于卷积长短时记忆神经网络的以上特性，利用该神经网络可以对不同时相的高光谱遥感影像进行光谱-空间-时间特征学习，用于土地利用/覆盖的变化检测。
29.根据本发明的一个实施例，本发明提出一种高光谱遥感影像变化检测方法，可采用 python编程语言实现上述方法，具体包括以下几个步骤：
30.步骤1、输入第一时相高光谱影像以及第二时相高光谱影像，分别剔除高光谱影像异常波段；
31.大气中的水汽对于光谱范围在1363～1440nm，1810～1957nm和大于2395nm的电磁波影响较大，在这些波长的电磁波中，地面信息受到极大干扰，因此需将处于这些波长范围的波段剔除。对于eo-1卫星hyperion传感器则为第107～116、152～170、214～224波段。
32.步骤2、利用变化向量分析法生成高置信度样本，作为神经网络训练样本，此处的训练样本作为步骤4的训练样本，经过步骤4处理得到的输出作为步骤5的输入；
33.采用经典的变化向量分析方法为网络训练生成样本。为了识别变化和未变化像素，用后一时相的高光谱图像减前一时相的高光谱图像，生成差异图像，通过大津阈值分割得到初始的差值图像，选取其中差异最大的10％像素作为训练标签，然后随机选择样本像素，选定的样本像素为中心的构建三维图像斑块，作为基于卷积长短时记忆神经网络模型的训练集。
34.步骤3、对高光谱图像进行pca降维(维数为c)；
35.pca的中心思想是降低由大量相关波段组成的高光谱图像的维数，同时尽可能多地保留数据集中存在的变化特征。主成分分析是一个正交化线性变换，把数据变换到一个新的坐标系统中，得到与原始数据特征数相同个数的主成分，这些主成分之间不相关，从而实现降低波段信息冗余性的目的，在高光谱图像主成分分析中，主成分为高光谱图像各个像素对应的光谱向量的协方差矩阵的特征向量，每个像素的光谱向量都变换为新的空间中的特征向量。将像素光谱向量定义为：
36.x
idx
＝[x1，x2，...xn]
t
[0037]
每个元素代表像素在某波段的像素值；
[0038]
向量的维数是初始高光谱图像的波段数n，对于一个有h行w列的高光谱图像，将有 m＝h*w个这样的向量，即idx＝1，...，m。所有图像向量的平均向量被表示并计算为：
[0039][0040]
协方差矩阵cov(x)定义为：
[0041]
cov(x)＝e{(x-e(x))(x-e(x))}
t
[0042]
其中e为期望，t表示转置，对于高光谱图像中像素特征向量的协方差矩阵cv
x
计算如下：
[0043][0044]
主成分分析中，对协方差矩阵特征值分解：
[0045]
cv
x
＝ada
t
[0046]
其中d＝diag(λ1，λ2，...，λn)是由协方差矩阵cv
x
特征值(λ1，λ2，...，λn)构成的对角矩阵，a 是由n维特征向量ak(k＝1，2，...an)组成的正交矩阵：
[0047]
a＝(a1，a2，..an)
[0048]
主成分分析的线性变换定义为：
[0049][0050]
则y
idx
为像素光谱向量x
idx
的主成分向量，在本发明每个像素的主成分向量只保留前c个主成分。
[0051]
步骤4、基于孪生卷积神经网络(即指孪生的“卷积长短时记忆神经网络模型”)降维、特征提取；孪生卷积神经网络是卷积长短时记忆神经网络的预处理模块，孪生卷积神经网络的输出作为卷积长短时记忆神经网络的输出。
[0052]
本发明提出的方法包括训练阶段和测试阶段。
[0053]it
∈{x(i，j)|1≤i≤h，1≤j≤w}代表在时间t的高光谱图像，其中h、w和c分别表示 hsi的列数、行数和波段数。主成分成分数和降维后的图像波段数相等，均为c，cv表示协方差矩阵。
[0054]
三维图像斑块是通过提取i
t
中 (m，n)位置的像素和周围的像素，尺寸为s
×s×
c，其中s代表列数、行数，c代表波段数。将主成分中m替换为ma，斑块是指中心像素与邻域像素构成的局部小图像。小图像的列(宽)和行 (高)相等，均为s。主成分成分数和降维后的图像波段数相等，均为c，cv表示协方差矩阵。
[0055]
在训练阶段，孪生卷积神经网络可以学习可训练的非线性函数，将两时相图像斑块p
t
，p
t-1
映射到特征空间中的张量x
t
，x
t-1
，张量尺寸为s
×s×
k，这样，如果两个图像斑块相似，两个张量之间的距离(例如，欧氏距离)就小，如果它们发生变化，距离就大。距离的自动学习过程是通过训练两个共享相同的权重的卷积神经网络分支来实现的。在本发明中，一个包括两个二维卷积层分支的孪生卷积神经网络(卷积核的数量小于输入图像通道的数量)被用来提取初步特征并降低高光谱图像的光谱维度。在输入孪生卷积神经网络后，斑块t的光谱维度从c减少到k，而空间维度保持不变。
[0056]
步骤5、输入两时相的特征张量，输出多尺度的时间-空间-光谱变化特征表征
[0057]
根据本发明的实施例，提出一种并联卷积长短时记忆网络模块(mp-convlstm)，输入两时相的特征张量，输出多尺度的时间-空间-光谱变化特征表征。本发明中，并联卷积长短时记忆网络模块(mp-convlstm)与孪生神经网络有不同的作用，孪生神经网络进行初步特征提取，并联卷积长短时记忆网络用于多尺度时间-空间-光谱特征的提取。
[0058]
传统的神经网络，包括卷积神经网络、全连接神经网络等前向传播神经网络的假定输入的数据是相互独立的，在提取特征时没有考虑输入间的时间依赖。在变化检测任务中，由于成像条件、噪声的影响，某些波段反射率的变化并非是由地物类型的变化引起，为了强化由地物类型变化造成的波段反射率特征，抑制与地物类型变化无关的波段变化特征(伪变化特征)。循环神经网络具备时序依赖建模能力，长短时记忆网络是一种经典的循环网络，但不适应二维图像处理，引入卷积模块的卷积长短时记忆神经(convlstm)可以对两时相高光谱图像的时间依赖性建模，通过卷积操作，所有的输入x
t
(x
t
在变化检测任务中表示为图像斑块 p
t
此处的x
t
应更改为p
t
的每个波段)、细胞状态c
t
、隐藏状态h
t
和门(i
t
，f
t
，o
t
)细胞状态c
t
综合了当前x
t
与前一时刻细胞状态c
t-1
的信息，门用于控制信息的通断，i
t
，f
t
，o
t
分别为输入门，遗忘门，输出门，输入门控制x
t
的信息融入细胞状态c
t
，遗忘门控制上一时刻细胞状态c
t-1
融入细胞状态c
t
，输出门将c
t-1
输出为隐藏状态h
t-1
都是三维张量第一维编码时间依赖，后两维学习空间相关性(如图2所示)。
[0059]
来自x
t
的每个波段的中心像素值(以及邻近的像素)的输入和过去的状态，都是 convlstm的输入，用于确定中心像素的未来状态，convlstm的关键方程如下：
[0060]it
＝σ(w
xi
*x
t
w
hi
*h
t-1
w
ci
⊙ct-1
bi)
[0061]ft
＝σ(w
xf
*x
t
w
hf
*h
t-1
w
cf
⊙ct-1
bf)
[0062]ct
＝f
t
⊙ct-1
i
t
⊙
tanh(w
xc
*x
t
w
hc
*h
t-1
bc)
[0063]ot
＝σ(w
xo
*x
t
w
ho
*h
t-1
w
co
⊙ct
bo)
[0064]ht
＝o
t
⊙
tanh(c
t-1
)
[0065]
w表示特征张量间的计算权重，b表示偏置张量，w是特征之间的权重，例如w
xi
表示输入特征x与输入门i之间的计算权重，σ表示sigmoid激活函数。
[0066]
其中
‘
*’表示卷积算子，
‘⊙’
表示哈达玛积，卷积长短时记忆网络一方面通过权重共享减少了参数的数量，另一方面通过考虑空间邻域像素有效地利用了空间域信息。隐藏状态 h
t
被认为是时域的短期记忆，而单元状态c
t
被认为是长期记忆。对于变化检测任务，输入数据是在两个不同时间获得的高光谱图像，它更关注短期时间依赖性。因此，convlstm输出的隐藏状态h
t
作为时间-空间-光谱变化特征。为了提取多层次(通道维度)的短期依赖性，本发明不是简单地将convlstm层串联堆叠，而是将convlstm单元并联成mp-convlstm模块(见图3)低层次的隐藏状态h
t
再送入convlstm单元，得到高层次的隐藏状态h
′
t
。从而提取多层次的短期依赖关系，高层次依赖关系捕捉光谱趋势的变化，低层次依赖关系对光谱的局部变化更敏感。同时，为了缓解层加深可能造成的梯度消失，将前端的隐藏状态输出h
t-1
与后端的隐藏状态h
t
连接起来，作为整个模块的最终输出。该模块通过其并联分支实现了短期依赖性的多层次建模，加强了对局部判别性的时间-空间-光谱特征的学习。
[0067]
步骤6、结合注意力机制进行特征融合
[0068]
虽然mp-convlstm输出的特征图尺寸相同，但空间-光谱特征的尺度和时间依赖程度在一定程度上有所不同。在融合这些特征时，需要一个自动通道选择机制来抑制通道间
的信息冗余。采用squeeze and excite network(senet)提出的注意力机制来重新校准通道间的特征反应，以建立通道间的相互依赖关系模型，使模型更关注信息量最大的通道特征，抑制那些不重要的特征，基本方程定义为：
[0069]
f＝[h0，h
‘0，h1，h
’1]，h0表示低层次第一时刻隐藏状态，h1表示低层次第二时刻隐藏状态，h
‘0表示低层次第一时刻隐藏状态，h
′1表示高层次第二时刻隐藏状态；
[0070]mse
＝σ(mlp(avgpool(f)) mlp(maxpool(f)))
[0071]
其中f是来自mp-convlstm的不同语义级特征(h0，h
′0，h1，h
′1)的合并张量，m
se
表示注意力张量，张量的维度为1
×1×
4k，σ表示sigmoid函数。mlp、avgpool和maxpool分别表示多层感知、平均池化和最大池化操作。
[0072][0073]
其中表示元素逐点的乘积，融合后的特征f
se
依次输入到网络后端的卷积层，平均池化层，得到变化概率。变化概率高的像素被识别为变化的像素，变化概率低的像素被识别为没有变化的像素。
[0074]
根据本发明的一个实施例，对两组数据集分别随机选取2％标记像元作为训练集进行模型的训练，剩余标记像元作为测试集用于模型精度的验证。
[0075]
本发明以eo-1卫星hyperion传感器获取的两景高光谱数据作为案例进行变化检测性能评价并与cnn、rnn以及传统的变化检测方法进行了对比。
[0076]
实验数据集
[0077]
包括通过机载可见光/红外成像光谱仪(airborne visible infraredimagingspectrometer，aviris)获得的来自两个不同场景的两时相高光谱影像，光谱波段数为224个，光谱范围为200～2400nm，光谱分辨率10nm，空间分辨率为20m，两个场景均包括变化像元、未变化像元、未标注像元三种类型，已完成几何配准。bay area数据集，拍摄时间为2013年和2015年，拍摄于美国加州帕特森市，大小为600x500像素。
[0078]
santa barbara数据集，拍摄时间为2013年和2014年，拍摄于美国加州圣塔芭芭拉市，大小为984x740像素。
[0079]
表1 aviris高光谱遥感变化检测数据集
[0080][0081]
精度评价指标：
[0082]
变化和未变化可以看作两种类别，因此变化检测可以看作是二元分类问题。常见的精度评估指标包括总体精度(oa)、用户精度(ua)、生产者精度(pa)和kappa系数，本发明采用这些指标来评估变化检测的准确性。
[0083]
以标准变化结果为参考值，模型输出结果为预测值，通过预测值和参考值比较，得到混淆矩阵，如表2。
[0084]
表2变化检测混淆矩阵
[0085][0086]
n为总像元个数
[0087]
总体分类精度：
[0088][0089]
用户精度：
[0090][0091]
生产者精度：
[0092][0093]
kappa系数：
[0094][0095]
(1)异常波段剔除
[0096]
大气中的水汽对于光谱范围在1363～1440nm，1810～1957nm和大于2395nm的电磁波影响较大，在这些波长的电磁波中，地面信息受到极大干扰，因此需将第107～116、152～170、 214～224波段剔除。
[0097]
(2)高光谱降维
[0098]
高光谱遥感数据虽然波段数很多，但相邻波段间往往具有较强的相关性，当所有波段全部用于变化检测时，效率低、计算量大，因此该研究中需对两个时相的高光谱遥感影像进行 pca降维。
[0099]
主成分分析取前5主成分将高光谱影像光谱数降至5，窗口大小设置为5*5，选取2％标记像元作为训练集进行模型的训练，训练批处理大小为128，训练集全部样本参与训练次数(epoch)为20次，剩余标记像元作为测试集用于模型精度的验证，重复实验10次，精度评定如表3：
[0100]
表3变化检测精度评定表
[0101]
[0102]
为了验证本发明提出的变化检测方法的有效性，与传统的变化向量分析法以及基于cnn 和rnn的深度学习变化检测方法进行对比分析。
[0103]
变化向量分析是通过两个时相间的向量大小表示变化的程度，在获得变化向量影像之后，通过阈值对变化向量进行分类，将影像分为未变化区域和变化区域。根据变化测度可以分为基于欧式距离和大津阈值的变化向量分析法(euc otsu)、基于波谱角距离和大津阈值的变化向量分析法(sam otsu)以及在sam otsu方法基础上，结合分水岭分割方法考虑空间邻域信息的sam wat otsu变化向量分析法，这三种方法分别进行变化检测实验。
[0104]
分别利用卷积神经网络(cnn)、循环神经网络(rnn)、卷积长短时记忆神经网络(convlstm)，输入样本进行三种神经网络的训练，训练样本设置为2％，批处理大小和 epoch等参数均保持一致，整幅图像输入训练后的神经网络，得到变化检测精度评价指标如表4。
[0105]
表4 santa barbara变化检测精度评价指标
[0106][0107]
基于convlstm的方法比传统方法以及cnn、rnn获得了更高的变化检测精度。对于bay area数据集，基于convlstm的变化检测oa和kappa系数可以达到0.9909、 0.9818，相比变化向量分析法提高2.2％、4.6％、相比rnn和cnn分别提高2.8％、5.9％和0.1％、0.1％；对于santa barbara数据集，基于convlstm的变化检测oa和kappa 系数为0.9969、0.9936，相比变化向量分析法提高3.6％、8.0％，相比rnn和cnn分别提高2.1％、4.6％和0.2％、0.3％。
[0108]
尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，且应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。