基于图卷积自编码器的高光谱影像非线性解混方法及系统与流程

1.本发明涉及高光谱影像混合像元分解领域，特别涉及一种通过图卷积神经网络建立高光谱影像像元之间的图结构信息来完成影像非局部空间信息提取的技术，以数据驱动的方式完成线性混合模型到非线性混合模型的映射，实现影像的非线性混合像元分解。


背景技术：

2.高光谱影像蕴含丰富的光谱信息，能够以较高的光谱诊断能力对物质类别和属性进行精细化分析。然而，遥感影像的空间和光谱分辨率是相互制约的。高光谱影像较高的光谱分辨率使得其空间分辨率较低，而且由于地物覆盖的复杂性，导致高光谱影像中普遍存在混合像元问题。混合像元严重制约了高光谱影像从定性化分析向定量化描述方向的发展。传统的高光谱混像元分解方法通过建立数学模型进行优化求解，得到端元和丰度信息。但传统方法存在求解算法复杂，需手动设计先验信息等问题。近年来，深度学习发展迅速，被广泛应用于各个领域，且取得了很好的效果。高光谱混合像元分解的实质是一个函数逼近问题，即用端元矩阵和丰度矩阵去逼近原始观测数据。深度学习具有强大的拟合能力，只要网络足够深就能逼近任意连续函数，非常适合进行混合像元分解。
3.目前，混合像元分解的方法可归为四类：
4.基于几何的方法：该方法以凸面几何为基础，通过寻找单形体的顶点作为端元来实现混合像元分解。该方法的优点是计算复杂度小，概念明确，在高光谱混合像元分解中有着广泛应用，其缺点是不适用于高度混合的情况。
5.基于统计的方法：该方法将端元和丰度看做随机变量，通过统计模型中参数的估计来确定端元和其对应的丰度。该方法的优点是可以很好的克服数据高度混合的情况，且可以同时进行端元提取和丰度估计，其缺点是计算复杂度过高，模型求解困难。
6.基于稀疏回归的方法：该方法利用日渐完善的光谱库以半监督的方式进行混合像元分解，稀疏解混模型将含有大量端元的光谱库作为先验的过完备字典，其中的端元视为原子，通过将线性混合模型和稀疏表达的有效结合，自适应的选择少量的原子对目标光谱进行稀疏重构，从而实现稳健的丰度估计。该方法的优点在于进行丰度估计时不再依赖某种端元提取算法的性能，但该方法需要使用光谱仪在室内或室外采集地物的大量光谱数据，建立地物的光谱库要投入大量的时间和人力，并且在采集光谱数据的时候并不能保证和所使用的高光谱影像是同一个成像条件，这就使得光谱库中的端元和场景中实际包含的端元有所差异，这限制了使用光谱库进行稀疏分解的发展。
7.基于深度学习的方法：该方法主要采用自编码器网络，通过编码器将输入光谱映射为丰度，同时解码器采用线性映射来重建原始的输入光谱，然后将线性映射作为端元信息，最终实现混合像元分解。
8.但是，在基于深度学习的方法中，目前考虑了非线性混合的网络只适合某一类非线性混合场景，不足以涵盖多种非线性混合的情况，其泛化性还需进一步加强。此外，深度分解网络通常只考虑了影像中局部的空间信息，网络的空间感知能力不够。
9.可见，尚未出现理想的深度非线性分解网络，本领域亟待出现更具有实用性的技术方案。


技术实现要素：

10.针对现有基于深度学习的混合像元分解中的缺点，本发明提出一种基于图卷积自编码器的高光谱影像非线性混合像元分解方案，通过构建图结构挖掘高光谱影像中非局部的空间相关性。此外，为了增强网络对于非线性混合场景的泛化性，提出的方法将解码器设计为线性和非线性两部分，并基于更广义的后验非线性混合模型进行解混。
11.本发明的技术方案提供一种基于图卷积自编码器的高光谱影像非线性解混方法，包括以下步骤：
12.步骤1，根据给定的高光谱影像，计算其图结构信息；
13.步骤2，构建相应的深度分解网络，将高光谱影像及其图结构信息输入到网络中，然后设置网络的超参数，根据损失函数训练网络，直至训练收敛或达到最大训练轮数；
14.所述深度分解网络的编码器基于图卷积层对输入的原始影像x进行降维，得到原始影像的低维特征表达h，解码器由编码器得到的低维特征表达h重建出原始的输入影像包括分为线性和非线性两个部分来重建原始影像；整个网络通过最小化输入影像x和重建影像之间的误差来学习参数；
15.步骤3，网络训练结束后，提取网络中相应的隐层表达和权重分别作为丰度和端元信息，实现混合像元分解。
16.而且，步骤1中，计算图结构信息的方式为，把给定的高光谱影像记为其中，每一个代表具有l个波段的像元点；然后以像元点为顶点构造最近邻图，将图的邻接矩阵记为a，如果x
i
是x
j
的一个k最近邻域，则赋相应的权值为：
[0017][0018]
其中，σ是控制rbf宽度的参数。
[0019]
而且，步骤2中，深度分解网络的编码器使用到一系列的图卷积层来完成降维操作，其中图卷积层能够在网络中融入高光谱影像中的非局部空间相关性，得到低维特征表达h的过程简化表示为：
[0020]
h＝f
e
(x)
[0021]
解码器的任务是由编码器得到的低维特征表达h重建出原始的输入影像
[0022][0023]
解码器分为线性和非线性两个部分来重建原始影像，表达式如下：
[0024][0025]
其中，w是解码器线性部分的权重，非线性部分通过将线性部分重建得到的影像作为输入，从数据本身学习非线性混合成分的表达形式φ(wh)，最后将两部分的输出进行相
加得到网络最终的输出。
[0026]
而且，深度分解网络的编码器采用深度网络结构，包含三个图卷积层和两个批归一化层；对于输入的一幅高光谱影像，首先会经过三次图卷积操作来得到低维的特征表达，作为丰度，且前两次图卷积后都会进行批归一化；第一次图卷积后特征维数降至波段数的二分之一，第二次降至波段数的四分之一，第三次则降至端元数的大小；网络使用softmax函数作为编码器输出层的激活函数。
[0027]
而且，深度分解网络的解码器同样采用深度网络结构，解码器设计成线性部分和非线性部分重建输入影像，线性部分基于线性混合模型重建丰度和端元之间的线性关系，而非线性部分从数据本身学习端元和丰度之间的非线性关系；
[0028]
解码器的线性部分包含一层全连接层并且相应的偏置设为零，线性部分的输出表示如下：
[0029]
o
lin
＝wh
[0030]
线性部分的输出经过激活后会紧接着输入到非线性部分，经由三层全连接层学习端元之间的非线性相互作用；除了编码器的输出层中使用softmax激活函数外，网络中的其他层都使用leaky relu激活函数；非线性部分的输出表示如下：
[0031]
o
nlin
＝φ(o
lin
)
[0032]
最后将线性和非线性两部分的输出相加，得到重建的原始影像，解码器的最终输出为：
[0033][0034]
其中，φ(g)是通过非线性部分学习出的非线性函数。
[0035]
而且，深度分解网络通过最小化损失函数来估计端元、丰度和网络中的其他参数，网络的损失函数简化表示如下：
[0036]
l
all
＝l
base
ρl
reg
λl
spa
[0037]
其中包括基本损失项l
base
，权重衰减项l
reg
和丰度稀疏正则项l
spa
，λ、ρ是正则化参数，用来控制各项之间的平衡关系。
[0038]
而且，步骤3中，在网络训练完成后，通过以下对应关系来得到端元e和丰度信息s：
[0039]
端元提取：e
←
w
[0040]
丰度估计：s
←
h
[0041]
另一方面，本发明提供一种基于图卷积自编码器的高光谱影像非线性解混系统，用于实现如上所述的一种基于图卷积自编码器的高光谱影像非线性解混方法。
[0042]
而且，包括以下模块，
[0043]
第一模块，用于根据给定的高光谱影像，计算其图结构信息；
[0044]
第二模块，用于构建相应的深度分解网络，将高光谱影像及其图结构信息输入到网络中，然后设置网络的超参数，根据损失函数训练网络，直至训练收敛或达到最大训练轮数；
[0045]
所述深度分解网络的编码器基于图卷积层对输入的原始影像x进行降维，得到原始影像的低维特征表达h，解码器由编码器得到的低维特征表达h重建出原始的输入影像包括分为线性和非线性两个部分来重建原始影像；整个网络通过最小化输入影像x和重
建影像之间的误差来学习参数；
[0046]
第三模块，用于网络训练结束后，提取网络中相应的隐层表达和权重分别作为丰度和端元信息，实现混合像元分解。
[0047]
或者，包括处理器和存储器，存储器用于存储程序指令，处理器用于调用存储器中的存储指令执行如上所述的一种基于图卷积自编码器的高光谱影像非线性解混方法。
[0048]
本发明提出的基于图卷积自编码器的高光谱影像非线性混合像元分解方案，在编码器部分首次引入了图卷积神经网络(graph convolution network，gcn)。gcn通过建立样本点之间的图结构，能够建模中等和长距离样本之间的空间关系，相比于卷积这种逐块式的提取局部空间信息，图卷积更能从非局部的角度充分利用高光谱影像中蕴含的空间信息。
[0049]
同时，针对网络对于非线性混合场景泛化能力不强的问题，本发明提出的方法考虑了更广义的后非线性混合模型，并将网络的解码器设计为线性和非线性两部分来重建数据。另外，网络还通过对低维特征表达施加l
1/2
约束，顾及到了丰度矩阵的稀疏性。本发明不仅可以在网络学习的过程中，通过深度学习强大的非线性拟合能力实现线性混合模型到非线性混合模型的映射，增强网络的非线性建模泛化性能，还可以在提取低维特征编码(即丰度)过程中，充分挖掘影像的非局部空间信息，增强了网络的空间感知能力，从而提高了网络的分解精度。
[0050]
本发明提出的方法为高光谱影像后续的地物分类、图像增强、目标检测等定量化应用提供了重要基础和支持。因此，基于图卷积自编码器的高光谱影像非线性混合像元分解方法不仅具有非常重要的学术价值而且具有重要的现实意义。
附图说明
[0051]
图1是本发明实施例的网络结构图。
具体实施方式
[0052]
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图，对根据本发明一个实施例的深度非线性分解方法进一步详细说明。应当理解，此处所描述的具体实施例仅仅用于解释本发明，并不用于限定本发明。
[0053]
本发明针对深度分解网络的非线性建模泛化性能，通过将网络的解码器设计为线性和非线性两部分，运用深度学习强大的拟合能力学习线性混合模型到非线性混合模型的映射关系，从数据驱动的角度实现了非线性混合像元分解，提升了网络的实用性。另外，本发明通过引入图卷积神经网络，充分挖掘影像的非局部空间相关性，增强了网络的空间感知能力。
[0054]
本发明可采用计算机软件技术进行实现。以下结合图1详述实施例所提供一种基于图卷积自编码器的高光谱影像非线性解混方法，包括具体步骤如下：
[0055]
步骤1，根据给定的高光谱影像，计算其图结构信息。
[0056]
本发明中提出的基于图卷积自编码器的高光谱影像非线性混合像元分解方法，首先通过k近领域方法(k
‑
nearest neighbor，knn)来确定像元的连接关系，然后计算相应的邻接矩阵a。实施例中采用径向基函数来计算a中的权重值。实施例中的邻域个数k和径向基
函数的宽度σ根据经验分别设为10和1。具体实施时本领域技术人员可以根据具体使用的影像在经验值附近进行选取。
[0057]
实施例步骤1中，计算图结构信息的方式为，把给定的高光谱影像记为其中，每一个代表一个具有l个波段的像元点，n为像元点的数量，表示实数域。然后以像元点为顶点构造最近邻图，将图的邻接矩阵记为a，如果x
i
是x
j
的一个k最近邻域点，则赋相应的权值a
i,j
为：
[0058][0059]
式(1)为径向基函数(radial basis function,rbf)，其中σ是控制rbf宽度的参数，exp()为指数函数。
[0060]
步骤2，构建相应的深度分解网络，将高光谱影像x及其图结构信息a输入到网络中，然后设置网络的超参数，根据损失函数训练网络，直至训练收敛或达到最大训练轮数。
[0061]
实施例步骤2中，构建的网络结构见附图1。网络的编码器对输入的原始影像x进行降维，得到原始影像的低维特征表达h。在该部分使用到一系列的图卷积层来完成降维操作，其中图卷积层能够在网络中融入高光谱影像中的非局部空间相关性。得到低维特征表达h的过程可以简化表示为：
[0062]
h＝f
e
(x)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)
[0063]
其中，f
e
()表示x到h的映射关系。
[0064]
解码器的任务是由编码器得到的低维特征表达h重建出原始的输入影像
[0065][0066]
其中，f
d
()表示h到的映射关系。
[0067]
整个网络通过最小化输入影像x和重建影像之间的误差来学习参数。解码器分为线性和非线性两个部分来重建原始影像，表达式如下：
[0068][0069]
其中w是解码器线性部分的权重。非线性部分通过将线性部分重建得到的影像作为输入，从数据本身学习非线性混合成分的表达形式φ(wh)，φ()表示非线性映射函数。最后将两部分的输出进行相加得到网络最终的输出。
[0070]
网络的编码器采用深度网络结构，包含三个图卷积层和两个批归一化层，在附图中分别用gcn和bn表示。对于输入的一幅高光谱影像，首先会经过三次图卷积操作来得到低维的特征表达，即丰度，且前两次图卷积后都会进行批归一化。为进行有效的降维，第一次图卷积后特征维数降至波段数的二分之一，第二次降至波段数的四分之一，第三次则降至端元数的大小，如图中l/2、l/4、r。由于图卷积层通过建立样本点之间的图结构，可以挖掘影像中等距离和长距离像元之间的空间关系，所以特征表达中包含了深度的光谱空间信息。在前两个图卷积层后都会接一个批归一化层。为保证由深度图卷积网络提取的低维特征表达满足非负约束以及和为一约束。网络使用softmax函数作为编码器输出层的激活函数。
[0071]
网络的解码器同样采用深度网络结构。解码器设计成线性部分和非线性部分重建输入影像。线性部分基于线性混合模型重建丰度和端元之间的线性关系。而非线性部分从数据本身学习端元和丰度之间的非线性关系。
[0072]
解码器的线性部分包含一层全连接层并且相应的偏置设为零。线性部分的输出表示如下：
[0073]
o
lin
＝wh
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(5)
[0074]
线性部分的输出经过激活后会紧接着输入到非线性部分，经由三层全连接层学习端元之间的非线性相互作用。除了编码器的输出层中使用softmax激活函数外，网络中的其他层都使用leaky relu激活函数。非线性部分的输出表示如下：
[0075]
o
nlin
＝φ(o
lin
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(6)
[0076]
最后将线性和非线性两部分的输出相加，得到重建的原始影像，即解码器的最终输出为：
[0077][0078]
提出的网络通过最小化损失函数l
all
来估计端元、丰度和网络中的其他参数。网络的损失函数简化表示如下：
[0079]
l
all
＝l
base
ρl
reg
λl
spa
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(8)
[0080]
其中包括三部分：基本损失项l
base
，权重衰减项l
reg
和丰度稀疏正则项l
spa
。λ，ρ是正则化参数，用来控制各项之间的平衡关系。
[0081]
对于基本损失，网络采用谱角距离(sad)作为重建误差的度量。sad的一个优点是对光谱尺度的不变性。与均方误差(mse)相比，sad不需要重建出来的像元光谱与原始的完全相同，而是追求恢复出的光谱曲线与原始的光谱曲线在走势上相同，曲线的幅度可以不同。这样，可以在一定程度上缓解光谱变异性对解混过程的影响。sad损失函数表达式如下：
[0082][0083]
其中，x
i
表示网络输入的第i个像元的光谱向量，表示网络重建得到的第i个像元的光谱向量，n代表像元的个数。
[0084]
为使得网络易于训练并且防止过拟合现象的发生，网络对除去解码器线性部分权重外的其余权重施加l2正则化约束，该部分损失表达式如下：
[0085][0086]
其中，w
e(i)
表示编码器第i层的权重，w
d(j)
表示解码器第j层的权重。由于网络中使用softmax作为编码器的输出激活函数，所以使用l
1/2
正则化来促进丰度s的稀疏性：
[0087][0088]
其中，n为像元个数，r为端元个数。具体实施时需将上式约束施加在代表丰度信息的隐藏特征上。
[0089]
实施例中的影像大小为100
×
100，共包含198个波段。该影像中存在4种端元，具体
实施时本领域技术人员可以采用端元数目估计算法来确定影像中的端元数。因此，根据影像的光谱维大小和端元数目，可以确定网络各层的特征维度。在构建完网络后，将高光谱影像x及其图结构信息a输入到网络中进行参数的学习。由于深度分解网络中，代表端元信息的权重初始化要具有一定的物理意义，因此在实施例中采用vca方法提取端元矩阵，然后初始化相应的权重。本实施例中采用adam优化器来训练网络，总体的学习率设为5e
‑
4，解码器线性部分的学习率设为1e
‑
5，由于使用的是图卷积操作，所以批量大小设为整个影像的大小。权重正则化参数ρ设为1e
‑
5，稀疏正则化参数λ设为1e
‑
3，网络的训练轮数为500。具体实施时本领域技术人员可以根据具体使用的影像对网络的超参数进行调整。
[0090]
步骤3，待网络收敛或达到最大训练轮数后，提取网络中相应的隐层表达和权重分别作为丰度和端元信息，实现混合像元分解。
[0091]
步骤3中，在网络训练完成后，通过以下对应关系来得到端元e和丰度信息s：
[0092][0093]
其中，w表示解码器线性部分的权重，h表示编码器部分的输出，如附图所示。
[0094]
本领域普通技术人员可以理解，本发明不仅可以在网络学习的过程中，通过深度学习强大的非线性拟合能力实现线性混合模型到非线性混合模型的映射，增强网络的非线性建模泛化性能，还可以在提取低维特征编码(即丰度)过程中，充分挖掘影像的非局部空间信息，增强了网络的空间感知能力，从而提高了网络的分解精度。
[0095]
具体实施时，本发明技术方案提出的方法可由本领域技术人员采用计算机软件技术实现自动运行流程，实现方法的系统装置例如存储本发明技术方案相应计算机程序的计算机可读存储介质以及包括运行相应计算机程序的计算机设备，也应当在本发明的保护范围内。
[0096]
在一些可能的实施例中，提供一种基于图卷积自编码器的高光谱影像非线性解混系统，包括以下模块，
[0097]
第一模块，用于根据给定的高光谱影像，计算其图结构信息；
[0098]
第二模块，用于构建相应的深度分解网络，将高光谱影像及其图结构信息输入到网络中，然后设置网络的超参数，根据损失函数训练网络，直至训练收敛或达到最大训练轮数；所述深度分解网络的编码器基于图卷积层对输入的原始影像x进行降维，得到原始影像的低维特征表达h，解码器由编码器得到的低维特征表达h重建出原始的输入影像包括分为线性和非线性两个部分来重建原始影像；整个网络通过最小化输入影像x和重建影像之间的误差来学习参数；
[0099]
第三模块，用于网络训练结束后，提取网络中相应的隐层表达和权重分别作为丰度和端元信息，实现混合像元分解。
[0100]
在一些可能的实施例中，提供一种基于图卷积自编码器的高光谱影像非线性解混系统，包括处理器和存储器，存储器用于存储程序指令，处理器用于调用存储器中的存储指令执行如上所述的一种基于图卷积自编码器的高光谱影像非线性解混方法。
[0101]
在一些可能的实施例中，提供一种基于图卷积自编码器的高光谱影像非线性解混系统，包括可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序执行
时，实现如上所述的一种基于图卷积自编码器的高光谱影像非线性解混方法。
[0102]
应该注意到并理解，在不脱离后附的权利要求所要求的本发明的精神和范围的情况下，能够对上述详细描述的本发明做出各种修改和改进。因此，要求保护的技术方案的范围不受所给出的任何特定示范教导的限制。