一种联合深度学习与稀疏表示的高光谱图像分类方法与流程

1.本发明涉及高光谱图像处理技术领域，尤其是一种联合深度学习与稀疏表示的高光谱图像分类方法。


背景技术：

2.高光谱图像是一个多维信息数据，它包含二维空间信息和一维光谱信息。值得注意的是，高光谱图像的光谱信息由数百个连续的窄波段组成，范围从电磁光谱的可见光到近红外区域。得益于丰富的光谱信息，高光谱图像技术具有广泛的应用，如地质勘探、环境监测、军事监视等。
3.高光谱图像分类的任务是将每个像素分类为某个确定的土地覆盖类别。在过去的几十年里，出现了大量优秀的高光谱图像分类方法。起初，基于光谱信息的数理统计分类模型非常流行，例如支持向量机、多项式逻辑回归、稀疏表示。为了进一步提高分类精度，研究人员开始利用高光谱图像的空间信息。例如扩展形态学分析、马尔可夫随机场。将空间信息通过预处理或后处理的方式合并进分类过程中能够有效的提高分类精度。
4.随着gpu硬件技术的发展，计算速度和算力成本大幅度降低。深度学习技术在高光谱图像分类中引起了越来越广泛的关注。深度学习方法具有更强的拟合能力，在很多领域都取得了巨大的突破。
5.对有监督高光谱遥感图像分类而言，数据标签的数量往往是极为有限的，数据标签的获取是一项极其费时费力且成本昂贵的工作。由于成像条件的差异性，不同数据集上标签的通用性往往较差。因此，如何充分利用有限且少量的数据标签提高高光谱遥感图像分类精度是本领域技术人员需要解决的问题。


技术实现要素：

6.本发明提供了一种联合深度学习与稀疏表示的高光谱图像分类方法，利用多层感知机神经网络模拟稀疏表示，所学习的深度丰度特征挖掘了同类样本之间的相关性信息，因此仅需要较少数目的训练样本就能取得令人满意的分类精度，从而解决现有技术中存在的对训练样本数目依赖性大的技术问题。
7.本发明的技术方案如下：
8.一种联合深度学习与稀疏表示的高光谱图像分类方法，包括如下步骤：
9.获取一幅高光谱图像，包括k个像素、b个高光谱谱段和m类地物；
10.对高光谱图像数据做主成分分析，选取前第一预定数量个主成分作为光谱特征；
11.选取前第二预定数量个主成分，基于面积属性和惯性矩属性进行扩展形态学分析，从而得到扩展形态学特征；
12.将高光谱图像的每个像素作为一个样本，在每类地物样本中抽取固定数量的样本组成训练集，其余样本组成测试集；
13.从训练集中抽取每个样本位置对应的扩展形态学特征，组成一个端元集合；
14.建立联合稀疏表示的深度神经网络模型，包括稀疏表示模块和自编码特征提取模块；稀疏表示模块基于多层感知机神经网络实现，自编码特征提取模块基于自编码结构深度神经网络实现；
15.将训练集输入至稀疏表示模块，得到高光谱图像数据对于端元集合的深度丰度特征；
16.将光谱特征与深度丰度特征在光谱通道维度上进行级联，得到多维特征数据；
17.将多维特征数据输入至自编码特征提取模块，得到分类概率图；
18.设计损失函数，将分类概率图与真实地物标签做损失计算，并进行反向传播更新网络参数，对联合稀疏表示的深度神经网络模型进行训练；
19.训练结束后，将测试集输入至联合稀疏表示的深度神经网络模型，得到高光谱图像的最终分类结果。
20.其进一步的技术方案为，扩展形态学分析的公式为：
21.ap(x)＝{φ
k
(x),φ
k
‑1(x),...,φ1(x),x,γ1(x),...,γ
k
‑1(x),γ
k
(x)}
22.其中，x代表一个主成分的单通道图像数据，φ
k
(x)表示对数据x进行膨胀运算，γ
k
(x)表示对数据x进行侵蚀运算，k表示执行膨胀运算和侵蚀运算的次数；ap(x)表示对数据x进行扩展形态学滤波后的扩展形态学特征，通过扩展形态学滤波后，数据x的特征维度会从1变为2k 1维；
23.惯性矩属性表示为λ
i
＝{0.2,0.3,0.4,0.5}；面积属性表示为λ
i，ip
＝{100,500,900,1300,1700,2100,2500,2900,3300,3700,4100,4500,4900,5400}。
24.其进一步的技术方案为，选取前第二预定数量个主成分，基于面积属性和惯性矩属性进行扩展形态学分析，从而得到扩展形态学特征，包括：
25.初始化i＝0，k＝0；选取第i个主成分的单通道图像数据作为扩展形态学分析的对象，记为数据x；
26.通过递归迭代对数据x构建最大树和最小树；
27.根据预先设定的阈值对最大树进行剪枝，即为膨胀运算；同理对最小树进行剪枝，即为侵蚀运算；
28.根据剪枝后的层次化树型结构，重建图像得到φ
k
(x)和γ
k
(x)；
29.若i小于第二预定数量，则k＝k 1，i＝i 1，并重新执行通过递归迭代对数据x构建最大树和最小树的步骤；
30.若i大于等于第二预定数量，则将φ
k
(x)和γ
k
(x)在通道维度上级联，得到最后的扩展形态学特征。
31.其进一步的技术方案为，稀疏表示模块由四层全连接神经网络组成，其中前三层全连接神经网络的目标是求出深度丰度特征，将第四层全连接神经网络的参数设置为端元集合，目标是求出重构高光谱数据，从而根据重构误差对网络中的参数进行训练。
32.其进一步的技术方案为，自编码特征提取模块使用了针对于小样本情形重新设计并优化的u
‑
net结构作为骨架网络，优化后的u
‑
net结构包括依次相连的输入层、卷积层1、下采样层1、卷积层2、下采样层2、卷积层3、下采样层3、卷积层4、上采样层1、卷积层5、上采样层2、卷积层6、上采样层3、卷积层7和输出层；
33.输入层、输出层、各个下采样层和各个卷积层均使用二维卷积算子，各个上采样层
使用双三次插值算子，缩放系数为2；
34.输入层和卷积层1的核尺寸为3
×3×
96，步长为1；下采样层1和卷积层2的核尺寸为3
×3×
128，下采样层1的步长为2，卷积层2的步长为1；下采样层2、卷积层3的核尺寸为3
×3×
192，下采样层2的步长为2，卷积层3的步长为1；下采样层3的核尺寸为3
×3×
256，步长为2；卷积层4的核尺寸为3
×3×
192，步长为1；卷积层5的核尺寸为3
×3×
128，步长为1；卷积层6和卷积层7的核尺寸为3
×3×
96，步长为1；输出层的核尺寸为1
×1×
m，步长为1；
35.输入层、卷积层1、卷积层2、卷积层3、卷积层4采用分组标准化，且输入层、卷积层1、下采样层1、卷积层2、下采样层2、卷积层3、下采样层3、卷积层4的激活函数为relu。
36.其进一步的技术方案为，损失函数的公式为：
37.loss＝loss
rc
loss
cls
μ|a|
1/2
38.其中，loss
rc
表示重构误差损失，a
i
表示稀疏表示模块输出的第i个深度丰度特征向量，x
i
表示第i个样本，n表示每一批次的样本数目；
39.loss
cls
表示交叉熵损失函数，m表示地物类别的数目，y
ic
表示第i个样本的真实标签，p
ic
表示第i个样本的预测标签；
40.a表示稀疏表示模块所求得的深度丰度特征集合，a
ji
表示稀疏表示模块输出的第i个样本、第j个端元的深度丰度特征向量，p表示端元集合中端元的数目，也即训练样本的数目，μ为正则项系数。
41.其进一步的技术方案为，第一预定数量的取值范围为[10,25]，第二预定数量的取值范围为[3,5]。
[0042]
相比于传统求解丰度的正交匹配追踪算法，本发明的有益技术效果是：
[0043]
本技术将稀疏表示技术融入深度神经网络，针对于小样本情形重新设计并优化了u
‑
net结构，使其拥有更少的参数量，从而避免过拟合，深度丰度特征的求解和分类预测在统一的损失函数下训练，所有超参数都通过反向传播自动学习，避免了耗费大量时间进行交叉验证参数寻优；此外，本技术的深度丰度特征在学习过程中融入了高光谱图像的相关性信息，自编码特征提取模块融合了深度丰度特征与光谱特征，所提取的深度特征具有更强的鲁棒性和分类判别力，可以在数据样本比较少的情况下进行高精度分类，取得令人满意的效果。
附图说明
[0044]
图1是本技术提供的一种联合深度学习与稀疏表示的高光谱图像分类方法流程图。
[0045]
图2是本技术提供的稀疏表示模块的具体结构图。
[0046]
图3是本技术提供的自编码特征提取模块的具体结构图。
[0047]
图4是本技术提供的indian pines高光谱遥感图像及其分类图，(a)伪彩色图，(b)核稀疏表示分类(ksrc)的分类图，(c)概率化核协同表示分类(pkcrc)的分类图，(d)金字塔残差网络(presnet)的分类图，(e)基于内容指导的卷积神经网络(cgcnn)的分类图，(f)本
申请像素级分类图。
具体实施方式
[0048]
下面结合附图对本发明的具体实施方式做进一步说明。
[0049]
本技术提供了一种联合深度学习与稀疏表示的高光谱图像分类方法，如图1所示，具体包括以下步骤：
[0050]
步骤1：获取一幅高光谱图像，包括k个像素、b个高光谱谱段和m类地物。
[0051]
步骤2：对高光谱图像数据做主成分分析，选取前第一预定数量个主成分作为光谱特征。其中第一预定数量的取值范围为[10,25]，本实施例优选20。
[0052]
步骤3：选取前第二预定数量个主成分，基于面积属性和惯性矩属性进行扩展形态学分析，从而得到扩展形态学特征。其中第二预定数量的取值范围为[3,5]，本实施例优选4。
[0053]
扩展形态学分析的公式为：
[0054]
ap(x)＝{φ
k
(x),φ
k
‑1(x),...,φ1(x),x,γ1(x),...,γ
k
‑1(x),γ
k
(x)}
[0055]
其中，x代表一个主成分的单通道图像数据，φ
k
(x)表示对数据x进行膨胀运算，γ
k
(x)表示对数据x进行侵蚀运算，k表示执行膨胀运算和侵蚀运算的次数；ap(x)表示对数据x进行扩展形态学滤波后的扩展形态学特征，通过扩展形态学滤波后，数据x的特征维度会从1变为2k 1维。
[0056]
惯性矩属性表示为λ
i
＝{0.2,0.3,0.4,0.5}，面积属性表示为λ
i，ip
＝{100,500,900,1300,1700,2100,2500,2900,3300,3700,4100,4500,4900,5400}。
[0057]
扩展形态学分析过程具体包括如下步骤：
[0058]
步骤3
‑
1：初始化i＝0，k＝0；选取第i个主成分的单通道图像数据作为扩展形态学分析的对象，记为数据x。
[0059]
步骤3
‑
2：通过递归迭代对数据x构建最大树和最小树。
[0060]
步骤3
‑
3：根据预先设定的阈值对最大树进行剪枝，即为膨胀运算；同理对最小树进行剪枝，即为侵蚀运算。
[0061]
步骤3
‑
4：根据剪枝后的层次化树型结构，重建图像得到φ
k
(x)和γ
k
(x)。
[0062]
步骤3
‑
5：若i<4，则k＝k 1，i＝i 1，并重新执行步骤3
‑
2；
[0063]
若i≥4，则进入步骤3
‑
6。
[0064]
步骤3
‑
6：将φ
k
(x)和γ
k
(x)在通道维度上级联，得到最后的扩展形态学特征。
[0065]
步骤4：将高光谱图像的每个像素作为一个样本，在每类地物样本中抽取固定数量的样本组成训练集，其余样本组成测试集。
[0066]
步骤5：从训练集中抽取每个样本位置对应的扩展形态学特征，组成一个端元集合。
[0067]
步骤6：建立联合稀疏表示的深度神经网络模型，包括稀疏表示模块和自编码特征提取模块。
[0068]
如图2所示，稀疏表示模块基于多层感知机神经网络实现，稀疏表示模块由四层全连接神经网络组成，其中前三层全连接神经网络的目标是求出深度丰度特征，将第四层全连接神经网络的参数设置为端元集合，目标是求出重构高光谱数据，从而根据重构误差对
网络中的参数进行训练。其网络超参数具体如表1所示，其中p表示端元集合中端元的数目，也即训练样本的数目。
[0069]
表1稀疏表示模块网络超参数细节
[0070][0071]
如图3所示，自编码特征提取模块基于自编码结构深度神经网络实现，包含了压缩和恢复过程，有利于去除特征中的噪声影响，提取出具有鲁棒性的深度特征。该模块使用了针对于小样本情形重新设计并优化的u
‑
net结构作为骨架网络，优化后的u
‑
net结构拥有更少的参数量，从而避免过拟合，其网络超参数具体如表2所示。
[0072]
表2自编码特征提取模块网络超参数细节
[0073][0074][0075]
步骤7：将训练集输入至稀疏表示模块，得到高光谱图像数据对于端元集合的深度丰度特征。
[0076]
步骤8：将光谱特征与深度丰度特征在光谱通道维度上进行级联，得到多维特征数据。
[0077]
步骤9：将多维特征数据输入至自编码特征提取模块，得到分类概率图。
[0078]
步骤10：设计损失函数，损失函数的公式为：
[0079]
loss＝loss
rc
loss
cls
μ|a|
1/2
[0080]
其中，loss
rc
表示重构误差损失，a
i
表示稀疏表示模块输出的第i个深度丰度特征向量，x
i
表示第i个样本，n表示每一批次的样本数目；
[0081]
loss
cls
表示交叉熵损失函数，m表示地物类别的数目，y
ic
表示第i个样本的真实标签，p
ic
表示第i个样本的预测标签；
[0082]
a表示稀疏表示模块所求得的深度丰度特征集合，a
ji
表示稀疏表示模块输出的第i个样本、第j个端元的深度丰度特征向量，p表示端元集合中端元的数目，也即训练样本的数目，μ为正则项系数，本实施例中设置为1e
‑
6。
[0083]
将步骤9中自编码特征提取模块输出的分类概率图与真实地物标签做损失计算，并进行反向传播更新网络参数，对联合稀疏表示的深度神经网络模型进行训练。
[0084]
步骤11：训练结束后，将测试集输入至联合稀疏表示的深度神经网络模型，得到高光谱图像的最终分类结果。
[0085]
为验证本发明方法，采用indian pines高光谱公共数据集(参见图4
‑
(a))，利用本技术提供的像素级分类方法进行分类。indian pines数据由机载可视红外成像光谱仪对美国印第安纳州一块印度松树进行成像，其大小为145像素
×
145像素，空间分辨率为17米，成像波长范围为0.4
‑
2.5μm。去除噪声波段后，图像包含200个波段。
[0086]
本发明仿真实验采用的平台为：python 3.8.11，深度学习框架pytorch，处理器intel core i5，主频2.8ghz，显卡nvidia gtx 1060，显存6gb，内存16gb。
[0087]
对于训练集和测试集的划分，对每类标记地物选择固定数目的样本作为训练样本，其中，indian pines数据集中有很严重的样本数目不平衡现象，对于样本数目少于或接近划分训练集的固定数目的类别，使用一半作为训练集，其余的作为测试集。
[0088]
采用联合深度学习与稀疏表示的高光谱图像分类方法，其中对于每一类训练样本的采样的固定数目为20。同时，采用核稀疏表示分类(ksrc)，概率化核协同表示分类(pkcrc)，金字塔残差卷积网络(presnet)、基于内容指导的卷积神经网络(cgcnn)作为对比方法，在类平均正确率(aa)、总体正确率(oa)和kappa系数这三个指标上进行对比，具体分类图如图4(b)～4(f)所示，分类结果对比如表3所示。
[0089]
表3indian pines数据集分类与其他方法对比情况
[0090][0091]
由结果对比可知，相比于基础的ksrc方法，本技术方法将稀疏表示联合深度学习技术，在效果上取得了巨大的提升。pkcrc通过输出概率化协同表示结果，通过后处理的方式利用空间信息优化概率化输出。而本技术方法使用扩展形态学分析将空间信息融于深度丰度特征的求解过程，取得了更为出色的结果。相比于其他深度学习方法，例如presnet和
cgcnn，本技术方法在oa、aa和kappa系数上均有明显的提升。图4(f)是本技术方法在indian pines数据集每类20个训练样本下的分类图。
[0092]
以上所述的仅是本技术的优选实施方式，本发明不限于以上实施例。可以理解，本领域技术人员在不脱离本发明的精神和构思的前提下直接导出或联想到的其他改进和变化，均应认为包含在本发明的保护范围之内。