一种基于神经网络的小样本高光谱图像分类方法及装置与流程

1.本技术涉及图像处理技术领域，尤其涉及一种基于神经网络的小样本高光谱图像分类方法及装置。


背景技术：

2.随着遥感技术的发展，高光谱图像(hsi)在遥感领域受到了广泛的关注hsi数据同时包含光谱和空间信息，广泛应用于农业、监测、地理、工业、环境保护等领域，因此，在上述领域的实际应用中，遥感图像分析至关重要。高光谱图像能够同时描述地物空间分布的二维辐射信息和光谱信息，构成独特的空间、辐射和光谱三重信息合一的谱图。分类是高光谱图像处理技术中的一项重要内容，其最终目标是给图像中的每个像元赋以唯一的类别标识，在军事和民用方面都有着重要的应用。
3.近几年，许多基于光谱空间信息的分类方法的出现，取得了显著的性能改善。光谱空间分类方法一般分为两类。第一个方法分别提取光谱和空间特征，模型分类器负责特征融合，包括遥感图像融合和双通道卷积神经网络。第二种方法是同步提取光谱空间特征，并由分类器进行处理，其性能优于第一类方法。传统的hsi分类方法不断发展，近年来提出了许多基于深度学习的创新算法，特别是将卷积神经网络(convolutional neural network,cnn)应用到图像分类任务中，在hsi分类上取得了比其他方法更突出的效果。cnn的优势在于基于大数据和深度网络结构，hsi的大标记样本可以明显提高分类性能。然而，对研究人员来说，标签数据的收集涉及到困难、昂贵和耗时的地面运动。因此，在高光谱场景的文献中，有少量的标记样本可以用于图像分类。著名的休斯效应也表明，在训练样本有限的情况下，随着维度的增加，分类的准确率会降低。此外，基于光谱空间特征的cnn具有更好的分类性能，这需要更复杂的网络和巨大的计算量以便于提高基于cnn的hsi分类模型的效果。


技术实现要素：

4.为了解决现有技术中，基于卷积神经网络的高光谱图像分类中，往往采用hsi的大标记样本，这种方式需要复杂的网络和巨大的计算量，具有耗时长，对硬件要求高和需要网络质量过高的问题。本专利提出了一种用于小尺寸标记样本hsi分类的分割卷积神经网络，它可以减少特征图的各种维数的计算，并通过深层网络结构提高小尺寸标记hsi的分类性能。此外，分割卷积神经网络可以充分利用光谱空间信息提取融合特征。与其他分类方法的对比实验表明，分割卷积神经网络适合于小样本hsi分类，能够获得更好的分类性能。
5.在本发明的第一方面，公开一种基于神经网络的小样本高光谱图像分类方法，包括以下步骤：
6.s10，获取所有待分类的高光谱图像；
7.s20，根据所有待分类的高光谱图像，提取一维向量；
8.s30，将一维向量组合成一个二维矩阵；
9.s40，将二维矩阵通过降维和特征提取，得到二维特征图；
10.s50，将二维特征图重组为一维向量；
11.s60，根据一维向量的数量进行分类。
12.优选的，所述s20中提取一维向量为：
13.通过卷积提取一维向量：
[0014][0015]
g(x)＝x s
x
(h-1)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)
[0016]
式(1)和式(2)中，是卷积核k
l,i
的元素之一，i是第l层核的索引，是n
(l-1),i
的元素之一；(x,y,z)和(g(x),g(y),g(z),)均指示元素在其中的位置，其中为三维过程中卷积生成的特征图元素之一，h为指标；s
x
表示卷积在x方向上的步幅；
[0017]
output(m
(l 1),i
)＝f(m
l,i
b
l,i
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)
[0018]
其中，l表示考虑的层，m
l,i
为输入，b
l,i
是与m
l,i
相对应的偏差，函数f(
·
)表示校正的线性单位，为非饱和函数，函数m
(l 1),i
是卷积的结果。
[0019]
优选的，所述s40中的特征提取为：
[0020]
对二维进行卷积：
[0021][0022]
其中，(α,β)表示二维特征矩阵中的坐标。
[0023]
在本发明的第二方面，公开了一种基于频域滤波的图像瑕疵检测装置，包括：
[0024]
获取高光谱图像模块，获取所有待分类的高光谱图像；
[0025]
一维向量模块，根据所有待分类的高光谱图像，提取一维向量；
[0026]
二维矩阵模块，将一维向量组合成一个二维矩阵；
[0027]
二维特征图模块，将二维矩阵通过降维和特征提取，得到二维特征图；
[0028]
一维向量模块，将二维特征图重组为一维向量；
[0029]
分类模块，根据一维向量的数量进行分类。
[0030]
优选的，所述一维向量模块中的特征提取为：
[0031]
通过卷积提取一维向量：
[0032][0033]
g(x)＝x s
x
(h-1)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)
[0034]
式(1)和式(2)中，是卷积核k
l，i
的元素之一，i是第l层核的索引，是n
(l-1),i
的元素之一；(x,y,z)和(g(x),g(y),g(z),)均指示元素在其中的位
置，其中为三维过程中卷积生成的特征图元素之一，h为指标；s
x
表示卷积在x方向上的步幅；
[0035]
output(m
(l 1),i
)＝f(m
l,i
b
l,i
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)
[0036]
其中，l表示考虑的层，m
l,i
为输入，b
l,i
是与m
l,i
相对应的偏差，函数f(
·
)表示校正的线性单位，为非饱和函数，函数m
(l 1),i
是卷积的结果。
[0037]
优选的，所述一维向量模块中的特征提取为：
[0038]
对二维进行卷积：
[0039][0040]
其中，(α,β)表示二维特征矩阵中的坐标。
[0041]
本技术提出了一种基于神经网络的小样本高光谱图像分类方法，在本方法中，特征映射(feature map)的维度经历了四个阶段的变化。在小样本的情况下，本方法比其他基于cnn的分类方法更简单，分类效果更好。通过比较了本方法与一些最先进的小型标记hsi分类器的分类准确率，证明了本方法可以用更简单的cnn结构实现更高的准确率。
附图说明
[0042]
为了更清楚地说明本技术的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0043]
图1为本发明实施例公开的一种基于神经网络的小样本高光谱图像分类方法的流程图；
[0044]
图2为本发明实施例公开的一种基于神经网络的小样本高光谱图像分类方法的s20-s50的结构图；
[0045]
图3为本发明实施例公开的indian pines数据集图的分类结果；
[0046]
图4为本发明实施例公开的pavia university数据集图的分类结果；
[0047]
图5为本发明实施例公开的一种基于神经网络的小样本高光谱图像分类的结构框图。
具体实施方式
[0048]
为了解决现有技术中，基于卷积神经网络的高光谱图像分类中，往往采用hsi的大标记样本，这种方式需要复杂的网络和巨大的计算量，具有耗时长，对硬件要求高和需要网络质量过高的问题。本专利提出了一种用于小尺寸标记样本hsi分类的分割卷积神经网络，它可以减少特征图的各种维数的计算，并通过深层网络结构提高小尺寸标记hsi的分类性能。此外，分割卷积神经网络可以充分利用光谱空间信息提取融合特征。与其他分类方法的对比实验表明，分割卷积神经网络适合于小样本hsi分类，能够获得更好的分类性能。
[0049]
参见图1，图1是本技术提供的一种基于神经网络的小样本高光谱图像分类方法的流程图，应用于对应的装置。如图1所示，包括以下步骤：
[0050]
s10，获取所有待分类的高光谱图像。
[0051]
s20，根据所有待分类的高光谱图像，提取一维向量。
[0052]
参见图2，本方法中s20-s50中，都与特征提取相关。s20的主要作用为从原始hsi数据中提取三维特征。网络的输入是hsi的三维立方体，保持原有的光谱空间特征。对输入进行三维核函数卷积，同时提取光谱-空间特征图。此步骤有3个卷积层和1个最大池化层用于特征提取，随着层数的增加核数也在增加，最后的结果是由三维特征提取生成的若干的一维向量。
[0053]
所述s20中提取一维向量为：
[0054]
通过卷积提取一维向量：
[0055][0056]
g(x)＝x s
x
(h-1)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)
[0057]
式(1)和式(2)中，是卷积核k
l,i
的元素之一，i是第l层核的索引，是n
(l-1),i
的元素之一；(x,y,z)和(g(x),g(y),g(z),)均指示元素在其中的位置，其中为三维过程中卷积生成的特征图元素之一，h为指标；s
x
表示卷积在x方向上的步幅；
[0058]
output(m
(l 1),i
)＝f(m
l,i
b
l,i
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)
[0059]
其中，l表示考虑的层，m
l,i
为输入，b
l,i
是与m
l,i
相对应的偏差，函数f(
·
)表示校正的线性单位，为非饱和函数，比其他饱和函数更快，函数m
(l 1),i
是卷积的结果。
[0060]
s30，将一维向量组合成一个二维矩阵。
[0061]
所述的二维矩阵包含光谱空间特征，维数比hsi数据低。
[0062]
s40，将二维矩阵通过降维和特征提取，得到二维特征图。
[0063]
本步骤中的特征提取过程有三个卷积层和三个最大池化层，第三阶段的结果是一系列降维和特征提取后的二维特征图。两个完全连接层、dropout层和用于分类的softmax层处于s50中。
[0064]
所述s40中的特征提取为：
[0065]
通过卷积提取一维向量：
[0066][0067]
其中，(α,β)表示二维特征矩阵中的坐标。
[0068]
s50，将二维特征图重组为一维向量；
[0069]
s60，根据一维向量的数量进行分类。
[0070]
具体的，图3为本技术中一种基于神经网络的小样本高光谱图像分类方法的s20-s50的结构图。
[0071]
在本方法的三维特征提取过程中，有三个卷积层和一个最大池化层；在二维特征提取过程中，有三个卷积层和三个最大池化层。特征提取中kernel的数量和大小如下表所示。
[0072] indian pines数据集pavia university数据集oa(％)87.87
±
0.4198.18
±
0.29aa(％)82.88
±
1.4497.20
±
0.31k0.862
±
0.0050.976
±
0.004
[0073]
此外，本方法适应矩估计(adam)算法应用于本方法进行随机优化，辍学率为0.8，学习率为0.0001。本方法选取10*10个indian pines hsi立方体的空间面积，设置批量大小为40。pavia university的空间面积大小设为8*8，批量大小设为150。当交叉熵值小于5*10-6
时，训练停止。
[0074]
另外，基于tensorflow框架实现了本方法，并在cpu的intel core i7-6700@3.4ghz、gpu的nvidia gtx 1080ti和16gb ram上进行了实验。每个实验进行10次，以达到平均准确率，考虑了几种最先进的分类方法进行比较。在实验中，我们采用总体准确率(oa)、平均准确率(aa)和kappa系数来评价方法的分类性能。本方法在indian pines数据集上的分类结果如下表所示。
[0075][0076]
pavia university数据集上的分类结果如下表所示。
[0077][0078]
本方法对indian pines的oa为87.87％，aa为82.88％，aa为0.862。pavia university的oa为98.18％，aa为97.20％，aa为0.976。
[0079]
此外，实验中，选择了一些最先进的方法进行hsi分类，用小尺寸的标记样本与本方法进行比较。表格中列出了支持向量机[11]、omp[12]、nrs[13]、crt[14]、kcrt[14]和dkcrt[15]在indian pines和pavia university数据集上的分类结果，参见图3和图4，并与本方法进行了比较。这些方法都是小样本标记高光谱分类的有效方法，受到了研究者的认证。
[0080]
表格的数据中可以明显看出，本方法的分类性能优于其他方法。在indian pines的16个类中有5个，在pavia university的9个类中有8个，本方法获得了比其他方法更好的分类精度。同时，对于本方法来说，很明显地看出，每个类的样本越多，分类准确率越高。另外，本方法的分类性能与样本数量密切相关。
[0081]
进一步的，参考图5，在本发明实施例公开的一种基于神经网络的小样本高光谱图像分类装置，还包括：
[0082]
获取高光谱图像模块，获取所有待分类的高光谱图像；
[0083]
一维向量模块，根据所有待分类的高光谱图像，提取一维向量；
[0084]
二维矩阵模块，将一维向量组合成一个二维矩阵；
[0085]
二维特征图模块，将二维矩阵通过降维和特征提取，得到二维特征图；
[0086]
一维向量模块，将二维特征图重组为一维向量；
[0087]
分类模块，根据一维向量的数量进行分类。
[0088]
在以上的描述中阐述了很多具体细节以便于充分理解本发明。但是以上描述仅是本发明的较佳实施例而已，本发明能够以很多不同于在此描述的其它方式来实施，因此本发明不受上面公开的具体实施的限制。同时任何熟悉本领域技术人员在不脱离本发明技术方案范围情况下，都可利用上述揭示的方法和技术内容对本发明技术方案做出许多可能的变动和修饰，或修改为等同变化的等效实施例。凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所做的任何简单修改、等同变化及修饰，均仍属于本发明技术方案保护的范围内。