基于空谱联合网络的可解释高光谱图像分类方法及装置与流程

1.本技术涉及计算机图像处理技术领域，尤其是涉及一种基于空谱联合网络的可解释高光谱图像分类方法及装置。


背景技术：

2.高光谱遥感图像分类技术是高光谱遥感理论与应用研究的重要环节。它在高光谱图像分析的发挥基础性作用，可以有效的应用于环境检测、城市规划、地质岩矿的识别、植被的精细分类以及军事目标的探测等诸多方法，因此具有重大的研究价值。
3.目前，流行的深度学习方法已经能够较少的实现高光谱图像分类，但对于类内差异较大的类别容易实现过拟合，导致分类精确度难以进一步提升。


技术实现要素：

4.有鉴于此，提供了一种基于空谱联合网络的可解释高光谱图像分类方法及装置，用以提高对高光谱图像分类的精确度。
5.根据第一方面，本技术的实施例提供了一种高光谱图像分类方法，包括：
6.获取待检测高光谱图像数据；
7.利用sincnet网络提取所述高光谱图像数据的光谱特征，利用ds
‑
cnn网络提取所述高光谱图像数据的空间特征；
8.将所述光谱特征、所述空间特征进行叠加，并输入全连接层进行特征融合；以及
9.将特征融合后的数据进行分类。
10.结合第一方面，在一种可选的实现方式中，还包括对获得的高光谱图像数据进行第一预处理，所述sincnet网络基于第一预处理后的高光谱图像数据提取所述光谱特征。
11.进一步地，所述第一预处理包括：对原始高光谱图像进行自动聚类，得到新真值图；sincnet网络基于原始高光谱图像和新真值图提取所述光谱特征。
12.其中，所述自动聚类选采用基于密度峰值的自动聚类算法。
13.结合第一方面，在一种可选的实现方式中，还包括对获得的高光谱图像数据进行第二预处理，所述ds
‑
cnn网络基于第一和第二预处理后的高光谱图像数据提取所述空间特征。
14.进一步地，所述第二预处理包括：对原始高光谱图像数据进行pca降维，并裁切成图像块；ds
‑
cnn网络基于图像块以及所述第一预处理获得的新真值图提取所述空间特征。
15.结合第一方面，在一种可选的实现方式中，sincnet网络首层利用sinc函数滤波器作为一维卷积核进行特征提取。
16.结合第一方面，在一种可选的实现方式中，所述ds
‑
cnn网络采用六层二维卷积层实现图像空间信息提取，第一层为3
×
3的方形卷积核，第二层和第四层为1
×
5的横向条形卷积核，第三层和第五层为5
×
1的纵向条形卷积核，最后一层为2
×
2的方形卷积核。
17.根据第二方面，本技术的实施例提供了一种一种高光谱图像分类装置，包括：
18.图像获取设备，用以采集待检测的高光谱图像；
19.存储器，该存储器中存储有计算机指令；
20.处理器，与所述图像获取设备、存储器数据连接，其通过执行所述计算机指令，从而执行如上述技术方案任一项所述的高光谱图像分类方法，对高光谱图像进行自动分类。
21.根据第三方面，本技术的实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令在被处理器执行时实现如上述技术方案任一项所述的高光谱图像分类方法。
22.本技术针对高光谱图像分类精确度提出了一种空谱联合网络模型，提高了对高光谱图像分类的精确度。
附图说明
23.通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本技术的其他特征、目的和优点将会变得更明显：
24.图1是根据本技术第一实施方式的高光谱图像分类方法示意性流程图；
25.图2是pca算法的示例降维投影示意图。
26.图3是根据本技术实施例的基于空谱联合网络的可解释高光谱图像分类网络模型示意图；
27.图4是根据本技术实施例的sincnet网络模型示意图；
28.图5是根据本技术实施例的ds
‑
cnn网络模型示意图；
29.图6是一维卷积过程示意图；
30.图7是二维卷积过程示意图；
31.图8是采用本技术实施例提供的方法进行高光谱图像分类的一个示例；其中，(a)为高光谱图像，(b)为真值图，(c)完成分类的图像；
32.图9是本技术分类模型的训练方法示意性流程图；
33.图10是根据本技术另一实施方式的高光谱图像分类装置结构示意图。
具体实施方式
34.下面结合附图和实施例对本技术作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
35.需要说明的是，在不冲突的情况下，本技术中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本技术。
36.请参考图1，图1示出了本技术第一实施方式的基于空谱联合网络的可解释高光谱图像分类方法的示意性流程。如图1所示，该分类方法用于对高光谱图像中的地物类别进行自动分类，其具体包括如下步骤：
37.步骤101、获取待检测的原始高光谱图像数据；
38.进一步地，本技术针对在得到的高光谱图像数据进行预处理，该预处理具体包括：
39.首先，将获得的原始高光谱图像进行自动聚类，将原始高光谱图像中类内差异较大的类别进行二次划分，得到新的真值图。
40.其次，将原始高光谱图像进行压缩降维，去除冗余的光谱信息，以便降低计算量，加快空间信息提取过程。
41.然后，将降维后的图像进行镜像扩展，并以每个像素点为中心裁切成合适大小的图像块。即，若原始图像大小为m
×
n，则裁切图像块数量为m
×
n。
42.其中，自动聚类方法选取的是基于密度峰值的自动聚类算法。对高光谱降维方法选取的是主成分分析(pca)算法。
43.本技术实施例对高光谱图像进行自动聚类选取的方法是基于密度峰值的自动聚类算法。
44.基于密度峰值聚类算法是通过计算某个点周围点的密度，以及与周围点的距离来判断属于某一类。该算法认为，对于每个类的中心点，其周围点的密度应当比该类其他点的密度大。同时，本类中心点应该距离其他类中心点要足够远。局部密度的具体公式如下。
[0045][0046]
其中，如果x＜0，则χ(x)＝1，其他情况时，χ(x)＝0。同时，d
c
为截止距离。ρ
i
相当于与i点的距离小于d
c
的点的数量。
[0047]
计算距离具体公式如下。
[0048][0049]
即，当某点的密度不为最大时，该点不是中心点，则将距离设定为它到离它最近点的距离，当某点的密度最大时，说明该点是中心点，则将该点所对应的距离设为它到离它最远的点的距离。
[0050]
以密度ρ
i
作为横轴，距离δ
i
作为纵轴，绘制一幅点图，越靠近右上角的点则拥有最大的局部密度和最大的距离，可以认定为簇的中心点。该算法不需要迭代计算就可以将数据划分为合适的簇，同时也不需要预设中心点，具有较少的经验成分。
[0051]
本技术使用基于密度峰值的自动聚类方法，得到伪真值图，以伪真值图为参照计算误差，修改网络权重。其中，伪真值图中的每类差异小，使得网络不会造成过拟合，解决了高光谱图像分类中多存在的类内差异大的问题。
[0052]
本技术实施例对高光谱图像进行降维的方法是pca算法，并选取前三个主成分作为降维保留数据。图2示出了pca算法的示例降维投影示意图。
[0053]
pca(principal componentanalysis)，即主成分分析方法，是一种使用最广泛的数据降维算法。pca的主要思想是将n维特征映射到k维上，这k维是全新的正交特征也被称为主成分，是在原有n维特征的基础上重新构造出来的k维特征。
[0054]
pca方法的工作原理就是从原始的空间中顺序地找一组相互正交的坐标轴，新的坐标轴的选择与数据本身是密切相关的。其中，第一个新坐标轴选择是原始数据中方差最大的方向，第二个新坐标轴选取是与第一个坐标轴正交的平面中使得方差最大的，第三个轴是与第1,2个轴正交的平面中方差最大的。依次类推，可以得到n个坐标轴。
[0055]
观察这种方式获得的新坐标轴发现，大部分方差都包含在前面k个坐标轴中，后面的坐标轴所含的方差几乎为0。因此，可以忽略余下坐标轴，只保留前面k个含有绝大部分方
差的坐标轴。这相当于只保留包含绝大部分方差的维度特征，而忽略包含方差几乎为0的特征维度，实现对数据特征的降维处理。
[0056]
步骤102、利用高光谱图像分类模型处理所述高光谱图像数据，输出分类结果。
[0057]
在该步骤2中，所述高光谱图像分类模型对采用所述高光谱图像数据执行以下操作步骤：
[0058]
步骤1021、利用sincnet网络提取所述高光谱图像数据的光谱特征，利用ds
‑
cnn网络提取所述高光谱图像数据的空间特征；
[0059]
步骤1022、将所述光谱特征、所述空间特征进行叠加，并输入全连接层进行特征融合，完成分类。
[0060]
图3示出了根据本技术实施例的高光谱分类模型框架结构，该分类模型用于将高光谱图像进行自动分类。
[0061]
如图3所示，针对经过预处理的高光谱图像数据，该模型利用sincnet网络进行光谱特征提取，利用ds
‑
cnn网络进行空间特征提取，然后将提取的光谱特征和空间特征进行叠加，输入全连接层进行特征融合，并得到预分类结果。
[0062]
其中，针对原始图像数据和经过自动聚类预处理所得新真值图，该模型利用sincnet网络进行光谱特征提取。
[0063]
其中，针对经过降维、裁切预处理的高光谱图像数据和经过自动聚类预处理所得新真值图，该模型利用ds
‑
cnn网络进行空间特征提取。
[0064]
图4、图5示出了根据本技术实施例的分类模型中两路网络模型结构示意图。
[0065]
如图4所示，sincnet网络为以sinc函数滤波器作为卷积层构造具有可解释性的卷积神经网络。ds
‑
cnn(double strip cnn)为双条形卷积神经网络，其网络模型中包含两个不同方向的条形卷积层。
[0066]
sincnet网络主要由三层卷积构成。首层以sinc函数滤波器为卷积核构成的一维卷积层，可变参数为滤波器的最高频率和最低频率。后两层为标准一维卷积层，同时，每个卷积层后都加入最大池化层和批量标准化。
[0067]
本技术利用sincnet网络进行光谱特征提取，可减少网络层数，提高运算速度，同时提高网络的可解释性，减小深度网络方法普遍存在的“黑盒子”问题。
[0068]
如图5所示，ds
‑
cnn网络主要由三个卷积模块组成。初始模块由3
×
3的标准二维卷积层、一个dropout层和relu激活函数层构成；中间模块由四层条形卷积层构成，其中一、三层为1
×
5大小的横向条形卷积核，二、四层为5
×
1大小的纵向条形卷积核，每层后都连接一个dropout层和relu激活函数层；末尾模块由一个最大池化层、2
×
2标准二维卷积层、dropout层和relu激活函数层构成。最后通过向量拉伸使二维向量变为一维向量，以便能够与一维光谱特征结合。
[0069]
根据本技术实施例构建的分类模型，各模块主要内容均为卷积操作。如图6所示，在一维卷积中，某1
×
8的向量数据a
i
待处理，1
×
5的卷积核算子k依次滑动，实现对应数值相乘再相加，卷积结果为
[0070]
如图7所示，二维卷积原理类似，前一层特征图某5
×
5区域待处理，各像素值表示为a
ij
，3
×
3卷积核算子k(灰度区域中右下角数值)滑动遍历该区域，实现对应数值相乘再相
加，可得卷积处理的后一层特征图
[0071][0072]
所述分类模型利用ds
‑
cnn网络提取图像空间信息，与sincnet网络联合，分两路分别提取高光谱图像中的光谱信息和空间信息，因此可充分得到具有区分特征的信息，能够实现精化地物分类，提高分类的准确度。
[0073]
以下对所述高光谱图像分类模型的训练方法进行说明，所述方法包括以下步骤：
[0074]
步骤201、获取卫星采集的高光谱图像数据。
[0075]
所述图像为例如eo
‑
1卫星和天宫系列卫星等所采集的具有较高分辨率的高光谱图像，类别真值图为根据视觉信息人工标注所得。或者，至少部分的高光谱图像和相应真值图可直接从网络上下载。
[0076]
高光谱图像是通过搭载在不同空间平台上的高光谱传感器，在电磁波谱的紫外、可见光、近红外和中红外区域，以数十至数百个连续且细分的光谱波段对目标区域同时成像所得。在获得地表图像信息的同时，也获得其光谱信息，其真正做到了光谱与图像的结合。高光谱图像不仅在信息丰富程度方面有了极大的提高，在处理技术上为图像数据进行更为合理、有效的分析提供了可能。
[0077]
步骤202、对获得的高光谱图像数据进行预处理。
[0078]
该预处理具体包括：
[0079]
首先，将获得的原始高光谱图像进行自动聚类，将原始高光谱图像中类内差异较大的类别进行二次划分，得到新的真值图。
[0080]
其次，将原始高光谱图像进行压缩降维，去除冗余的光谱信息，以便降低计算量，加快空间信息提取过程。
[0081]
然后，将降维后的图像进行镜像扩展，并以每个像素点为中心裁切成合适大小的图像块。即，若原始图像大小为m
×
n，则裁切图像块数量为m
×
n。
[0082]
其中，自动聚类方法选取的是基于密度峰值的自动聚类算法。对高光谱降维方法选取的是主成分分析(pca)算法。
[0083]
其中，对高光谱图像进行自动聚类选取的方法是基于密度峰值的自动聚类算法。
[0084]
其中，对高光谱图像进行降维的方法是pca算法，并选取前三个主成分作为降维保留数据。图2示出了pca算法的示例降维投影示意图。
[0085]
步骤203、使用完成预处理的高光谱图像数据对所述网络模型进行训练，得到能够实现高光谱图像自动分类的分类模型。
[0086]
将完成预处理的图像数据输入到图3、4、5所示网络模型中。使用构建的网络模型对带标签的训练图像数据集(如图8(a)、(b))进行学习，得到初始化参数的网络模型。
[0087]
使用该模型对验证集图像进行地物分类预测，得到预测分类结果。
[0088]
通过对比预测结果(如图8(d))与完成聚类后的新真值图像(如图8(c))之间的区别，得到预测误差loss值。
[0089]
最后，将预测误差loss值传回网络中，进行梯度反馈，修正网络中各个模块单元参数。最终网络测试结果正确率由预测值和原始图像真值图决定。
[0090]
通过预定次数的循环计算，使得最终预测误差在设定阈值范围内，预测结果正确
率在期望范围内，得到具有准确实现地物分类能力的网络模型。
[0091]
通过计算预分类结果与新真值图之间的误差，并由梯度反馈将误差传回，可以修正各模块参数，通过迭代可达到最佳模型。
[0092]
最终测试分类结果则依据原始真值图标签类别，计算正确分类的像素个数，以正确分类像素数/全部像素数作为测试结果准确率；例如，如果原始真值图标签为a,b,c
…
，新真值图标签为a1,a2,b1,b2,c
…
，那么正确分类的像素需满足，真值图标签为a1/a2，预测结果也为a1/a2。其中，a1预测为a2不算该像素分类错误。
[0093]
尽管上述实施例以步骤先后顺序描述了上述方法，然而本领域技术人员可以理解，上述各方法的步骤并非严格按照上述先后顺序执行。
[0094]
训练好的分类模型具有最优组合参数，将遥感图像(如图8(a)所示)输入网络模型中，利用已经调整好参数的卷积、池化等模块对图像进行计算，实现特征提取，最后输入分类器实现高光谱图像地物的准确分类。
[0095]
同时，本技术所采用的网络模型中，sinc函数滤波器由于其可调参数为最高和最低截止频率，因此该部分卷积核具有较少的参数，能够实现更加快速的拟合，减少运行时间。并且，该sinc函数滤波器对光谱曲线波峰有较大的敏感性，其明确的物理含义使得神经网络具有更好的可解释性。
[0096]
此外，本技术所采用的网络模型中，通过加入条形卷积模块，可以提取某一像素周围局部区域不同方向的语义特征，能够结合条状区域的空间信息实现对中心像素的有效判别，提升类别判断准确性。
[0097]
根据本技术的另一实施方式，还提供了一种基于空谱联合网络的可解释高光谱图像分类装置，实现高光谱图像地物类别的准确分类。该高光谱分类装置可以由软件和/或硬件实现。
[0098]
如图10所示，该装置300包括图像获取设备301、存储器302以及处理器303。其中，图像获取设备301、存储器302以及处理器303可以通过总线或者其他方式连接。
[0099]
其中，图像获取设备301用以采集待融合的全色与多光谱图像，并将该待融合的全色与多光谱图像发送至处理器303。
[0100]
处理器303可以为中央处理器(central processing unit，cpu)，或者其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现场可编程门阵列(field
‑
programmable gatearray，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。
[0101]
存储器302作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本技术第一实施方式中的高光谱图像分类方法对应的程序或指令。
[0102]
处理器303通过运行存储在存储器302中的非暂态软件程序或指令，从而执行处理器的各种功能应用以及数据处理，即实现上述方法实施例中的高光谱图像分类方法。
[0103]
存储器302可以包括程序存储区和数据存储区，其中，程序存储区可存储操作系统、至少一个功能所需要的应用程序；数据存储区可存储处理器302所创建的数据等。
[0104]
此外，存储器302可以包括高速随机存取存储器，还可以包括非暂态存储器，例如
至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。
[0105]
在一些方面中，存储器302可选地包括相对于处理器303远程设置的存储器，这些远程存储器可以通过网络连接至处理器303。
[0106]
可选地，上述网络包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
[0107]
虽然通过以上实施例对本技术进行了较为详细的说明，但是本技术不仅仅限于以上实施例，在不脱离本技术发明构思的情况下，可以对本本技术实施例的技术方案进行修改或等同替换都不应脱离本技术实施例的技术方案的精神和范围。