高光谱图像分类方法、装置、电子设备及存储介质

1.本技术涉及图像分类领域，具体而言，涉及一种高光谱图像分类方法、装置、电子设备及存储介质。


背景技术：

2.高光谱成像技术是利用光谱分辨率很高的连续光谱通道不断从地球表面的物体或场景中提取信息的遥感成像技术，同时利用了光谱技术和成像技术，能够在可见光至近红外范围内获得许多连续的影像，每个影像数据都有几百个波段的光谱信息。高光谱图像分类在遥感应用中被广泛应用，可用于农业遥感、地图制图等领域进行地物目标识别。
3.现有的高光谱图像分类模型主要用于提取空间特征、光谱特征，单一的空间特征或者单一的光谱特征往往无法满足高分类进度的要求，且不能充分挖掘高光谱图像光谱波段之间的相关性，使得高光谱图像特征提取的不充分，导致在空谱特征区别不明显的地物分类准确率不高。


技术实现要素：

4.本技术的目的在于，针对上述现有技术中的不足，提供一种高光谱图像分类方法、装置、电子设备及存储介质，提高高光谱图像分类的准确性。
5.为实现上述目的，本技术实施例采用的技术方案如下：
6.第一方面，本技术实施例提供了一种高光谱图像分类方法，所述方法包括：
7.根据初始高光谱图像，获取多个大小相同的局部图像块，得到多个基准图像块，各所述基准图像块包括多层特征图，各层特征图包括多个光谱波段；
8.将各所述基准图像块输入预先训练得到的三维残差多层融合网络中进行空谱特征提取，得到由所述三维残差多层融合网络输出的多个二维特征图，各所述二维特征图分别用于表征一个光谱波段的空谱联合特征，所述空谱联合特征用于表征所述光谱波段在空间以及光谱上的关联特征；
9.将各所述二维特征图输入预先训练得到的特征分析网络中分析各所述二维特征图对应的各光谱波段间的光谱关联信息；
10.基于各所述二维特征图对应的各光谱波段间的光谱关联信息进行分类处理，得到所述初始高光谱图像对应的高光谱图像分类结果。
11.可选的，所述将各所述基准图像块输入预先训练得到的三维残差多层融合网络中进行空谱特征提取，得到由所述三维残差多层融合网络输出的多个二维特征图，包括：
12.将各所述基准图像块输入预先训练得到的三维残差多层融合网络中，由所述三维残差多层融合网络中的多个特征卷积层提取空谱特征，并由所述三维残差多层融合网络中与各特征卷积层对应的各特征处理层对所述空谱特征进行处理，得到多个维度的二维特征向量，其中，所述三维残差多层融合网络中包括原始卷积层以及在所述原始卷积层之后的且依次排列的所述多个特征卷积层，所述原始卷积层根据所述基准图像块输出初始空谱特
征图，各所述特征卷积层基于前一卷积层输出的空谱特征图进行卷积处理并向后一卷积层以及对应的特征处理层输出卷积处理后的空谱特征图；
13.由所述三维残差多层融合网络中与各特征处理层对应的全连接层对所述各二维特征向量进行特征融合，并由所述三维残差多层融合网络中的第二数据重构层将所有融合后的二维特征向量进行数据重构得到并输出所述多个二维特征图。
14.可选的，各所述特征处理层包括：池化层、降维层以及第一数据重构层；
15.所述由所述三维残差多层融合网络中的多个特征卷积层提取空谱特征，并由所述三维残差多层融合网络中与各特征卷积层对应的各特征处理层对所述空谱特征进行处理，得到多个维度的二维特征向量，包括：
16.由各特征卷积层对前一卷积层输出的空谱特征图进行空谱特征提取，输出特征提取后的空谱特征图；
17.由各所述池化层对所述空谱特征图进行最大池化，得到对应的第一输出特征图；
18.由各所述降维层对所述第一输出特征图进行降维处理，得到对应的第二输出特征图；
19.由各所述第一数据重构层对所述第二输出特征图进行数据重构，得到各维度的二维特征向量；
20.基于各维度的二维特征向量，得到所述多个维度的二维特征向量。
21.可选的，将各所述二维特征图输入预先训练得到的特征分析网络中分析各所述二维特征图对应的各光谱波段间的光谱关联信息，包括：
22.将各所述二维特征图输入所述特征分析网络中，由所述特征分析网络的分块层对各所述二维特征图进行分块处理，得到分块后的二维特征图，并将分块后的二维特征图作为第一维度特征图；
23.由所述特征分析网络的线性处理层基于第一维度特征图进行线性变换处理，得到第二维度特征图；
24.由所述特征分析网络的分析处理层对所述第二维度特征图进行光谱分析，得到各光谱波段间的光谱关联信息。
25.可选的，所述分析处理层包括：依次连接的多个分析处理子层；
26.所述由所述特征分析网络的分析处理层对所述第二维度特征图进行光谱分析，得到各光谱波段间的光谱关联信息，包括：
27.由所述分析处理层中的首个分析处理子层对所述第二维度特征图进行光谱分析，得到初始分析结果；
28.由所述分析处理层中首个分析处理子层后的各分析处理子层依次以前一分析处理子层的分析结果作为输入数据，进行光谱分析，并向后输出分析结果；
29.将所述分析处理层中最后一个分析处理子层输出的分析结果作为所述各光谱波段间的光谱关联信息。
30.可选的，所述分析处理层中的各分析处理子层分别包括多个连续的分析块，每个分析块中分别包括依次连接的第一归一化层、窗口多层自注意层、第二归一化层、第一多层感知机、第三归一化层、滑动窗口多头自注意层、第四归一化层以及第二多层感知机，所述第二多层感知机的输出结果作为所述分析块的输出结果，在所述多个分析块中，相邻两个
分析块中在前的一个分析块的输出结果作为在后的一个分析块的输入数据，所述多个分析块中最后一个分析块的输出结果作为所述分析处理子层的分析结果。
31.可选的，所述基于各所述二维特征图对应的各光谱波段间的光谱关联信息进行分类处理，得到所述初始高光谱图像对应的高光谱图像分类结果，包括：
32.将各光谱波段间的光谱关联信息输入分类模型，由所述分类模型中的两个全连接层和一个高斯误差线性单元根据所述光谱关联信息进行分类，得到所述初始高光谱图像对应的高光谱图像分类结果。
33.第二方面，本技术实施例还提供了一种高光谱图像分类的装置，所述装置包括：
34.获取模块模块，用于根据初始高光谱图像获取多个大小相同的局部图像块，得到多个基准图像块，各所述基准图像块包括多层特征图，各层特征图包括多个光谱波段；
35.提取模块，用于将各所述基准图像块输入预先训练得到的三维残差多层融合网络中进行空谱特征提取，得到由所述三维残差多层融合网络输出的多个二维特征图，各所述二维特征图分别用于表征一个光谱波段的空谱联合特征，所述空谱联合特征用于表征所述光谱波段在空间以及光谱上的关联特征；
36.分析模块，用于将各所述二维特征图输入预先训练得到的特征分析网络中分析各所述二维特征图对应的各光谱波段间的光谱关联信息；
37.分类模块，用于基于各所述二维特征图对应的各光谱波段间的光谱关联信息进行分类处理，得到所述初始高光谱图像对应的高光谱图像分类结果。
38.可选的，所述提取模块具体用于：
39.将各所述基准图像块输入预先训练得到的三维残差多层融合网络中，由所述三维残差多层融合网络中的多个特征卷积层提取空谱特征，并由所述三维残差多层融合网络中与各特征卷积层对应的各特征处理层对所述空谱特征进行处理，得到多个维度的二维特征向量，其中，所述三维残差多层融合网络中包括原始卷积层以及在所述原始卷积层之后的且依次排列的所述多个特征卷积层，所述原始卷积层根据所述基准图像块输出初始空谱特征图，各所述特征卷积层基于前一卷积层输出的空谱特征图进行卷积处理并向后一卷积层以及对应的特征处理层输出卷积处理后的空谱特征图；
40.由所述三维残差多层融合网络中与各特征处理层对应的全连接层对所述各二维特征向量进行特征融合，并由所述三维残差多层融合网络中的第二数据重构层将所有融合后的二维特征向量进行数据重构得到并输出所述多个二维特征图。
41.可选的，各所述特征处理层包括：池化层、降维层以及第一数据重构层；
42.所述提取模块具体用于：
43.由各特征卷积层对前一卷积层输出的空谱特征图进行空谱特征提取，输出特征提取后的空谱特征图；
44.由各所述池化层对所述空谱特征图进行最大池化，得到对应的第一输出特征图；
45.由各所述降维层对所述第一输出特征图进行降维处理，得到对应的第二输出特征图；
46.由各所述第一数据重构层对所述第二输出特征图进行数据重构，得到各维度的二维特征向量；
47.基于各维度的二维特征向量，得到所述多个维度的二维特征向量。
48.可选的，所述分析模块具体用于：
49.将各所述二维特征图输入所述特征分析网络中，由所述特征分析网络的分块层对各所述二维特征图进行分块处理，得到分块后的二维特征图，并将分块后的二维特征图作为第一维度特征图；
50.由所述特征分析网络的线性处理层基于第一维度特征图进行线性变换处理，得到第二维度特征图；
51.由所述特征分析网络的分析处理层对所述第二维度特征图进行光谱分析，得到各光谱波段间的光谱关联信息。
52.可选的，所述分析处理层包括：依次连接的多个分析处理子层；
53.所述分析模块具体用于：
54.由所述分析处理层中的首个分析处理子层对所述第二维度特征图进行光谱分析，得到初始分析结果；
55.由所述分析处理层中首个分析处理子层后的各分析处理子层依次以前一分析处理子层的分析结果作为输入数据，进行光谱分析，并向后输出分析结果；
56.将所述分析处理层中最后一个分析处理子层输出的分析结果作为所述各光谱波段间的光谱关联信息。
57.可选的，所述分析处理层中的各分析处理子层分别包括多个连续的分析块，每个分析块中分别包括依次连接的第一归一化层、窗口多层自注意层、第二归一化层、第一多层感知机、第三归一化层、滑动窗口多头自注意层、第四归一化层以及第二多层感知机，所述第二多层感知机的输出结果作为所述分析块的输出结果，在所述多个分析块中，相邻两个分析块中在前的一个分析块的输出结果作为在后的一个分析块的输入数据，所述多个分析块中最后一个分析块的输出结果作为所述分析处理子层的分析结果。
58.可选的，所述分类模块具体用于：
59.将各光谱波段间的光谱关联信息输入分类模型，由所述分类模型中的两个全连接层和一个高斯误差线性单元根据所述光谱关联信息进行分类，得到所述初始高光谱图像对应的高光谱图像分类结果。
60.第三方面，本技术实施例还提供了一种电子设备，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的程序指令，当应用程序运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述程序指令，以执行上述第一方面所述的高光谱图像分类方法的步骤。
61.第四方面，本技术实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被读取并执行上述第一方面所述的高光谱图像分类方法的步骤。
62.本技术的有益效果是：
63.本技术提供的一种高光谱图像分类方法、装置、电子设备及存储介质，通过根据初始高光谱图像获取多个大小相同的局部图像块，得到多个基准图像块，各基准图像块可以包括多层特征图，各层特征图可以包括多个光谱波段；将各基准图像块输入预先训练得到的三维残差多层融合网络中进行空谱特征提取，得到由三维残差多层融合网络输出的多个二维特征图；将各二维特征图输入预先训练得到的特征分析网络中分析各二维特征图对应
的各光谱波段间的光谱关联信息；基于各二维特征图对应的各光谱波段间的光谱关联信息进行分类处理，得到初始高光谱图像对应的高光谱图像分类结果。通过预先训练得到的三维残差多层融合网络进行空谱特征提取，通过特征分析网络对各光谱波段间的关联信息进行分析，充分挖掘高光谱图像各光谱波段间的相关性，并基于各光谱波段间的关联信息进行分类，可以明显提高空谱特征在区别不明显时的地物的分类精度。
附图说明
64.为了更清楚地说明本技术实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本技术的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
65.图1为本技术实施例提供的一种示例性场景示意图；
66.图2为本技术实施例提供的一种高光谱图像分类方法的流程示意图；
67.图3为本技术实施例提供的一种空谱特征提取方法的流程示意图；
68.图4为本技术实施例提供的另一种空谱特征提取方法的流程示意图；
69.图5为本技术实施例提供的一种特征分析的流程示意图；
70.图6为本技术实施例提供的另一种特征分析的流程示意图；
71.图7为本技术实施例提供的各分析处理子层的结构示意图；
72.图8为本技术实施例提供的高光谱图像分类示例性的完整结构示意图；
73.图9为本技术实施例提供的一种高光谱图像分类方法的装置示意图；
74.图10为本技术实施例提供的一种电子设备的结构框图。
具体实施方式
75.为使本技术实施例的目的、技术方案和优点更加清楚，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，应当理解，本技术中附图仅起到说明和描述的目的，并不用于限定本技术的保护范围。另外，应当理解，示意性的附图并未按实物比例绘制。本技术中使用的流程图示出了根据本技术的一些实施例实现的操作。应该理解，流程图的操作可以不按顺序实现，没有逻辑的上下文关系的步骤可以反转顺序或者同时实施。此外，本领域技术人员在本技术内容的指引下，可以向流程图添加一个或多个其他操作，也可以从流程图中移除一个或多个操作。
76.另外，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本技术实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本技术的实施例的详细描述并非旨在限制要求保护的本技术的范围，而是仅仅表示本技术的选定实施例。基于本技术的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本技术保护的范围。
77.需要说明的是，本技术实施例中将会用到术语“包括”，用于指出其后所声明的特征的存在，但并不排除增加其它的特征。
78.图1为本技术实施例提供的一种示例性场景示意图，如图1所示，该方法应用于电子设备中，该场景中涉及电子设备以及存储设备。该电子设备例如可以为台式电脑、笔记本
电脑等具有计算处理能力以及显示功能的终端设备，或者也可以是服务器；该存储设备可以是该电子设备中的本地存储，也可以是与该电子设备连接的其他存储设备。该电子设备可以从存储设备中获取到高光谱图像，对获取到的高光谱图像利用本技术实施例的方法进行分析处理，得到高光谱图像分类结果。
79.图2为本技术实施例提供的一种高光谱图像分类方法的流程示意图，该方法的执行主体如前述的电子设备中。如图2所示，该方法包括：
80.s101、根据初始高光谱图像获取多个大小相同的局部图像块，得到多个基准图像块。
81.可选的，初始高光谱图像是通过对目标地物的每个空间像元经过多个波段进行连续的光谱覆盖得到的一个三维立方数据体，该三维立方数据体可以包括目标地物的二维几何空间和光谱信息，其中，光谱信息为各波段的信息。如果将高光谱图像的每个波段对应的图像数据看成一个层面，则高光谱图像可以包括各层面、按波段顺序排列的立方体。
82.其中，目标地物可以包括多种对象，例如森林、灌木、草地、房屋、道路、溪水等对象。
83.示例性的，若一个初始高光谱图像为z∈rw×h×
l
，则，w
×
h为二维几何空间分辨率，l为光谱波段数。
84.可选的，由于初始高光谱图像包含的信息量较多，且初始高光谱图像中包含多个像素，则在分析初始高光谱图像时可以对该初始高光谱图像中的局部图像块分别进行局部分析，具体地，可以以该初始高光谱图像中每个像素为中心，获取在每个像素预设范围内的局部图像区域，作为初始高光谱图像的局部图像块，其中该预设范围例如可以为32
×
32大小的方块，则可以得到多个32
×
32
×
l大小的局部图像块，将获取到的多个大小相同的局部图像块可以作为多个基准图像块，其中各基准图像块可以包括多层特征图，各层特征图可以包括多个光谱波段。
85.s102、将各基准图像块输入预先训练得到的三维残差多层融合网络中进行空谱特征提取，得到由三维残差多层融合网络输出的多个二维特征图。
86.可选的，三维残差多层融合网络中可以包括多层神经网络，通过预先训练得到的三维残差多层融合网络中的多层神经网络，对各基准图像块中的各层特征图进行空谱特征提取，可以提取到初始高光谱图像的浅层空谱特征以及深层空谱特征，之后根据三维残差多层融合网络中的其他神经网络层将提取空谱特征后的各层特征图进行预设处理，输出多个二维特征图，其中，各二维特征图分别用于表征一个光谱波段的空谱联合特征，空谱联合特征用于表征光谱波段在空间以及光谱上的关联特征，光谱信息中包含与其他波段间的相关信息。若有l个光谱波段数，则，会有l个二维特征图。
87.示例性的，若根据上述s101步骤获取的32
×
32
×
l大小的基准图像块，则，可以有l个32
×
32大小的二维特征图。
88.s103、将各二维特征图输入预先训练得到的特征分析网络中分析各二维特征图对应的各光谱波段间的光谱关联信息。
89.可选的，预先训练得到的特征分析网络中可以包含多层神经网络，通过预先训练得到的特征分析网络中的多层神经网络对各二维特征图对应的各光谱波段间的关联信息进行分析。
90.其中，各光谱波段间的数据是相互存在关联性的，具有相关性特征，一个二维特征图表征一个光谱波段的空谱联合特征，多个二维特征图表征多个光谱波段的空谱联合特征。
91.s104、基于各二维特征图对应的各光谱波段间的光谱关联信息进行分类处理，得到初始高光谱图像对应的高光谱图像分类结果。
92.可选的，对于空谱特征相近的地物，例如同谱异物或者同物异谱的情况，各光谱波段间的关联信息是分析空谱特征相近的地物的重要特征，可以在预设神经网络中，将不同的地物根据各光谱波段间的关联信息进行分类，得到高光谱图像的分类结果，则，高光谱图像上的不同地物可以使用不同的颜色分类进行显示，例如森林可以使用绿色显示，灌木可以使用蓝色显示，湖水可以使用白色显示等。
93.本实施中，通过根据初始高光谱图像获取多个大小相同的局部图像块，得到多个基准图像块，各基准图像块可以包括多层特征图，各层特征图可以包括多个光谱波段；将各基准图像块输入预先训练得到的三维残差多层融合网络中进行空谱特征提取，得到由三维残差多层融合网络输出的多个二维特征图；将各二维特征图输入预先训练得到的特征分析网络中分析各二维特征图对应的各光谱波段间的光谱关联信息；基于各二维特征图对应的各光谱波段间的光谱关联信息进行分类处理，得到初始高光谱图像对应的高光谱图像分类结果。通过预先训练得到的三维残差多层融合网络进行空谱特征提取，通过特征分析网络对各光谱波段间的关联信息进行分析，可以充分挖掘高光谱图像各光谱波段间的相关性，并基于各光谱波段间的关联信息进行分类，可以明显提高空谱特征区别不明显时的地物的分类精度。
94.图3为本技术实施例提供的一种空谱特征提取方法的流程示意图，如图3所示，上述步骤s102将各基准图像块输入预先训练得到的三维残差多层融合网络中进行空谱特征提取，得到由三维残差多层融合网络输出的多个二维特征图，可以包括：
95.s201、将各基准图像块输入预先训练得到的三维残差多层融合网络中，由三维残差多层融合网络中的多个特征卷积层提取空谱特征，并由三维残差多层融合网络中与各特征卷积层对应的各特征处理层对空谱特征进行处理，得到多个维度的二维特征向量。
96.可选的，该三维残差多层融合网络中可以包括原始卷积层以及在原始卷积层之后的且依次排列的多个特征卷积层，原始卷积层根据各基准图像块输出初始空谱特征图，各特征卷积层基于前一卷积层输出的空谱特征图进行卷积处理并向后一卷积层以及对应的特征处理层输出空谱特征图。
97.示例性的，多个特征卷积层可以包括三个特征卷积层，原始卷积层以及三个特征卷积层可中可以分别具有64、128、256、512个卷积核，卷积核的大小均为3
×3×
1，各卷积层中分别包含3、4、6、3个残差(residual block)单元，不同卷积层的卷积核的数量不同，根据不同的卷积核以及残差单元可以输出不同维度的空谱特征图，实现空谱特征的提取。
98.可选的，原始卷积层根据各基准图像块输出初始空谱特征图，具体地，将各基准图像块的数据通过激活层中的激活函数进行激活，其中，激活函数可以为relu，之后通过最大池化层进行池化，将池化后的各基准图像块输入至原始卷积层中，根据原始卷积层中的卷积和以及残差单元对各基准图像块进行空谱特征提取，输出初始空谱特征图。
99.可选的，各特征卷积层基于前一卷积层输出的空谱特征图进行卷积处理并向后一
卷积层以及对应的特征处理层输出空谱特征图，其中，前一卷积层可以是原始卷积层，也可以是多个特征卷积层中的任一卷积层，若特征卷积层的前一卷积层为原始卷积层，则将原始卷积层输出的初始空谱特征图输入至该特征卷积层中进行卷积处理，并将卷积处理后的空谱特征图输入至该特征卷积层的后一特征卷积层作为后一特征卷积层的输入，以及将卷积处理后的空谱特征图输入至该特征卷积层对应的特征处理层对该空谱特征图进行处理，得到该特征卷积层的二维特征向量。
100.示例性的，若该三维残差多层融合网络中包含原始卷积层layer1以及三个依次连接的特征卷积层layer2、layer3、layer4，各卷积层的输出特征图可以分别表示为o1，o2，o3，o4，则，o1是原始卷积层layer1的输出特征图，将o1输如至layer2得到输出特征图o2，将o2输如至layer3得到输出特征图o3，将o3输如至layer4得到输出特征图o4，将o2，o3，o4分别输入至各特征卷积层layer2、layer3、layer4对应的特征处理层进行处理，分别得到不同维度的二维特征向量，例如分别输出o
23
(n
×
l，128)、o
33
(n
×
l，256)、o
43
(n
×
l，512)三个不同维度的二维特征向量，其中，l为光谱波段数，n为批大小(bath size)，取值为2。
101.s202、由三维残差多层融合网络中与各特征处理层对应的全连接层对各二维特征向量进行特征融合，并由三维残差多层融合网络中第二数据重构层将所有融合后的各二维特征向量进行数据重构，得到并输出多个二维特征图。
102.可选的，将各特征处理层输出的二维特征向量输入至与各特征处理层对应的全连接层中进行特征融合，经过特征融合后的各不同维度的二维特征向量转换为同一维度的二维特征向量。
103.示例性的，将上述步骤s201中三个不同维度的二维特征向量o
23
(n
×
l，128)、o
33
(n
×
l，256)、o
43
(n
×
l，512)分别输入至各特征处理层对应的全连接层进行特征融合后，最终输出o5(n
×
l，1024)的二维特征向量。
104.可选的，将融合后的各二维特征向量进行数据重构，得到多个二维特征图，示例性的，将上述输出的o5(n
×
l，1024)的二维特征向量进行数据重构，得到维度为(n，l，32,32)的二维特征图，该二维特征图可以表示一个光谱波段的空谱特征。
105.可选的，对多个基准图像块中的各基准图像块分别进行上述s201-s202步骤的处理，可以得到多个二维特征图，则可以得到多个光谱波段的空谱特征。
106.本实施例中，通过三维残差多层融合网络中的多个特征卷积层提取空谱特征，可以使得提取的空谱特征不仅包含了浅层空谱特征还包含了深层空谱特征，提高了三维残差多层融合网络处理复杂高光谱图像的性能，有力对特征类似、易产生误差的地物重量的精准分类，通过对各层空谱特征进行融合处理，可以便于对各大小不一的地物进行特征的提取和分类。
107.图4为本技术实施例提供的另一种空谱特征提取方法的流程示意图，如图4所示，各特征处理层包括池化层、降维层以及第一数据重构层，上述s201步骤中三维残差多层融合网络中的多个特征卷积层提取空谱特征，并由三维残差多层融合网络中与各特征卷积层对应的各特征处理层对空谱特征进行处理，得到多个维度的二维特征向量，可以包括：
108.s301、由各特征卷积层对前一卷积层输出的空谱特征图进行空谱特征提取，输出提取后的空谱特征图。
109.其中，前一卷积层可以是原始卷积层也可以是任一特征卷积层。
110.示例性的，若各特征卷积层为layer2、layer3、layer4，且各特征卷积层依次连接，则，特征卷积层layer2可以对原始卷积层输出的空谱特征图进行特征提取，并输出提取后的空谱特征图o2，特征卷积层layer3可以对layer2输出的空谱特征图进行特征提取，并输出提取后的空谱特征图o3，特征卷积层layer4可以对layer3输出的空谱特征图进行特征提取，并输出提取后的空谱特征图o4，则个特征卷积层经过特征提取输出的空谱特征图可以分别表示为o2∈r8×8×
l
、o3∈r4×4×
l
、o4∈r2×2×
l
。
111.s302、由各池化层对空谱特征图进行最大池化，得到对应的第一输出特征图。
112.可选的，各池化层对各特征卷积层输出的空谱特征图进行最大池化，输出第一输出特征图，示例性的，特征卷积层layer2对应的池化层，将特征卷积层layer2输出的空谱特征图o2∈r8×8×
l
进行最大池化，可以得到第一输出特征图o
21
∈r1×1×
l
；特征卷积层layer3对应的池化层，将特征卷积层layer3输出的空谱特征图o3∈r4×4×
l
进行最大池化，可以得到第一输出特征图o
31
∈r1×1×
l
；特征卷积层layer4对应的池化层，将特征卷积层layer4输出的空谱特征图o4∈r2×2×
l
进行最大池化，可以得到第一输出特征图o
41
∈r1×1×
l
。
113.s303、由各降维层对第一输出特征图进行降维处理，得到对应的第二输出特征图。
114.可选的，各降维层连接在各池化层之后，对各池化层输出的第一输出特征图可以通过flatten函数进行降维处理，得到第二输出特征图。示例性的，对于第一输出特征图o
21
∈r1×1×
l
经过降维层的处理，得到第二输出特征图o
22
(n,128,l)；对于第一输出特征图o
31
∈r1×1×
l
经过降维层的降维处理，得到对应的第二输出特征图o
32
(n,256,l)，对于第一输出特征图o
41
∈r1×1×
l
经过降维层的降维处理，得到对应的第二输出特征图o
42
(n,512,l)。
115.s304、由各第一数据重构层对第二输出特征图进行数据重构，得到各维度的二维特征向量。
116.可选的，各第一数据重构层连接在各降维层之后，对各降维层输出的第二输出特征图进行数据重构，得到各维度的二维特征向量。示例性的，对于第二输出特征图o
22
(n,128,l)经过第一数据重构层的处理，得到第二输出特征图对应维度的二维特征向量o
23
(n
×
l，128)；对于第二输出特征图o
32
(n,256,l)经过第一数据重构层的处理，得到第二输出特征图对应维度的二维特征向量o
33
(n
×
l，256)；对于第二输出特征图o
42
(n,512,l)经过第一数据重构层的处理，得到第二输出特征图对应维度的二维特征向量o
43
(n
×
l，512)。
117.s305、基于各维度的二维特征向量，得到多个维度的二维特征向量。
118.可选的，对各特征卷积层输出的空谱特征图进行上述的最大池化、降维以及数据重构后，可以得到各特征卷积层对应的各维度的二维特征向量，其中，各维度的二维特征向量的维度均不相同，将得到的各维度的二维特征向量组合在一起，可以得到多个维度的二维特征向量。
119.本实施例中，通过对空谱特征图进行最大池化、降维以及数据重构，可以得到不同维度的二维特征向量，有利于对小的地物特征的提取和分类。
120.图5为本技术实施例提供的一种特征分析的流程示意图，如图5所示，上述s103中将各二维特征图输入预先训练得到的特征分析网络中分析各二维特征图对应的各光谱波段间的光谱关联信息，可以包括：
121.s401、将各二维特征图输入特征分析网络中，由特征分析网络的分块层对各二维特征图进行分块处理，得到分块后的二维特征图，并将分块后的二维特征图作为第一维度
特征图。
122.其中，特征分析网络可以对各二维特征图对应的各光谱波段间的光谱关联信息进行分析。为了分析的更准确，可以将各二维特征图进行分块处理，得到分块处理后的二维特征图。具体地，可以对各二维特征图的二维几何空间上以像素为单位的特征图进行分块。
123.其中，该特征分析网络可以为swin transformer网络模型。
124.示例性的，可以使用4
×
4个像素的路径对各二维特征图的几何空间对应的像素矩阵进行分块，由于每个路径中有16个像素，每个像素有l个值，则可以得到维度为16
×
l的特征图f1(z；θ)∈r8×8，其中8
×
8表示路径的数量，则特征图f1(z；θ)∈r8×8为分块后的二维特征图，将该二维特征图作为第一维度特征图。
125.s402、由特征分析网络的线性处理层基于第一维度特征图进行线性变换处理，得到第二维度特征图。
126.可选的，将上述第一维度特征图中的每个路径的维度都进行线性变换处理。
127.示例性的，第一维度特征图f1(z；θ)∈r8×8的维度为16
×
l，则将维度为16
×
l进行线性变换，变换为dk，得到维度为l的第二维度特征图f2(z；θ)∈r8×8。
128.s403、由特征分析网络的分析处理层对第二维度特征图进行光谱分析，得到各光谱波段间的光谱关联信息。
129.可选的，将各二维特征图经过上述分割以及线性变换处理，可以得到各二维特征图对应的各第二维度特征图，则多个二维特征图可以得到多个第二维度特征图，将多个第二维度特征图中的各第二维度特征图输入至分析处理层，可以分析到各光谱波段间的光谱关联信息。
130.图6为本技术实施例提供的另一种特征分析的流程示意图，如图6所示，该分析处理层可以包括：依次连接的多个分析处理子层。上述s403中由特征分析网络的分析处理层对第二维度特征图进行光谱分析，得到各光谱波段间的光谱关联信息，可以包括：
131.s501、由分析处理层中的首个分析处理子层对第二维度特征图进行光谱分析，得到初始分析结果。
132.示例性的，该分析处理层可以包括4个依次连接的分析处理子层，分别可以使用stage1、stage2、stage3、stage4来表示，则首个分析处理子层为stage1。首个分析处理子层stage1对第二维度特征图进行光谱分析，得到初始分析结果，该初始分析结果可以包括各光谱波段间的光谱关联信息。
133.s502、由分析处理层中首个分析处理子层后的各分析处理子层依次以前一分析处理子层的分析结果作为输入数据，进行光谱分析，并向后输出分析结果。
134.可选的，该光谱分析为对各光谱波段间的关联信息进行分析，根据光谱波段间的关联信息可以对空谱特征相似的地物进行更好的区分。
135.可选的，对于不同的分析处理子层向后输出的对象可以不同，示例性的，对于stage1输出的分析结果，该分析结果输入至处理子层stage2中继续进行分析；对于stage2输出的分析结果，该分析结果输入至处理子层stage3中继续进行分析；以此迭代至最后一个处理子层例如stage4，该处理子层stage4之后不存在其他处理子层，则该最后一个处理子层的分析结果不需要再进行分析，将该分析结果输入至其他网络结构中。
136.s503、将分析处理层中最后一个分析处理子层输出的分析结果作为各光谱波段间
的光谱关联信息。
137.可选的，最后一个分析处理子层输出的分析结果为该特征分析网络最终分析的各光谱波段间的光谱关联信息，基于该光谱关联信息可以进行分类，区分不同地物。
138.本实施例中，通过各层分析处理子层来进行光谱分析，可以使得到的各光谱间的光谱关联信息更充分，更准确。
139.图7为本技术实施例提供的各分析处理子层的结构示意图，如图7所示，该分析处理层中的各分析处理子层分别可以包括多个连续的分析块(swin transformer block)，每个分析块中分别包括依次连接的第一归一化层(layer norm)、窗口多层自注意层(w-msa)、第二归一化层、第一多层感知机(mlp)、第三归一化层、滑动窗口多头自注意层(sw-msa)、第四归一化层以及第二多层感知机。
140.其中，第二多层感知机的输出结果作为该分析块的输出结果，在多个分析块中，相邻两个分析块中在前的一个分析块的输出结果作为在后的一个分析块的输入数据，多个分析块中最后一个分析块的输出结果作为该分析处理子层的分析结果。
141.其中，mlp层由输入层、隐藏层以及输出层构成，用于张量重塑；layer norm层用于对数据进行标准化处理，即在每一个样本上计算均值和方差；w-msa在每个窗口下计算注意力，为了更好的和其他窗口进行信息交互；sw-msa是通过全局上下文信息对每个波段进行编码来捕获各波段间的相互关系。
142.可选的，每个处理子层中包含的分析块的数量是2的整数倍，分析块中的一层提供给w-msa，一层提供给sw-msa。
143.可选的，除了第一分析处理子层的其他分析处理子层中，还包括降采样层(path merging)，则，第一分析处理子层是由该处理子层中的分析块直接对上述步骤s402线性变换得到的第二维度特征图进行光谱分析，而对于其他分析处理子层，在由分析块进行光谱分析之前需要由各处理子层中的降采样层对特征图进行降采样处理，将降采样后的特征图输入至各处理子层中的分析块中再进行分析。
144.可选的，对于各分析处理子层中多个连续的分析块block，相邻两个分析块中的前一个分析块的输出结果作为后一个分析块的输入数据，前一个分析块的输出结果为该分析块中的第二多层感知机的输出结果，则该分析处理子层中最后一个分析块中的第二多层感知机的输出结果为该分析处理子层输出的分析结果，该分析处理子层输出的分析结果为后一分析处理子层的输入数据。
145.可选的，对于任一个分析块block，若该分析块block的输入特征为z
l-1
，其中l为第l个分析处理子层，将该输入特征先经过第一归一化层进行归一化，再经过窗口多层自注意层进行特征学习，接着进行一次残差处理得到特征经过第二归一化层进行第二次归一化，第一多层感知机进行张量重塑以及第二次残差处理得到特征z
l
，之后将特征z
l
输入至第三层归一化进行第三次归一化，将归一化后的特征输入至滑动窗口多头自注意层进行计算，并进行残差处理得到特征之后将特征输入至第四归一化进行归一化处理，接着将归一化后的特征输入至第二多层感知机中进行张量重塑最终得到特征z
l 1
，则该特征z
l 1
为该分析块的输出分析结果，具体地计算各特征的公式如下：
146.[0147][0148][0149][0150]
其中，公式(一)为计算窗口多层自注意力的公式，公式(二)为计算特征z
l
的张量重塑的公式，公式(三)为计算滑动窗口多层自注意力的公式，公式(四)为计算特征z
l 1
的张量重塑的公式。
[0151]
可选的，通过各分析块中的自注意力计算一个光谱波段的特征图矩阵信息与其他光谱波段的特征图矩阵信息的分数值，来获取各光谱波段间的相互关系，具体地，对于某个光谱波段的二维特征图，经过分割以及线性变换后的第二维度特征图f2(z；θ)∈r8×8，在第一个分析处理子层中的第一个分析块中，可以与三个随机初始化的可学习矩阵相乘得到对应的三个矩阵，例如三个随机初始化的可学习矩阵为经过相乘得到三个矩阵其中m可以为8，dk可以为96，则q、k、v表示三个不同维度的矩阵，注意力的计算由公式(五)得到。
[0152][0153]
其中，为了使q和k点乘后的数值不至于很大，导致经过softmax函数计算后的梯度变的很小，则对点乘结果除以再加上相对位置偏置b∈r
(2m-1)
×
(2m-1)
，由softmax函数计算值的权重与矩阵v点乘后得到注意力。
[0154]
可选的，对于其他分析处理子层中的第一分析块，计算注意力的特征图为前一处理子层中最后一个分析块中的第二多层感知机的输出的特征图，对于某一分析处理子层中的第一分析块之后的其他分析块，计算注意力的特征图为迁前一分析块输出的特征图。
[0155]
本实施例中，通过使用层次化的分析处理层，使得随着分析处理层的加深，光谱的分析更全面，其次，通过使用自注意力的计算，使得计算复杂度降低，以及通过采用注意力机制来捕获各光谱波段间的依赖关系，提高了计算效率以及可扩展性。
[0156]
可选的，基于各二维特征图对应的各光谱波段间的光谱关联信息进行分类处理，得到初始高光谱图像对应的高光谱图像分类结果，可以包括：
[0157]
可选的，将各光谱波段间的光谱关联信息输入分类模型，由分类模型中的两个全连接层和一个高斯误差线性单元根据光谱关联信息进行分类，得到初始高光谱图像对应的高光谱图像分类结果。
[0158]
可选的，全连接层和高斯误差线性单元在多层感知机的输入层和输出层之间，通过高斯误差线性单元中的激活函数对全连接层的输出进行线性变换，具体地，全连接层可以对输入的数据进行仿射变换，之后通过高斯误差线性单元(gaussian error linear units简称gelu)进行线性变换，具体的gelu的计算公式如公式六。
[0159][0160]
其中，φ(x)为高斯累积分布函数，x为输入值。
[0161]
可选的，多层感知机的最后一个全连接层可以为softmax层，可以输出分类的最终结果，具体的计算如公式(七)所示。
[0162][0163]
其中，r为该全连接层的输入向量，i为分类的序号，w为softmax层的权重，b为softmax层的偏差，p(y＝i|r,w,b)可以表示该输入向量属于第i个类型的概率。
[0164]
本实施例通过多层感知机进行分类，可以提高分类结果的准确性。
[0165]
图8为本技术实施例提供的高光谱图像分类示例性的完整结构示意图，如图8所示，该示例性的完整结构中包括三维残差多层融合网络以及特征分析网络。
[0166]
其中，该三维残差多层融合网络中可以包括一个原始卷积层layer1以及三个特征卷积层layer2、layer3、layer4，以及各特征卷积层对应的各最大池化层(adaptivel max pool3d)，降维层、数据重构层以及全连接层(full connected layers)，在原始卷积层layer1之前还包括归一化层(bath normalization)以及最大池化层。各层结构的具体功能再前述具体实施例中已说明，此处不作赘述。
[0167]
其中，该特征分析网络可以例如为swin transform网络架构，可以包括多个依次连接的分析处理子层，如图8中的stage1、stage2、stage3、stage4，stage1中由一个线性变换层(liner embedding)以及若干个分析块(swin transformer block)组成，stage2、stage3、stage4均由一个降采样层(patch merging)以及若干个分析块(swin transformer block)组成，其中，stage1、stage2、stage3、stage4采用的swin transformer block分别为2，2，6，2个。各结构的具体功能在前述具体实施例中已进行说明，此处不再赘述。
[0168]
图9为本技术实施例提供的一种高光谱图像分类方法的装置示意图，如图9所示，该装置包括：
[0169]
获取模块601，用于根据初始高光谱图像获取多个大小相同的局部图像块，得到多个基准图像块，各所述基准图像块包括多层特征图，各层特征图包括多个光谱波段；
[0170]
提取模块602，用于将各所述基准图像块输入预先训练得到的三维残差多层融合网络中进行空谱特征提取，得到由所述三维残差多层融合网络输出的多个二维特征图，各所述二维特征图分别用于表征一个光谱波段的空谱联合特征，所述空谱联合特征用于表征所述光谱波段在空间以及光谱上的关联特征；
[0171]
分析模块603，用于将各所述二维特征图输入预先训练得到的特征分析网络中分析各所述二维特征图对应的各光谱波段间的光谱关联信息；
[0172]
分类模块604，用于基于各所述二维特征图对应的各光谱波段间的光谱关联信息进行分类处理，得到所述初始高光谱图像对应的高光谱图像分类结果。
[0173]
可选的，提取模块602具体用于：
[0174]
将各所述基准图像块输入预先训练得到的三维残差多层融合网络中，由所述三维残差多层融合网络中的多个特征卷积层提取空谱特征，并由所述三维残差多层融合网络中与各特征卷积层对应的各特征处理层对所述空谱特征进行处理，得到多个维度的二维特征向量，其中，所述三维残差多层融合网络中包括原始卷积层以及在所述原始卷积层之后的且依次排列的所述多个特征卷积层，所述原始卷积层根据所述基准图像块输出初始空谱特
征图，各所述特征卷积层基于前一卷积层输出的空谱特征图进行卷积处理并向后一卷积层以及对应的特征处理层输出卷积处理后的空谱特征图；
[0175]
由所述三维残差多层融合网络中与各特征处理层对应的全连接层对所述各二维特征向量进行特征融合，并由所述三维残差多层融合网络中的第二数据重构层将所有融合后的二维特征向量进行数据重构得到并输出所述多个二维特征图。
[0176]
可选的，各所述特征处理层包括：池化层、降维层以及第一数据重构层；
[0177]
提取模块602具体用于：
[0178]
由各特征卷积层对前一卷积层输出的空谱特征图进行空谱特征提取，输出特征提取后的空谱特征图；
[0179]
由各所述池化层对所述空谱特征图进行最大池化，得到对应的第一输出特征图；
[0180]
由各所述降维层对所述第一输出特征图进行降维处理，得到对应的第二输出特征图；
[0181]
由各所述第一数据重构层对所述第二输出特征图进行数据重构，得到各维度的二维特征向量；
[0182]
基于各维度的二维特征向量，得到所述多个维度的二维特征向量。
[0183]
可选的，分析模块603具体用于：
[0184]
将各所述二维特征图输入所述特征分析网络中，由所述特征分析网络的分块层对各所述二维特征图进行分块处理，得到分块后的二维特征图，并将分块后的二维特征图作为第一维度特征图；
[0185]
由所述特征分析网络的线性处理层基于第一维度特征图进行线性变换处理，得到第二维度特征图；
[0186]
由所述特征分析网络的分析处理层对所述第二维度特征图进行光谱分析，得到各光谱波段间的光谱关联信息。
[0187]
可选的，所述分析处理层包括：依次连接的多个分析处理子层；
[0188]
分析模块603具体用于：
[0189]
由所述分析处理层中的首个分析处理子层对所述第二维度特征图进行光谱分析，得到初始分析结果；
[0190]
由所述分析处理层中首个分析处理子层后的各分析处理子层依次以前一分析处理子层的分析结果作为输入数据，进行光谱分析，并向后输出分析结果；
[0191]
将所述分析处理层中最后一个分析处理子层输出的分析结果作为所述各光谱波段间的光谱关联信息。
[0192]
可选的，所述分析处理层中的各分析处理子层分别包括多个连续的分析块，每个分析块中分别包括依次连接的第一归一化层、窗口多层自注意层、第二归一化层、第一多层感知机、第三归一化层、滑动窗口多头自注意层、第四归一化层以及第二多层感知机，所述第二多层感知机的输出结果作为所述分析块的输出结果，在所述多个分析块中，相邻两个分析块中在前的一个分析块的输出结果作为在后的一个分析块的输入数据，所述多个分析块中最后一个分析块的输出结果作为所述分析处理子层的分析结果。
[0193]
可选的，分类模块604具体用于：
[0194]
将各光谱波段间的光谱关联信息输入分类模型，由所述分类模型中的两个全连接
层和一个高斯误差线性单元根据所述光谱关联信息进行分类，得到所述初始高光谱图像对应的高光谱图像分类结果。
[0195]
图10为本技术实施例提供的一种电子设备700的结构框图，如图10所示，该电子设备可包括：处理器701、存储器702。
[0196]
可选的，还可以包括总线703，其中，所述存储器702用于存储有所述处理器701可执行的机器可读指令(例如，图9中的装置中获取模块、提取模块、分析模块、分类模块对应的执行指令等)，当电子设备700运行时，所述处理器701与所述存储器702存储之间通过总线703通信，所述机器可读指令被所述处理器701执行时执行上述方法实施例中的方法步骤。
[0197]
本技术实施例还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述高光谱图像分类方法实施例中的方法步骤。
[0198]
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考方法实施例中的对应过程，本技术中不再赘述。在本技术所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。
[0199]
另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0200]
以上仅为本技术的具体实施方式，但本技术的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本技术的保护范围之内。