以混合多层感知器为基础的多尺度网络分析方法与流程

1.本发明涉及高光谱图像领域，特别是以混合多层感知器为基础的多尺度网络分析方法。


背景技术：

2.a.huertas等人是第一个将高光谱图像应用于城市分析的人。采用几何拓扑理论提取城市建筑边界。jb.adams等人通过数学理论分析光谱带，并结合其他因素来分析高光谱数据。一般来说，早期的高光谱图像研究主要是利用几何等各学科的理论知识来分析浅层信息。最先进的方法总是暗示以卷积神经网络(cnn)为代表的深度学习。此外，它还在语义分割、分类、目标检测等方面取得了巨大的成就和突出的表现。描述了一个带有上下文cnn的新框架，该框架通过联合利用相邻的局部空间光谱关系来探索局部上下文交互。
3.不可否认，cnn在深度学习中的作用很可能是事实上的标准。然而，它的参数随着卷积层的增加呈指数增长，并且它的大小随着计算能力的增加而增加，持续超过20m才具有合格的表达能力。此外，由于乘法和加法运算的持久性，计算消耗是工业应用的瓶颈，不能满足工业的实时性要求。
4.现有技术二
5.最近，基于自注意力层的视觉变换器(vit)在计算机视觉方面获得了最先进的性能，并引起了许多研究人员的关注。然而，自注意力机制需要计算三个矩阵。堆叠模型深度消耗许多计算资源。因此，它导致了许多缺点，例如大量消耗计算和显着的模型规模等。i.tolstikhin证明cnn不是深度学习所必需的。目前的mlp-mixer框架采用了两种类型的mlp来分别混合每个位置的特征和空间信息。是一个有意义的研究课题。通过牺牲微观精度，模型速度显着提高，模型尺寸也被压缩。尽管它很简单，但它在各个领域和学科中都有出色的表现。并且很多种类的研究都是基于遥感领域的mlp-mixer来挖掘更有意义的分析。h.sildir等人提出了一种基于超结构的混合整数非线性规划方法，用于mlps神经元数量选择、剪枝和输入选择的最佳结构设计并实现了最先进的性能，在两个公开的高光谱中进行了实验图像数据集。此外，图卷积网络(gcn)可以嵌入来自相邻音符的非欧几里德特征，捕捉高光谱像素之间关系极好的特征。m.lin使用gcn将特征从混沌状态转换为高内聚状态，同时减少数据的冗余信息。高光谱图像中的噪声也是一个具有挑战性的问题。undip是一种出色的方法，它使用几何端元提取端元并采用深度学习来估计丰度，从而解决了高光谱图像的噪声问题。hyminor也是一个使用新颖的稀疏噪声帧的有效去噪方法。此外，u-net是一种经典的编码器-解码器结构，其中编码器嵌入空间和语义信息，解码器将该信息与位置特征混合。
6.现有技术二的缺点
7.该方法虽然在高光谱分类中表现良好，但其模型的计算消耗很糟糕，并且其运行时间总是冗长的。卷积操作是所有问题的根源。它在各个领域都带来了出色的表现，但同时也带来了复杂的计算消耗。mlp-mixer是一项划时代的研究，它只包含mlp操作，通过堆叠层
来混合所有特征，例如空间信息。然而，由于其模型结构简单，其表达能力减弱，主要是由于忽略了相邻结构之间的语义信息，因此无法很好的捕获特征之间的语义联系。


技术实现要素：

8.为解决现有技术中存在的问题，本发明提供了以混合多层感知器为基础的多尺度网络分析方法。
9.本发明的技术方案如下：以混合多层感知器为基础的多尺度网络分析方法，包括：msc块和umlp块。
10.优选地，msc块包括以下步骤：
11.步骤一：通过混合mlp层将信道维度转换为2n“n为整数”实现了umlp提供的适配数据；
12.步骤二：采用具有1
×
1大小卷积核的卷积层来混合通道信息；
13.步骤三：混合通道信息输出高光谱的每个像素都会形成一个类似图像的补丁；
14.步骤四：每一行代表卷积生成的每个像素的不同特征表达，即pixel-c；
15.步骤五：每一列代表原始像素通道值的概括，即gen-c。
16.优选地，umlp块包括以下步骤：
17.步骤一：堆叠msc层以获得更高的感受野，输入(u*,j,*)在pixel-c维度和gen-c维度上都具有全局特征信息；
18.步骤二：mixerblock模块通过两个mlp层混合两个方向的语义信息，然后通过一个mlp(降维)提取pixel-c维度特征。
19.本发明以混合多层感知器为基础的多尺度网络分析方法的有益效果如下：
20.1.本发明实现了高效率的高光谱分类方法，超过了以往的方法，因此具有一定的商业价值。
21.2.本发明的模型大小仅为0.185m，能很好的适用于工业的需求。
22.3.本发明能很好的将此方法应用于高光谱领域，如田地变迁分析、城市演变等。
23.4.本发明监控森林变迁和对森林灾情如火灾等进行及时的预警作用。
附图说明
24.图1为本发明多尺度u形多层感知器结构图。
25.图2为本发明数据流程图。
26.图3为本发明的结果可视化图。
具体实施方式
27.下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。
28.本发明通过现有的深度学习框架pytorch以及对应的编程库，主要包括numpy、pandas、tensor等等。其中pytorch主要使用深度学习模型，包括线性模块、卷积模块、参数
处罚模块等。
29.具体方案实现原理如下：
30.我们在所提出的方法中将分割转换为分类任务，进行像素级分类而不是补丁分割。该方法包括msc(多尺度通道)块和umlp(u形的多层感知器)块。对于msc块，为了为umlp提供适配数据，它通过混合mlp层将信道维度转换为2n(n为整数)。然后采用具有1
×
1大小卷积核的卷积层来混合通道信息。它输出高光谱的每个像素都会形成一个类似图像的补丁。每一行代表卷积生成的每个像素的不同特征表达，以下简称为：pixel-c。每一列代表原始像素通道值的概括，以下简称为：gen-c。
31.msc主要包含两部分：一是用msc提取pixel-c的特征，类似池化操作，二是用msc混合gen-c信息。对于高光谱图像，其大小为h
×w×
c。c是光谱带的数量，h和w分别是图像的高度和宽度。随机方法将所有像素打乱并排除背景，采用随机采样每个像素。
32.pixel-c维度仅嵌入像素的一个特征。因此，我们采用1
×
1内核大小的卷积操作，提取更多语义特征，其中嵌入了各种信息来概括每个像素通道并命名为gen-c。
33.对于umlp块，它分别由mixerblock、u形解释和跳过连接模块组成。堆叠msc层以获得更高的感受野，输入(u*,j,*)在pixel-c维度和gen-c维度上都具有全局特征信息。mixerblock模块通过两个mlp层混合两个方向的语义信息，然后通过一个mlp(降维)提取pixel-c维度特征，如图1所示
34.针对现有模型庞大的计算消耗缺陷，本发明提出以混合多层感知器为基础的多尺度网络。mlp模型的计算资源的消耗极低，仅仅只需要对应位置的累乘和累加，不存在叠加网络层之后参数呈现指数增长的问题，因此很好的解决了现有模型存在的缺陷。
35.针对mlp-mixer模型表达能力差的缺陷，本发明提出多尺度多通道的u形网络。它将通道维度转换为2n(n为整数)以统一不同数据集的通道数据。该模块的核心是1
×
1卷积运算，扩展像素的各种特征的表示，得到多维的分布。它从单个像素中提取多个片段以培养表达能力。最后通过叠加类似u-net结构的层次结构来进一步加强模型的表示能力。
36.本发明的数据流程图，如图2所示；
37.本在发明个广泛采用的公共数据集上进行了广泛的实验。mumlp全面优于最先进的方法，在houston 2018数据集中，对比cagu上的平均准确度提高了6.61％，在mlp-mixer上提高了5.47％，在otvca上提高了14.17％，在otvca上提高了14.64％。
38.本专利方法的结果可视化如下图3所示。