基于二值神经网络的多光谱图像轻量化分类方法

1.本发明涉及多光谱图像分类领域，特别是基于二值神经网络的多光谱图像轻量化分类方法。


背景技术：

2.多光谱图像(msi)包含丰富的光谱信息和空间信息，它不同于传统图像，多光谱图像不仅可以根据图像的形态和结构的差异判别地物，还可以根据光谱特性的差异判别地物，扩大了遥感的信息量，从而有着广泛的应用。主要包括国防、环境科学、林业等。
3.传统的机器学习方法在遥感领域中并不能取得理想的成果，近年来深度学习在计算机视觉领域取得了令人瞩目的成绩，遥感研究也从传统的机器学习转向了灵活的神经网络结构。然而深度学习模型往往计算复杂度过高，其大量的权重参数会导致相当大的资源消耗。针对多光谱图像，其富含大量的地物信息，且光谱波段较多，数据拥有更高的维数，训练起来更为耗时。因此，需要对网络进行模型压缩以获得轻量化模型。因此，本专利从轻量化模型的视角解析多光谱在实际工商业中的应用。
4.现有技术一
5.传统的多光谱图像分类算法通常分为无监督和有监督两种，如无监督聚类算法和有监督支持向量机。senthilnath j等人提出了一种新的基于蝙蝠算法的聚类方法来解决多光谱图像分类问题，他们提出分区聚类算法用于从训练样本中提取最优聚类中心形式的信息。zhu q等人提出基于bovw的方法，其视觉字典就是通过在特征上进行k均值聚类得到的。tuia d等人提出对输出空间结构使用层次树进行编码，并且这些信息会被添加到内核和损失函数中的模型中。
6.现有技术一的缺点
7.它们只关注多光谱图像的光谱信息，而忽略了其空间信息的重要性，导致最终分类精度较低，结果误差较大。
8.现有技术二
9.近年来，深度学习在计算机视觉领域取得了令人瞩目的成绩，越来越多的深度学习模型被应用于遥感图像处理中。wzhao等人提出了一种基于超像素的多局部卷积神经网络模型，扩展了简单的线性迭代聚类算法来分割多光谱图像并生成超像素，并且为了充分利用空间光谱和环境信息，提出了一种基于超像素的多局部区域联合表示方法提取有效的关节特征表示。m lin等人提出了一种基于上下文感知的图神经网络来增强特征表达，该网络通过组合相似分布特征顶点来提取非欧几里德空间内的类内嵌入，并且利用门控循环单元来捕获上下文感知信息。sargent等人提出将基于深度空间特征表示的卷积神经网络和基于光谱识别的多层感知器有效的融合在一起，实现对极细空间分辨率遥感影像的分类。
10.现有技术二的缺点
11.虽然深度学习模型在多光谱分类中表现良好，但其模型需要占用大量的计算资源和空间存储，不能满足工业的实时性要求。为了解决资源占用的问题，我们提出利用二值神
经网络(bnn)来获得一个轻量化的多光谱分类模型。二值神经网络是网络量化技术中的一个重要代表，其利用sign函数将权重和激活等参数二值化为-1和 1这两个值，以此来实现对模型的压缩。


技术实现要素：

12.为解决现有技术中存在的问题，本发明提供了基于二值神经网络的多光谱图像轻量化分类方法，解决了传统多光谱分类模型分类精度较低结果误差较大，现有的基于深度学习的多光谱分类模型因其巨大的运算量以及数据存储需求，不能满足工业的实时性要求的问题。
13.具体的技术方案如下：
14.基于二值神经网络的多光谱图像轻量化分类方法，包括以下步骤：
15.步骤s1：对mobilenetv1进行修改，将原网络中3*3的深度卷积和1*1的逐点卷积分别用1-bit 3*3和1-bit 1*1的卷积进行替换；
16.步骤s2：激活和权重会通过sign函数进行二值量化；
17.步骤s3：提出在这些实数值被二值化之前添加一个shortcut来传递这些实数值，保留信息，提高网络的表达能力；
18.步骤s4：由于二值神经网络对激活分布较为敏感，我们提出利用rprelu函数来移动激活分布；
19.步骤s5：针对于通道注意力机制，采用了轻量化的eca模块，利用不降维的局部跨信道交互方式，在降低模型复杂度的同时保持性能，该方式可以通过一维卷积有效地实现；
20.步骤s6：选择k＝3，在对每一个通道进行全局平均池化后，使用感受野为3的一维卷积，得到每个通道所对应的权重，然后用该权重进行加权，得到新的加权后的特征；
21.步骤s7：使用该轻量化的通道注意力模块只增加了少量的参数，却能获得明显的性能增益；
22.步骤s8：在三个广泛采用的公共数据集上进行了实验。
23.优选地，步骤s4中rprelu的具体公式为：
[0024][0025]
其中，γ和δ是用于移动分布的可学习系数，β是用来控制负数部分斜率的可学习系数。
[0026]
优选地，步骤s5的具体公式为：
[0027]
w＝σ(c1dk(y))
[0028]
其中，对于权重y，利用该通道附近的k个邻居参与这个通道的注意力预测，σ为sigmoid函数。
[0029]
优选地，步骤s8的实验结论为：cabnn全面优于最先进的方法，在只使用很少计算量的前提下，在nasc-tg2数据集上精度提升了0.37％，在eurosat数据集上精度提升了0.35％，在gid fine land-coverclassification数据集上精度提升了2.18％。
[0030]
本发明基于二值神经网络的多光谱图像轻量化分类方法的有益效果如下：
[0031]
1.为了解决现有模型巨大的运算量以及数据存储需求的缺陷，本发明提出利用轻
量化的二值神经网络对多光谱图像进行分类。二值神经网络是指具有二值权重和二值激活的深度网络模型，即将传统卷积神经网络中浮点32位的数据转化为1位的数据。经过这样的二值化处理后，参数位宽降低为原来的1/32，需要的存储空间大大减少，其中的卷积过程可以由异或操作和popcount运算来进行替代，计算速度更快，使得网络的计算成本减少。
[0032]
2.针对多光谱遥感图像维数较高，包含的信息更为丰富等特点，本专利引入轻量化的通道注意力机制eca模块来实现给不同的通道分配不同的权重，关注重要信息抑制非重要的信息，从而可以更好地处理多光谱图像分类任务。
附图说明
[0033]
图1为本发明eca模块图。
[0034]
图2为本发明流程图。
[0035]
图3为本发明nasc-tg2数据集混淆矩阵图。
[0036]
图4为本发明eurosat数据集混淆矩阵图。
[0037]
图5为本发明gid fine land-cover classification数据集混淆矩阵图。
具体实施方式
[0038]
下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。
[0039]
本发明通过现有的深度学习框架pytorch以及对应的编程库实现。其中pytorch主要使用深度学习模型，包括线性模块、卷积模块等。
[0040]
具体方案实现原理如下：
[0041]
如图2所示，首先，对mobilenetv1进行修改，将原网络中3*3的深度卷积和1*1的逐点卷积分别用1-bit 3*3和1-bit 1*1的卷积进行替换。
[0042]
此外，激活和权重会通过sign函数进行二值量化。
[0043]
我们发现二值神经网络中进行卷积操作后会产生实数值，而这些实数值在下一次卷积操作过程中又会被二值化，这就导致了大量的信息损失，影响最终的分类精度。因此，我们提出在这些实数值被二值化之前添加一个shortcut来传递这些实数值，保留信息，提高网络的表达能力。
[0044]
由于二值神经网络对激活分布较为敏感，我们提出利用rprelu函数来移动激活分布，rprelu定义如下：
[0045][0046]
其中，γ和δ是用于移动分布的可学习系数，β是用来控制负数部分斜率的可学习系数。
[0047]
其次，针对于通道注意力机制，如图1所示，采用了轻量化的eca模块，利用不降维的局部跨信道交互方式，在降低模型复杂度的同时保持性能，该方式可以通过一维卷积有效地实现，具体公式如下所示：
[0048]
w＝σ(c1dk(y))
[0049]
其中，对于权重y，利用该通道附近的k个邻居参与这个通道的注意力预测，σ为sigmoid函数。
[0050]
我们选择k＝3，在对每一个通道进行全局平均池化后，使用感受野为3的一维卷积，得到每个通道所对应的权重，然后用该权重进行加权，得到新的加权后的特征。使用该轻量化的通道注意力模块只增加了少量的参数，却能获得明显的性能增益。
[0051]
最后，本专利在三个广泛采用的公共数据集上进行了实验。实验证明我们提出的cabnn全面优于最先进的方法，在只使用很少计算量的前提下，在nasc-tg2数据集上精度提升了0.37％，在eurosat数据集上精度提升了0.35％，在gid fine land-cover classification数据集上精度提升了2.18％。各数据集的混淆矩阵如下图3至图5所示。
[0052]
网络的架构实现为重点保护点，具体的保护技术重点如下：
[0053]
二值化基线网络
[0054]
在mobilenetv1网络结构上进行修改，将初始的深度可分离卷积替换成1-bit的卷积层，利用sign函数将网络中的权重和激活二值化为 1和-1两个值，同时加入shortcut用来减少信息损失，然后利用rprelu函数重塑激活函数的分布，提升网络的表达能力。
[0055]
eca模块
[0056]
利用不降维的局部跨信道交互方式，给多光谱图像的不同通道分配相对应的权重，增强网络的特征提取能力，提升模型性能。