一种基于注意力机制的数据分类优化方法及相关设备与流程

技术特征：
1.一种基于注意力机制的数据分类优化方法，其特征在于，所述基于注意力机制的数据分类优化方法包括：将所有标记像素划分为训练集和测试集，并分别获取所述训练集和所述测试集的真实标签数据；将注意力机制嵌入到卷积神经网络中，构建基于注意力机制的多源数据特征提取与融合网络；获取融合了样本语义信息与相似信息的训练数据，有监督训练所述多源数据特征提取与融合网络；将待测试样本输入到训练好的所述多源数据特征提取与融合网络中，根据决策级融合结果，输出最终的分类标签。2.根据权利要求1所述的基于注意力机制的数据分类优化方法，其特征在于，所述将所有标记像素划分为训练集和测试集，并分别获取所述训练集和所述测试集的真实标签数据，之前还包括：若和分别表示hsi和lidar点云深度图像中的标记像素集；其中，和分别表示第个hsi像素和第个lidar像素；是标记像素集的总数，是hsi光谱波段数；真实标签数据表示为；其中，表示第个像素的真实标签，表示类别总数。3.根据权利要求2所述的基于注意力机制的数据分类优化方法，其特征在于，所述将所有标记像素划分为训练集和测试集，并分别获取所述训练集和所述测试集的真实标签数据，具体包括：将hsi和lidar点云深度图像中相同坐标位置的像素组成样本对，并根据预先定义的数据划分准则，将所有标记的像素划分为训练集和测试集；和分别表示训练集和测试集，和分别表示训练集和测试集的真实标签数据，其中，和分别表示训练样本数目和测试样本数目，且满足。4.根据权利要求3所述的基于注意力机制的数据分类优化方法，其特征在于，所述多源数据特征提取与融合网络包括：数据预处理模块、基于残差-注意力机制特征提取模块、基于注意力机制特征融合模块和基于决策级融合分类模块。5.根据权利要求4所述的基于注意力机制的数据分类优化方法，其特征在于，所述数据预处理模块用于：以标记像素和为中心，分别在hsi和lidar点云深度图像上截取预设大小的图像块，
构造图像对样本，其中，为高光谱图像块，为lidar点云深度图像块，为图像块大小；采用两个不同的卷积层分别对和进行卷积操作，使和的数据维度相等，预处理后的数据表示如下：；；其中，和分别表示预处理后的高光谱图像块和lidar点云深度图像块；卷积层和的卷积核大小分别为和，其中，为卷积核的空间大小，为卷积核的输出通道数。6.根据权利要求5所述的基于注意力机制的数据分类优化方法，其特征在于，所述基于残差-注意力机制特征提取模块用于：若为某个残差模块输入，则输出表示为；其中，为两个卷积层的网络函数，即；其中，和为卷积核，和为偏置向量，表示卷积操作，表示relu激活函数；若多尺度通道注意力模块的输入为，提取的全局特征表示为：；其中，表示全局平均池化操作，表示批正则化，和分别表示维度减小层和维度增加层，为通道减小因子，表示输入的特征通道数；局部特征表示为：；其中，和表示局部特征提取过程中两个逐点卷积操作，和的卷积核大小分别为和；局部特征与输入大小相同；多尺度通道注意力模块的输出特征表示为：；其中，表示注意力权重，表示逐元素乘法操作，表示广播加法，表示sigmoid激活函数；
经过多个残差-注意力机制模块的处理，提取到的hsi和lidar图像特征分别记为和。7.根据权利要求6所述的基于注意力机制的数据分类优化方法，其特征在于，所述基于注意力机制特征融合模块用于：对提取的his图像特征和lidar图像特征分别进行全局池化操作，经矢量拉伸与全连接层处理，分别生成相应的语义特征和；采用两种特征级融合策略来利用hsi和lidar数据间的互补信息；其中，第一种融合策略是基于加法的特征融合，直接对和进行相加，得到二者融合后的语义特征；其中，第二种融合策略是基于注意力机制的特征融合，采用注意力特征融合模块对和进行融合，再经过矢量拉伸与全连接层处理，生成融合后的语义特征；待融合的特征经求和操作之后输入到多尺度通道注意力模块中生成基于注意力的融合权重，表示如下：；其中，表示融合后的特征，m表示融合权重，和表示待融合的两个特征；经过处理后，共生成了四种语义特征，包括两种单源数据语义特征和，以及两种融合后的语义特征和。8.根据权利要求7所述的基于注意力机制的数据分类优化方法，其特征在于，所述基于决策级融合分类模块用于：将单源数据语义特征和，以及融合后的语义特征和分别输入到不同分类器中，得到四种分类预测结果；采用决策级融合策略对四种分类结果进行优化，最终分类结果表示为：。9.根据权利要求8所述的基于注意力机制的数据分类优化方法，其特征在于，所述获取融合了样本语义信息与相似信息的训练数据，有监督训练所述多源数据特征提取与融合网络具体为：设计融合样本语义信息与相似信息的损失函数，采用梯度下降法求解所述多源数据特征提取与融合网络的网络参数。10.根据权利要求9所述的基于注意力机制的数据分类优化方法，其特征在于，所述设计融合样本语义信息与相似信息的损失函数，采用梯度下降法求解所述多源数据特征提取
与融合网络的网络参数，具体包括：采用基于深度哈希的度量学习来约束图像块样本对之间的相似度；将提取到的语义特征二值化为哈希码，得到对应的哈希码矩阵：；；；其中，、和分别表示hsi、lidar和hsi-lidar的哈希码矩阵，和分别表示第个hsi和lidar像素的哈希码；定义任一样本对的相似度变量，若二者类别标签相同，则，反之则为0；通过计算样本对标签的负对数似然得到单源和跨源样本间相似度损失：；其中，； ；其中，表示sigmoid激活函数；采用连续变量的语义特征来逼近离散哈希码，连续化所产生的量化损失表示为：；在提取到的语义特征基础上，采用交叉熵损失函数度量每个样本的语义损失：；其中，，表示分类器预测的分类结果；通过联合最小化以上三种损失函数，目标函数表示如下：；
其中，、、为超参数，用于平衡不同类型损失的权重；采用梯度下降算法来求解所述目标函数，通过不断的更新迭代获得合适的网络参数。11.根据权利要求10所述的基于注意力机制的数据分类优化方法，其特征在于，所述将待测试样本输入到训练好的所述多源数据特征提取与融合网络中，根据决策级融合结果，输出最终的分类标签，具体包括：对于任一测试样本对，将输入到训练好的所述多源数据特征提取与融合网络中；所述多源数据特征提取与融合网络的前馈运算提取四种语义特征、、和；将四种语义特征、、和分别输入不同的分类器中得到各自分类结果；采用决策级融合对四种分类结果进行整合，得到最终的分类结果：；其中，分类器采用softmax函数。12.一种终端，其特征在于，所述终端包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于注意力机制的数据分类优化程序，所述基于注意力机制的数据分类优化程序被所述处理器执行时实现如权利要求1-11任一项所述的基于注意力机制的数据分类优化方法的步骤。13.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有基于注意力机制的数据分类优化程序，所述基于注意力机制的数据分类优化程序被处理器执行时实现如权利要求1-11任一项所述的基于注意力机制的数据分类优化方法的步骤。

技术总结
本发明公开了一种基于注意力机制的数据分类优化方法及相关设备，所述方法包括：将所有标记像素划分为训练集和测试集，并分别获取所述训练集和所述测试集的真实标签数据；将注意力机制嵌入到卷积神经网络中，构建基于注意力机制的多源数据特征提取与融合网络；获取融合了样本语义信息与相似信息的训练数据，有监督训练所述多源数据特征提取与融合网络；将待测试样本输入到训练好的所述多源数据特征提取与融合网络中，根据决策级融合结果，输出最终的分类标签。本发明构建了基于注意力机制的特征提取与融合框架，同时考虑了样本的语义信息与相似信息，显著提高了特征的表征能力，通过高效的特征提取与融合实现了HSI与LiDAR的精确分类。精确分类。精确分类。


技术研发人员：宋伟伟 莫继学 戴勇
受保护的技术使用者：鹏城实验室
技术研发日：2022.12.05
技术公布日：2022/12/30