基于注意力机制的小样本遥感影像分类方法及系统

1.本发明涉及遥感影像分类领域，特别是涉及一种基于注意力机制的小样本遥感影像分类方法及系统。


背景技术：

2.由于目前的遥感技术迅猛发展，遥感数据呈现出高空间分辨率、高光谱分辨率、高时间分辨率、多极化、多角度等特征。因此遥感影像中丰富的信息可以被用于土地覆盖检测、湿地资源监测、城市规划和军事侦察等领域。
3.然而在实际的学术以及工业应用领域中，遥感影像因其领域的特殊性及数据获取方式的局限性，数据集呈现出小样本的特点，虽然样本数据集中的类别很多，但是同类别可以用来训练的样本数据集很少，其数据集获取成本较高，数据集的制作往往需要耗费大量的人力、物力及财力。与此同时，在遥感影像领域的探索过程中，影像的扩充过程中还会不断出现新类别的样本。经过训练的深度学习模型严重缺乏对新类别样本的分辨能力，而扩展新类别样本集合，同样存在着收集困难的问题，且重新启动训练需要的计算代价较高。并且复杂网络结构的深度学习模型具有参数量大、训练过程漫长等缺点。


技术实现要素：

4.基于此，有必要针对小样本数据集训练出的分类模型分类效率低，泛化能力差即对未参与训练的数据集识别效果差，分类精度低问题，提供一种基于注意力机制的小样本遥感影像分类方法及系统。
5.一种基于注意力机制的小样本遥感影像分类方法，所述方法包括：
6.获取元任务中支持集的高维空间特征和查询集的查询特征；
7.对支持集的高维空间特征进行处理获得类原型特征；
8.对查询特征和不同的类原型特征之间的距离进行度量，完成分类。
9.进一步的，所述支持集具有多个，且每个支持集能够获得一种类原型特征。
10.进一步的，所述对支持集的高维空间特征进行处理获得类原型特征，包括：
11.生成不同支持集的高维空间特征之间的权重分数；
12.通过加权求和的方式获得不同的类原型特征。
13.进一步的，所述对查询特征和不同的类原型特征之间的距离进行度量，包括：
14.通过度量函数欧氏距离获取查询特征和不同的类原型特征之间的距离；
15.基于同类相距较近、异类相距较远的原则，生成类原型特征的one-hot向量。
16.进一步的，所述完成分类，包括：
17.通过softmax函数计算待分类类原型特征的类别概率，从而得到分类结果。
18.一种基于注意力机制的小样本遥感影像分类系统，包括：
19.特征嵌入模块，用于获取元任务中支持集的高维空间特征和查询集的查询特征；
20.类级注意力模块，用于对支持集的高维空间特征进行处理获得类原型特征；与
21.度量模块，用于对查询特征和不同的类原型特征之间的距离进行度量，完成分类。
22.进一步的，所述特征嵌入模块包括一个卷积层、一个池化层和三个残差块。
23.进一步的，所述特征嵌入模块还用于采用迁移学习思想，在系统训练之前使用imagenet数据集对其内的特征提取单元进行预训练。
24.进一步的，所述类级注意力模块采用双向长短期记忆网络bi-lstm和多个lstm单元学习支持集的高维空间特征信息，并基于支持集的高维空间特征之间的相互关系生成不同的权重分数，然后通过加权求和的方式获得类原型特征。
25.进一步的，所述度量模块可通过度量函数欧氏距离获取查询特征和不同的类原型特征之间的距离，然后基于同类相距较近、异类相距较远的原则，生成类原型特征的one-hot向量，最后通过softmax函数计算待分类类原型特征的类别概率，从而得到分类结果。
26.上述基于注意力机制的小样本遥感影像分类方法和系统，在实际应用中，使得遥感影像分类性能更优，泛化能力强，对未参与训练的数据集识别效果好，分类精度高，同时不需要研究工作者进行复杂和冗余的数据处理工作，能够大大降低人工成本，提高各领域对遥感影像分类的效率以及准确率，提高工作效率。
附图说明
27.图1为一个实施例中基于注意力机制的小样本遥感影像分类方法流程图；
28.图2为一个实施例中基于注意力机制的小样本遥感影像分类系统模块图；
29.图3为一个实施例中的查询样本图。
具体实施方式
30.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地说明，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
31.如图1和图2所示，在一个实施例中，一种基于注意力机制的小样本遥感影像分类方法，包括以下步骤：
32.步骤s110，获取元任务中支持集的高维空间特征和查询集的查询特征。该步骤为采用元学习思想进行模型训练，每个遥感影像分类子任务被称为元任务，每个元任务均包括支持集和查询集两部分，分别对应传统模型中的训练集和测试集，其中支持集具有多个，且每个支持及能够获得一种类原型特征。
33.步骤s120，对支持集的高维空间特征进行处理获得类原型特征。包括生成不同支持集的高维空间特征之间的权重分数，具体是基于bi-lstm(bi-directional long short-term memory，双向的长短时记忆网络)的注意力机制生成权重分数(或者说贡献分数)；然后通过加权求和的方式获得不同的类原型特征。
34.步骤s130，对查询特征和不同的类原型特征之间的距离进行度量，完成分类。包括通过度量函数欧氏距离获取查询特征和不同的类原型特征之间的距离；然后基于同类相距较近、异类相距较远的原则，生成类原型特征的one-hot向量。最后通过softmax函数计算待分类类原型特征的类别概率，从而得到分类结果。
35.如图2所示，在一个实施例中，一种基于注意力机制的小样本遥感影像分类系统，包括特征嵌入模块、类级注意力模块和度量模块；特征嵌入模块用于获取元任务中支持集的高维空间特征和查询集的查询特征；类级注意力模块用于对支持集的高维空间特征进行处理获得类原型特征；度量模块用于对查询特征和不同的类原型特征之间的距离进行度量，完成分类。
36.在本实施例中，所述特征嵌入模块包括一个卷积层、一个池化层和三个残差块。用于实现元任务内支持集和查询集影像高维空间特征的提取。具体的，对于特征嵌入模块。其中，特征嵌入模块还用于采用迁移学习思想，在系统训练之前使用imagenet数据集对其内的特征提取单元进行预训练。在预训练过程采用基于resnet-18或其他合适的的卷积神经网络对imagenet数据集的分类任务进行端到端训练，待损失函数收敛而终止。
37.在本实施例中，针对同一类别支持集的高维空间特征差别大以及单一高维空间特征影像内冗余信息较多，造成对类级表达干扰的问题，所述类级注意力模块采用双向长短期记忆网络bi-lstm和多个lstm单元学习支持集的高维空间特征信息，并基于支持集的高维空间特征之间的相互关系生成不同的权重分数，然后通过加权求和的方式获得类原型特征。
38.在本实施例中，所述度量模块可通过度量函数欧氏距离获取查询特征和不同的类原型特征之间的距离，然后基于同类相距较近、异类相距较远的原则，生成类原型特征的one-hot向量，最后通过softmax函数计算待分类类原型特征的类别概率，从而得到分类结果。在预训练阶段，度量模块可采用交叉熵函数作为损失函数，通过梯度下降算法进行参数收敛训练，从而优化分类器。
39.示例性的，类别1-类别n的支持集通过特征嵌入模块生成不同的支持集高维空间特征的特征表示，查询集样本通过特征嵌入模块生成查询特征；在类级注意力模块中，对于支持集高维空间特征，采用双向lstm网络生成不同类特征之间的权重分数，例如，三角形生成权重方块，并通过加权求和方式生成原型特征1，正方形和六边形的操作同上；生成不同的类原型1-类原型n后，在度量空间内，通过度量查询特征与特征空间内不同类原型之间的距离，基于同类相近，异类较远的原则，进行分类任务，并生成查询集样本的one-hot向量。
40.在此要说明的是，在机器学习的研究中，小样本学习提供了一种从不同角度解决数据量小问题的替代方法。与扩大数据集规模不同，该模型使用不同任务间参数迁移的思想，采用元训练策略从很少的标记样本快速推广到新任务。小样本学习主要分为两大类：基于梯度优化的方法和基于度量学习的方法。基于优化的方法也被解释为“学习去学习”，通过在源域上学习网络模型或者优化器的元学习，使得模型可以在目标域上完成快速迭代并具有良好泛化的能力。其主要方法有maml和meta-learner lstm。其中maml通过在初始参数的基础上进行一或多步的梯度调整，来达到仅用少量数据就能快速适应新任务的目的；meta-learner lstm通过参数替换将lstm的梯度更新规则推广到一般的梯度更新，用于快速更新leaner的参数。基于度量的方法用“如何度量样本之间的相似度”来解决小样本问题。这类方法的主要网络有matching net，proto net，relation net；其中matching net主要采用余弦相似度作为度量分类基准，通过注意力机制将支持集映射到函数中，然后在嵌入空间中通过加权最近邻分类器对查询样本进行分类。protonet在训练中使用每个类别的样本均值来表示为类原型表示，并采用欧氏距离度量目标样本与样本之间的距离来进行分
类任务。relation net引入了带参数的神经网络作为度量标准，让模型自己学习度量方法解决嵌入空间非线性的问题。
41.近年来，在遥感影像领域解决小样本问题也展开了越来越多的研究。其主要是利用迁移学习从源任务中提取一些知识并应用到类似的目标任务中。但是该研究的模型在数据及需求上有局限性，即需要不同域的相同类别样本来进行训练。除此之外便是基于优化梯度下降的元学习方法，其具有从一个数据集学习到的知识可以快速地适应新的数据集的特殊性，进而为终身的少样本学习服务。另外还有就是提出一种平衡损失函数，可以合理的处理训练集拟合能力及测试集泛化能力。但是，该模型采用手动设置平衡因子，面对不同样本数据集可能会出现稳定性问题。
42.示例性的，如图3所示，为验证模型的性能和有效性，在实验中使用了三种不同的公共数据集，分别为(a)ucmerced数据集、(b)aid-30数据集和(c)nwpu-resisc45数据集。
43.ucmerced数据集：数据集中共包括21类地物信息，每个类别含有分辨率为256
×
256的100个影像。aid-30数据集：数据集中共包括30类地物信息，每个类别含有分辨率为600
×
600的200个以上的影像。nwpu-resisc45数据集：数据集中共包括45类地物信息，每个类别含有分辨率为256
×
256的700个影像。
44.在训练过程中，会从训练集中随机抽取c个类别k个样本(共c*k个数据)，构建元任务训练集基于度量学习的小样本分类问题，将每个元任务分为两个部分：支持集(support data)和查询集(query data)。支持集通过特征嵌入模块生成类级特征表达，也称类原型特征，代表该类在特征空间内的位置信息，查询集生成查询集样本表达，代表查询集样本在特征空间内的位置信息，通过度量查询集中样本与不同的类级表达之间的相似性进行分类，以降低模型的损失函数loss为目的，采用梯度下降算法进行训练收敛模型参数。测试阶段与训练过程一样，构建元学习任务，区别是此时不需要训练修改模型参数。
45.为了模拟小样本分类任务，测试所提出模型对小样本条件下训练的鲁棒性和训练的公平性，将上述三个数据集每个数据集随机平均分为三个数据集，分别是meta-train，meta-val和meta-test。其中meta-train模拟小样本学习任务训练所提出的模型，meta-val对训练得的模型进行验证，选择分类精度最高的模型参数作为最优模型，meta-test通过生成同meta-train相同的随机元任务，对元任务中查询集进行分类预测，来进行模型性能检验。
46.本设计构建网络模型使用pytorch深度学习库，模型训练的实验环境如下表所示：
[0047][0048]
训练的参数如下表所示：
few-shot remote sensing scene classification，用于少镜头遥感镜像分类的深度元学习)的57.23％、76.08％和81.23％；对于aid-30数据集，精度较先进水平提升0.42％、8.81％和6.73％；对于np-45数据集，精度较先进水平提升3.82％、8.32％和9.19％，实验证明本设计可以在极小样本条件下，有效提取影像样本特征，挖掘类内样本信息，提升小样本场景分类性能。
[0056]
本节对网络结构中的特征嵌入模块和类级注意力模块进行了消融实验，如以下两个表格所示。第一个表格在相同设置下对不同嵌入网络vgg-16(超深度卷积网络)、resnet-14(残差神经网络-14)、resnet-18(残差神经网络-18)和resnet50(残差神经网络-50)进行评估分析，对于uc-21和aid-30数据集，非残差网络vgg-16的分类性能较低，而内存占用却较大，残差网络resnet-14(残差神经网络-14)有更好的分类性能，体现了残差单元的有效性；而对于np-45数据集，resnet-18(残差神经网络-18)则性能更优，在参数占用内存上，resnet-14(残差神经网络-14)所占用内存空间最小，resnet-50(残差神经网络-14)占用空间最大，本设计为了平衡分类性能及内存，最终选用resnet-14(残差神经网络-14)作为特征嵌入网络。
[0057][0058][0059]
本模型通过归纳查询集样本特征生成类原型prorotype，第二个表格为相同设置下，三种类原型表达的分类效果，分别为样本求和(sum)、样本均值(mean)和注意力机制(attention)，从表中可以看出，使用bi-lstm的类级注意力模块分类性能最优，类原型使用求和操作性能较差，验证了本设计所提出的问题，证明了注意力机制可以有效融合类内样本信息，生成鲁棒的类原型特征，有效提升小样本遥感场景分类性能。
[0060]
因此，在ucmerced、aid-3和nwpu-resisc45三个遥感影像数据集上都表明所提方法对于小样本的遥感影像有更好的分类效果和对不同数据集更好的泛化能力。
[0061]
上述基于注意力机制的小样本遥感影像分类方法和系统，在实际应用中，使得遥
感影像分类性能更优，泛化能力强，对未参与训练的数据集识别效果好，分类精度高，同时不需要研究工作者进行复杂和冗余的数据处理工作，能够大大降低人工成本，提高各领域对遥感影像分类的效率以及准确率，提高工作效率。
[0062]
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。