基于自监督对比学习的跨域遥感场景分类与检索方法

1.本发明涉及光学遥感图像检索技术领域，具体地，涉及一种基于自监督对比学习的跨域遥感场景分类与检索方法。


背景技术：

2.近年来，对地观测技术的进步为人类提供了越来越多的高分辨率遥感图像，给遥感领域带来了巨大的机遇，极大促进了遥感图像在不同领域的应用。遥感图像场景分类和检索是遥感影像解译领域的基础任务，可以快速准确地理解和管理遥感图像数据，在环境监测、土地利用和视觉导航等领域发挥了重要作用。
3.近几年发展的深度卷积神经网络(convolutional neural networks，cnn)，具有强大的特征拟合能力，在遥感场景分类和检索任务上展现了巨大的优越性。其一般过程为首先将通用的大规模图像数据集(如imagenet)预训练的主干网络在遥感图像数据集上进行微调，之后提取网络的激活输出作为图像特征表示用于检索或分类。
4.但是，现有的大多数基于cnn的方法都是有监督的，且通常假设训练集和测试集共享相同的数据分布，此外，在实际应用中，由于传感器、拍摄角度、拍摄天气等成像条件的差异，造成同一类型的地物在不同的数据分布中差异巨大，这种现象被称为数据偏移，当训练集和测试集之间存在数据偏移时，模型在测试集的泛化效果很差，而且重新标注测试集是费时耗力且不切实际的；而且现有的域适应遥感场景分类或检索方法大多是针对封闭集场景提出的，即假设目标域与源域共享相同的标签空间，而在复杂的实际场景中，这一假设很容易被违反，因为源域的类别往往是不完备的，源域不可能覆盖所有的类，目标域可以包含源域未共享的类样本，在这种情况下，传统的域适应方法一般会导致负迁移，因为未知类样本容易被错误的拟合到共享类别，从而使得模型泛化效果不佳。
5.有鉴于此，需要设计一种基于自监督对比学习的跨域遥感场景分类与检索方法。


技术实现要素：

6.本发明所要解决的技术问题是提供一种基于自监督对比学习的跨域遥感场景分类与检索方法，其能够在目标域存在未知类别的情况下，依然具有良好的目标域的分类与检索精度。
7.为了解决上述技术问题，本发明提供一种基于自监督对比学习的跨域遥感场景分类与检索方法，包括如下步骤：
8.a)获取遥感图像，并划分所述遥感图像的源域图像与目标域图像，以构建输入数据；
9.b)基于自监督对比学习并结合所述目标域图像的已知类和未知类构建损失函数，构建深度域适应学习网络，并利用所述输入数据和所述损失函数训练所述深度域适应学习网络；
10.c)利用训练好的所述深度域适应学习网络对所述目标域图像进行分类，提取所述
目标域图像的目标图像特征向量构建特征数据库，提取目标域查询图像的查询图像特征向量，计算所述查询图像特征向量与所述特征数据库中所有的所述目标图像特征向量的欧式距离，按欧式距离进行排列，并按照设定的欧氏距离范围，得出所需的检索目标。
11.进一步地，所述输入数据的构建步骤包括：从所述遥感图像的数据集中抽取若干张图像{1,2,
…
,n}，构建所述源域图像所述源域图像包含ns张有标注源域图像表示有标注源域图像所对应的标签，其中，表示所述有标注源域图像的标签空间，c表示所述有标注源域图像的类别总数；所述目标域图像为所述目标域图像包含n
t
张无标注目标域图像其中，目标域图像的标签空间为：{1,2,
…
,c,c 1}，c 1表示所述无标注目标域图像的未知类别。
12.进一步地，所述深度域适应学习网络包括多个特征编码网络f(
·
)、多个对比学习网络g(
·
)和多个分类器c(
·
)。
13.进一步地，所述特征编码网络f(
·
)为去除全连接层的深度残差网络，且所述深度残差网络的平均池化层替换为瓶颈层。
14.进一步地，所述对比学习网络g(
·
)为带有relu(修正线性单元)激活函数的感知机。
15.进一步地，所述分类器c(
·
)为全连接网络，所述分类器c(
·
)的输出维度与所述目标域图像的类别数量一致。
16.进一步地，所述损失函数的构建步骤包括：
17.b11)构建源域分类损失：对所述源域图像进行有监督学习，采取交叉熵损失计算其分类的准确性：
[0018][0019]
其中，l
softmax
为分类损失函数，表示所述源域图像的源域有标注图像的真实类别分布，函数表示所述分类器输出的源域弱增强样本类别概率分布，表示源域有标注图像的标签样本的合集；
[0020]
b12)构建自监督对比损失：构建所述目标域图像的目标域强增强样本和目标域弱增强样本以计算对比损失l
ssl
：
[0021][0022]
其中，其中sim(
·
)是相似性度量函数，θ是缩放因子，a∈{0,1}是一个指示函数，用于评估k与是否等于j，b表示一次训练所选取的样本数；
[0023]
b13)构建已知类识别损失为：
[0024][0025]
其中，μ表示一次训练内满足已知类阈值选择要求的样本比例，h(
·
)表示交叉熵损失，为由所述目标域弱增强样本筛选得到的目标域已知类伪标签的合集，ind表示所述目标域弱增强样本由所述已知类伪标签筛选后所属的类别，且ind∈{1,2,
…
,c}，表示所述目标域强增强样本的预测类别概率分布，表示目标域强增强样本的标签样本的合集；
[0026]
b14)构建未知类识别损失：未知类识别损失为高置信度未知类别样本的一致性分类损失l
unknown
：
[0027][0028]
其中，为由所述目标域弱增强样本筛选得到的目标域未知类伪标签的合集，表示所述目标域强增强样本的预测类别概率分布；
[0029]
b15)构建的总损失函数l为：
[0030]
l＝l
softmax
αl
ssl
βl
known
γl
unknown
[0031]
其中，α,β和γ为权衡模型优化目标的参数。
[0032]
进一步地，所述目标域弱增强样本由对所述无标注目标域图像利用随机裁剪和翻转得出；所述目标域强增强样本由对所述无标注目标域图像利用随机增强方法得出；所述源域弱增强样本由对所述有标注源域图像利用随机裁剪和翻转得出。
[0033]
进一步地，所述深度域适应学习网络的训练步骤包括：
[0034]
b21)将所述源域弱增强样本、目标域弱增强样本和目标域强增强样本输入到所述特征编码网络f(
·
)中，以分别得到源域特征目标域弱增强图像特征和目标域强增强图像特征
[0035]
b22)将所述目标域弱增强图像特征和所述目标域强增强图像特征输入所述对比学习网络g(
·
)，得到投影后的目标域弱增强图像嵌入特征和目标域强增强图像嵌入特征以计算所述对比损失l
ssl
；
[0036]
b23)将所述源域特征所述目标域弱增强图像特征和所述目标域强增强图像特征输入所述分类器c(
·
)，以分别得到分类器预测的所述源域弱增强样本类别概率
分布所述目标域弱增强样本类别概率分布和所述目标域强增强样本类别概率分布
[0037]
b24)对所述源域弱增强样本类别概率分布基于所述分类损失函数l
softmax
，计算源域的分类损失；
[0038]
b25)对所述目标域弱增强样本类别概率分布首先找到其最大预测概率所在的类别，将该类别的概率值与设定的预定义阈值τ进行比较，舍弃小于τ的样本，保留大于τ的样本作为伪标签样本，将其最大预测概率所在的类别作为已知类硬标签，筛选公式为：
[0039][0040]
其中，表示中满足阈值条件的所述最大预测概率所在的类别；
[0041]
b26)使用所述目标域弱增强样本的已知类伪标签作为所述对应目标域强增强样本的监督信号，计算所述目标域强增强样本的所述已知类识别损失l
known
；
[0042]
b27)选取所述目标域弱增强样本类别概率分布中置信度较低的样本作为候选未知类样本，具体选取公式为：
[0043][0044]
其中为初步筛选后的候选未知类样本，t
l
为候选样本选取阈值，再选取预测为未知类别概率高于设定的未知类样本选取阈值的样本作为未知类样本，
[0045][0046]
其中为所述候选样本预测为未知类别的概率，t
uk
为所述未知类样本选取阈值，为目标域未知类伪标签；
[0047]
b28)用所述目标域未知类伪标签作为所述目标域强增强样本的监督信号，计算所述未知类别样本的一致性分类损失l
unknown
，得出所述总损失函数l，并更新所述深度域适应学习网络的参数。
[0048]
进一步地，获取所述检索目标的步骤为：
[0049]
c21)基于训练好的所述特征编码网络提取所述查询图像特征向量；
[0050]
c22)逐一计算所述查询图像特征向量与所述特征数据库中各个所述目标图像特征向量之间的欧式距离；
[0051]
c23)按照所述目标图像特征向量与所述查询图像特征向量之间的所述欧式距离的大小将所述目标图像特征向量进行排序，以得到所述目标图像特征向量对应的所述检索目标。
[0052]
通过上述技术方案，在本发明所提供的自监督对比学习的跨域遥感场景分类与检索方法中，其先是要构建输入数据，包括源域图像与目标域图像的数据，其中，源域图像的数据是有标注的数据，目标域图像的数据是无标注的，并对构建的输入数据进行相对应的增强，随后，将增强后的源域图像的数据和目标域图像的数据输入到相应的特征编码网络中，将输出的结果与输入的数据进行对比，并在自监督对比学习的基础上结合目标域图像的已知类和未知类构建损失函数，以能够基于损失函数，对特征编码网络的网络参数进行调整，从而能够减小特征编码网络受目标域中存在未知类样本的影响，以使得训练后的深度域适应学习网络在对包含未知类样本的数据进行分类或检索时具有更好的效果。
[0053]
有关本发明的其它优点以及优选实施方式的技术效果，将在下文的具体实施方式中进一步说明。
附图说明
[0054]
图1是本发明基于自监督对比学习的跨域遥感场景分类与检索方法的流程图；
[0055]
图2是本发明基于自监督对比学习的跨域遥感场景分类与检索方法的原理示意图；
[0056]
图3是本发明基于自监督对比学习的跨域遥感场景分类与检索方法中对深度域适应学习网络的训练过程示意图；
[0057]
图4是本发明基于自监督对比学习的跨域遥感场景分类与检索方法中的检索过程示意图；
[0058]
图5是本发明基于自监督对比学习的跨域遥感场景分类与检索方法中对抗鉴别域适应的分类混淆矩阵；
[0059]
图6是本发明基于自监督对比学习的跨域遥感场景分类与检索方法中批量奇异值约束的分类混淆矩阵；
[0060]
图7是本发明基于自监督对比学习的跨域遥感场景分类与检索方法中深度域适应网络的分类混淆矩阵；
[0061]
图8是本发明基于自监督对比学习的跨域遥感场景分类与检索方法中反向传播开集域适应的分类混淆矩阵；
[0062]
图9是本发明基于自监督对比学习的跨域遥感场景分类与检索方法的分类混淆矩阵。
具体实施方式
[0063]
以下结合附图对本发明的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明，并不用于限制本发明。
[0064]
如图1和图2所示，作为本发明所提供的基于自监督对比学习的跨域遥感场景分类与检索方法的一种实施例，该方法包括如下步骤：
[0065]
a)获取遥感图像，并划分遥感图像的源域图像与目标域图像，以构建输入数据；
[0066]
b)基于自监督对比学习并结合目标域图像的已知类样本和未知类样本构建损失函数，构建深度域适应学习网络，并利用输入数据和损失函数训练深度域适应学习网络；
[0067]
c)利用训练好的深度域适应学习网络对目标域图像进行分类，提取目标域图像的
目标图像特征向量构建特征数据库，提取目标域查询图像的查询图像特征向量，计算查询图像特征向量与特征数据库中所有的目标图像特征向量的欧式距离，按欧式距离进行排列，并按照设定的欧氏距离范围，得出所需的检索目标。
[0068]
具体地，在本发明所提供的基于自监督对比学习的跨域遥感场景分类与检索方法的一种实施例中，输入数据的构建步骤包括：从遥感图像的数据集中抽取若干张图像{1,2,
…
,n}，构建源域图像源域图像包含ns张有标注源域图像表示有标注源域图像所对应的标签，其中，所对应的标签，其中，表示有标注源域图像的标签空间，c表示有标注源域图像的类别总数；目标域图像为目标域图像包含n
t
张无标注目标域图像其中，目标域图像的标签空间为：{1,2,
…
,c,c 1}，c 1表示所述无标注目标域图像的未知类别。
[0069]
进一步地，在本发明所提供的基于自监督对比学习的跨域遥感场景分类与检索方法的一种实施例中，如图3和图4所示，深度域适应学习网络包括多个特征编码网络f(
·
)、多个对比学习网络g(
·
)和多个分类器c(
·
)；其中，特征编码网络为去除全连接层的深度残差网络，且其最后的平均池化层被瓶颈层所取代，输出为256维的特征向量；对比学习网络g(
·
)为带有relu(修正线性单元)激活函数的感知机；分类器c(
·
)为全连接网络，分类器c(
·
)的输入为256维的特征向量，其输出维度与目标域图像的类别数量一致(即为{1,2,
…
,c,c 1}类的概率分布)。
[0070]
进一步地，在本发明所提供的基于自监督对比学习的跨域遥感场景分类与检索方法的一种实施例中，损失函数的构建步骤包括：
[0071]
b11)构建源域分类损失：由于源域图像均进行了语义标注(即均是有标注源域图像)，因此，可以对其进行有监督学习，采取交叉熵损失计算其分类的准确性：
[0072][0073]
其中，l
softmax
为分类损失函数，表示源域图像的源域有标注图像的真实类别分布，函数表示分类器输出的源域弱增强样本类别概率分布，表示源域有标注图像的标签的合集；
[0074]
b12)构建自监督对比损失：自监督对比学习是通过最大化数据的不同视图之间的信息来学习表示，具体地，是通过鼓励来自目标域同一图像的两个视图(即是强增强视图和弱增强视图)相似，以及来自不同图像的两个视图不相似来学习鉴别性更强的图像特征，因此，可构建目标域图像的目标域强增强样本和目标域弱增强样本以计算对比损失l
ssl
：
[0075][0076]
其中，其中sim(
·
)是相似性度量函数，θ是缩放因子，a∈{0,1}是一个指示函数，
用于评估k与是否等于j，b表示一次训练所选取的样本数；具体地，目标域弱增强样本是由对无标注目标域图像利用随机裁剪和翻转得出；目标域强增强样本是由对无标注目标域图像利用随机增强方法得出；
[0077]
b13)构建已知类识别损失为：
[0078][0079]
其中，μ表示一次训练内满足已知类阈值选择要求的样本比例，h(
·
)表示交叉熵损失，为由目标域弱增强样本筛选得到的目标域已知类伪标签的合集，ind表示目标域弱增强样本由已知类伪标签筛选后所属的类别，且ind∈{1,2,
…
,c}，表示目标域强增强样本的预测类别概率分布，表示目标域强增强样本的标签样本的合集；
[0080]
b14)构建未知类识别损失：未知类识别损失为高置信度未知类别样本的一致性分类损失l
unknown
：
[0081][0082]
其中，为由目标域弱增强样本筛选得到的目标域未知类伪标签的合集，表示目标域强增强样本的预测类别概率分布；
[0083]
b15)构建的总损失函数l为：
[0084]
l＝l
softmax
αl
ssl
βl
known
γl
unknown
[0085]
其中，α,β和γ为权衡模型优化目标的参数。
[0086]
进一步地，在本发明所提供的基于自监督对比学习的跨域遥感场景分类与检索方法的一种实施例中，深度域适应学习网络的训练步骤包括：
[0087]
b21)特征编码网络f(
·
)可设置为三个，并将源域弱增强样本、目标域弱增强样本和目标域强增强样本分别输入到相对应的特征编码网络f(
·
)中，以分别得到源域特征f
is
、目标域弱增强图像特征和目标域强增强图像特征其中，源域弱增强样本由对有标注源域图像利用随机裁剪和翻转得出；
[0088]
b22)对比学习网络g(
·
)可以设置为两个，并将目标域弱增强图像特征和目标域强增强图像特征分别输入到相对应的对比学习网络g(
·
)中，以分贝得到投影后的目标域弱增强图像嵌入特征和目标域强增强图像嵌入特征以计算对比损失l
ssl
；
[0089]
b23)分类器c(
·
)可设置为三个，并将源域特征fi
is
、目标域弱增强图像特征和目标域强增强图像特征分别输入到相对应的分类器c(
·
)中，以分别得到分类器预测的源域弱增强样本类别概率分布目标域弱增强样本类别概率分布和目标域强增强样本类别概率分布
[0090]
b24)对源域弱增强样本类别概率分布基于分类损失函数l
softmax
，计算源域的分类损失；
[0091]
b25)对目标域弱增强样本类别概率分布首先找到目标域弱增强样本类别概率分布的最大预测概率所在的类别，随后将该类别的概率值与设定的预定义阈值τ进行比较，舍弃小于预定义阈值τ的样本，以保留大于预定义阈值τ的样本作为伪标签样本，并将其最大预测概率所在的类别作为已知类硬标签，样本的筛选公式为：
[0092][0093]
其中，表示目标域弱增强样本类别概率分布中满足阈值条件的最大预测概率所在的类别；
[0094]
b26)使用目标域弱增强样本的已知类伪标签作为对应的目标域强增强样本的监督信号，计算目标域强增强样本的已知类识别损失l
known
；
[0095]
b27)选取目标域弱增强样本类别概率分布中置信度较低的样本作为候选未知类样本，具体选取公式为：
[0096][0097]
其中为初步筛选后的候选未知类样本，t
l
为候选样本选取阈值，再选取预测为未知类别概率高于设定的未知类样本选取阈值的样本作为未知类样本，
[0098][0099]
其中为候选样本预测为未知类别的概率，t
uk
为未知类样本选取阈值，为目标域未知类伪标签；
[0100]
b28)用目标域未知类伪标签作为目标域强增强样本的监督信号，计算未知类别样本的一致性分类损失l
unknown
，得出所述总损失函数l，并更新深度域适应学习网络的参数。
[0101]
进一步地，在本发明所提供的基于自监督对比学习的跨域遥感场景分类与检索方法的一种实施例中，获取目标域图像的步骤为：
[0102]
c21)基于训练好的特征编码网络提取查询图像特征向量；
[0103]
c22)逐一计算查询图像特征向量与所述特征数据库中各个目标图像特征向量之间的欧式距离；
[0104]
c23)按照所述目标图像特征向量与所述查询图像特征向量之间的所述欧式距离的大小将所述目标图像特征向量进行排序，以得到所述目标图像特征向量对应的所述检索目标。
[0105]
以上对于输入数据的构建以及深度域适应学习网络的训练是基于python语言的pytorch库实现的，此外，还进行了adda(adversarial discriminative domain adaptation对抗鉴别域适应)、bsp(batch spectral penalization批量奇异值约束)、dan(deep adaptation network深度域适应网络)和osbp(open set domain adaptation by backpropagation，反向传播开集域适应)等域适应方法的仿真实验，以用于同本发明的基于自监督对比学习的跨域遥感场景分类与检索方法进行对比；本发明采用总体分类精度、分类混淆矩阵评价分类效果，采用平均归一化修正检索秩(anmrr)、平均检索精度(map)和pk(前k张图像的检索精度)来评价检索效果，其中，平均检索精度(map)和前k张图像的检索精度pk值越高检索性能越好，而平均归一化修正检索秩anmrr值越小越好，对比结果如表1所示：
[0106]
方法分类精度anmrrmapp5p10p20p50p100adda0.6020.28720.58450.77700.75400.72150.65460.5280bsp0.6160.28000.59280.80700.76750.72380.64980.5324dan0.60.26220.59970.79300.76950.73750.66580.5503osbp0.65630.27250.59210.72600.70000.68800.63650.5403本发明0.80630.22220.67770.88000.86350.83180.76300.6103
[0107]
表1
[0108]
由表1的结果表明，本发明的基于自监督对比学习的跨域遥感场景分类与检索方法取得了最高的检索精度，相较对比的方法，本发明方法的分类精度提高了15％至20.63％，同时检索精度也全面超越了对比方法，具体地，本发明方法的平均检索精度相较对比方法取得了至少7.8％的提升，并且本发明方法的p5-p100和anmrr均优于对比方法。此外，图5至图9还展示了不同方法以及本发明的分类混淆矩阵，分类混淆矩阵中的对角线上的数值代表某一类正确分类的概率，对角线以外代表错误分为其他类的概率，结果表明，本发明的方法有效提高了目标域的分类精度，特别是大幅提高了目标域未知类的分类精度，同时减小了未知类与已知类的混淆。综上所述,本发明所提出的基于自监督对比学习的跨域遥感场景分类与检索方法，可以有效提高数据分布差异及类别空间不一致下的跨域分类与检索效果。
[0109]
通过上述技术方案，在本发明所提供的自监督对比学习的跨域遥感场景分类与检索方法中，其先是要构建输入数据，包括源域图像与目标域图像的数据，其中，源域图像的数据是有标注的数据，目标域图像的数据是无标注的，并对构建的输入数据进行相对应的增强，随后，将增强后的源域图像的数据和目标域图像的数据输入到相应的特征编码网络中，将输出的结果与输入的数据进行对比，并在自监督对比学习的基础上结合目标域图像的已知类和未知类构建损失函数，以能够基于损失函数，对特征编码网络的网络参数进行调整，从而能够减小特征编码网络受目标域中存在未知类样本的影响，以使得训练后的深
度域适应学习网络在对包含未知类样本的数据进行分类或检索时具有更好的效果。
[0110]
以上结合附图详细描述了本发明的优选实施方式，但是，本发明并不限于此。在本发明的技术构思范围内，可以对本发明的技术方案进行多种简单变型，包括各个具体技术特征以任何合适的方式进行组合，为了避免不必要的重复，本发明对各种可能的组合方式不再另行说明。但这些简单变型和组合同样应当视为本发明所公开的内容，均属于本发明的保护范围。