基于自监督对比学习的跨域遥感场景分类与检索方法

技术特征：
1.基于自监督对比学习的跨域遥感场景分类与检索方法，其特征在于，包括如下步骤：a)获取遥感图像，并划分所述遥感图像的源域图像与目标域图像，以构建输入数据；b)基于自监督对比学习并结合所述目标域图像的已知类样本和未知类样本构建损失函数，构建深度域适应学习网络，并利用所述输入数据和所述损失函数训练所述深度域适应学习网络；c)利用训练好的所述深度域适应学习网络对所述目标域图像进行分类，提取所述目标域图像的目标图像特征向量构建特征数据库，提取目标域查询图像的查询图像特征向量，计算所述查询图像特征向量与所述特征数据库中所有的所述目标图像特征向量的欧式距离，按欧式距离进行排列，并按照设定的欧氏距离范围，得出所需的检索目标。2.根据权利要求1所述的基于自监督对比学习的跨域遥感场景分类与检索方法，其特征在于，所述输入数据的构建步骤包括：从所述遥感图像的数据集中抽取若干张图像{1，2，...，n}，构建所述源域图像所述源域图像包含ns张有标注源域图像表示有标注源域图像所对应的标签，其中，表示所述有标注源域图像的标签空间，c表示所述有标注源域图像的类别总数；所述目标域图像为所述目标域图像包含nt张无标注目标域图像其中，目标域图像的标签空间为：{1，2，...，c，c 1}，c 1表示所述无标注目标域图像的未知类别。3.根据权利要求2所述的基于自监督对比学习的跨域遥感场景分类与检索方法，其特征在于，所述深度域适应学习网络包括多个特征编码网络f(
·
)、多个对比学习网络g(
·
)和多个分类器c(
·
)。4.根据权利要求3所述的基于自监督对比学习的跨域遥感场景分类与检索方法，其特征在于，所述特征编码网络f(
·
)为去除全连接层的深度残差网络，且所述深度残差网络的平均池化层替换为瓶颈层。5.根据权利要求4所述的基于自监督对比学习的跨域遥感场景分类与检索方法，其特征在于，所述对比学习网络g(
·
)为带有relu激活函数的感知机。6.根据权利要求5所述的基于自监督对比学习的跨域遥感场景分类与检索方法，其特征在于，所述分类器c(
·
)为全连接网络，所述分类器c(
·
)的输出维度与所述目标域图像的类别数量一致。7.根据权利要求6所述的基于自监督对比学习的跨域遥感场景分类与检索方法，其特征在于，所述损失函数的构建步骤包括：b11)构建源域分类损失：对所述源域图像进行有监督学习，采取交叉熵损失计算其分类的准确性：其中，l
softmax
为分类损失函数，表示所述源域图像的源域有标注图像的真实类别分布，函数表示所述分类器输出的源域弱增强样本类别概率分布，表示源域有标注图像的标签样本的合集；
b12)构建自监督对比损失：构建所述目标域图像的目标域强增强样本和目标域弱增强样本以计算对比损失l
ssl
：其中，其中sim(
·
)是相似性度量函数，θ是缩放因子，a∈{0，1}是一个指示函数，用于评估k与是否等于j，b表示一次训练所选取的样本数；b13)构建已知类识别损失为：其中，μ表示一次训练内满足已知类阈值选择要求的样本比例，h(
·
)表示交叉熵损失，为由所述目标域弱增强样本筛选得到的目标域已知类伪标签的合集，ind表示所述目标域弱增强样本由所述已知类伪标签筛选后所属的类别，且ind∈{1，2，...，c}，表示所述目标域强增强样本的预测类别概率分布，表示目标域强增强样本的标签样本的合集；b14)构建未知类识别损失：未知类识别损失为高置信度未知类别样本的一致性分类损失l
unknown
：其中，为由所述目标域弱增强样本筛选得到的目标域未知类伪标签的合集，表示所述目标域强增强样本的预测类别概率分布；b15)构建的总损失函数l为：l＝l
softmax
αl
ssl
βl
known
γl
unknown
其中，α，β和γ为权衡模型优化目标的参数。8.根据权利要求7所述的基于自监督对比学习的跨域遥感场景分类与检索方法，其特征在于，所述目标域弱增强样本由对所述无标注目标域图像利用随机裁剪和翻转得出；所述目标域强增强样本由对所述无标注目标域图像利用随机增强方法得出；所述源域弱增强样本由对所述有标注源域图像利用随机裁剪和翻转得出。9.根据权利要求8所述的基于自监督对比学习的跨域遥感场景分类与检索方法，其特征在于，所述深度域适应学习网络的训练步骤包括：b21)将所述源域弱增强样本、目标域弱增强样本和目标域强增强样本输入到所述特征编码网络f(
·
)中，以分别得到源域特征f
is
、目标域弱增强图像特征f
jw
和目标域强增强图像特征
b22)将所述目标域弱增强图像特征和所述目标域强增强图像特征输入所述对比学习网络g(
·
)，得到投影后的目标域弱增强图像嵌入特征和目标域强增强图像嵌入特征以计算所述对比损失lssl；b23)将所述源域特征所述目标域弱增强图像特征和所述目标域强增强图像特征输入所述分类器c(
·
)，以分别得到分类器预测的所述源域弱增强样本类别概率分布所述目标域弱增强样本类别概率分布和所述目标域强增强样本类别概率分布b24)对所述源域弱增强样本类别概率分布基于所述分类损失函数l
softmax
，计算源域的分类损失；b25)对所述目标域弱增强样本类别概率分布首先找到其最大预测概率所在的类别，将该类别的概率值与设定的预定义阈值σ进行比较，舍弃小于τ的样本，保留大于τ的样本作为伪标签样本，将其最大预测概率所在的类别作为已知类硬标签，筛选公式为：其中，表示中满足阈值条件的所述最大预测概率所在的类别；b26)使用所述目标域弱增强样本的已知类伪标签作为对应的所述目标域强增强样本的监督信号，计算所述目标域强增强样本的所述已知类识别损失l
known
；b27)选取所述目标域弱增强样本类别概率分布中置信度较低的样本作为候选未知类样本，具体选取公式为：其中为初步筛选后的候选未知类样本，t
l
为候选样本选取阈值，再选取预测为未知类别概率高于设定的未知类样本选取阈值的样本作为未知类样本，其中为所述候选样本预测为未知类别的概率，t
uk
为所述未知类样本选取阈值，为目标域未知类伪标签；b28)用所述目标域未知类伪标签作为所述目标域强增强样本的监督信号，计算所述未知类别样本的一致性分类损失l
unknown
，得出所述总损失函数l，并使用梯度下降算法更新所述深度域适应学习网络的参数。10.根据权利要求9所述的基于自监督对比学习的跨域遥感场景分类与检索方法，其特征在于，获取所述检索目标的步骤为：c21)基于训练好的所述特征编码网络提取所述查询图像特征向量；
c22)逐一计算所述查询图像特征向量与所述特征数据库中各个所述目标图像特征向量之间的欧式距离；c23)按照所述目标图像特征向量与所述查询图像特征向量之间的所述欧式距离的大小将所述目标图像特征向量进行排序，以得到所述目标图像特征向量对应的所述检索目标。

技术总结
本发明涉及基于自监督对比学习的跨域遥感场景分类与检索方法，包括如下步骤：A)获取遥感图像，构建输入数据；B)基于自监督对比学习并结合目标域图像的已知类样本和未知类样本构建损失函数，并构建深度域适应学习网络，并利用输入数据和损失函数对其进行训练；C)利用深度域适应学习网络对目标域图像进行分类，提取目标域图像的目标图像特征向量构建特征数据库，提取目标域查询图像的查询图像特征向量，计算查询图像特征向量与特征数据库中的目标图像特征向量的欧式距离，以基于欧式距离选出所需的检索目标。本发明的基于自监督对比学习的跨域遥感场景分类与检索方法能够在目标域存在未知类别的情况下仍具有良好的跨域分类与检索精度。类与检索精度。类与检索精度。


技术研发人员：王思远 侯东阳
受保护的技术使用者：中南大学
技术研发日：2022.08.03
技术公布日：2022/12/12