一种基于深度多层字典对学习的SAR图像分类方法

一种基于深度多层字典对学习的sar图像分类方法
技术领域
1.本发明涉及sar遥感图像识别技术领域，具体提供一种基于深度多层字典对学习的sar图像分类方法。


背景技术：

2.图像分类是sar图像处理的基本应用方向之一，目前，人们在利用深度卷积神经网络进行sar图像分类方面进行了许多尝试，并出现了大量基于深度学习的sar图像分类方法。
3.稀疏表示或字典学习最初是在信号处理领域提出的，其目的是在过完备字典中使用尽可能少的原子来表示一组信号。鉴于字典学习具有很强的表示能力，许多学者开始将其引入图像分类领域，其中dpl方法最为实用，尽管dpl方法在sar图像分类方面取得了一定的成功，仍存在一些问题：
4.dpl算法本身忽略了图像特征学习的重要性，而直接使用现有的深度卷积神经网络(dcnn)所提取的特征与字典学习并不相匹配，导致效果提升有限。此外，传统dpl算法使用了交替方向乘子法(admm)对dpl模型进行优化，优化过程相对复杂。


技术实现要素：

5.针对上述的不足，本发明提供了一种基于深度多层字典对学习的sar图像分类方法。该方法将深度特征学习与字典学习相融合，提出了一个端到端的网络架构—深度多层字典对学习网络。网络旨在同时学习深度特征和判别字典，更具体的，网络在dcnn模型的顶部引入了多个字典学习层，来学习多个合成字典和分析字典，同时使用反向传播算法来优化该网络，能够实现特征与字典的联合学习，学习到更具鉴别力的字典对，进而有效提高sar图像分类的精度。
6.本发明解决其技术问题所采取的技术方案是，包括所述方法的实现包括步骤如下：
7.步骤1，获取sar图像数据；
8.步骤2，对步骤1获得的sar图像数据集进行划分和预处理操作；
9.步骤3，将预处理后的图像数据输入到基础网络模块，获得底层通用特征；
10.步骤4，将步骤3获得的通用特征输入到对应类别的类特定网络模块，获得每类数据特有的特征；
11.步骤5，将步骤4获得的每类数据的特征输入到对应的字典学习网络模块，获得编解码后的重建特征；
12.步骤6，通过重建损失函数、判别损失函数和正则损失函数，联合优化所提出的网络；
13.步骤7，将测试样本带入到每类训练得到的网络中，基于最小重建误差距离进行分类；
14.步骤8，得出图像识别结果。
15.作为优化，所述步骤2包括以下步骤：
16.对sar图像数据集进行划分和预处理操作：x＝[x1，...，xk]，其中k是图像数据集的类别数，每个图像大小可以处理为224
×
224，图像数据集包括：训练集、验证集、测试集。
[0017]
作为优化，所述步骤3包括以下步骤：
[0018]
a、将数据集x＝[x1，...，xk]输入到基础网络模块，选择基于imagenet预训练的resnet50作为骨干网络，将该网络在conv4_x处截断并在最上层加入四个non-local模块和一个adaptiveavgpool层，最终的基础网络记作：resnet50-nonlocal；
[0019]
b、在所述训练集上对上述基础网络模块resnet50-nonlocal进行微调训练，生成基于数据集的预训练模型。
[0020]
作为优化，所述步骤4包括以下步骤：
[0021]
c、将数据集重新排序，同时对非xk本类图像样本进行重新排序得到xk的互补矩阵且
[0022]
d、将训练集中的样本输入到步骤b获得的预训练模型中，在adaptiveavgpool层后截断，进而得到每类样本的特征fk，k＝1，2，...，k。最后，构造fk的互补矩阵
[0023]
e、将步骤d获得的通用特征fk和输入到对应类别的类特定网络模块，所述类特定网络为单个fc层或多个fc层，获得每类数据特有的特征，并分别记作zk和所述为第k类对应的互补矩阵。
[0024]
作为优化，所述步骤5包括以下步骤：
[0025]
f、构建每类数据的字典学习网络模块：所述字典学习网络模块包含多层合成字典与分析字典，所述分析字典用于生成样本特征的稀疏编码矩阵，并给予特征判别性，所述合成字典用于重构样本编码后的特征；使用不带偏置项以及非线性激活的全连接线性层来分别表示分析字典和合成字典；
[0026]
g、将步骤e获得的每类特征输入到对应的字典学习网络模块，获得编解码后的重建特征：和
[0027]
作为优化，所述步骤6包括以下步骤：
[0028]
h、重建损失函数l1、判别损失函数l2和正则损失函数l3分别构建如下：
[0029][0030][0031][0032]
i、将步骤e生成的zk和代入到如下总体损失函数，联合优化所提出的网络：
[0033][0034]
j、利用反向传播算法对字典学习网络模块、类特定网络模块和基础网络模块进行联合学习，指导深度多层字典对学习网络的参数更新，生成每类的深度多层字典对学习网络模型mk，其中
[0035]
作为优化，所述步骤7包括以下步骤：
[0036]
k、将验证数据输入到步骤j生成的每类的预训练模型中，得到编码解码后的结果：
[0037]
l、在测试阶段，输入测试样本y，如果y来自于第k类，则经过pk产生的稀疏编码将会具有判别性，通过对比每类模型的输出结果，取最小值所对应的模型作为验证数据的分类结果。
[0038]
本发明的有益效果是：本发明提供的一种基于深度多层字典对学习的sar图像分类方法，本发明通过获取sar图像数据；对sar图像数据集进行划分和预处理操作；将预处理后的图像数据输入到基础网络模块，获得底层通用特征；将获得的通用特征输入到对应类别的类特定网络模块，获得每类数据特有的特征；将获得的每类数据的特征输入到对应的字典学习网络模块，获得编解码后的重建特征；通过重建损失函数、判别损失函数和正则损失函数，联合优化所提出的网络；将测试样本带入到每类训练得到的网络中，基于最小重建误差距离进行分类；得到识别结果。通过采用本发明的技术方案，实现特征与字典的联合学习，学习到更具鉴别力的字典对，进而有效提高sar图像分类的精度，并简化了优化过程。
附图说明
[0039]
图1为本发明的方法实现的流程图；
[0040]
图2为本发明网络总体框架图；
[0041]
图3为本发明分类效果图。
具体实施方式
[0042]
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0043]
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
[0044]
在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该发明产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本发明和简化描述，而不
是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
[0045]
如图1所示的一种基于深度多层字典对学习的sar图像分类方法，包括所述方法的实现包括步骤如下：
[0046]
步骤1，获取sar图像数据；
[0047]
步骤2，对步骤1获得的sar图像数据集进行划分和预处理操作；
[0048]
步骤3，将预处理后的图像数据输入到基础网络模块，获得底层通用特征；
[0049]
步骤4，将步骤3获得的通用特征输入到对应类别的类特定网络模块，获得每类数据特有的特征；
[0050]
步骤5，将步骤4获得的每类数据的特征输入到对应的字典学习网络模块，获得编解码后的重建特征；
[0051]
步骤6，通过重建损失函数、判别损失函数和正则损失函数，联合优化所提出的网络；
[0052]
步骤7，将测试样本带入到每类训练得到的网络中，基于最小重建误差距离进行分类；
[0053]
步骤8，得出图像识别结果。
[0054]
在本实施例中，步骤2包括：对sar图像数据集进行划分和预处理操作：x＝[x1，...，xk]，其中k是图像数据集的类别数，每个图像大小可以处理为224
×
224，具体分为：训练集、验证集、测试集。
[0055]
在本实施例中，步骤3包括以下步骤：a、将数据集x＝[x1，...，xk]输入到基础网络模块。对于基础网络模块，选择基于imagenet预训练的resnet50作为骨干网络，将该网络在conv4_x处截断并在最上层加入四个non-local模块，一个adaptiveavgpool层。最终的基础网络记作：resnet50-nonlocal。
[0056]
b、在训练集上对上述基础网络模块(resnet50-nonlocal)进行微调训练，生成基于数据集的预训练模型。
[0057]
在本实施例中，所述步骤4包括以下步骤：
[0058]
c、将数据集重新排序，同时对非xk本类图像样本进行重新排序得到了xk的互补矩阵且
[0059]
d、将训练集中的样本输入到步骤b获得的预训练模型(即基础网络模块)中，在adaptiveavgpool层后截断，进而得到每类样本的特征fk，k＝1，2，...，k。最后，构造fk的互补矩阵
[0060]
e、将步骤d获得的通用特征fk和输入到对应类别的类特定网络模块，这里的类特定网络可以是单个fc层，也可以是多个fc层，获得每类数据特有的特征，并分别记作zk和这里的表示第k类对应的互补矩阵。
[0061]
在本实施例中，步骤5包括以下步骤：f、构建每类数据的字典学习网络模块：该模块包含了多层合成字典与分析字典，其中分析字典用于生成样本特征的稀疏编码矩阵，并给予特征判别性，合成字典用于重构样本编码后的特征。具体来说，可以使用不带偏置项以及非线性激活的全连接线性层来分别表示分析字典(编码器)和合成字典(解码器)，联合学
cover datasets、fusar-ship和tengeop-sarwv。
[0080]
land cover数据集由慕尼黑工业大学提供的来自sentinel-1卫星的sar图像对组成。在该原始数据集中搜索了秋季拍摄的图像，并选择了属于四个类别的图像：荒地、草地、农地和城市地区。图像大小都为256
×
256。
[0081]
fusar-ship数据集由高分辨率的gf-3sar数据集组成，它包含了5000多个具有ais信息的船舶芯片，包含了15个主要的船舶类别，分为98个子类，涵盖了各种海洋、陆地、海岸、河流和岛屿场景。
[0082]
tengeop-sarwv数据集选取自2016年sentinel-1a wv。数据集对37000多幅合成孔径雷达图像的子集进行了标记，以对应10种地球物理现象，这些现象覆盖了整个公海，包括海洋和气象特征。该数据集是第一个处理公海上不同海洋或大气现象的数据集。
[0083]
仿真实验1是resnet50、dcnn(resnet50-nonlocal)及本发明方法(dmdpl)在三个数据集上的平均分类结果。
[0084]
仿真实验2将与resnet50 dpl和dcnn(resnet50-nonlocal) dpl相对比，其中resnet50 dpl表示首先使用resnet50提取深度特征，然后将该特征使用传统dpl算法进行分类；dcnn dpl则是使用dcnn进行特征学习。最终的平均分类结果见表2。
[0085]
表1.本发明在三个数据集上的仿真实验结果对比表
[0086][0087]
表2.本发明在land cover数据集上的仿真实验结果对比表
[0088][0089][0090]
从表1可以看到与基准方法相比，本发明所提出的方法，在所有数据集上都实现了最好的分类结果，表明字典学习确实可以提升sar图像分类效果。
[0091]
从表2可以看到与传统的分类方法(即特征与字典单独学习)相比，本发明提出的深度多层字典对联合学习方法可以有效提高特征与分类器的匹配度，进而提升分类表现。
[0092]
第k类样本特征通过分析字典p生成稀疏编码矩阵，而这是仅仅针对于xk的样本稀
疏编码，所以通过合成字典d重构样本xk特征fk得到的将会很小；另一方面非本类的样本特征fi通过分析字典和合成字典得到的结果将会很大。因此在测试阶段，对于输入的测试样本y，如果y来自于第k类，那经过pk产生的稀疏编码将会是具有判别性的，因此经过合成字典重构误差将会很小；如果y来自于其他类，则重构误差将会很大，通过对比每类模型的输出结果，取最小值所对应的模型作为验证数据的分类结果。同时在图3中可以看出在识别中可以近似趋近一个块对角矩阵，取块对角矩阵部分作为识别结果。
[0093]
上述具体实施方式仅是本发明的具体个案，本发明的专利保护范围包括但不限于上述具体实施方式的产品形态和式样，任何符合本发明权利要求书且任何所属技术领域的普通技术人员对其所做的适当变化或修饰，皆应落入本发明的专利保护范围。