基于可变形卷积和双注意力的小样本SAR目标分类方法与流程

基于可变形卷积和双注意力的小样本sar目标分类方法
技术领域
1.本发明属于雷达图像处理技术领域，涉及一种sar目标分类方法，具体涉及一种基于可变形卷积和双注意力的小样本sar目标分类方法，可用于获取sar图像数量较少情况下的sar目标分类。


背景技术：

2.合成孔径雷达(synthetic aperture radar，sar)是一种先进的主动式微波对地观测设备，具有全天候、全天时、高分辨率和不受光线影响等优点，因此，广泛应用于目标检测、城市规划、海水监测及灾害方面的应急与救灾等领域。
3.sar目标分类，是一种根据不同类别的目标各自在图像信息中所反映的不同特征，把不同类别的目标区分开来的图像处理方法。sar目标分类可基于色彩、纹理、形状、空间关系等图像特征对目标进行分类。sar目标分类方法可分为基于传统的分类方法和基于深度学习的分类方法。基于传统的sar目标分类方法是基于色彩、纹理、形状、空间关系等图像特征对图像目标进行分类。通常采用人工选取特征、设计分类器，然而这往往需要依据大量的经验和较强的专业知识来针对特定目标设定特定算法，耗时长且难以推广，同时无法获得较好的分类精度。近年来随着深度学习的发展，涌现出了许多vgg、resnet、densenet等一系列强大的卷积神经网络，可对sar目标自动提取更加稳健的特征，从而取得较好的分类结果，得到了研究人员的广泛应用。
4.但是，sar所观测的一些目标为非合作的小样本sar目标，即所能获取的sar图像数量较少，而基于深度学习的sar目标分类方法通常需要大量的训练样本来训练模型以在测试样本上获得高的分类准确率，对于小样本sar目标，这些基于深度学习的sar目标分类方法会由于训练样本的不足出现分类准确率低的问题。
5.为了解决这个问题，现有技术通过改进模型结构，设计对样本数量要求较低的特殊模型来提高小样本sar目标的分类准确率。例如申请公布号为cn113095416a，名称为“基于混合损失与图注意力的小样本sar目标分类方法”的专利申请，公开了一种基于混合损失与图注意力的小样本sar目标分类方法，该方法通过训练任务集的分类损失值l
‑
c和训练任务集的嵌入损失值l
‑
e的加权和组成训练任务集的混合损失值l，对嵌入网络模块e中所有第一卷积层和第二卷积层的参数、图注意力网络模块g中所有第一全连接层和第二全连接层的参数进行更新，增强了同种sar目标类别的特征之间的相似性和不同sar目标类别的特征之间的差异性，且通过数据增强有效降低了模型训练过程中过拟合的风险，提高了小样本sar目标的分类精度。但是该方法仍未充分提取sar目标的有效特征和细粒度特征，即提取的特征不稳健，导致对sar目标分类的精度依然较低。


技术实现要素：

6.本发明的目的在于克服上述现有技术存在的缺陷，提出了一种基于可变形卷积和双注意力的小样本sar目标分类方法，用于解决现有技术中存在的因目标的有效特征和细
粒度特征提取不充分导致的分类准确率较低的技术问题。
7.为实现上述目的，本发明采取的技术方案包括如下步骤：
8.(1)获取训练任务集和测试任务集
9.(1a)获取包含c个不同目标类别共u幅大小为h
×
h的合成孔径雷达sar图像，每个目标类别对应m幅sar图像，其中c≥10，m≥200，64≤h≤2560，u≥2000；
10.(1b)对每幅sar图像中的目标类别进行标记，并随机选取c
train
个目标类别对应的c
train
×
m幅sar图像及其标签组成训练数据集将其余的c
test
个目标类别对应的c
test
×
m幅sar图像及其标签组成测试数据集其中c
train
c
test
＝c，∩表示交集，c
train
＞c/2，c
train
×
m c
test
×
m＝u；
11.(1c)对从训练数据集中随机选取的包含c
test
个目标类别的z＝c
test
×
m幅sar图像中的每幅sar图像的标签进行one
‑
hot编码，得到对应的标签向量集合，并选取该标签向量集合中z1＝c
test
×
k个标签向量及其对应的sar图像组成训练支撑样本集将其余z2＝c
test
(m
‑
k)个标签向量及其对应的sar图像组成训练查询样本集然后将与每个训练查询样本进行组合，得到训练任务集其中，表示由sar图像及其对应的标签向量组成的第a个训练支撑样本，表示由sar图像及其对应的标签向量组成的第b个训练查询样本，1≤k≤10，表示第b个训练任务，
12.(1d)对从测试数据集中随机选取的包含c
test
个目标类别的z＝c
test
×
m幅sar图像中的每幅sar图像的标签进行one
‑
hot编码，得到对应的标签向量集合，并选取该标签向量集合中z1＝c
test
×
k个标签向量及其对应的sar图像组成测试支撑样本集将其余z2＝c
test
(m
‑
k)个标签向量及其对应的sar图像组成测试查询样本集然后将与每个测试查询样本进行组合，得到测试任务集其中，表示由sar图像及其对应的标签向量组成的第e测试支撑样本，表示由sar图像及其对应的标签向量组成的第g个测试查询样本，表示第g个测试任务，
13.(2)构建基于可变形卷积和双注意力的网络模型h：
14.构建包含顺次级联的基于可变形卷积网络的特征提取模块d、并形排布的自注意力机制模块e1和互注意力机制模块e2、特征融合模块e3、拼接模块e4、图神经网络模块g的小样本sar目标分类网络模型h，其中，特征提取模块d包括级联的卷积模块d1和多个可变形卷积模块d2；自注意力机制模块e1和互注意力机制模块e2均包括多个卷积模块d1、多个reshape模块r1、多个矩阵相乘模块r2，矩阵求和模块r3，e1还包括自注意力关系模块d3，e2还包括互注意力关系模块d4；图神经网络模块g包括相间排列的多个邻接矩阵更新模块g1和图
卷积模块g2；
15.(3)对基于可变形卷积和双注意力的小样本sar目标分类网络模型h进行迭代训练：
16.(3a)初始化迭代次数为n，最大迭代次数为n，n≥1000，第n次迭代的sar目标分类网络模型为h
n
，并令n＝0，h＝h
n
；
17.(3b)将训练任务集作为基于可变形卷积和双注意力的小样本sar目标分类方法h的输入，特征提取模块d对每个训练任务进行特征提取，得到特征向量组集合
18.(3c)自注意力机制模块e1、互注意力机制模块e2对中每个特征向量组进行自相关特征提取、互相关特征提取，得到自相关特征向量组集合f
s
和互相关特征向量组集合f
c
；
19.(3d)特征融合模块e3对自相关特征向量组集合f
s
和互相关特征向量组集合f
c
对应位置向量进行特征融合，得到融合特征向量组集f
sc
；拼接模块e4对特征向量组f
sc
中每个特征向量与对应sar图像的标签向量进行拼接，得到向量组集f
sc
'；
20.(3e)将f
sc
'作为图神经网络模块g的顶点特征，图神经网络模块g的最后一层softmax将顶点特征映射到k分类预测，最终得到k个特征，每个特征代表每个类的概率，概率最大的即为预测的类别，由此得到预测标签集合y＝{y1,y2,...,y
m
,...,y
m
}，其中，m≥5，y
m
表示第m个训练样本对应的预测标签；
21.(3f)采用交叉熵损失函数，并通过每个预测标签y
m
和其对应的真实标签计算h
n
的损失值l
s
，然后求取l
s
对权值参数ω
s
的偏导再采用梯度下降法，通过将在h
n
中进行反向传播的方式对权值参数ω
s
进行更新；
22.(3g)判断n≥n是否成立，若是，得到训练好的小样本sar目标分类网络模型h
′
，否则，令n＝n 1，并执行步骤(3b)；
23.(4)获取小样本sar目标的目标分类结果：
24.将测试任务集作为训练好的基于可变形卷积和双注意力的小样本sar目标分类网络模型h
′
的输入进行前向传播，得到所有测试任务集的预测标签。
25.本发明与现有的技术相比具有以下优点：
26.本发明所构建的目标分类网络模型包含有基于可变形卷积网络的特征提取模块，以及并形排布的自注意力机制模块和互注意力机制模块，在对该目标分类网络模型进行训练以及获取小样本sar图像的目标分类结果的过程中，特征提取模块中的可变形卷积网络能够对所有sar图像提取更多有效的特征，且可过滤掉无关的特征，自注意力机制模块和互注意力机制模块能够提取到每个特征向量组的细粒度自相关特征和互相关特征，避免了现有技术中因目标的有效特征和细粒度特征提取不充分对分类精度的影响，仿真结果表明，本发明有效地提高了分类准确率。
附图说明
27.图1是本发明的实现流程图。
28.图2是本发明对基于可变形卷积与双注意力的网络模型h进行迭代训练的实现流程图。
29.图3是本发明获取小样本sar图像的目标分类结果的实现流程图。
具体实施方式
30.以下结合附图和具体实施例，对本发明作进一步详细描述。
31.参照图1，本发明包括如下步骤：
32.步骤1)获取训练任务集和测试任务集
33.(1a)获取包含c个不同目标类别共u幅大小为h
×
h的合成孔径雷达sar图像，每个目标类别对应m幅sar图像，其中c≥10，m≥200，h＝600，u≥2000；
34.(1b)对每幅sar图像中的目标类别进行标记，并随机选取c
train
个目标类别对应的c
train
×
m幅sar图像及其标签组成训练数据集将其余的c
test
个目标类别对应的c
test
×
m幅sar图像及其标签组成测试数据集其中c
train
c
test
＝c，∩表示交集，c
train
＞c/2，c
train
×
m c
test
×
m＝u；
35.(1c)对从训练数据集中随机选取的包含c
test
个目标类别的z＝c
test
×
m幅sar图像中的每幅sar图像的标签进行one
‑
hot编码，得到对应的标签向量集合，并选取该标签向量集合中z1＝c
test
×
k个标签向量及其对应的sar图像组成训练支撑样本集将其余z2＝c
test
(m
‑
k)个标签向量及其对应的sar图像组成训练查询样本集然后将与每个训练查询样本进行组合，得到训练任务集其中，表示由sar图像及其对应的标签向量组成的第a个训练支撑样本，表示由sar图像及其对应的标签向量组成的第b个训练查询样本，1≤k≤10，表示第b个训练任务，
36.(1d)对从测试数据集中随机选取的包含c
test
个目标类别的z＝c
test
×
m幅sar图像中的每幅sar图像的标签进行one
‑
hot编码，得到对应的标签向量集合，并选取该标签向量集合中z1＝c
test
×
k个标签向量及其对应的sar图像组成测试支撑样本集将其余z2＝c
test
(m
‑
k)个标签向量及其对应的sar图像组成测试查询样本集然后将与每个测试查询样本进行组合，得到测试任务集其中，表示由sar图像及其对应的标签向量组成的第e测试支撑样本，表示由sar图像及其对应的标签向量组成的第g个测试查询样本，表示第g个测试任务，
37.步骤2)构建基于可变形卷积和双注意力的小样本sar目标分类网络模型h：
38.构建包含顺次级联的基于可变形卷积网络的特征提取模块d、并形排布的自注意力机制模块e1和互注意力机制模块e2、特征融合模块e3、拼接模块e4、图神经网络模块g的小样本sar目标分类网络模型h，其中，特征提取模块d包括级联的卷积模块d1和多个可变形卷
积模块d2；自注意力机制模块e1和互注意力机制模块e2均包括多个卷积模块d1、多个reshape模块r1、多个矩阵相乘模块r2，矩阵求和模块r3，e1还包括自注意力关系模块d3，e2还包括互注意力关系模块d4；图神经网络模块g包括相间排列的多个邻接矩阵更新模块g1和图卷积模块g2；
39.特征提取模块d中的卷积模块d1包含依次层叠的卷积核个数为64的第一卷积层、批量归一化层、leaky relu激活层和最大池化层；可变形卷积模块d2包含依次层叠的卷积核个数均为128的三个可变形卷积层、批量归一化层、leaky relu激活层和最大池化层，第一卷积层和可变形卷积层的卷积核大小均为3
×
3，步长和填充均为1，最大池化层的池化核大小均为2
×
2，步长均为2；
40.自注意力机制模块e1和互注意力机制模块e2包括的卷积模块d1、reshape模块r1及矩阵相乘模块r2的数量分别为4、4，4、2，2、2，其中，e1中矩阵求和模块r3的数量为1，e2中余弦相似度模块r4的数量为1，e1和e2中所有的卷积核大小均为1
×
1，步长和填充均为1；
41.自注意力机制模块e1的具体结构为顺次级联的并形排布的自注意力关系模块d3和卷积模块d1、矩阵相乘模块r2、reshape模块r1、卷积模块d1、矩阵求和模块r3，其中，自注意力关系模块d3包含顺次级联的并形排布的两个卷积模块d1和reshape模块r1、矩阵相乘模块r2；
42.该互注意力机制模块e2的具体结构为互注意力关系模块d4、并形排布的两个矩阵相乘模块r2、并形排布的两个卷积模块d1，其中，互注意力关系模块d4包含顺次级联的并行排布的两个卷积模块d1、余弦相似度模块r4；
43.图神经网络模块g包括两个相间排列的邻接矩阵更新模块g1和图卷积模块g2；邻接矩阵更新模块g1包括顺次级联的绝对值求解模块r5、第一全连接模块f1、第二全连接模块f2、第三全连接模块f3、第四全连接模块f4、第五全连接模块f5，其中，第一、二、三、四全连接层模块均包含顺次连接的全连接层、批量归一化层、leaky relu层，第一、二全连接层模块中的全连接层的神经元个数为128，第三、四全连接层模块中的全连接层的神经元个数为64，第五全连接模块包含一个全连接层，神经元个数为1；图卷积模块g2包含顺次连接的图卷积模块d5、批量归一化层、leaky relu、softmax层。
44.步骤3)对基于可变形卷积和双注意力的小样本sar目标分类网络模型h进行迭代训练，实现步骤如图2所示：
45.(3a)初始化迭代次数为n，最大迭代次数为n，n≥1000，第n次迭代的sar目标分类网络模型为h
n
，并令n＝0，h＝h
n
；
46.(3b)将训练任务集作为基于可变形卷积和双注意力的小样本sar目标分类方法h的输入，特征提取模块d对每个训练任务进行特征提取，得到特征向量组集合
47.(3c)自注意力机制模块e1、互注意力机制模块e2对中每个特征向量组进行自相关特征提取、互相关特征提取，得到自相关特征向量组集合f
s
和互相关特征向量组集合f
c
；
48.(3d)特征融合模块e3对自相关特征向量组集合f
s
和互相关特征向量组集合f
c
对应位置向量进行特征融合，得到融合特征向量组集f
sc
；拼接模块e4对特征向量组f
sc
中每个特征向量与对应sar图像的标签向量进行拼接得到向量组集f
sc
'；
49.(3e)将f
sc
'作为图神经网络模块g的顶点特征，图神经网络模块g的最后一层softmax将顶点特征映射到k分类预测，最终得到k个特征，每个特征代表每个类的概率，概
率最大的即为预测的类别，由此得到预测标签集合y＝{y1,y2,...,y
m
,...,y
m
}，其中，m≥5，y
m
表示第m个训练样本对应的预测标签；
50.(3f)采用交叉熵损失函数，并通过每个预测标签y
m
和其对应的真实标签计算h
n
的损失值l
s
，然后求取l
s
对权值参数ω
s
的偏导再采用梯度下降法，通过将在h
n
中进行反向传播的方式对权值参数ω
s
进行更新，计算、更新过程分别为：
[0051][0052][0053]
其中，ln表示以自然常数e为底的对数，表示ω
s
的更新结果，η表示l
s
的学习率，表示求导操作。
[0054]
交叉熵损失函数可表示如下：
[0055][0056]
其中，z2＝c
test
(m
‑
k)，z3＝c
test
k 1，表示训练任务对应的训练融合特征向量组，满足a≠c
test
k 1的表示训练支撑样本对应的训练特征融合向量，表示训练查询样本对应的训练特征融合向量，log(
·
)表示以自然常数e为底的对数，exp(
·
)表示以自然常数e为底的指数，∑表示连续求和，表示对训练任务中的训练支撑样本集包括的第c个目标类别的每幅sar图像对应的每个训练特征融合向量求均值得到的第c个目标类别的类中心，表示和训练任务中的训练查询样本包含的sar图像中的目标属于同一个目标类别的类中心，d表示度量函数，d(p,q)＝||p
‑
q||2。
[0057]
(3g)判断n≥n是否成立，若是，得到训练好的小样本sar目标分类网络模型h
′
，否则，令n＝n 1，并执行步骤(3b)；
[0058]
步骤4)获取小样本sar图像的目标分类结果，实现步骤如图3所示：
[0059]
将测试任务集作为训练好的基于可变形卷积和双注意力的小样本sar目标分类网络模型h
′
的输入进行前向传播，得到所有测试任务集的预测标签。
[0060]
(4a)训练好的网络模块h
′
对测试任务集中的每个测试任务包含的每幅sar图像通过特征提取模块d进行特征提取，得到测试特征向量组集合
[0061][0062][0063]
其中，z2＝c
test
(m
‑
k)，z3＝c
test
k 1，表示测试任务对应的测试特征向量组，
满足e≠z3的表示测试支撑样本对应的测试特征向量，表示测试查询样本对应的测试特征向量；
[0064]
(4b)将测试特征向量组集合通过自注意力机制模块e1和互注意力机制模块e2对中每个测试特征向量组进行自相关特征提取、互相关特征提取，得到自相关特征向量组集合和互相关特征向量组集合
[0065][0066][0067][0068][0069]
其中，z2＝c
test
(m
‑
k)，z3＝c
test
k 1，分别表示测试任务对应的自相关特征向量组、互相关特征向量组，满足e≠c
test
k 1的表示测试支撑样本对应的测试特征向量，测试自相关特征向量、测试互相关特征向量，表示测试查询样本对应的测试自相关特征向量、测试互相关特征向量；
[0070]
(4c)特征融合模块e3将和中特征向量组的对应位置特征向量进行求和运算，得到融合特征向量集其中：
[0071][0072][0073]
其中，z2＝c
test
(m
‑
k)，z3＝c
test
k 1，表示测试任务对应的融合特征向量组，满足e≠c
test
k 1的表示测试支撑样本对应的测试互相关特征向量，表示测试查询样本对应的测试融合特征向量；
[0074]
(4d)构造一个元素全为0虚拟标签向量并对每个融合特征向量组中满足e≠c
test
k 1的每个测试融合向量与对应的sar图像的标签向量通过拼接模块e4进行拼接，同时对每个测试融合向量组中的测试融合向量与虚拟标签向量也通过拼接模块e4进行拼接得到特征组集合
[0075][0076]
(4e)将作为图神经网络模块g的输入：
[0077][0078]
其中，z2＝c
test
(m
‑
k)，z3＝c
test
k 1，表示测试融合向量组对应的图神经
网络模块g的输入特征组，表测试融合向量对应测试特征；
[0079]
(4f)对特征组中对应的测试查询样本包括的sar图像中的目标进行类别预测，得到测试预测结果向量集合其中，z2＝c
test
(m
‑
k)，每个测试预测结果向量中最大值对应的维数号即为对应的测试查询样本包括的sar图像中目标的预测类别，其中，表示测试节点1层特征z3＝c
test
k 1对应的维数为c
test
的测试预测结果向量，第c维的元素值表示测试节点1层特征对应的测试查询样本包括的sar图像中的目标属于第c个目标类别的概率。
[0080]
下面结合仿真实验，对本发明的技术效果作进一步的说明：
[0081]
1.仿真实验条件和内容：
[0082]
仿真实验的硬件平台为：gpu为nvidia geforce rtx 1650，软件平台为：操作系统为ubuntu18.04。仿真实验的数据集为公开的aid数据集，其中，c＝30，类别为bareland、beach、desert、meadow、mountain、parking、port、railwaystation、school、storagetanks、airport、baseballfield、bridge、center、church、commercial、denseresidential、farmland、forest、industrial、mediumresidential、park、playground、pond、resort、river、sparseresidential、square、stadium、viaduct。每类目标的sar图像为290幅，即m＝290。
[0083]
为了和现有的基于混合损失与图注意力的小样本sar目标分类方法对比小样本sar目标分类准确率，从aid数据集中选取个20目标类别的总共5800幅sar图像及每幅sar图像的标签作为训练样本集，即c
train
＝20，类别分别为，airport、baseballfield、bridge、center、church、commercial、denseresidential、farmland、forest、industrial、mediumresidential、park、playground、pond、resort、river、sparseresidential、square、stadium、viaduct；选取剩余10个目标类别的总共2900幅sar图像及每幅sar图像的标签作为测试样本集，c
test
＝10，类别分别为，bareland、beach、desert、meadow、mountain、parking、port、railwaystation、school、storagetanks。同时，每个训练/测试任务中每个目标类别采样的训练/测试支撑样本数量k＝10，训练/测试查询样本数量m
‑
k＝280。训练样本集和测试样本集的中的目标类别划分及每类目标的sar图像数量如表1所示：
[0084]
对本发明和现有的基于混合损失与图注意力的小样本sar目标分类方法，也即对比算法，在5
‑
way 1
‑
shot、5
‑
way 5
‑
shot两种模式下的平均准确率进行仿真对比，其结果如表1所示：
[0085]
表1
[0086]
n
‑
way k
‑
shot5
‑
way 1
‑
shot5
‑
way 5
‑
shot对比算法54.23％
±
0.1366.39％
±
0.23本发明59.84％
±
0.0973.41％
±
0.14
[0087]
从表1中可以看出，本发明与对比算法而言，在5
‑
way 1
‑
shot和5
‑
way 5
‑
shot两种模式下平均准确率分别提高了5.61％、7.02％。