一种基于复数U-Net和胶囊网络的极化SAR图像语义分割方法

一种基于复数u-net和胶囊网络的极化sar图像语义分割方法
技术领域
1.本发明涉及雷达信号处理领域，尤其涉及一种基于复数u-net和胶囊网络的极化sar图像语义分割方法，用于提取极化sar复数图像中包含目标姿态信息的特征，进而获取高的极化sar图像语义分割性能。


背景技术：

2.极化sar图像语义分割是sar图像解译领域的研究热点之一，不仅能实现逐像素的目标分类，而且能获取目标在图像中的位置，在军事和民用领域都具有非常重要的意义。近年来，随着深度学习的发展，基于深度学习的极化sar图像语义分割得到了深入的研究。
3.u-net(ronneberger o,fischer p,brox t.u-net:convolutional networks for biomedical image segmentation[j].medical image computing and computer-assisted intervention,2015,56(9):234-241.)是一种包含编码器和解码器，且具有对称u形结构的卷积神经网络，已广泛应用于光学图像语义分割。然而，该网络为实数网络，难以直接应用于复数极化sar图像语义分割。而且，由于网络参数是在光学数据集上训练得到，将其直接用于数据集较小的极化sar图像难以取得好的分割性能。因此，需将实数u-net推广至复数域，且调整其网络模型参数，以适用于极化sar的复数图像语义分割。此外，由于u-net属于卷积神经网络，不能有效地提取图像中目标的姿态(大小、形状、位置等)信息，这使得极化sar图像语义分割性能仍有待提高。
[0004]
胶囊网络是一种能够在小样本集下提取包含目标姿态信息的神经网络(sabour s,frosst n,hinton g e.dynamic routing between capsules[c].advances in neural information processing systems.california,usa:nips,2017:3856-3866.)。将胶囊网络推广至复数域，并与复数u-net结合应用于极化sar图像语义分割，能够进一步提取极化sar图像中目标的尺寸、形状，以及不同类别目标之间的相对位置等信息，有助于提高极化sar图像语义分割性能。


技术实现要素：

[0005]
本发明目的是提供一种基于复数u-net和胶囊网络的极化sar图像语义分割方法，能够获取高的语义分割性能。
[0006]
为达到上述目的，本发明提供一种基于复数u-net和胶囊网络的极化sar图像语义分割方法的步骤包括：
[0007]
步骤s1：复数u-net编码网络利用复数卷积层依次提取浅层特征f1、中层特征f2、高层特征f3，以及编码输出特征f4；
[0008]
步骤s2：将复数u-net编码输出特征f4输入到复数胶囊网络，得到包含目标姿态信息的高层特征f5；
[0009]
步骤s3：将复数胶囊网络输出特征f5输入到复数u-net解码网络，经过复数上采样—卷积层和复数卷积层，依次得到解码特征f
′3、f
′2、f1′
，以及解码网络输出特征f
′0，解
码过程中f
′3和f3拼接，f
′2和f2拼接，f1′
和f1拼接；
[0010]
步骤s4：复数u-net解码网络输出特征f
′0经过取模运算和softmax分类器，得到极化sar图像语义分割结果。
[0011]
本发明的有益效果是：针对实数u-net难以直接应用于复数极化sar图像语义分割，且不能有效地提取极化sar图像中目标的姿态信息问题，采用复数u-net和胶囊网络相结合的方法，获取复数图像中目标的姿态信息，提高极化sar图像语义分割性能。
附图说明
[0012]
图1是本发明中基于复数u-net和胶囊网络的极化sar图像语义分割方法的总流程图；
[0013]
图2是本发明中复数u-net和胶囊网络相结合应用于极化sar图像语义分割的网络结构和参数设置图；
[0014]
图3是本发明和基于u-net、基于复数u-net的三种方法应用于flevoland数据集获得的平均交并比(mean intersection over union,miou)、整体精度(overall accuracy,oa)和平均像素精度(mean pixel accuracy,mpa)的结果对比；
[0015]
图4是本发明和基于u-net、基于复数u-net的三种方法应用于san francisco数据集获得的miou、oa和mpa的结果对比。
具体实施方式
[0016]
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明作进一步地详细说明。
[0017]
图1示出了本发明中一种基于复数u-net和胶囊网络的极化sar图像语义分割方法的总流程图。该方法具体实现步骤如下：
[0018]
步骤s1：复数u-net编码网络利用复数卷积层依次提取浅层特征f1、中层特征f2、高层特征f3，以及编码输出特征f4；
[0019]
步骤s11：复数u-net编码网络的结构如图2所示，输入为6通道64
×
64的极化sar数据，经过两次步长为1、通道数为32的复数卷积得到32通道64
×
64的特征f1，再经过一次步长为2、通道数为32的复数卷积得到32通道32
×
32的特征；
[0020]
步骤s12：32通道32
×
32的特征经过两次长为1、通道数为64的复数卷积得到64通道32
×
32的特征f2，再经过一次步长为2、通道数为128的复数卷积得到128通道16
×
16的特征；
[0021]
步骤s13：128通道16
×
16的特征经过三次长为1、通道数为128的复数卷积得到128通道16
×
16的特征f3，再经过一次步长为2、通道数为128的复数卷积得到128通道8
×
8的特征f4；
[0022]
步骤s2：将复数u-net编码输出特征f4输入到复数胶囊网络，得到包含目标姿态信息的高层特征f5；
[0023]
步骤s21：复数胶囊网络的结构如图2所示，将复数u-net编码输出特征f4进行升维，得到f
′4，即尺寸由8
×8×
128升维为8
×8×1×
128；
[0024]
步骤s22：将特征进行局部受限复数动态路由，得到初始胶囊
的过程为：
[0025]
将特征f
′4作为孩子胶囊，初始胶囊f
″4作为父胶囊；记孩子胶囊所在层的编号为l(l为大于1的整数)，其胶囊类型为即只有1种胶囊类型；记父胶囊所在层的编号为l 1，其胶囊类型为即有8种胶囊类型；对于共包含8
×
8个128维的胶囊；对于任意一类型共包含8
×
8个32维的胶囊，表示为
[0026]
对于定义一个复数窗其中心为(x0,y0)且尺寸为3
×3×
128，其中，x0在1到8之间，y0在1到8之间；记复数矩阵为其尺寸为3
×3×
128
×8×
32；复数矩阵在具有相同类型的复数窗之间共享；复数窗和复数矩阵相乘得到预测复数矢量即
[0027][0028]
将所有类型的孩子胶囊进行预测，并进行加权求和，得到复数父胶囊即
[0029][0030]
其中，为路由系数，计算公式为，
[0031][0032]
其中，为对数先验概率；
[0033]
对父胶囊进行挤压运算，得到复数矢量为，
[0034][0035]
其中，
[0036]
对系数进行更新，即
[0037][0038]
其中，
[0039][0040]
步骤s23：将初始胶囊进行局部受限复数动态路由，得到复数分割胶囊的过程为：
[0041]
将特征f
″4作为孩子胶囊，初始胶囊f4″′
作为父胶囊；记孩子胶囊所在层的编号为l(l为大于1的整数)，其胶囊类型为即有8种胶囊类型；记父胶囊所在层的编号为l 1，其胶囊类型为即只有1种胶囊类型；对于任意一类型共包含8
×
8个32维的胶囊；对于共包含8
×
8个16维的胶囊，表示为
[0042]
对于任意一类型定义一个复数窗其中心为(x0,y0)且尺寸为1
×1×
32，其中，x0在1到8之间，y0在1到8之间；记复数矩阵为其尺寸为1
×1×
32
×1×
16；复数矩阵在具有相同类型的复数窗之间共享；复数窗和复数矩阵相乘得到预测复数矢量即
[0043][0044]
将所有类型的孩子胶囊进行预测，并进行加权求和，得到复数父胶囊即
[0045][0046]
其中，为路由系数，计算公式为，
[0047][0048]
其中，为对数先验概率；
[0049]
对父胶囊进行挤压运算，得到复数矢量为，
[0050][0051]
其中，
[0052]
对系数进行更新，即
[0053][0054]
其中，
[0055][0056]
步骤s24：将复数分割胶囊f4″′
进行降维，得到高层特征f5；
[0057]
步骤s3：将复数胶囊网络输出特征f5输入到复数u-net解码网络，经过复数上采样—卷积层和复数卷积层，依次得到解码特征f3′
、f2′
、f1′
，以及解码网络输出特征f
′0，解码过程中f
′3和f3拼接，f
′2和f2拼接，f1′
和f1拼接；
[0058]
步骤s31：复数u-net解码网络的结构如图2所示，输入为16通道8
×
8的特征f5，经过一次复数上采样—卷积运算得到128通道16
×
16的特征f
′3，f
′3和编码网络特征拼接，再经过三次步长为1、通道数为128的复数卷积得到128通道16
×
16的特征；
[0059]
步骤s32：128通道16
×
16的特征经过一次复数上采样—卷积运算得到64通道32
×
32的特征f2′
，f2′
和编码网络特征f2拼接，再经过两次步长为1、通道数为64的复数卷积得到64通道32
×
32的特征；
[0060]
步骤s33：64通道32
×
32的特征经过一次复数上采样—卷积运算得到32通道64
×
64的特征f1′
，f1′
和编码网络特征f1拼接，再经过两次步长为1、通道数为32的复数卷积得到32通道64
×
64的特征；
[0061]
步骤s34：32通道64
×
64的特征经过1
×
1复数卷积，得到n通道64
×
64的特征f
′0，其中，n为极化sar图像中总的目标类别数；
[0062]
步骤s4：复数u-net解码网络输出特征f
′0经过取模运算和softmax分类器，得到极化sar图像语义分割结果；
[0063]
步骤s41：复数u-net解码网络输出特征f
′0进行取模，将复数特征图转化为实数o
′0，即
[0064][0065]
其中，和分别表示取实部和虚部运算；
[0066]
步骤s42：对实数特征图o
′0＝{o
′
01
,o
′
02
,...,o
′
0n
,...o
′
0n
}进行softmax分类，其中，n为极化sar图像中总的目标类别数，得到第n幅特征图中像素位置(x
′
,y
′
)处的概率pn(x,y)，即
[0067][0068]
本发明的效果可通过以下仿真进一步说明。
[0069]
1.实验条件和方法：
[0070]
实验仿真环境：keras,windows10
[0071]
实验方法：分别为实数u-net方法、复数u-net方法和本发明。
[0072]
2.实验内容与结果分析：
[0073]
实验内容：本发明使用的是flevoland数据集和san francisco数据集。用本发明、复数u-net网络方法和实数u-net方法进行图像语义分割实验。
[0074]
实验结果分析：本发明在flevoland数据集上得到的实验结果如图3所示，san francisco数据集上得到的结果如图4所示。从图3、4可以看出，本发明的分类结果比实数u-net和复数u-net网络的方法具有更高的图像语义分割性能。
[0075]
以上所述，仅为本发明中的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉该技术的人在本发明所揭露的技术范围内，可理解想到的变换或替换，都应涵盖在本发明的包含范围之内。