基于不规则卷积核神经网络模型的SAR图像语义分割方法和系统与流程

基于不规则卷积核神经网络模型的sar图像语义分割方法和系统
技术领域
1.本技术涉及计算机视觉和数字图像处理技术领域，特别涉及一种基于不规则卷积核神经网络模型的sar图像语义分割方法和系统。


背景技术：

2.合成孔径雷达(synthetic aperture radar，简称sar)是一种主动式微波遥感传感器，它主动向目标发射电磁波束，然后根据波束的后向散射微波成像。与光学雷达传感器不同的是，sar可以全天时全天候地感知目标。然而，sar的回波中存在大量的相位差，产生微波相干效应，这导致sar成像结果易于受相干斑噪声的影响。在sar图像的应用中(如地物分类，目标识别等)，相干斑噪声会严重干扰相关算法对图像内容的处理，因此，如何在相关应用领域设计出能够抑制或者避免相干斑噪声的算法十分必要。
3.众所周知，语义分割需要把图像中每个像素都进行分类，其目的在于将原始图像分割成具有不同语义信息的多个区域，以便人类或计算机更好地理解图像内容。图像语义分割算法的设计直接影响最终分割图像的表现，目前，针对sar图像语义分割、地物分类、目标检测等任务，国内外学者已做出一些研究，但大多数为非监督方法(如k
‑
means、阈值法等)或者传统机器学习方法(如svm等)，其很难利用学习图像中像素之间位置信息，且最终结果很大程度上受相干斑噪声影响。
4.综上所述，研究新型神经网络模型对于提取sar图像中的目标信息具有重要的意义。
5.因此，需要提供一种针对上述现有技术不足的改进技术方案。


技术实现要素：

6.本技术的目的在于提供一种基于不规则卷积核神经网络模型的sar图像语义分割方法和系统，以解决或缓解上述现有技术中存在的问题。
7.为了实现上述目的，本技术提供如下技术方案：
8.本技术提供了一种基于不规则卷积核神经网络模型的sar图像语义分割方法，该方法包括：
9.步骤s10、对预处理后的sar图像进行分割，得到目标训练集未标注图像和目标训练集标注图像，其中，所述目标训练集标注图像为根据预设的分类标签，对所述目标训练集未标注图像进行类别标注得到；
10.步骤s20、基于最大类间方差法，对所述不规则卷积核神经网络模型的卷积核的权值进行自适应阈值分割，得到自适应激活函数；
11.所述自适应激活函数为：
12.arelu＝max(w，t，0)
13.其中，arelu代表自适应激活函数，w表示所述卷积核的权值，t为所述权值的阈值；
所述不规则卷积核神经网络模型为：基于所述自适应激活函数和所述卷积核构建，并根据所述目标训练集未标注图像和所述目标训练集标注图像进行训练得到；所述不规则卷积核神经网络模型为：基于所述自适应激活函数和所述卷积核构建，并根据所述目标训练集未标注图像和所述目标训练集标注图像进行训练得到；
14.步骤s30、基于所述不规则卷积核神经网络模型，对预处理后的sar图像进行语义分割，得到语义分割后的sar图像。
15.优选的，步骤s10包括：
16.步骤s101、依次对所述sar图像进行辐射校正、相干斑滤波、地理编码，得到预处理后的sar图像；
17.步骤s102、根据语义分割目标在所述预处理后的sar图像的位置，得到目标训练集样本点采样位置；
18.步骤s103、根据所述目标训练集样本点采样位置，对所述预处理后的sar图像进行滑动窗口截取，得到所述目标训练集未标注图像；
19.步骤s104、根据预设的分类标签，对所述目标训练集未标注图像进行类别标注，得到目标训练集标注图像。
20.优选的，步骤s20，具体为：
21.根据所述卷积核的权值，基于最大类间方差法，按照公式：
22.t＝w0(u0‑
u)2 w1(u1‑
u)223.计算得到所述权值的阈值；
24.其中，u为所述卷积核的权值的平均值：
25.u＝w
0 u0 w1u126.t为所述权值的阈值，当所述卷积核的权值大于t时，表示神经网络模型学习到的特征为强特征，当所述卷积核的权值小于t时，表示神经网络模型学习到的特征为弱特征，w0为所述强特征的权值个数占所述卷积核的权值的总个数的比例，u0为所述强特征的权值的平均值，w1为所述弱特征的权值个数占所述卷积核的权值的总个数的比例，u1为所述弱特征的权值的平均值。
27.优选的，步骤s30中，所述不规则卷积核神经网络模型包括：
28.输入层、下采样部分、上采样部分；
29.所述输入层，用于获取符合所述不规则卷积核神经网络模型要求的输入图像，所述输入图像为所述预处理后的sar图像、所述目标训练集未标注图像、目标训练集标注图像中任意一种；
30.所述下采样部分用于对所述输入图像进行特征提取和特征压缩；
31.所述上采样部分用于对所述下采样部分的输出图像进行上采样以及特征融合处理。
32.优选的，所述下采样部分包括若干个依次连接的特征提取模块，每个所述特征提取模块包括卷积层和所述自适应激活函数；所述自适应激活函数用于对所述卷积层的输出特征图进行自适应激活；所述特征提取模块通过所述卷积层和所述自适应激活函数，依次对所述输入层的输入图像或者上一层所述特征提取模块输出的提取特征图进行卷积和自适应激活处理，得到当前所述特征提取模块对应的提取特征图；
33.相邻的两个所述特征提取模块之间配置有特征压缩模块，所述特征压缩模块用于对上一层所述特征提取模块对应的所述提取特征图进行最大化池化操作，得到压缩特征图。
34.优选的，所述上采样部分包括若干个依次连接的特征解码模块，相邻的两个所述特征解码模块之间配置有特征融合模块；
35.所述特征解码模块包括依次连接的反池化层和卷积层，通过所述反池化层和所述卷积层，实现对所述下采样部分的最后一个所述特征提取模块对应的所述提取特征图，或者上一层所述特征融合模块对应的融合特征图进行反池化操作和数量压缩，得到当前特征解码模块对应的解码特征图；
36.所述特征融合模块用于将上一层特征解码模块对应的解码特征图与所述跳跃连接部分的跳跃特征图进行特征融合；所述特征融合模块包括依次连接的卷积层和所述自适应激活函数，所述卷积层用于对上一层所述特征解码模块对应的解码特征图和所述跳跃连接部分的跳跃特征图进行卷积操作，所述自适应激活函数用于对卷积层的输出图像进行自适应激活，得到当前所述特征融合模块对应的融合特征图。
37.优选的，所述不规则卷积核神经网络模型还包括：跳跃连接部分和特征映射部分；
38.所述跳跃连接部分用于将所述下采样部分的所述特征提取模块对应的所述提取特征图和与之成镜像关系的上采样部分的所述特征解码模块对应的解码特征图进行跳跃连接，得到跳跃特征图；所述镜像关系为：所述特征提取模块对应的所述提取特征图与所述特征解码模块对应的解码特征图的维度一致；所述跳跃连接具体为：将所述提取特征图和所述解码特征图对应位置的像素值相加；
39.所述特征映射部分用于将所述上采样部分最后一个特征融合模块对应的融合特征图与所述分类标签进行映射，得到语义分割后的图像。
40.优选的，步骤s30中，所述根据所述目标训练集未标注图像和所述目标训练集标注图像进行训练之后，还包括：
41.根据目标测试集未标注图像和目标测试集标注图像，对所述不规则卷积核神经网络模型进行精度评估；其中，所述目标测试集未标注图像为对预处理后的sar图像进行直接截取得到；所述目标测试集标注图像为根据预设的分类标签，对所述目标测试集未标注图像进行类别标注得到。
42.本技术实施例还提供一种基于不规则卷积核神经网络模型的sar图像语义分割系统，包括：
43.数据制作单元，配置为：对预处理后的sar图像进行分割，得到目标训练集未标注图像和目标训练集标注图像，其中，所述目标训练集标注图像为根据预设的分类标签，对所述目标训练集未标注图像进行类别标注得到；
44.函数构建单元，配置为：基于最大类间方差法，对所述不规则卷积核神经网络模型的卷积核的权值进行自适应阈值分割，得到自适应激活函数；
45.所述自适应激活函数为：
46.arelu＝max(w，t，0)
47.其中，arelu代表自适应激活函数，w表示所述卷积核的权值，t为所述权值的阈值；
48.语义分割单元，配置为：基于所述不规则卷积核神经网络模型，对预处理后的sar
图像进行语义分割，得到语义分割后的sar图像；所述不规则卷积核神经网络模型为：基于所述自适应激活函数和所述卷积核构建，并根据所述目标训练集未标注图像和所述目标训练集标注图像进行训练得到。
49.与最接近的现有技术相比，本技术实施例的技术方案具有如下有益效果：
50.本技术中通过对预处理后的sar图像进行分割，得到目标训练集未标注图像和目标训练集标注图像；基于最大类间方差法，对所述不规则卷积核神经网络模型的卷积核的权值进行自适应阈值分割，得到自适应激活函数；不规则卷积核神经网络模型基于所述自适应激活函数和所述卷积核构建，并根据所述目标训练集未标注图像和所述目标训练集标注图像进行训练得到；基于所述不规则卷积核神经网络模型，对预处理后的sar图像进行语义分割，得到语义分割后的sar图像。
51.通过本技术提供的方法得到自适应激活函数，基于该自适应激活函数，构建不规则卷积核神经网络模型，实现对预处理后的sar图像进行多次特征提取、特征压缩、特征解码和特征融合等处理，同时自适应地将sar图像中的每一个像素以非线性映射的方式与分类标签对应的类别信息建立关系，得到语义分割后的sar图像。本技术提供的方法实现了sar图像中的目标信息的提取和自适应语义分割，同时兼顾了像素之间的位置信息，并且抑制相干斑噪声的影响，提高了sar图像语义分割、地物分类、目标检测的精确度。
附图说明
52.构成本技术的一部分的说明书附图用来提供对本技术的进一步理解，本技术的示意性实施例及其说明用于解释本技术，并不构成对本技术的不当限定。其中：
53.图1为本技术一些实施例提供的基于不规则卷积核神经网络模型的sar图像语义分割方法的流程示意图；
54.图2为本技术的一些实施例提供的基于传统激活函数与自适应激活函数构建神经网络模型对同一图像进行语义分割的效果图；
55.图3为本技术的一些实施例提供的不规则卷积核神经网络模型结构图；
56.图4为本技术的一些实施例提供的预处理后的sar图像示意图；
57.图5为本技术的一些实施例提供的基于本技术对预处理后的sar图像进行语义分割的结果图；
58.图6为根据本技术的一些实施例提供的一种基于不规则卷积核神经网络模型的sar图像语义分割系统的结构示意图。
具体实施方式
59.下面将参考附图并结合实施例来详细说明本技术。各个示例通过本技术的解释的方式提供而非限制本技术。实际上，本领域的技术人员将清楚，在不脱离本技术的范围或精神的情况下，可在本技术中进行修改和变型。例如，示为或描述为一个实施例的一部分的特征可用于另一个实施例，以产生又一个实施例。因此，所期望的是，本技术包含归入所附权利要求及其等同物的范围内的此类修改和变型。
60.示例性方法
61.图1为本技术一些实施例提供的基于不规则卷积核神经网络模型的sar图像语义
分割方法的流程示意图。如图1所示，该方法包括步骤s10到步骤s30：
62.步骤s10、对预处理后的sar图像进行分割，得到目标训练集未标注图像和目标训练集标注图像，其中，所述目标训练集标注图像为根据预设的分类标签，对所述目标训练集未标注图像进行类别标注得到。
63.步骤s10包括如下子步骤：
64.步骤s101、依次对所述sar图像进行辐射校正、相干斑滤波、地理编码，得到预处理后的sar图像。
65.为了得到符合所述不规则卷积核神经网络模型要求的输入图像，需要对获取的sar图像进行预处理。
66.在本技术实施例中，以国产高分三号卫星全极化条带8米分辨率模式下获得的sar图像为例进行说明，可以理解地，本技术提供的方法也能够处理其他sar系统所生成的图像，包括但不限于：安装在飞机、卫星、宇宙飞船等飞行平台上的sar系统产生的图像。
67.sar图像预处理的过程具体为：依次对所述sar图像进行辐射校正、相干斑滤波、地理编码，得到预处理后的sar图像。
68.本技术实施例中，国产高分三号卫星全极化条带8米分辨率模式下获得的sar图像为四个通道的l1级单视复数(single look complex，slc)sar数据，该数据存在辐射误差，为能精确反映地物回波特性，需要进行辐射定标。辐射定标具体为：根据辐射定标公式，将sar图像的像元亮度值(即记录地物的灰度值)转换为大气外层表面反射率，即辐射亮度值。
69.其中，全极化表示sar的极化方式，根据微波发射和接收方式不同，可分为：hh
‑
用于水平发送和水平接收；vv
‑
用于垂直发送和垂直接收；hv
‑
用于水平发送和垂直接收；vh
‑
用于垂直发送和水平接收，每一种极化方式得到的强度图像对应sar图像的一个通道。采用不同极化方式，可以显著地增加雷达图像信息，提高识别地物目标并进行语义分割的准确度。全极化sar图像不仅可以提供hh、hv、vh和vv四种极化的强度影像，还可以通过目标极化分解得到表征目标散射或几何结构信息的极化特征，进一步增强地物信息提取能力，提高语义分割的准确性。
70.经过对sar图像进行辐射定标处理，能够消除sar图像的传感器本身误差，确定传感器入口处的准确辐射亮度值。
71.由于sar系统是相干系统，相干斑噪声是sar图像的固有现象，相干斑噪声的存在严重影响sar图像的质量，因此需要进行斑点噪声滤波处理。在本技术实施例中，采用均值滤波对辐射定标后的sar图像进行处理，得到滤波后的sar图像，以削弱相干斑噪声对sar图像质量的影响。
72.在本技术实施例中，为了能够得到直接用于语义分割的地图投影格式的sar图像，需要根据高分三号卫星下传的姿轨数据，对滤波后的sar图像进行地理编码处理，得到预处理后的sar图像。具体的，地理编码处理包括几何定位、地图投影、重采样，其中，几何定位采用基于rd(距离
‑
多普勒)定位模型的几何校正处理方法。经过地理编码处理后的sar图像，符合不规则卷积核神经网络模型的输入要求。
73.步骤s102、根据语义分割目标在所述预处理后的sar图像的位置，得到目标训练集样本点采样位置。
74.本技术实施例中，语义分割目标指的是目标特征，比如，高分三号卫星在全极化模
式下拍摄的黄河下游部分图像中，黄河为目标特征，其他为背景。
75.为了获取用于模型训练的目标训练集和用于模型测试的目标测试集，需要根据语义分割目标在处理后的sar图像的位置，确定目标训练集样本点和目标测试集样本点的采样位置，详细描述如下：
76.根据语义分割目标在处理后的sar图像的位置，对全极化sar图像四个通道选取目标训练集的样本点采样位置和目标测试集的样本点采样位置，在确定上述样本点采样位置时，为保证目标测试集的相对独立性，所选取的样本点采样位置应使得目标测试集的样本图片与目标训练集的样本图片不存在任何像素交集。
77.步骤s103、根据所述目标训练集样本点采样位置，对所述预处理后的sar图像进行滑动窗口截取，得到所述目标训练集未标注图像。
78.将目标训练集样本点采样位置对应sar图像所在的列和行分别标记为xt、yt，以(xt，yt)为中心，以滑动窗口的方式截取预处理后的sar图像切片，得到目标训练集未标注图像。其中，滑动窗口大小为512像素
×
512像素。
79.截取的过程中，以窗口大小512像素
×
512像素在当前位置进行截取，得到当前位置(包含分割目标)对应的目标训练集未标注图像；然后将窗口横向移动16像素，纵向移动16像素，得到下一个窗口位置，仍以窗口大小为512像素
×
512像素截取得到新的切片。循环该过程，直到滑动窗口中不再与分割目标有像素交集，随后将滑窗移动至下一个训练集样本采样点位置继续滑窗切片操作，直到遍历完所有训练集样本采样位置。
80.步骤s104、根据预设的分类标签，对所述目标训练集未标注图像进行类别标注，得到目标训练集标注图像。
81.根据预设的分类标签，对目标训练集未标注图像进行类别标注，具体为：对目标训练集未标注图像进行像素级别类别标注，使得到的目标训练集标注图像中，每一个像素对应一个分类；其中，类别标注可以为手工标注或者借助标注工具进行标注，本技术对此不做限定。
82.为了获取用于模型测试的目标测试集，在生成目标训练集未标注图像和目标训练集标注图像的同时，还包括：
83.对预处理后的sar图像进行直接截取得到目标测试集未标注图像；根据预设的分类标签，对所述目标测试集未标注图像进行类别标注得到所述目标测试集标注图像。具体为：
84.将目标测试集的样本点采集位置对应sar图像所在的列和行分别标记为xv、yv，以(xv，yv少为中心，直接截取512像素
×
512像素大小的预处理后的sar图像切片，得到目标测试集未标注图像。根据预设的分类标签，对目标测试集未标注图像进行像素级别类别标注，使得到的目标测试集标注图像中，每一个像素对应一个分类；其中，类别标注可以为手工标注或者借助标注工具进行标注，本技术对此不做限定。
85.步骤s20、基于最大类间方差法，对所述不规则卷积核神经网络模型的卷积核的权值进行自适应阈值分割，得到自适应激活函数；
86.所述自适应激活函数为：
87.arelu＝max(w，t，0)
88.其中，arelu代表自适应激活函数，w表示所述卷积核的权值，t为所述权值的阈值；
所述不规则卷积核神经网络模型为：基于所述自适应激活函数和所述卷积核构建，并根据所述目标训练集未标注图像和所述目标训练集标注图像进行训练得到。
89.权值的阈值具体为：
90.根据卷积核的权值，基于最大类间方差法(ostu)，按照公式：
91.t＝w0(u0‑
u)2 w1(u1‑
u)292.计算得到权值的阈值。
93.其中，u为卷积核的权值的平均值：
94.u＝w0u0 w1u195.式中：t为权值的阈值，当卷积核的权值大于t时，表示神经网络模型学习到的特征为强特征，当卷积核的权值小于t时，表示神经网络模型学习到的特征为弱特征，w0为强特征的权值个数占卷积核的权值的总个数的比例，u0为强特征的权值的平均值，w1为弱特征的权值个数占卷积核的权值的总个数的比例，u1为弱特征的权值的平均值。
96.为了便于理解，以一个5
×
5的传统卷积核(traditional convolution kernel，tck)为例，对构建自适应激活函数的过程进行详细说明。
97.一个5
×
5的卷积核，一共有25组权值w，该权值的数值大小表征神经网络模型学习到的特征强弱。假设存在一个权值的阈值t，以t为分界点将25组权值分为两组，大于t的权值代表强特征，小于t的权值表示弱特征或者负特征。
98.为了求解权值的阈值t，定义强特征的权值个数占卷积核的权值的总个数的比例为w0，强特征权值的平均值为u0；弱特征的权值个数占卷积核的权值的总个数的比例为w1，弱特征的权值的平均值u1。
99.利用公式：
100.u＝w0u0 w1u1101.计算卷积核的权值的平均值u。
102.根据方差公式，计算强特征与弱特征之间的类间方差：
103.t＝w0(u0‑
u)2 w1(u1‑
u)2104.当权值的阈值t最大时，可以认为此时强特征与弱特征之间的差异最大，所对应的权值的阈值t为区分强特征与弱特征的最佳阈值。
105.传统的relu激活函数，以0为界抑制弱特征，而本技术实施例提供的自适应激活函数，基于最大类间方差法得到可以划分卷积核内权值的阈值，该阈值可将卷积核内数值分为强特征、弱特征权值，然后更加精确地抑制弱特征。
106.本技术所构建的自适应激活函数泛化能力强，可用在任何卷积操作后对卷积核中弱特征进行抑制，无论是分类任务还是语义分割任务都有很好的适应性。在本技术实施例所示例的语义分割任务中，使用所提自适应激活函数构建网络模型，能够得到更加精确地在图像中分割目标。
107.relu函数是神经网络模型中常用的传统激活函数(activation function)，其表达式如下：
108.relu＝max(0，w)
109.式中：w为传统卷积核的权值。
110.将基于最大类间方差法得到的权值最佳阈值引入到relu函数，对传统的卷积核的
权值进行自适应阈值分割，得到自适应激活函数(adaptiverelu，简称arelu)，其表达式如下：
111.arelu＝max(w，t，0)
112.图2为本技术的一些实施例提供的基于传统激活函数与自适应激活函数构建神经网络模型对同一图像进行语义分割的效果图；如图2所示，image表示输入图像，convolution kernel表示传统卷积核，conv.表示根据传统卷积核对输入图像进行卷积操作，tck表示基于传统激活函数relu的神经网络模型对输入图像进行语义分割得到的分割结果图，aick表示基于自适应激活函数的神经网络模型对输入图像进行语义分割得到的分割结果图。对比tck与aick两个分割结果图，可以明显看出，基于自适应激活函数对输入图像进行语义分割得到的结果图中，图像的相干斑噪声大大减少，分割结果更为精确。
113.步骤s30、基于所述不规则卷积核神经网络模型，对预处理后的sar图像进行语义分割，得到语义分割后的sar图像。
114.基于自适应激活函数和卷积核构建，并根据目标训练集未标注图像和目标训练集标注图像进行训练得到不规则卷积核神经网络模型，具体为：
115.基于自适应激活函数和卷积核构建不规则卷积核神经网络模型，该不规则卷积核神经网络模型包括：输入层、下采样部分、上采样部分。
116.其中，输入层，用于获取符合不规则卷积核神经网络模型要求的输入图像，该输入图像可以为预处理后的sar图像目标训练集未标注图像、目标训练集标注图像中任意一种；可以理解地，输入图像也可以为其他符合不规则卷积核神经网络模型输入要求的图像，比如，目标测试集未标注图像、目标测试集标注图像。
117.下采样部分用于对输入图像进行特征提取和特征压缩；上采样部分用于对下采样部分的输出图像进行上采样以及特征融合处理。
118.下采样部分包括若干个依次连接的特征提取模块，每个特征提取模块包括卷积层和自适应激活函数；卷积层包含若干个卷积核，每一个卷积层中包含的所述卷积核个数不同；自适应激活函数用于对卷积层的输出特征图进行自适应激活；特征提取模块通过卷积层和自适应激活函数，依次对输入层的输入图像或者上一层特征提取模块输出的提取特征图进行卷积和自适应激活处理，得到当前特征提取模块对应的提取特征图；
119.相邻的两个特征提取模块之间配置有特征压缩模块，特征压缩模块用于对上一层特征提取模块对应的提取特征图进行最大化池化操作，得到压缩特征图。
120.上采样部分包括若干个依次连接的特征解码模块，相邻的两个特征解码模块之间配置有特征融合模块。
121.特征解码模块包括依次连接的反池化层和卷积层，通过反池化层和卷积层，实现对下采样部分的最后一个特征提取模块对应的所述提取特征图，或者上一层特征融合模块对应的融合特征图进行反池化操作和数量压缩，得到当前特征解码模块对应的解码特征图；
122.特征融合模块用于将上一层特征解码模块对应的解码特征图与跳跃连接部分的跳跃特征图进行特征融合；特征融合模块包括依次连接的卷积层和自适应激活函数，卷积层用于对上一层所述特征解码模块对应的解码特征图和跳跃连接部分的跳跃特征图进行卷积操作，自适应激活函数用于对卷积层的输出图像进行自适应激活，得到当前所述特征
融合模块对应的融合特征图。
123.该不规则卷积核神经网络模型还包括：跳跃连接部分和特征映射部分；
124.跳跃连接部分用于将下采样部分的特征提取模块对应的提取特征图和与之成镜像关系的上采样部分的特征解码模块对应的解码特征图进行跳跃连接，得到跳跃特征图；镜像关系为：特征提取模块对应的提取特征图与特征解码模块对应的解码特征图的维度一致；跳跃连接具体为：将提取特征图和解码特征图对应位置的像素值相加；
125.特征映射部分用于将所述上采样部分最后一个特征融合模块对应的融合特征图与分类标签进行映射，得到语义分割后的图像。
126.图3为本技术的一些实施例提供的不规则卷积核神经网络模型结构图；为了便于理解，以输入层为目标训练集未标注图像、卷积核大小5
×
5为例，详细说明图3所示不规则卷积核神经网络模型的结构。
127.如图3所示，该不规则卷积核神经网络模型的下采样部分包含5个特征提取模块，分别为：特征提取模块1、特征提取模块2、特征提取模块3、特征提取模块4、特征提取模块5，每个特征提取模块包括卷积层和前述步骤所构建的自适应激活函数；相邻的两个特征提取模块之间配置有特征压缩模块，共4个特征压缩模块，分别为：特征压缩模块1、特征压缩模块2、特征压缩模块3、特征压缩模块4。
128.其中：
129.特征提取模块1的卷积层对应的卷积核配置为：卷积核(convolution kernel)大小＝5
×
5，个数(num)＝64，填白(padding)＝2；卷积层后配置有自适应激活函数arelu。具体的，特征提取模块1接收输入层的输入图像，即目标训练集未标注图像，根据前述由滑动窗口截取得到的目标训练集未标注图像，其大小为512像素
×
512像素，共4个通道，记为：512
×
512
×
4。经过卷积层对该输入图像进行卷积操作，得到的输出特征图的维度为：512
×
512
×
64。自适应激活函数(arelu)对卷积得到的输出特征图进行自适应激活，完成该输入图像的特征提取，得到特征提取模块1对应的提取特征图，记为提取特征图1。
130.特征压缩模块1的配置为：大小(size)＝2
×
2；池化方式＝最大化(max pooling)。特征压缩模块1对提取特征图1进行最大化池化操作，达到特征压缩的目标，得到压缩特征图1。经过特征压缩，输出的压缩特征图1维度为：256
×
256
×
64。
131.特征提取模块2的卷积层对应的卷积核配置为：卷积核(convolution kernel)大小＝5
×
5，个数(num)＝128，填白(padding)＝2；卷积层后配置有自适应激活函数arelu。具体的，特征提取模块2接收压缩特征图1，其维度为：256
×
256
×
64。经过卷积层对压缩特征图1进行卷积操作，得到的输出特征图的维度为：256
×
256
×
128。自适应激活函数(arelu)对该输出特征图进行自适应激活，完成特征提取，得到特征提取模块2对应的提取特征图，记为提取特征图2，其维度为：256
×
256
×
128。
132.特征压缩模块2的配置为：大小(size)＝2
×
2；池化方式＝最大化(max pooling)。特征压缩模块2对提取特征图2进行最大化池化操作，得到压缩特征图2。经过特征压缩，压缩特征图2维度为：128
×
128
×
128。
133.特征提取模块3的卷积层对应的卷积核配置为：卷积核(convolution kernel)大小＝5
×
5，个数(num)＝256，填白(padding)＝2；卷积层后配置有自适应激活函数arelu。具体的，特征提取模块3接收压缩特征图2，其维度为：128
×
128
×
128。经过卷积层对压缩特征
图2进行卷积操作，得到的输出特征图的维度为：128
×
128
×
256；自适应激活函数(arelu)对该输出特征图进行自适应激活，完成特征提取，得到特征提取模块3对应的提取特征图，记为提取特征图3，其维度为：128
×
128
×
256。
134.特征压缩模块3的配置为：大小(size)＝2
×
2；池化方式＝最大化(max pooling)。特征压缩模块3对提取特征图3进行最大化池化操作，得到压缩特征图3。经过特征压缩，压缩特征图3维度为：64
×
64
×
256。
135.特征提取模块4的卷积层对应的卷积核配置为：卷积核(convolution kernel)大小＝5
×
5，个数(num)＝512，填白(padding)＝2；卷积层后配置有自适应激活函数arelu。具体的，特征提取模块4接收压缩特征图3，其维度为：64
×
64
×
256。经过卷积层对压缩特征图3进行卷积操作，得到的输出特征图的维度为：64
×
64
×
512。自适应激活函数(arelu)对该输出特征图进行自适应激活，完成特征提取，得到特征提取模块4对应的提取特征图，记为提取特征图4，其维度为：64
×
64
×
512。
136.特征压缩模块4的配置为：大小(size)＝2
×
2；池化方式＝最大化(max pooling)。特征压缩模块4对提取特征图4进行最大化池化操作，得到压缩特征图4。经过特征压缩，压缩特征图4维度为：32
×
32
×
512。
137.特征提取模块5的卷积层对应的卷积核配置为：卷积核(convolution kernel)大小＝5
×
5，个数(num)＝1024，填白(padding)＝2；卷积层后配置有自适应激活函数arelu。具体的，特征提取模块5接收压缩特征图4，其维度为：32
×
32
×
512。经过卷积层对压缩特征图3进行卷积操作，得到的输出特征图的维度为：32
×
32
×
1024。自适应激活函数(arelu)对该输出特征图进行自适应激活，完成特征提取，得到特征提取模块5对应的提取特征图，记为提取特征图5，其维度为：32
×
32
×
1024。
138.输入图像依次经过5个特征提取模块、4个特征压缩模块，由多次特征提取、多次特征压缩完成下采样过程。
139.如图3所示，该不规则卷积核神经网络模型的上采样部分包括4个依次连接特征解码模块和4个特征融合模块。特征解码模块分别为：特征解码模块1、特征解码模块2、特征解码模块3、特征解码模块4，每一个特征解码模块包括依次连接的反池化层和卷积层；特征融合模块分别为：特征融合模块1、特征融合模块2、特征融合模块3、特征融合模块4，每一个特征融合模块包括依次连接的卷积层和自适应激活函数。具体的：
140.特征解码模块1配置为：反池化层(unpooling)，大小(size)＝2
×
2；卷积层的卷积核大小＝5
×
5；个数(num)＝512，填白(padding)＝2。特征解码模块1的输入为：下采样部分的最后一个特征提取模块对应的提取特征图，即提取特征图5，其维度为：32
×
32
×
1024；提取特征图5经过反池化层，维度变为：64
×
64
×
1024；然后由卷积层进行卷积操作，得到对应的解码特征图，记为解码特征图1，其维度为：64
×
64
×
512。
141.特征融合模块1的卷积层配置为：卷积核(convolution kernel)大小＝5
×
5，个数(num)＝512，填白(padding)＝2；卷积层后配置有自适应激活函数arelu。特征融合模块用于将上一层特征解码模块对应的解码特征图与跳跃连接部分的跳跃特征图进行特征融合；具体的，上一层特征解码模块对应的解码特征图为：解码特征图1，其维度为：64
×
64
×
512；跳跃特征图通过将下采样部分的特征提取模块对应的提取特征图和与之成镜像关系的上采样部分的特征解码模块对应的解码特征图进行跳跃连接得到，镜像关系指的是：特征提
取模块对应的提取特征图与特征解码模块对应的解码特征图的维度一致；即两个特征图的大小相同。示例性的，解码特征图1，其维度为：64
×
64
×
512，与之呈镜像关系的提取特征图为提取特征图4，维度也为：64
×
64
×
512。跳跃连接具体为：将提取特征图和解码特征图对应位置的像素值相加。示例性的，将提取特征图4和解码特征图1对应位置的像素值相加，得到的跳跃特征图记为跳跃特征图1。将跳跃特征图1与解码特征图1依次通过特征融合模块1的卷积层和自适应激活函数层，得到融合特征图1。
142.特征解码模块2配置为：反池化层(unpooling)，大小(size)＝2
×
2；卷积层的卷积核大小＝5
×
5；个数(num)＝256，填白(padding)＝2。特征解码模块2的输入为：下融合特征图1，其维度为：64
×
64
×
512；经过反池化层，维度变为：128
×
128
×
512；然后由卷积层进行卷积操作，得到对应的解码特征图，记为解码特征图2，其维度为：128
×
128
×
256。
143.特征融合模块2的卷积层配置为：卷积核(convolution kernel)大小＝5
×
5，个数(num)＝256，填白(padding)＝2；卷积层后配置有自适应激活函数arelu。特征融合模块2的输入为解码特征图2和与之维度相对应的跳跃特征图。解码特征图2的维度为：128
×
128
×
256；跳跃连接部分将解码特征图2与提取特征图3(维度：128
×
128
×
256)进行跳跃连接，得到跳跃特征图2。将跳跃特征图2与解码特征图2依次通过特征融合模块2的卷积层和自适应激活函数层，得到融合特征图2，维度为：128
×
128
×
256。
144.特征解码模块3配置为：反池化层(unpooling)，大小(size)＝2
×
2；卷积层的卷积核大小＝5
×
5；个数(num)＝128，填白(padding)＝2。特征解码模块3的输入为：融合特征图2，其维度为：128
×
128
×
256；经过反池化层，维度变为：256
×
256
×
256；然后由卷积层进行卷积操作，得到对应的解码特征图，记为解码特征图3，其维度为：256
×
256
×
128。
145.特征融合模块3的卷积层配置为：卷积核(convolution kernel)大小＝5
×
5，个数(num)＝128，填白(padding)＝2；卷积层后配置有自适应激活函数arelu。特征融合模块3的输入为解码特征图3和与之维度相对应的跳跃特征图。解码特征图3的维度为：256
×
256
×
128；跳跃连接部分将解码特征图3与提取特征图2(维度：256
×
256
×
128)进行跳跃连接，得到跳跃特征图3。将跳跃特征图3与解码特征图3依次通过特征融合模块3的卷积层和自适应激活函数层，得到融合特征图3，维度为：256
×
256
×
128。
146.特征解码模块4配置为：反池化层(unpooling)，大小(size)＝2
×
2；卷积层的卷积核大小＝5
×
5；个数(num)＝64，填白(padding)＝2。特征解码模块4的输入为：融合特征图3，其维度为：256
×
256
×
128；经过反池化层，维度变为：512
×
512
×
64；然后由卷积层进行卷积操作，得到对应的解码特征图，记为解码特征图4，其维度为：512
×
512
×
64。
147.特征融合模块4的卷积层配置为：卷积核(convolution kernel)大小＝5
×
5，个数(num)＝64，填白(padding)＝2；卷积层后配置有自适应激活函数arelu。特征融合模块4的输入为解码特征图4和与之维度相对应的跳跃特征图。解码特征图4的维度为：512
×
512
×
64；跳跃连接部分将解码特征图4与提取特征图1(维度：512
×
512
×
64)进行跳跃连接，得到跳跃特征图4。将跳跃特征图4与解码特征图4依次通过特征融合模块4的卷积层和自适应激活函数层，得到融合特征图4，维度为：512
×
512
×
64。
148.通过特征映射部分，将融合特征图4与分类标签进行映射，得到语义分割后的sar图像。
149.通过下采样部分对输入图像进行多次特征提取、特征压缩，每次特征提取后使用
自适应激活函数对所提取到的提取特征图进行激活，去除弱特征，保留强特征，逐渐减小输入图像(比如目标训练集未标注图像)的大小，得到最终的特征图；跳跃连接部分通过连接下采样部分与上采样部分具有镜像关系的特征图，能够有效利用sar图像中浅层特征和深层特征，有助于减少下采样导致的特征信息丢失，获得更细致的sar图像细节，从而得到语义分割目标边缘更清晰的分割结果；通过上采样部分多次特征解码、特征融合，特征融合时，采用自适应激活函数对特征图进行再次激活，进一步对特征图去除弱特征，保留强特征，如此，能够有效去除相干斑噪声，同时较好地保留输入图像的特征信息，从而使输入图像的分割结果的大小与输入图像大小一致，分割结果更加直观、精确。
150.根据目标训练集未标注图像和目标训练集标注图像，对上述过程构建的不规则卷积核神经网络模型进行训练，具体为：
151.将目标训练集未标注图像和目标训练集标注图像输入不规则卷积核神经网络模型，并设置训练超参数，对不规则卷积核神经网络模型进行训练，直到精度趋于收敛。
152.在本技术实施例中，超参数指的是用来确定模型的一些参数，一般为根据先验知识确定，例如在神经网络模型中，超参数有：初始训练次数、学习速率，迭代次数，层数，每层神经元的个数等等。
153.示例性的，对不规则卷积核神经网络模型进行训练，首先，设置足够大的初始训练次数，比如100000；其次，设置每训练100次，进行一次测试，并计算语义分割精度；再次，设置梯度学习率变化规则，令初始学习率为0.01，每训练1000次，学习率降低一半；最后，开始训练，直到测试结果精度趋于收敛，保存模型参数，得到不规则卷积核神经网络模型。
154.根据目标训练集未标注图像和目标训练集标注图像进行训练，得到不规则卷积核神经网络模型之后，还包括：根据目标测试集未标注图像和目标测试集标注图像，对不规则卷积核神经网络模型进行精度评估。
155.基于不规则卷积核神经网络模型，对预处理后的sar图像进行语义分割，得到语义分割后的sar图像。
156.为了便于理解，结合图4、图5，说明对预处理后的sar图像进行语义分割的过程。
157.图4为本技术的一些实施例提供的预处理后的sar图像示意图；图5为本技术的一些实施例提供的基于本技术对预处理后的sar图像进行语义分割的结果图。
158.如图4所示，该预处理后的sar图像为我国高分三号卫星在全极化模式下拍摄的黄河下游部分图像，分辨率为8米。截取方框100所示范围内的sar图像，作为不规则卷积核神经网络模型的输入图像，截取得到的sar图像如图5(a)所示。通过不规则卷积核神经网络模型对截取得到的sar图像进行语义分割，其分割结果如图5(b)所示。从如图5(b)的语义分割结果可以看出，通过本技术提供的方法，对sar图像的语义分割有很强的适用性。
159.本技术中通过对预处理后的sar图像进行分割，得到目标训练集未标注图像和目标训练集标注图像；基于最大类间方差法，对所述不规则卷积核神经网络模型的卷积核的权值进行自适应阈值分割，得到自适应激活函数；不规则卷积核神经网络模型基于所述自适应激活函数和所述卷积核构建，并根据所述目标训练集未标注图像和所述目标训练集标注图像进行训练得到；基于所述不规则卷积核神经网络模型，对预处理后的sar图像进行语义分割，得到语义分割后的sar图像。
160.通过本技术提供的方法得到自适应激活函数，基于该自适应激活函数，构建不规
则卷积核神经网络模型，实现对预处理后的sar图像进行多次特征提取、特征压缩、特征解码和特征融合等处理，同时自适应地将sar图像中的每一个像素以非线性映射的方式与分类标签对应的类别信息建立关系，得到语义分割后的sar图像。本技术提供的方法实现了sar图像中的目标信息的提取和自适应语义分割，同时兼顾了像素之间的位置信息，并且抑制相干斑噪声的影响，提高了sar图像语义分割、地物分类、目标检测的精确度。
161.示例性系统
162.图6为根据本技术的一些实施例提供的一种基于不规则卷积核神经网络模型的sar图像语义分割系统的结构示意图；如图5所示，该系统包括：数据制作单元401、函数构建单元402和语义分割单元403。
163.数据制作单元401，配置为：对预处理后的sar图像进行分割，得到目标训练集未标注图像和目标训练集标注图像，其中，所述目标训练集标注图像为根据预设的分类标签，对所述目标训练集未标注图像进行类别标注得到；
164.函数构建单元402，配置为：基于最大类间方差法，对所述不规则卷积核神经网络模型的卷积核的权值进行自适应阈值分割，得到自适应激活函数；
165.所述自适应激活函数为：
166.arelu＝max(w，t，0)
167.其中，arelu代表自适应激活函数，w表示所述卷积核的权值，t为所述权值的阈值；所述不规则卷积核神经网络模型为：基于所述自适应激活函数和所述卷积核构建，并根据所述目标训练集未标注图像和所述目标训练集标注图像进行训练得到；所述不规则卷积核神经网络模型为：基于所述自适应激活函数和所述卷积核构建，并根据所述目标训练集未标注图像和所述目标训练集标注图像进行训练得到；
168.语义分割单元403，配置为：基于所述不规则卷积核神经网络模型，对预处理后的sar图像进行语义分割，得到语义分割后的sar图像。
169.在一些可选实施例中，数据制作单元401包括：预处理子单元、位置选择子单元、图像截取子单元、图像标注子单元。
170.预处理子单元，配置为：依次对所述sar图像进行辐射校正、相干斑滤波、地理编码，得到预处理后的sar图像；位置选择子单元，配置为：根据语义分割目标在所述预处理后的sar图像的位置，得到目标训练集样本点采样位置；图像截取子单元，配置为：根据所述目标训练集样本点采样位置，对所述预处理后的sar图像进行滑动窗口截取，得到所述目标训练集未标注图像；图像标注子单元，配置为：根据预设的分类标签，对所述目标训练集未标注图像进行类别标注，得到目标训练集标注图像。
171.在一些可选实施例中，函数构建单元402，具体为：
172.根据所述卷积核的权值，基于最大类间方差法，按照公式：
173.t＝w0(u0‑
u)2 w1(u1‑
u)2174.计算得到所述权值的阈值；
175.其中，u为所述卷积核的权值的平均值：
176.u＝w0u0 w1u1177.t为所述权值的阈值，当所述卷积核的权值大于t时，表示神经网络模型学习到的特征为强特征，当所述卷积核的权值小于t时，表示神经网络模型学习到的特征为弱特征，
w0为所述强特征的权值个数占所述卷积核的权值的总个数的比例，u0为所述强特征的权值的平均值，w1为所述弱特征的权值个数占所述卷积核的权值的总个数的比例，u1为所述弱特征的权值的平均值。
178.在一些可选实施例中，语义分割单元403中包括模型结构子单元，配置为：所述不规则卷积核神经网络模型包括：输入层、下采样部分、上采样部分；
179.所述输入层，用于获取符合所述不规则卷积核神经网络模型要求的输入图像，所述输入图像为所述预处理后的sar图像、所述目标训练集未标注图像、目标训练集标注图像中任意一种；
180.所述下采样部分用于对所述输入图像进行特征提取和特征压缩；
181.所述上采样部分用于对所述下采样部分的输出图像进行上采样以及特征融合处理。
182.在一些可选实施例中，语义分割单元403中的模型结构子单元，还包括：所述下采样部分包括若干个依次连接的特征提取模块，每个所述特征提取模块包括卷积层和所述自适应激活函数；所述自适应激活函数用于对所述卷积层的输出特征图进行自适应激活；所述特征提取模块通过所述卷积层和所述自适应激活函数，依次对所述输入层的输入图像或者上一层所述特征提取模块输出的提取特征图进行卷积和自适应激活处理，得到当前所述特征提取模块对应的提取特征图；
183.相邻的两个所述特征提取模块之间配置有特征压缩模块，所述特征压缩模块用于对上一层所述特征提取模块对应的所述提取特征图进行最大化池化操作，得到压缩特征图。
184.在一些可选实施例中，语义分割单元403中的模型结构子单元，还包括：
185.所述上采样部分包括若干个依次连接的特征解码模块，相邻的两个所述特征解码模块之间配置有特征融合模块；
186.所述特征解码模块包括依次连接的反池化层和卷积层，通过所述反池化层和所述卷积层，实现对所述下采样部分的最后一个所述特征提取模块对应的所述提取特征图，或者上一层所述特征融合模块对应的融合特征图进行反池化操作和数量压缩，得到当前特征解码模块对应的解码特征图；
187.所述特征融合模块用于将上一层特征解码模块对应的解码特征图与所述跳跃连接部分的跳跃特征图进行特征融合；所述特征融合模块包括依次连接的卷积层和所述自适应激活函数，所述卷积层用于对上一层所述特征解码模块对应的解码特征图和所述跳跃连接部分的跳跃特征图进行卷积操作，所述自适应激活函数用于对卷积层的输出图像进行自适应激活，得到当前所述特征融合模块对应的融合特征图。
188.在一些可选实施例中，语义分割单元403中的模型结构子单元，还包括：
189.跳跃连接部分和特征映射部分；
190.所述跳跃连接部分用于将所述下采样部分的所述特征提取模块对应的所述提取特征图和与之成镜像关系的上采样部分的所述特征解码模块对应的解码特征图进行跳跃连接，得到跳跃特征图；所述镜像关系为：所述特征提取模块对应的所述提取特征图与所述特征解码模块对应的解码特征图的维度一致；所述跳跃连接具体为：将所述提取特征图和所述解码特征图对应位置的像素值相加；
191.所述特征映射部分用于将所述上采样部分最后一个特征融合模块对应的融合特征图与所述分类标签进行映射，得到语义分割后的图像。
192.在一些可选实施例中，语义分割单元403还包括：所述根据所述目标训练集未标注图像和所述目标训练集标注图像进行训练之后，还包括：
193.根据目标测试集未标注图像和目标测试集标注图像，对所述不规则卷积核神经网络模型进行精度评估；其中，所述目标测试集未标注图像为对预处理后的sar图像进行直接截取得到；所述目标测试集标注图像为根据预设的分类标签，对所述目标测试集未标注图像进行类别标注得到。
194.本技术实施例提供的基于不规则卷积核神经网络模型的sar图像语义分割系统，能够实现上述任一基于不规则卷积核神经网络模型的sar图像语义分割方法实施例的步骤、流程，并达到相同的技术效果，在此不再一一赘述。
195.以上所述仅为本技术的优选实施例，并不用于限制本技术，对于本领域的技术人员来说，本技术可以有各种更改和变化。凡在本技术的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本技术的保护范围之内。