利用自注意力分析SAR图像获取海上溢油区域的方法

利用自注意力分析sar图像获取海上溢油区域的方法
技术领域
1.本发明涉及遥感图像处理技术领域，具体涉及一种利用自注意力分析sar图像获取海上溢油区域的方法。


背景技术：

2.随着海洋产业和石油开采项目的快速发展，海洋溢油的不断增加对海洋生态环境造成了巨大的破坏。早期发现和识别溢油的油品分布、溢出量和油膜厚度可以极大地促进决策的制定，从而实现有效的清理计划。因此，及时、准确地了解浮油的位置和面积非常重要，以便于对溢油做出应急反应。传统的遥感技术具有监测范围广、信息采集效率高等优点，因此在海洋环境监测领域的应用越来越广泛。与其他遥感技术相比，合成孔径雷达(sar)作为一种主动遥感技术，具有全时、全天候、穿透能力强的特点，已成为溢油监测的重要技术。由于油膜抑制了海水表面的短时重力毛细波，减少了sar接收到的背向散射信号，从而在图像上表现为暗斑，因此可以通过sar图像快速、准确地识别溢油。
3.目前，通过图像分割提取sar图像中溢油区域的方法包括：阈值化和衍生的自适应阈值化、边缘检测、机器学习等。由于sar图像具有较高的噪声斑点，导致焦油区的灰度值通常发生剧烈变化，传统的图像分割算法极易受到这些噪声的影响。传统的机器学习方法有：支持向量机、随机森林和bp神经网络，这些方法需要人工设计规则或更多的匹配信息来获得更准确的预测结果，而且匹配信息的获取难度很高。
4.深度学习方法具有学习能力强、泛化能力高、适应性强的优点，它可以解决传统方法在sar溢油图像中提取溢油区域的局限性，而且不需要过多的人工操作，具有较好的通用性，只需要图像信息作为数据输入就可以获得较高的检测精度。但是由于sar图像具有模糊和复杂边界形状的弱点，传统深度学习模型中使用卷积运算的处理方法不能准确提供识别精度所需的全局信息，导致识别精度不够高。


技术实现要素：

5.本发明提出了一种利用自注意力分析sar图像获取海上溢油区域的方法，其目的是：克服现有技术的缺陷，提高溢油检测模型的识别精度，实现精准识别具有模糊和复杂边界形状的sar图像中的溢油区域。
6.本发明技术方案如下：
7.一种利用自注意力分析sar图像获取海上溢油区域的方法，包括如下步骤：
8.s1：建立样本数据集，对深度学习自注意力溢油检测模型进行训练；
9.s2：获取sar原始数据，采用vv极化作为溢油检测的原始图像，以滑动窗口的方式将所述原始图像划分为多个子图像；
10.s3：将划分好的子图像作为特征图输入到已经训练好的深度学习自注意力溢油检测模型中，输出图像作为溢油区域检测结果。
11.进一步地，所述深度学习自注意力溢油检测模型包括编码器、膨胀卷积模块和解
码器，所述编码器包括4个依次相连的编码器模块，所述编码器模块分层排列，所述解码器包括4个与所述编码器模块一一对应的解码器模块，第一层编码器模块的输出结果与第二层解码器模块的输出结果加和后作为第一层解码器模块的输入量，第二层编码器模块的输出结果与第三层解码器模块的输出结果加和后作为第二层解码器模块的输入量，第三层编码器模块的输出结果与第四层解码器模块的输出结果加和后作为第三层解码器模块的输入量，第四层编码器模块的输出结果输入至所述膨胀卷积模块，膨胀卷积模块的输出结果与第四层编码器模块的输出结果加和后作为第四层解码器模块的输入量。
12.进一步地，所述编码器模块包括多个残差模块、一个空间注意力模块和一个通道注意力模块，特征图输入所述编码器模块后，首先经过多个残差模块，然后分别输入所述空间注意力模块和通道注意力模块，并将空间注意力模块的输出结果和通道注意力模块的输出结果进行矩阵加法运算，得到编码器模块的输出结果。
13.进一步地，所述步骤s3中，特征图m∈rc×h×w输入所述空间注意力模块后执行如下操作：
14.s31：将特征图m∈rc×h×w送入三个卷积层，得到三个新的特征图分别为{a，b}∈rc×h×w，g∈rc×h×w，其中rc×h×w表示通道数为c，高为h，宽为w的矩阵，表示将通道数为c的特征图压缩为通道数为的特征图；
15.s32：将a，b重塑为{a，b}∈rc×n，其中n＝h
×
w，再将重塑后的a的转置与重塑后的b相乘，经过softmax得到空间注意特征图s∈rn×n：
[0016][0017]
其中，s
ji
表示第i个像素值和第j个像素值之间的关联程度，ai表示a中的第i个像素，bj表示b中的第j个像素；同时将g∈rc×h×w重塑为g∈rc×n；
[0018]
s33：将重塑后的g与s相乘，运算结果重塑为gs∈rc×h×w，然后将重塑结果gs乘以比例参数α，并与m执行元素求和运算，得到所述空间注意力模块的输出结果e∈rc×h×w：
[0019][0020]
其中α初始化为0。
[0021]
进一步地，所述步骤s3中，特征图m∈rc×h×w输入所述通道注意力模块后执行如下操作：
[0022]
s31
′
：将特征图m∈rc×h×w重塑为m∈rc×n，然后将重塑后的m与重塑后的m的转置做矩阵乘法运算，再经过softmax层获得通道注意力图x∈rn×n：
[0023][0024]
其中x
ji
表示特征图m的第i个通道与第j个通道之间的关联程度；
[0025]
s32
′
：将重塑后的m与x相乘，运算结果重塑为mx∈rc×h×w，然后将重塑结果mx乘以比例参数β，并与m执行元素求和运算，得到所述通道注意力模块的输出结果f∈rc×h×w：
[0026][0027]
其中β初始化为0。
[0028]
进一步地，所述步骤s1对深度学习自注意力溢油检测模型进行训练时采用以下损失函数：
[0029]
l＝l
bce
l
dice
l
gp
[0030]
其中l
bce
和l
dice
的计算方式为：
[0031][0032][0033]
其中target表示像素点实际值，pt表示像素点的预测值；
[0034]
l
gp
的计算方式为：
[0035][0036]
其中g(e)表示从模型输出的标记图像的掩码，e表示实际标记图像掩码，c表示每个图像通道，(
·
)
t
是矩阵的转置，trace(
·
)是l2归一化，h表示图像的高度，w表示图像的宽度。
[0037]
进一步地，所述步骤s1采用以下方式对深度学习自注意力溢油检测模型进行训练：
[0038]
s11：将所述样本数据集按一定比例划分为训练集和测试集；
[0039]
s12：使用训练集对当前深度学习自注意力溢油检测模型进行训练，利用损失函数l计算预测结果和真实结果之间的损失值，利用当前损失值调节模型参数；
[0040]
s13：重复步骤s12，直到训练集中的图像数据全部训练完毕，视为一轮训练结束，并计算所有预测结果和真实结果之间的平均损失值；
[0041]
s14：判断完成当前轮次训练后计算的平均损失值是否小于完成上一轮次训练后计算的平均损失值，是则判定模型损失不收敛，重复步骤s12～s13继续训练，否则判定模型损失收敛，使用测试集对模型进行测试并记录测试结果。
[0042]
进一步地，所述步骤s14中使用测试集对模型进行测试时，测试结果的计算方法为：
[0043][0044][0045]
[0046][0047]
其中，tp表示真阳性，即正确预测的阳性类别像素的数量；fp表示假阳性，即预测不正确的阳性类别像素的数量；fn表示假阴性，即预测不正确的阴性类别像素的数量；tn表示真阴性，即预测正确的阴性类别像素的数量；k表示共有k个像素值，i表示第i个像素值，precision表示查准率，recall表示查全率，miou和f1-score为模型测试结果评价指标。
[0048]
进一步地，所述步骤s1建立样本数据集的方法为：
[0049]
s101：从搭载有合成孔径雷达的卫星上采集数据，并进行数据预处理，筛选出含有溢油区域的图像数据，并将筛选出的图像数据划分为多个256像素*256像素的子图像；
[0050]
s102：使用人工标注的方法将子图像中的溢油区域标注出来；
[0051]
s103：使用数据增强的方法对图片进行旋转，并进行添加噪声操作，得到多样性的样本数据集。
[0052]
进一步地，第一层编码器模块包括3个残差模块，第二层编码器模块包括4个残差模块，第三层编码器模块包括6个残差模块，第四层编码器模块包括3个残差模块。
[0053]
相对于现有技术，本发明具有以下有益效果：
[0054]
(1)对深度学习自注意力溢油检测模型进行训练时采用由bce损失函数、dice损失函数和gp损失函数共同构成的联合损失函数，bce损失函数和dice损失函数通过计算真实结果和预测结果之间的整体相似性来确保预测结果整体结构的精准性，gp损失函数从水平方向和竖直方向来计算真实图像和预测图像的剖面梯度损失值，三者共同构成的联合损失函数使训练好的模型得到更加精准的目标区域边界结果，极好地屏蔽图像中的噪声点，从而提高了溢油检测模型的识别精度，实现了精准识别具有模糊和复杂边界形状的sar图像中的溢油区域；
[0055]
(2)深度学习自注意力溢油检测模型采用编码器-解码器的u型结构，输入图片首先经过具有自注意力模块的编码器编码提取到不同尺度的溢油特征，再将提取到的特征图输入到解码器中进行上采样操作，得到具有精准边界信息的溢油区域，提高了在海面背景复杂情况下识别溢油区域的精准性，抗干扰能力强。
附图说明
[0056]
图1为本发明的流程图；
[0057]
图2为深度学习自注意力溢油检测模型的结构示意图图；
[0058]
图3为解码器模块、膨胀卷积模块和编码器模块的运算过程示意图；
[0059]
图4为编码器模块的详细运算过程示意图。
具体实施方式
[0060]
下面结合附图详细说明本发明的技术方案：
[0061]
如图1，一种利用自注意力分析sar图像获取海上溢油区域的方法，包括如下步骤：
[0062]
s1：建立样本数据集，对深度学习自注意力溢油检测模型进行训练，提高深度学习自注意力溢油检测模型的检测精度。
[0063]
优选地，建立样本数据集的方法为：
[0064]
s101：从搭载有合成孔径雷达的卫星上采集数据，并进行数据预处理，筛选出含有溢油区域的图像数据，并将筛选出的图像数据划分为多个256像素*256像素的子图像。
[0065]
s102：使用人工标注的方法将子图像中的溢油区域标注出来(白色为溢油区域，黑色为背景区域)。
[0066]
s103：使用数据增强的方法对图片进行旋转，并进行添加噪声等操作，得到多样性的样本数据集。
[0067]
进一步优选地，采用以下方式对深度学习自注意力溢油检测模型进行训练：
[0068]
s11：将所述样本数据集按一定比例(8∶2)划分为训练集和测试集。
[0069]
s12：使用训练集对当前深度学习自注意力溢油检测模型进行训练，利用损失函数l计算预测结果和真实结果之间的损失值，利用当前损失值调节模型参数。损失值用于衡量模型在训练集上训练时真实结果和预测结果之间差异，在整个训练过程中这个值是不断变低的，当这个值不再降低时称为收敛。
[0070]
损失函数l如下：
[0071]
l＝l
bce
l
dice
l
gp
[0072]
其中l
bce
和l
dice
的计算方式为：
[0073][0074][0075]
其中target表示像素点实际值，pt表示像素点的预测值。
[0076]
l
gp
的计算方式为：
[0077][0078]
其中g(e)表示从模型输出的标记图像的掩码，e表示实际标记图像掩码(通过计算垂直方向和水平方向相邻像素的差值获得)，c表示每个图像通道，(
·
)
t
是矩阵的转置，trace(
·
)是l2归一化，h表示图像的高度，w表示图像的宽度。
[0079]
公式l
gp
中的第一项用于计算大小图像之间的行轮廓相似度，第二项用于计算列轮廓相似度。
[0080]
s13：重复步骤s12，直到训练集中的图像数据全部训练完毕，视为一轮训练结束，并计算所有预测结果和真实结果之间的平均损失值，即计算一轮训练完成后得到的所有损失值的平均值。
[0081]
s14：判断完成当前轮次训练后计算的平均损失值是否小于完成上一轮次训练后计算的平均损失值，是则判定模型损失不收敛，重复步骤s12～s13继续训练，否则判定模型损失收敛，使用测试集对模型进行测试并记录测试结果。
[0082]
优选地，所述测试结果的计算方法为：
[0083]
[0084][0085][0086][0087]
其中，tp表示真阳性，即正确预测的阳性类别像素的数量；fp表示假阳性，即预测不正确的阳性类别像素的数量；fn表示假阴性，即预测不正确的阴性类别像素的数量；tn表示真阴性，即预测正确的阴性类别像素的数量；k表示共有k个像素值，i表示第i个像素值，precision表示查准率，recall表示查全率，miou和f1-score为模型测试结果评价指标。
[0088]
本方法最终在拍摄自palsar，sentinel-1和gaofen-3三个卫星的图片所制作的测试集中的测试结果如下表所示：
[0089] palsarsentinel-1gaofen-3miou0.8500.8570.922f1-score0.8610.8980.950
[0090]
bce损失函数和dice损失函数通过计算真实结果和预测结果之间的整体相似性来确保预测结果整体结构的精准性，gp损失函数从水平方向和竖直方向来计算真实图像和预测图像的剖面梯度损失值，三者共同构成的联合损失函数使训练好的模型得到更加精准的目标区域边界结果。下表中的实验数据证明了bce dice gp联合损失函数的有效性。
[0091]
datasetpalsarsentinel-1gaofen-3palsarsentinel-1gaofen-3loss functionbec dicebec dicebec dicebec dice gpbec dice gpbec dice gpmiou0.8360.8530.9120.8500.8570.922f1-score0.8490.8570.9440.8610.8980.950
[0092]
s2：获取sar原始数据，采用vv极化作为溢油检测的原始图像，以滑动窗口的方式将所述原始图像划分为多个子图像，所述滑动窗口大小为256像素*256像素。
[0093]
s3：将划分好的子图像作为特征图输入到已经训练好的深度学习自注意力溢油检测模型中，输出图像作为溢油区域检测结果，检测结果为二分类的黑白图像(黑色区域为背景区域，白色区域为溢油区域)。
[0094]
如图2，所述深度学习自注意力溢油检测模型采用编码器-解码器的u型结构。优选地，所述深度学习自注意力溢油检测模型包括编码器、膨胀卷积模块和解码器，所述编码器包括4个依次相连的编码器模块，所述编码器模块分层排列，所述解码器包括4个与所述编码器模块一一对应的解码器模块，第一层编码器模块的输出结果与第二层解码器模块的输出结果加和后作为第一层解码器模块的输入量，第二层编码器模块的输出结果与第三层解码器模块的输出结果加和后作为第二层解码器模块的输入量，第三层编码器模块的输出结果与第四层解码器模块的输出结果加和后作为第三层解码器模块的输入量，第四层编码器模块的输出结果输入至所述膨胀卷积模块，膨胀卷积模块的输出结果与第四层编码器模块的输出结果加和后作为第四层解码器模块的输入量。
[0095]
如图3，所述解码器模块由一个核大小为1
×
1的卷积层、一个核大小为3
×
3、步长
为2的反卷积层和一个核大小为1的卷积层首尾相连构成。
[0096]
所述膨胀卷积模块包括4个膨胀卷积层，4个膨胀卷积层的膨胀系数分别为1、2、4、8。
[0097]
所述编码器模块包括多个残差模块、一个空间注意力模块和一个通道注意力模块，优选地，第一层编码器模块包括3个残差模块，第二层编码器模块包括4个残差模块，第三层编码器模块包括6个残差模块，第四层编码器模块包括3个残差模块。
[0098]
特征图输入所述编码器模块后，首先经过多个残差模块，然后分别输入所述空间注意力模块和通道注意力模块，并将空间注意力模块的输出结果和通道注意力模块的输出结果进行矩阵加法运算，得到编码器模块的输出结果。
[0099]
优选地，如图4，特征图m∈rc×h×w输入所述空间注意力模块后执行如下操作：
[0100]
s31：将特征图m∈rc×h×w送入三个卷积层，得到三个新的特征图分别为{a，b}∈rc×h×w，g∈rc×h×w，其中rc×h×w表示通道数为c，高为h，宽为w的矩阵，表示将通道数为c的特征图压缩为通道数为的特征图，最终模型n取值为8。
[0101]
s32：将a，b重塑为{a，b}∈rc×n，其中n＝h
×
w，再将重塑后的a的转置与重塑后的b相乘，经过softmax得到空间注意特征图s∈rn×n：
[0102][0103]
其中，s
ji
表示第i个像素值和第j个像素值之间的关联程度，ai表示a中的第i个像素，bj表示b中的第j个像素；同时将g∈rc×h×w重塑为g∈rc×n。
[0104]
s33：将重塑后的g与s相乘，运算结果重塑为gs∈rc×h×w，然后将重塑结果gs乘以比例参数α，并与m执行元素求和运算，得到所述空间注意力模块的输出结果e∈rc×h×w：
[0105][0106]
其中α初始化为0，gi指的是重塑后的g取第i行，gi的维度是h
×
w。
[0107]
特征图m∈rc×h×w输入所述通道注意力模块后执行如下操作：
[0108]
s31
′
：将特征图m∈rc×h×w重塑为m∈rc×n，然后将重塑后的m与重塑后的m的转置做矩阵乘法运算，再经过softmax层获得通道注意力图x∈rn×n：
[0109][0110]
其中x
ji
表示特征图m的第i个通道与第j个通道之间的关联程度。
[0111]
s32
′
：将重塑后的m与x相乘，运算结果重塑为mx∈rc×h×w，然后将重塑结果mx乘以比例参数β，并与m执行元素求和运算，得到所述通道注意力模块的输出结果f∈rc×h×w：
[0112][0113]
其中β初始化为0。
[0114]
最后，将空间注意力模块的输出结果和通道注意力模块的输出结果进行矩阵加法运算，得到编码器模块的输出结果，提取到不同尺度的溢油特征，并将提取到的特征图输入到解码器中进行上采样操作，最终得到图片中的溢油区域。
[0115]
具体地，将每一层编码器模块的输出结果(提取到的溢油特征)分别输入到下一层编码器模块中，同时将每一层编码器模块的输出结果与下一层解码器模块的输出结果加和输入到同一层解码器模块中。特别指出，最后一层编码器模块的输出结果输入到膨胀卷积模块，再将膨胀卷积模块的输出结果与最后一层编码器模块的输出结果加和，输入到最后一层解码器模块中。
[0116]
本方法针对sar图像中溢油区域边界模糊，噪声大，灰度值分布不均匀等特点，使用具有自注意力机制的深度学习模型，实现了对海面上的溢油区域的自动检测。本方法具有较高的自动性，不需要过多的人工操作，可以极好的屏蔽图像中的噪声点，并且具有更高的识别精度。具体表现为：对于一些溢油区域和背景区域灰度值相差较小的图像，本方法可以更为精准地进行图像识别；对于溢油区域的边界线，本方法识别目标区域边界线的精准度更高，并且在海面背景较为复杂时，同样可以精准的提取到图像中的溢油区域，具有较强的抗干扰能力。