一种基于置信度滤波的水体图像提取方法及其系统

1.本发明涉及遥感图像处理技术领域，特别涉及一种基于置信度滤波的水体图像提取方法及其系统。


背景技术：

2.遥感技术是一种大尺度、宏观层面对地表资源进行监测的技术，能够有效获取水体信息。然而，随着高分辨率遥感图像分辨率的快速提高，遥感图像所包含的地物纹理信息越来越精细，边缘结构信息越来越丰富，传统遥感水体提取方法难以充分利用语义丰富的高分辨率遥感图像信息，也难以满足日益增长的遥感应用需求。
3.近年来，人工智能技术的快速发展与计算机硬件性能的提高使得深度学习能够成功应用到多种任务当中。然而，高分辨率遥感图像的规模和数据量都很大，高分辨率遥感图像数据集的图像数量从上万到上千万不等，使用像素级标注需要耗费大量的时间和人力成本，因此在一定程度上阻碍了高分辨率遥感图像应用的发展。不同于全监督的深度学习，半监督使用少量有标签数据和大量无标签数据进行训练，从而减少了不必要的标注时间。然而，现有的半监督方法难以充分利用无标签样本。


技术实现要素：

4.本发明提供了一种基于置信度滤波的水体图像提取方法及其系统，以解决现有技术中仅利用少量有标签数据和大量无标签数据进行监督情况下，模型难以学习关键特征使得水体提取准确率低的技术问题。
5.为达到上述目的，本发明的技术方案是这样实现的：
6.本发明提供了一种基于置信度滤波的水体图像提取方法，包括如下步骤：
7.步骤s100、获取水体的遥感图像；
8.步骤s200、将所获取的遥感图像划分为有标签的样本集x和无标签的样本集z，样本集x的标签记为p，使用有标签的样本集x及其标签p训练一个基准网络h，基准网络h是任意一个用于遥感图像语义分割的端到端网络；
9.步骤s300、对无标签的样本集z中任意一个样本使用k次随机数据增强， k次增强后的样本z
kc
输入到基准网络h中以获取预测结果q
kc
，对k次预测结果取平均获得平均预测结果qc；
10.步骤s400、使用置信度滤波器对平均预测结果qc进行滤波，得到无标签样本掩膜п，并对无标签样本掩膜п取反得到有标签样本掩膜e；
11.步骤s500、分别遍历样本集z中的每一个样本zc(c＝1,2,3
…
i)和样本集 x中的每一个样本xb(b＝1,2,3
…
m)；使用无标签样本掩膜п过滤样本集z中的每一个样本zc；对样本集x中的每一个样本xb进行随机增强后使用有标签样本掩膜e依次进行过滤；将过滤后的多个样本zc和过滤后的多个样本xb进行拼接，形成新的样本x
bc
；
12.步骤s600、在运行步骤s500的同时，使用有标签样本掩膜e过滤样本xb的标签pb；将
平均预测结果qc导入到设定的函数内进行计算求解得到相应的结果，并使用无标签样本掩膜п对相应的结果进行过滤，得到新样本集x
bc
对应的标签p
bc
，遍历完样本集z和样本集x，得到新的样本集x
bc
；
13.步骤s700、基于新的样本集x
bc
和对应的标签p
bc
训练一个最终模型，基于所述最终模型对水体的遥感图像进行预测，并将所预测的结果作为该水体遥感图像最终的提取结果。
14.进一步地，所述步骤s200中的所述基准网络h的网络模型为编码器-解码器结构，基准网络h使用损失函数进行监督训练，损失函数是二值交叉熵 bceloss和骰子系数损失函数diceloss之和。
15.进一步地，所述步骤s300中的k次随机数据增强指的是在原始遥感图像中随机挑选一个样本，并对该样本进行k次增强。
16.进一步地，所述步骤s300中使用的随机增强方法为hsv随机抖动。
17.进一步地，所述步骤s400具体包含如下步骤：
18.步骤s410、定义超参数：栅格步长λ、前景置信度比率μ、背景置信度比率ω；
19.步骤s420、定义输入的遥感图像边长为w，根据栅格步长λ，将遥感图像的预测概率图划分为λ
×
λ个栅格区域cell，其中，每个区域的边长为w/λ；设置一个与遥感图像相同大小的初始的无标签样本掩膜п；
20.步骤s430、从上到下、从左到右依次遍历每个栅格区域cell，对于单独的栅格区域cell，遍历每个像素值，分别前景预测累计和ps、前景假设累计和pc、背景预测累计和ns以及背景假设累计和nc；将像素预测结果大于等于预设值的划分为前景假设值，小于预设值的划分为背景假设值，此处预设值为0.5；
21.在实际遍历像素值的过程中，当该像素的预测结果大于等于0.5时，前景预测累计和ps加上当前的预测栅格区域cell[r,t]，同时前景假设累计和pc加1；当该像素的预测结果小于0.5时，背景预测累计和ns加上当前的预测栅格区域 cell[r,t]，同时背景假设累计和nc加1；其中[r,t]表示当前栅格区域cell的第r行第t列的像素；
[0022]
步骤s440、遍历完一个完整的栅格区域cell后得到最终的前景预测累计和 ps、前景假设累计和pc、背景预测累计和ns以及背景假设累计和nc；
[0023]
如果ps/pc》μ或者ns/nc《ω，则认为该栅格区域cell的置信度是可靠的，将初始的无标签样本掩膜п上对应栅格区域cell所在的区域填充1表示该区域可靠，反之填充0表示该区域不可靠，从而得到最终的无标签样本掩膜п；
[0024]
步骤s450、将最终的无标签样本掩膜п取反得到有标签样本掩膜e。
[0025]
进一步地，所述步骤s500中的遍历为两层循环遍历，外层为遍历样本集z，内层为遍历样本集x。
[0026]
进一步地，所述步骤s600中指定的函数为argmax函数。
[0027]
进一步地，所述步骤s700中最终模型的训练方式为：将新的样本集x
bc
及其标签p
bc
添加到有标签的样本集x中，训练一个最终模型。
[0028]
本发明第二发面还提供一种基于置信度滤波的水体图像提取系统，包括依次连接的存储器和处理器，所述存储器、所述处理器分别存储、执行以上所述水体图像提取方法。
[0029]
本发明的有益效果：
[0030]
第一，模型引入了一致性正则化与熵极小化，其中多次随机数据增强使得模型保持预测一致性且增加栅格区域置信度的可靠性，伪标签使得模型的预测结果的熵极小化，保证模型的鲁棒性。
[0031]
第二，本发明的置信度滤波器能够将无标签的遥感图像划分为多个栅格，栅格的整体置信度评估根据预测结果推算从而决定是否保留该区域，尽可能地降低错误信息的干扰，水体预测错误率显著减小，有效提高半监督水体提取的精度。
[0032]
第三，本发明充分且更加灵活地利用无标签数据，保留的无标签样本不必遵循特定的人工设计形状，如矩形、圆形等，而是根据模型自身的“自信程度”计算得到的，从空间上将无标签数据利用率最大化，使得水体提取性能提高。
附图说明
[0033]
图1是水体图像提取方法的流程图。
[0034]
图2是本发明中的置信度滤波算法示意图。
[0035]
图3是本发明实施例方法提出的置信度滤波器示意图。
[0036]
图4是本发明实施例方法提出的无标签掩膜示意图。
[0037]
图5是本发明实施例方法提出的新样本示意图。
[0038]
图6是本发明实施例方法使用置信度滤波算法前后结果对比图。
[0039]
图7是本发明实施例方法和其他现有方法的水体提取结果对比示意图。
[0040]
图8是超参数λ的有效性示意图。
[0041]
图9是超参数μ的有效性示意图。
[0042]
图10超参数ω的有效性示意图。
具体实施方式
[0043]
下面结合附图及具体实施例对本发明再作进一步详细的说明。
[0044]
第一实施例：
[0045]
参照图1，本技术实施例提供了一种基于置信度滤波的水体图像提取方法，包括如下步骤：步骤s100、获取水体的遥感图像；
[0046]
步骤s200、将所获取的遥感图像划分为有标签的样本集x和无标签的样本集z，所述标签通过人工标注而成，样本集x的标签记为p，使用有标签的样本集x及其标签p训练一个基准网络h，本专利具体使用mrresnet(多尺度残差网络)作为基准网络h，训练阶段使用的损失函数是语义分割常用损失函数,即二值交叉熵bceloss和骰子系数损失函数diceloss之和，epoch(时期) 设置为100轮，epoch指的是训练整轮训练集的次数，基准网络h是任意一个用于遥感图像语义分割的端到端网络；
[0047]
步骤s300、对无标签的样本集z中任意一个样本使用k次随机数据增强， k次增强后的样本z
kc
输入到基准网络h中以获取预测结果q
kc
，对k次预测结果取平均获得平均预测结果qc；
[0048]
步骤s400、使用置信度滤波器对平均预测结果qc进行滤波，得到无标签样本掩膜п，并对无标签样本掩膜п取反得到有标签样本掩膜e；
[0049]
步骤s500、分别遍历样本集z中的每一个样本zc(c＝1,2,3
…
i)和样本集 x中的每
一个样本xb(b＝1,2,3
…
m)；使用无标签样本掩膜п过滤样本集z中的每一个样本zc；对样本集x中的每一个样本xb进行随机增强后使用有标签样本掩膜e依次进行过滤；将过滤后的多个样本zc和过滤后的多个样本xb进行拼接，形成新的样本x
bc
；
[0050]
步骤s600、在运行步骤s500的同时，使用有标签样本掩膜e过滤样本xb的标签pb；将平均预测结果qc导入到argmax函数内进行计算求解得到相应的结果，并使用无标签样本掩膜п对相应的结果进行过滤，得到新样本集x
bc
对应的标签p
bc
，遍历完样本集z和样本集x，得到新的样本集x
bc
；
[0051]
步骤s700、基于新的样本集x
bc
和对应的标签p
bc
训练一个最终模型，基于所述最终模型对水体的遥感图像进行预测，并将所预测的结果作为该水体遥感图像最终的提取结果。
[0052]
本实施例中，步骤s400执行的置信度滤波器简称为confilter，步骤s100～步骤s700的执行过程为置信度滤波算法，下文将结合confilter和置信度滤波算法的结构，对s200～步骤s700的执行过程进行进一步的详细说明。
[0053]
所述步骤s200中的所述基准网络h的网络模型为编码器-解码器结构，基准网络h使用损失函数进行监督训练，损失函数是bceloss(二值交叉熵)和 diceloss(骰子系数)损失函数之和。
[0054]
进一步地，所述步骤s300中的k次随机数据增强指的是在原始遥感图像中随机挑选一个样本，并对该样本进行k次增强。
[0055]
进一步地，所述步骤s300中使用的随机增强方法为hsv(色度(hue)，饱和度(saturation)，明度(value))随机抖动。
[0056]
进一步地，所述步骤s400具体包含如下步骤：
[0057]
步骤s410、定义：栅格步长λ、前景置信度比率μ、背景置信度比率ω；
[0058]
步骤s420、定义输入的遥感图像边长为w，输入的遥感图像的尺寸为w*w，根据栅格步长λ，将遥感图像的预测概率图划分为λ
×
λ个栅格区域cell，其中，每个区域的边长为w/λ；设置一个与遥感图像相同大小的初始的无标签样本掩膜п，此时无标签样本掩膜п内的像素值均填充0；
[0059]
步骤s430、从上到下、从左到右依次遍历每个cell(栅格区域)，对于单独的栅格区域cell，遍历每个像素值，分别前景预测累计和ps、前景假设累计和 pc、背景预测累计和ns以及背景假设累计和nc；将像素预测结果大于等于0.5 的值划分为前景假设值，小于0.5的值划分为背景假设值；
[0060]
在实际遍历像素值的过程中，当该像素的预测结果大于等于0.5时，前景预测累计和ps加上当前的预测栅格区域cell[r,t]，同时前景假设累计和pc加1；当该像素的预测结果小于0.5时，背景预测累计和ns加上当前的预测栅格区域 cell[r,t]，同时背景假设累计和nc加1；其中[r,t]表示当前栅格区域cell的第r行第t列的像素；
[0061]
步骤s440、遍历完一个完整的栅格区域cell后得到最终的前景预测累计和 ps、前景假设累计和pc、背景预测累计和ns以及背景假设累计和nc；
[0062]
如果ps/pc》μ或者ns/nc《ω，则认为该栅格区域cell的置信度是可靠的，将初始的无标签样本掩膜п上对应栅格区域cell所在的区域填充1表示该区域可靠，反之填充0表示该区域不可靠，从而得到最终的无标签样本掩膜п；栅格步长λ、前景置信度比率μ、背景置信
度比率ω，根据人工设定，图9和图 10展示了μ,ω的影响。
[0063]
步骤s450、将最终的无标签样本掩膜п取反得到有标签样本掩膜e。
[0064]
参见图3，本实例中给出置信度滤波器生成无标签样本掩膜п的示例。在这里栅格步长λ取16，图中可以看到模型的预测概率图被划分为16*16个栅格区域，所述预测概率图是基准网络h的输出结果，当遍历到上面一个栅格区域时，满足过滤的条件，因此在无标签样本掩膜п上填充1(表现为白色方块)，当遍历到下面一个栅格区域时，不满足过滤条件，在无标签样本掩膜п上填充0(表现为黑色方块)。同理，遍历所有的栅格得到最终的无标签样本掩膜п。图3展示了一组无标签样本掩膜п的示例。
[0065]
进一步地，所述步骤s500中的遍历为两层循环遍历，外层为遍历样本集z，内层为遍历样本集x。
[0066]
所述步骤s700的具体步骤为：将新构建的样本集x
bc
及其标签p
bc
添加到样本集x中，重新训练神经网络，并用该模型进行水体提取。置信度滤波算法引入一致性正则化和熵极小化来保证模型的鲁棒性，尽可能地降低伪标签中错误信息的干扰，并充分且更加灵活地利用无标签的样本，无标签的样本不必遵循特定的人工设计形状，如矩形、圆形等，而是根据模型自身的“自信程度”计算得到的，因此调整超参数相对更灵活。特别地，当λ＝1时，该算法退化为图像级滤波算法(即完全否定局部区域的可靠性)，当λ＝图像边长时，算法退化为像素级滤波(即破坏了预测结果的空间分布)。图5给出了部分新样本。
[0067]
图5给出了置信度滤波算法前后的结果对比图，可以看出无标签样本掩膜п的矩形方框内，不可靠区域大幅减少，预测结果中的河流被成功提取出来，并且擦除了立交桥上方的大部分阴影，降低了预测错误率。
[0068]
为了验证置信度滤波算法的有效性，本实施例使用水体提取数据集进行了基准网络h的训练和测试，并和其他的方法进行了比较。水体数据集包含1000 张高分辨率遥感图像，我们将数据集划分为如下：600张作为训练集，200张作为验证集，200张作为测试集。具体结果如表1所示：
[0069]
表1
[0070][0071]
评价指标共计4种分别为频权交并比(fwiou)、像素正确率(pa)、平均交并比(miou)和平均骰子系数(mdice)。结合表1能够看出仅使用4张有标签的样本和20张无标签的样本时，本实施例方法的fwiou比基线水平高出 2.86个百分点，acc高出1.53个百分点，miou高出5.09个百分点，mdice高出3.58个百分点。仅使用32张有标签数据和160张无标签数据时，验证集miou 比使用300张有标签数据的基准方法高出0.53个百分点，测试集miou仅低了 0.38个百分点。使用32张有标签数据比全监督方法的miou仅低了1.53给百分点，接近于全监督水平，但是标注时间比全监督方法缩短了近20倍。图7 为不同方法的定性结果，对比的方法mcnn(多模型卷积神经网络)仅小幅地提升了预测结果的分数，而我们的方法显著地提高了提取水体区域的分数，并且消除了草地和建筑物阴影等误认为是水体的错误区域的影响，在某些局部水体上甚至超过了全监督方法。综上所述，本实施例方法使用置信度滤波的半监督水体提取技术能够在使用极少标签的情况下大幅提升水体提取精度，水体的
纹理结果和形状保存的更加完善，取得了接近于全监督的水平，同时节省了昂贵的标注成本。
[0072]
为了分析置信度滤波器的有效性，本实施例将不同的超参数进行了对比，具体来说，固定其中两个超参数，改变另一个超参数，查看预测结果分数的变化。图8展示了超参数λ有效性的示意图，图9展示了超参数μ有效性的示意图，图10展示了超参数ω有效性的示意图。在使用8张有标签数据和40张无标签数据的情况下，可以看出不同的超参数影响着最终水体提取的分数，当λ＝32、μ＝0.8、ω＝0.05时，取得了最好的预测结果。
[0073]
第二实施例：
[0074]
本发明第二发面还提供一种基于置信度滤波的水体图像提取系统，包括依次连接的存储器和处理器，所述存储器、所述处理器分别存储、执行以上所述水体图像提取方法。
[0075]
第三实施例：
[0076]
本发明第三发面还提供一种计算机可读存储介质，包括存储介质，所述存储介质中存储有执行以上所述水体图像提取方法的计算机程序。
[0077]
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不同限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。并且，本发明各个实施方式之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。