一种基于弱监督语义分割的损毁建筑物高分遥感提取方法与流程

1.本发明涉及一种基于弱监督语义分割的损毁建筑物高分遥感提取方法，具体涉及一种基于弱监督语义分割方法的基于弱监督语义分割的损毁建筑物高分遥感提取方法。


背景技术：

2.在地震等灾难发生后，进行快速准确的损毁建筑物评估对于初步估量受灾程度以及为救援工作提供信息至关重要。不同于实地勘测，高分辨率遥感观测可以在与恶劣且不安全的环境接触最少的前提下观测灾区，完成对损毁建筑物的细粒度识别，即使在偏远的地区也可以完成任务。
3.在这样的背景下，研究人员更多的关注于开发从灾后高分辨率遥感影像中自动检测损毁建筑物的方法。灾后的损毁建筑物在高分辨率遥感影像中表现出外观凌乱、结构不规则、边界模糊和尺寸不一等特点。建筑物损毁时会在周围道路上掉落碎片，很容易导致损毁建筑物与周围道路产生混淆。另外完全倒塌的建筑物也很容易与裸地等目标产生混淆。这些因素为遥感影像损毁建筑物自动提取任务带来了巨大的挑战。
4.克服这一挑战的标准方法是采用精细化标注的像素级样本训练语义分割网络，然而标注精细的像素级样本是十分困难的，尤其对于具有以上特性的损毁建筑物，也极易造成人工像素级样本标注偏差。
5.目前，由于卷积神经网络(cnn)具有强大的特征提取和表达能力，所以基于卷积神经网络的方法在损毁建筑物自动检测任务中表现出越来越大的潜力。为了获得语义分割结果，即逐像素的识别结果，许多研究人员直接引入全卷积神经网络(fcn)来提取损毁建筑物。然而，基于fcn的方法需要收集大量的像素级标注来训练模型，这是一种既耗时成本又高的工作，尤其对于损毁建筑物的标注。
6.弱监督语义分割(wsss)最近成为一种备受关注的方法，因为这种方法可以使用场景级的标注样本实现像素级的解译结果。一般来说，弱监督方法的实现主要基于滑动窗口分类和类别激活图(cam)两种策略。然而基于滑动窗口分类的方法通常难以推断出精确的目标位置，往往会获得非常粗糙的目标分割结果。出于这个原因，大多数最新的弱监督语义分割方法都依赖于由预训练的cnn分类网络生成的cam。因此，cam的质量对于弱监督语义分割方法的性能至关重要。
7.由于cam的局部高响应特性，通常图像分类网络生成的cam会在目标区域中被不完整且不正确的激活。这个问题对基于图像级标注的弱监督语义分割方法具有极大的挑战。为了解决这个问题，为此有人提出了一种多膨胀卷积增强分类网络，用来提高cam中目标的低响应区域的判别能力。然而，该技术只考虑到了优化目标区域的激活范围，没有解决目标区域提取的一致性和噪声问题。还有人提出一种自监督等变注意机制网络，该网络采用一致性正则化和像素相关模块为自然图像生成更加一致且完整的cam。虽然这些技术证明了使用弱监督语义分割方法从高分辨率遥感影像中提取损毁建筑物的可行性，但并没有特别考虑损毁建筑物在灾后遥感影像中的分布特征。显而易见，损毁建筑物的模糊边界和杂乱
纹理可能会对获得高质量的cam产生负面影响。
8.为此，需要一种考虑损毁建筑物特殊特性的、能改善改善类别激活图cam质量的、抑制损毁建筑物内部的噪声的、增强网络对细节的感知能力，缓解提取目标边界模糊问题的方案。


技术实现要素：

9.为了解决或部分解决上述部分或全部技术问题，本发明是通过如下技术方案实现的：
10.一种基于弱监督语义分割的损毁建筑物高分遥感提取方法，第一网络接收输入遥感影像，所述遥感影像的分辨率为h
×
w，h和w均为正整数；所述遥感影像被输入至resnet-1o1网络中，获得resnet-1o1网络学习得到的特征图，以及resnet-1o1网络中的第二层输出结果；所述resnet-1o1网络学习得到的特征图被输入至多尺度依赖(msd)模块和空间相互关系优化(scr)模块，然后经过卷积和上采样后，获得第一处理结果；所述resnet-1o1网络中的第二层输出结果经过卷积后，获得第二处理结果；将所述第一处理结果和第二处理结果级联连接后，获得融合后的特征图；然后再依次经过空间相互关系优化(scr)模块和卷积，获得第三处理结果；通过对所述第三处理结果应用grad-cam策略，获得h/4
×
w/4分辨率的损坏建筑物cam，再经过尺寸变形，获得h
×
w分辨率的损坏建筑物cam；再对所述h
×
w分辨率的损坏建筑物cam应用densecrfs策略，获得基于原始影像对应生成的cam得到损毁建筑物的提取结果。
11.在某类实施例中，对第三处理结果，依次通过gap层、全连接层和softmax分类器，计算输入影像块属于每个类别的概率。
12.在某类实施例中，采用膨胀卷积的级联式密集连接的方法来提高目标相关区域的激活响应，抑制目标不相关区域的激活响应。
13.在某类实施例中，通过在大范围内综合考虑和整合每个像素的特征相互依赖性来优化像素之间的全局空间相关性。
14.在某类实施例中，先通过对基于原始影像重叠分割的影像块生成的cam进行拼接，得到原始影像对应的cam后，再通过densecrfs得到原始影像的损毁建筑物提取结果。
15.在某类实施例中，所述多尺度依赖(msd)模块，具体实现方法为：
16.多尺度依赖(msd)模块的输入特征图f通过一个1
×
1的卷积层得到特征图f
′
；特征图f
′
通过膨胀率为3的膨胀卷积得到特征图f1；特征图f
′
与特征图f1通过级联连接得到特征图f
′1；特征图f
′1通过膨胀率为6的膨胀卷积得到特征图f2；特征图f
′
与特征图f
′1通过级联连接得到特征图f
″1，特征图f
″1与特征图f2通过级联连接得到特征图f
′2；特征图f
′2通过膨胀率为9的膨胀卷积得到特征图f3；特征图f
′
与特征图f
″1通过级联连接得到特征图f
″′1，特征图f
″′1与特征图f
′2通过级联连接得到特征图f
″2，特征图f
″2与特征图f3通过级联连接得到特征图f
′3；特征图f
′3通过膨胀率为12的膨胀卷积得到特征图f4；由特征图f
′
经过全局平均池化操作和上采样操作获得特征图f5；所述多尺度依赖(mad)模块的输出特征图f
″
由特征图f
′
、f1、f2、f3、f4和f5通过级联连接获得。
17.在某类实施例中，所述空间相互关系优化(scr)模块，具体实现方法为：尺寸为c
×h×
w的特征图f，作为空间相互关系优化(scr)模块的输入，其中c、h和w分别表示特征图的
通道数、高度和宽度；特征图fi、fj、fk由特征图f通过尺寸为1
×
1的卷积分别得到；对特征图fi、fk应用矩阵变换和转置操作，生成新的特征图f
′i以及f
′k；对特征图fj应用矩阵变换，生成新的特征图f
′j；通过对特征图f
′i和f
′j矩阵相乘以及通过softmax操作得到空间关系图s，其尺寸为hw
×
hw；对空间关系图s和特征图f
′k矩阵相乘，并经过转置操作和矩阵变换后，应用1
×
1的卷积操作，并将卷积操作后的结果与特征图f相加，获得空间相互关系优化特征图s
′
，也即空间相互关系优化(scr)模块的输出。
18.本发明所披露的多种实施例，分别具有如下有益的技术效果之一或多个，更多的有益效果将在具体实施例中介绍：
19.1)引入的一种基于膨胀卷积和密集连接的新型msd模块，用来扩大目标相关激活区域并抑制与目标无关的激活区域。这有助于在cam中对损毁建筑物进行完整且密集的定位。
20.2)设计的一种新型的scr模块来进一步优化目标内的一致性关系，这样有利于在cam中抑制损毁建筑物内部的噪声。
21.3)设计的具有编码器-解码器结构的统一msd-scr-net网络可以融合低级特征图来增强网络对细节的感知能力，缓解提取目标边界模糊的问题。
22.上述技术方案/特征，旨在对具体实施方式部分中所描述的技术方案、技术特征进行概括，因而记载的范围可能不完全相同。但是该部分披露的这些新的技术方案及技术特征，与后续具体实施方式部分公开的技术特征，以相互合理组合的方式披露更多的技术方案。
23.本发明任意位置所披露的所有技术特征所组合出的技术方案，用于对技术方案的概括、专利文件的修改、技术方案的披露。
附图说明
24.图1是弱监督损毁建筑物提取方法的原理图；
25.图2是多尺度依赖(msd)模块原理图；
26.图3是空间相互关系优化(scr)模块原理图。
具体实施方式
27.结合本发明中所公开的实施例中描述的各方法步骤或模块，能够以硬件、软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各实施例的步骤及组成。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用或设计约束条件。本领域普通技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为在本发明所要求保护的范围之外。
28.本发明任意位置中的“第一”、“第二”等序号仅仅用于描述上的区分标记，并不暗示时间或空间上的绝对顺序，也不暗示冠以这种序号的术语与冠以其它定语的相同术语必然是不同的指代。
29.由于不能穷尽描述各种替代方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案中的要点内容进行清楚、完整地描述。对于下文未详细披露的其它的
技术方案和细节，一般均属于本领域通过常规手段即可实现的技术目标或技术特征，限于篇幅，本发明不对其详细介绍。
30.本发明会对各种用于组合成各种不同具体实施例的要点进行描述，这些要点将被组合至各种方法、产品中。在本发明中，即便仅在介绍方法/产品方案时所描述的要点，意味着对应的产品/方法方案也明确地包括该技术特征。
31.本发明中任意位置处描述存在或包括某步骤、模块、特征时，并不暗示这种存在是排它性地唯一存在，本领域技术人员完全可以根据本发明所披露的技术方案而辅以其它技术手段而获得其它实施例。基于本发明中具体实施例描述的要点，本领域技术人员完全可以对某些技术特征施加替换、删减、增加、组合、调换顺序等手段，获得一个仍遵循本发明构思的技术方案。这些未脱离本发明技术构思的方案也在本发明保护范围之内。
32.至少为了克服灾后损毁建筑物解译面临的像素级样本标注困难的挑战，本发明设计了耦合多尺度特征依赖机制与全局空间相互关系优化机制的弱监督分类网络学习场景影像中的损毁建筑物特征，像素级地解译灾后损毁建筑物。
33.本发明披露了一种全新的基于场景级标注的弱监督语义分割网络，用于从震后高分辨率遥感图像中提取损毁建筑物。本发明所提出的网络被称为msd-scr-net，它将多尺度依赖(msd)模块和空间相互关系优化(scr)模块集成到一个统一的框架中，通过提高生成的cam的质量，实现高精度的损毁建筑物提取。具体而言，其是通过如下方式实现的：
34.参考图1，本发明所提出的网络使用resnet-101作为主干网络，输入影像输入resnet-101网络，获得主干部分学习到的特征图，然后依次输入通过本发明所提出的msd模块和scr模块。此外，为了增强网络对细节的感知能力，本发明特意添加了解码过程来融合低层次的特征图。来自scr模块的输出特征图被卷积和上采样后与低层次特征图连接。为了保持特征的一致性，融合后的特征图再次通过scr模块处理。之后特征图再通过最后一个卷积层，并依次利用gap层、全连接层和softmax分类器计算输入影像块属于每个类别的概率。
35.对于原始影像的cam生成，这里需要注意，由于gpu显存的限制，原始的大尺度高分辨率遥感影像无法直接输入网络生成cam，因此本发明需要将原始影像分割成具有一定重叠度的影像块作为输入，分别通过grad-cam策略基于msd-scr-net中最后一个卷积层生成每个影像块对应的cam。最后利用densecrfs基于原始影像对应的生成cam得到损毁建筑物提取结果。
36.参考图2，其公开了msd模块的工作流程。原始的cam难以捕获完整且密集的目标区域，尤其对于边界模糊、纹理凌乱的损毁建筑物来说。为了解决这一问题，本发明引入了msd模块，它由堆叠的膨胀卷积组成，通过扩大卷积核的感受野去结合上下文信息，实现目标的判别响应区域由高目标相关区域向低目标相关区域传递。膨胀卷积与普通卷积的运算方法相同，通过卷积核移动实现对应区域的卷积计算。但通过膨胀卷积能够实现在参数不变的情况下增大卷积核的尺寸，扩大感受野大小，进而捕获更大尺度的特征。因此，通过堆叠使用不同膨胀率的膨胀卷积就可以捕获影像中不同尺度的特征。
37.如图2所示，msd模块将不同膨胀率的膨胀卷积和全局平均池化(gap)层堆叠在一起，其中膨胀率分别设置为3、6、9和12。通过使用不同膨胀率的膨胀卷积对特征图并行采样，可以用于捕获多个尺度的图像特征信息，实现了特征的多尺度表达。此外，本发明发现级联式密集连接的方式有助于多路径获得的多尺度特征图紧密的连接，能够更好的实现不
同尺度特征之间的自适应融合，最大限度的发挥出多尺度特征的优势。因此，为了多尺度特征的更有效利用，防止目标周围不相关区域的错误激活响应，本发明采用膨胀卷积的级联式密集连接的方法来抑制目标不相关区域的激活响应。
38.具体来说，msd模块的工作流程如下：假设给定一个中间特征图作为msd模块的输入，其中c、h和w分别表示特征图的通道数、高度和宽度。首先特征图f会先通过一个1
×
1的卷积层得到特征图f
′
通过膨胀率为3的膨胀卷积得到特征图特征图f
′
与特征图f1通过级联连接得到特征图f
′1。特征图f
′1通过膨胀率为6的膨胀卷积得到特征图特征图f
′
与特征图f
′1通过级联连接得到特征图f
″1，特征图f
″1与特征图f2通过级联连接得到特征图f
″2。特征图f
″2通过膨胀率为9的膨胀卷积得到特征图特征图f
′
与特征图f
″1通过级联连接得到特征图f
″′1，特征图f
″′1与特征图f
′2通过级联连接得到特征图f
″2，特征图f
″2与特征图f3通过级联连接得到特征图f
′3。特征图f
′3通过膨胀率为12的膨胀卷积得到特征图通过膨胀率为12的膨胀卷积得到特征图是由特征图f
′
经过全局平均池化(gap)操作和上采样(upsampling)操作获得。最后，该模块的输出特征图由特征图f
′
、f1、f2、f3、f4和f5通过级联连接获得。
39.参考图3，其公开了scr模块的工作流程。多数损毁建筑物的内部结构是不规则的，在高分辨率遥感影像中外观具有较高的类内异质性。因此，这一特点极大地阻碍了对损毁建筑物的一致性识别。为了缓解这个问题，本发明设计了scr模块，该模块可以进一步优化目标激活响应区域内的一致性关系，以抑制cam中损毁建筑物内部的噪声。scr模块旨在通过在大范围内综合考虑和整合每个像素的特征相互依赖性来优化像素之间的全局空间相关性。
40.scr模块的结构如图3所示。具体来说，scr模块的工作流程如下：假设给定一个中间特征图作为scr模块的输入，其中c、h和w分别表示特征图的通道数、高度和宽度。特征图是由f通过1
×
1的卷积获得，然后通过矩阵变换和转置操作，生成新的特征图和
41.然后，空间关系图可以通过f
′i和f
′j矩阵相乘并通过softmax操作得到。空间关系图s中的归一化数值可以用于衡量像素之间的空间关系。最后，空间相互关系优化特征图也是scr模块的输出，可以通过下面的计算获得：
42.s
′
＝f conv1×1[(s
×f′k)
transpose&reshape
].
[0043]
对于输入影像场景分类，在构建最后的特征图之后，利用gap层、全连接层和softmax分类器计算输入影像块属于每个类别的概率。对于输入影像cam的获取，需要注意，由于gpu显存的限制，原始的大尺度高分辨率遥感影像无法直接输入网络生成cam，因此本发明需要将原始影像分割成具有一定重叠度的影像块作为输入，分别生成每块影像对应的cam。本发明通过grad-cam策略基于msd-scr-net中最后一个卷积层生成对应输入影像块的
cam。具体来说，任意类别c的cam，记为hc，可以表示为：
[0044][0045]
其中代表对应类别c的cam，fk代表从最后一个卷积层输出特征图的第k个通道，代表对应特征图第k个通道的权重，它可以通过下式计算得到：
[0046][0047]
这里pc代表场景分类中输入影像块属于类别c的概率，(i,j)代表像素位置。
[0048]
一般来说，对于大尺度的高分辨率遥感影像，本发明可以对每个分割影像块得到的cam通过densecrfs处理获得逐像素分类结果，然后进行图像拼接步骤获得整个图像的结果。但是这种处理可能会导致图像中的拼接位置不平滑，出现明显的接缝。为此，本发明先通过对基于原始影像重叠分割的影像块生成的cam进行拼接，得到原始影像对应的cam后，再通过densecrfs得到原始影像的损毁建筑物提取结果。对于cam的拼接，由于每个像素可能被多个cam覆盖，本发明采用以下策略，即每个像素p的cam值取所有覆盖它的cam中该像素位置最大的cam值，即其中cam
p
表示像素p最终的cam值，表示第n个覆盖的cam中像素p的cam值。所述densecrfs是现有技术1中的技术，在此以全文引入的方式将其纳入本技术。
[0049]
现有技术1:l.-c.chen,g.papandreou,i.kokkinos,k.murphy,and a.l.yuille,“deeplab:semantic image segmentation with deep convolutional nets,atrous convolution,and fully connected crfs,”ieee transactions on pattern analysis and machine intelligence,vol.40,no.4,pp.834
–
848,2017.
[0050]
尽管已经参考本发明的具体特征和实施例描述了本发明，但是在不脱离本发明的情况下仍可以对其进行各种修改、组合、替换。本发明的保护范围旨在不限于说明书中描述的过程、机器、制造、物质组成、装置、方法和步骤的特定实施例，并且这些方法、模块可能还被实施在相关联、相互依赖、相互配合、前/后级的一个或多个产品、方法当中。
[0051]
所附的权利要求中所提及的若干技术特征可能存在替代的技术特征，或者对某些技术流程的顺序、物质组织顺序可以重组。本领域普通技术人员知晓本发明后，容易想到该些替换手段，或者改变技术流程的顺序、物质组织顺序，然后采用了基本相同的手段，解决基本相同的技术问题，达到基本相同的技术效果，因此即便权利要求中明确限定了上述手段或/和顺序，然而该些修饰、改变、替换，均应依据等同原则而落入权利要求的保护范围。