遥感影像建筑物提取方法及装置、提取模型的训练方法及装置与流程

摘要: 本技术涉及遥感图像处理,更具体地涉及一种遥感影像建筑物提取方法及装置、提取模型的训练方法及装置。背景技术:1、随着着遥感技术和城市化进程的不断发展,建筑物提取作...
遥感影像建筑物提取方法及装置、提取模型的训练方法及装置与流程

本技术涉及遥感图像处理,更具体地涉及一种遥感影像建筑物提取方法及装置、提取模型的训练方法及装置。

背景技术:

1、随着着遥感技术和城市化进程的不断发展,建筑物提取作为城市管理、土地利用评估等领域的重要基础工作,其精度与效率正受到越来越多的关注。高分辨率光学遥感图像因具备丰富的空间细节信息,成为建筑物提取任务的主要数据源。

2、相关技术中在小尺度识别度目标识别和大尺度目标边界细化方面仍有不足,易出现漏检或边缘模糊等问题。

技术实现思路

1、鉴于上述问题,本技术提供了遥感影像建筑物提取方法及装置、提取模型的训练方法及装置。

2、根据本技术的第一个方面,提供了一种遥感影像建筑物提取方法,包括:获取包含建筑物的目标遥感影像中的任一帧图像;利用预训练的提取模型的编码模块,对上述图像进行特征提取,得到目标遥感图特征组,上述目标遥感图特征组包括目标遥感图特征;利用上述提取模型的融合模块中对应不同膨胀率的多个子融合模块,对上述目标遥感图特征进行自适应融合,得到融合后的目标遥感图,上述多个子融合模块中的任一子融合模块用于按照上述膨胀率对上述目标遥感图特征进行空洞卷积;利用上述提取模型的解码模块,基于上述目标遥感图特征组对上述融合后的目标遥感图进行特征重构,得到目标重构遥感图,上述目标重构遥感图中标记有至少一个建筑物掩膜,上述编码模块和上述解码模块通过加性跳跃连接。

3、根据本技术的实施例,上述编码模块包括茎子模块、第一轻量化残差卷积子模块、第二轻量化残差卷积子模块和全局感知轻量化残差卷积子模块,上述茎子模块用于对图像进行初步处理,以缩小上述图像的空间尺度,上述目标遥感图特征组包括第一遥感图特征、第二遥感图特征、第三遥感图特征和目标遥感图特征,上述利用预训练的提取模型的编码模块,对上述图像进行特征提取,得到目标遥感图特征组,包括:将上述目标遥感图输入至上述茎子模块中,得到第一遥感图特征;将上述第一遥感图特征输入至上述第一轻量化残差卷积子模块中,得到第二遥感图特征;将上述第二遥感图特征输入至上述第二轻量化残差卷积子模块中,得到第三遥感图特征;将上述第三遥感图特征输入至上述全局感知轻量化残差卷积子模块中,得到上述目标遥感图特征。

4、根据本技术的实施例,上述将上述第三遥感图特征输入至上述全局感知轻量化残差卷积子模块中,得到上述目标遥感图特征,包括:对上述第三遥感图特征进行划分,得到多个窗口图特征;针对上述多个窗口图特征中的任一窗口图特征,基于上述窗口图特征进行自注意力计算,得到窗口自注意力图特征;基于全部上述窗口自注意力图特征得到上述目标遥感图特征。

5、根据本技术的实施例,上述基于上述窗口图特征进行自注意力计算,得到窗口自注意力图特征,包括:利用第一卷积层,对上述窗口图特征进行投影,生成上述窗口图特征的查询特征矩阵和键特征矩阵;利用第二卷积层,对上述窗口图特征进行投影,生成上述窗口图特征的值特征矩阵;将上述查询特征矩阵和上述键特征矩阵,沿通道维度转换为多个注意力矩阵组,上述注意力矩阵组包括注意力查询矩阵和注意力键矩阵;针对上述多个注意力矩阵组中的任一注意力矩阵组,计算上述注意力查询矩阵和注意力键矩阵的点积,得到注意力权重;基于上述值特征矩阵和上述注意力权重得到上述窗口自注意力图特征。

6、根据本技术的实施例,上述融合模块包括第一子融合模块、第二子融合模块、第三子融合模块和全连接模块,上述第一子融合模块、上述第二子融合模块和上述第三子融合模块具有不同的膨胀率,上述利用上述提取模型的融合模块中对应不同膨胀率的多个子融合模块,对上述目标遥感图特征进行自适应融合,得到融合后的目标遥感图,包括:将上述目标遥感图特征输入至上述第一子融合模块,得到第一膨胀遥感图特征;将上述第一膨胀遥感图特征输入至上述第二子融合模块,得到第二膨胀遥感图特征;将上述第二膨胀遥感图特征输入至上述第三子融合模块,得到第三膨胀遥感图特征;将上述目标遥感图输入至全连接模块,生成残差图特征以及分别与上述第一膨胀遥感图特征、上述第二膨胀遥感图特征和上述第三膨胀遥感图特征对应的第一权重矩阵、第二权重矩阵和第三权重矩阵;利用上述第一权重矩阵、第二权重矩阵和上述第三权重矩阵分别对上述第一膨胀遥感图特征、上述第二膨胀遥感图特征和上述三膨胀遥感图特征进行加权求和得到目标膨胀遥感图特征;基于上述残差图特征对上述目标膨胀遥感图特征进行通道融合,得到上述融合后的目标遥感图。

7、根据本技术的实施例,上述解码模块包括第一坐标卷积子模块、第二坐标卷积子模块、第三坐标卷积子模块和卷积子模块,上述基于上述目标遥感图特征组对上述融合后的目标遥感图进行特征重构,得到目标重构遥感图,包括:将上述融合后的目标遥感图输入至上述第一坐标卷积子模块,得到第一子重构遥感图特征;将上述第三遥感图特征和上述第一子重构遥感图特征进行逐元素相加,得到第一重构遥感图特征,并将上述第一重构遥感图特征输入至上述第二坐标卷积子模块,得到第二子重构遥感图特征;将上述第二遥感图特征和上述第二子重构遥感图特征进行逐元素相加,得到第二重构遥感图特征,并将上述第二重构遥感图特征输入至上述第三坐标卷积子模块,得到第三子重构遥感图特征;将上述第一遥感图特征和上述第三子重构遥感图特征进行逐元素相加,得到第三重构遥感图特征,并将上述第三重构遥感图特征输入至上述卷积子模块,得到上述目标重构遥感图。

8、根据本技术的实施例,上述将上述融合后的目标遥感图输入至上述第一坐标卷积子模块,得到第一子重构遥感图特征,包括:对上述融合后的目标遥感图在水平方向上进行全局平均池化,得到水平遥感图特征,并对上述融合后的目标遥感图在垂直方向上进行全局平均池化,得到垂直遥感图特征,上述水平遥感图特征表征横向的空间依赖信息,上述垂直遥感图特征表征纵向的空间依赖信息;对上述水平遥感图特征进行分离映射,得到水平权重矩阵,并对上述垂直遥感图特征进行分离映射,生成垂直权重矩阵;利用上述水平权重矩阵和上述垂直权重矩阵对上述融合后的目标遥感图加权,以得到上述第一子重构遥感图特征。

9、本技术的第二方面提供了一种提取模型的训练方法,包括:获取样本遥感图和指示了上述样本遥感图中建筑物的样本标签;将上述样本遥感图输入至提取模型中,得到样本重构遥感图;基于上述样本标签和上述样本重构遥感图确定损失值;基于上述损失值对上述提取模型的参数进行调整,得到预训练的提取模型,上述预训练的提取模型用于实现上述第一方面的方法。

10、本技术的第三方面提供了一种遥感影像建筑物提取装置,包括:获取模块,用于获取包含建筑物的目标遥感影像中的任一帧图像;提取模块,用于利用预训练的提取模型的编码模块,对上述图像进行特征提取,得到目标遥感图特征组,上述目标遥感图特征组包括目标遥感图特征;融合模块,用于利用上述提取模型的融合模块中对应不同膨胀率的多个子融合模块,对上述目标遥感图特征进行自适应融合,得到融合后的目标遥感图,上述多个子融合模块中的任一子融合模块用于按照上述膨胀率对上述目标遥感图特征进行空洞卷积;重构模块,用于利用上述提取模型的解码模块,基于上述目标遥感图特征组对上述融合后的目标遥感图进行特征重构,得到目标重构遥感图,上述目标重构遥感图中标记有至少一个建筑物掩膜,上述编码模块和上述解码模块通过加性跳跃连接。

11、本技术的第四方面提供了一种提取模型的训练装置,包括:样本获取模块,用于获取样本遥感图和指示了上述样本遥感图中建筑物的样本标签;样本输入模块,用于将上述样本遥感图输入至提取模型中,得到样本重构遥感图;样本确定模块,基于上述样本标签和上述样本重构遥感图确定损失值;调整模块,用于基于上述损失值对上述提取模型的参数进行调整,得到预训练的提取模型,上述预训练的提取模型用于实现上述第一方面的方法。

12、本技术的第五方面提供了一种电子设备,包括:一个或多个处理器;存储器,用于存储一个或多个计算机程序,其中,上述一个或多个处理器执行上述一个或多个计算机程序以实现上述方法的步骤。

13、本技术的第六方面还提供了一种计算机可读存储介质,其上存储有计算机程序或指令,上述计算机程序或指令被处理器执行时实现上述方法的步骤。

14、本技术的第七方面还提供了一种计算机程序产品,包括计算机程序或指令,上述计算机程序或指令被处理器执行时实现上述方法的步骤。

15、根据本技术的实施例,通过具有不同膨胀率的多个子融合模块,来对目标遥感影像中不同尺度的特征进行空洞卷积,从而增强模型对不同尺度建筑物的感知能力,进而提升提取模型对不同尺度建筑目标的检测能力,同时,通过将编码模块和解码模块通过加性跳跃连接,在不增加参数量的情况下增强多尺度融合效果,减少内存消耗,进而使得目标重构遥感影像具有更高的精度和更清晰的边界细节。