一种结合小波变换的神经网络航空影像建筑物分割方法及系统

本发明涉及地理信息系统，尤其涉及的是一种结合小波变换的神经网络航空影像建筑物分割方法及系统。

背景技术：

1、航空影像中的建筑屋顶提取是地理信息更新、三维城市建模等关键应用的基础任务，直接影响地物测绘的自动化水平。目前技术主要是通过深度学习的方法进行像素级分割，如u-net及其类似变体、基于视觉transformer的网络、基于实例分割的方法（如mask r-cnn）等。

2、然而，目前仍面临一些挑战。第一，在基于卷积神经网络的方法中，下采样会导致细节信息的丢失，容易造成小目标、边缘细节的丢失以及大型建筑物的不连续；第二，现有的直接在最高级别上生成所有建筑预测的方法没有充分发挥不同级别特征的特点，比如，低级特征保留了更多的细节有助于捕获小型目标、高级特征建立了更广的全局信息有利于捕获大型目标；第三，基于神经网络的方法通常将输入（rgb）直接学习到标签（mask），而输入和标签通常具有较大的差异，这通常需要消耗更多成本来设计更高效的神经网络来拟合这一过程。

3、因此，现有技术还存在下采样信息丢失、分割不精确以及输入与标签差异大的问题。

技术实现思路

1、本发明要解决的技术问题在于，针对现有技术缺陷，本发明提供一种结合小波变换的神经网络航空影像建筑物分割方法及系统，以解决现有技术存在的下采样信息丢失、分割不精确以及输入与标签差异大的问题。

2、本发明解决技术问题所采用的技术方案如下：

3、第一方面，本发明提供结合小波变换的神经网络航空影像建筑物分割方法，包括：

4、获取原始航空影像，采用均值标记法对所述原始航空影像进行标记，并按照尺寸分类不同的建筑物标签；

5、对分类后的建筑物标签进行哈尔小波变换处理，制作不同尺寸的标注，并通过卷积神经网络将所述标注进行特征映射，生成高级语义特征；

6、基于双任务回归学习方法和所述高级语义特征对小波变换网络进行训练，得到训练后的小波变换网络；

7、将所述原始航空影像输入所述训练后的小波变换网络进行推理，并对模型输出进行后处理，输出完整的建筑物语义分割结果。

8、在一种实现方式中，所述采用均值标记法对所述原始航空影像进行标记，并按照尺寸分类不同的建筑物标签，包括：

9、在r通道、g通道以及b通道上取均值，将三个通道合并为单通道，并以建筑物区域经取整后的像素平均值代替对应区域的像素值，将其余像素值的预设位置减去预设值，得到标记好的标签；

10、统计数据集中所有单体建筑屋顶的面积范围，在所述标记好的标签中以单体面积属于0~r/3、r/3~ 2r/3、2r/3~r的范围划分方式分类出小、中、大三种尺寸的建筑物，得到所述分类后的建筑物标签。

11、在一种实现方式中，所述对分类后的建筑物标签进行哈尔小波变换处理，制作不同尺寸的标注，并通过卷积神经网络将所述标注进行特征映射，生成高级语义特征，包括：

12、对分类后的建筑物标签进行哈尔小波变换处理，分解得到各自的小波系数，并分别将分解后的小波系数输入所述卷积神经网络，经特征映射后得到标签的高级语义特征。

13、在一种实现方式中，所述训练后的小波变换网络包括：前置层和后置层；

14、所述前置层用于捕捉图像的局部纹理特征和边缘特征；

15、所述后置层用于根据移动窗口自注意力挖掘图像的局部上下文特征，并在全局自注意力下建模全局依赖关系，在最后的预测头中细化全局信息和局部细节；

16、在所述后置层的每一次下采样过程中，均采用哈尔小波分解的方式进行处理。

17、在一种实现方式中，所述基于双任务回归学习方法和所述高级语义特征对小波变换网络进行训练，得到训练后的小波变换网络，包括：

18、基于组合损失函数，利用简易学习机制在所述前置层学习预设的高级语义特征，并通过所述后置层得到输出；其中，所述后置层得到的输出用于学习所述建筑物标签的小波系数；

19、或基于所述组合损失函数，利用快速学习机制在所述后置层学习将所述高级语义特征映射回对应的小波系数，并采用微调的方式联合所述前置层回归所述建筑物标签的小波系数。

20、在一种实现方式中，所述组合损失函数为：

21、；

22、；

23、；

24、；

25、其中，表示总的损失，、分别表示针对小波系数中的近似系数和其余三个系数的损失，表示针对小所述小波变换网络的中间层的损失，表示系数；

26、表示结合均方误差和平均绝对误差的损失函数，用于比较预测图像与目标图像在像素级别上的差异；

27、表示基于图像结构相似性的损失函数，用于比较所述预测图像与所述目标图像在亮度、对比度以及结构上的差异；

28、表示感知损失函数，用于比较所述预测图像和所述目标图像在特征空间中的差异。

29、在一种实现方式中，所述将所述原始航空影像输入所述训练后的小波变换网络进行推理，并对模型输出进行后处理，输出完整的建筑物语义分割结果，包括：

30、将所述原始航空影像输入所述训练后的小波变换网络进行推理，输出大、中、小三种尺寸的小波系数；

31、对三种小波系数进行小波逆变换处理，生成3张类标记图；

32、通过区域生长法寻找每张类标记图的相似区域，并排除所寻找的相似区域中像素数量过低的区域，将剩下的相似区域设为分割好的目标区域；其中，所述相似区域的像素值满足预设条件；

33、将每张类标记图筛选出的目标区域置为1，其余区域置为0，得到三张不同尺寸的分割图，并将所述分割图相加在一起，将大于0的位置设为建筑物区域，得到最终的建筑物语义分割结果。

34、第二方面，本发明提供一种结合小波变换的神经网络航空影像建筑物分割系统，包括：

35、标记分类模块，用于获取原始航空影像，采用均值标记法对所述原始航空影像进行标记，并按照尺寸分类不同的建筑物标签；

36、特征映射模块，用于对分类后的建筑物标签进行哈尔小波变换处理，制作不同尺寸的标注，并通过卷积神经网络将所述标注进行特征映射，生成高级语义特征；

37、双任务回归训练模块，用于基于双任务回归学习方法和所述高级语义特征对小波变换网络进行训练，得到训练后的小波变换网络；

38、推理与后处理模块，用于将所述原始航空影像输入所述训练后的小波变换网络进行推理，并对模型输出进行后处理，输出完整的建筑物语义分割结果。

39、第三方面，本发明提供一种终端，包括：处理器以及存储器，所述存储器存储有结合小波变换的神经网络航空影像建筑物分割程序，所述结合小波变换的神经网络航空影像建筑物分割程序被所述处理器执行时用于实现如第一方面所述的结合小波变换的神经网络航空影像建筑物分割方法的操作。

40、第四方面，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有结合小波变换的神经网络航空影像建筑物分割程序，所述结合小波变换的神经网络航空影像建筑物分割程序被处理器执行时用于实现如第一方面所述的结合小波变换的神经网络航空影像建筑物分割方法的操作。

41、本发明采用上述技术方案具有以下效果：

42、本发明将小波分解融入进了网络中的下采样过程，规避了下采样信息丢失，并借助小波变换的容错性将分割问题描述为回归问题，针对大、中、小三种不同尺寸的建筑物进行分类提取，细化了不同层级的分工；本发明通过双任务回归学习机制输出双任务学习高级语义先验和标签，可缩短输入和输出的距离，并在网络的中间层通过学习标签的高级语义的方式使网络加深对标签的认知，提高了建筑物分割精度。