一种数据与知识双驱动的自组织建筑物变化检测方法

本发明属于遥感图像处理，具体涉及一种数据与知识双驱动的自组织建筑物变化检测方法。

背景技术：

1、随着城市化进程的加快，建筑物变化检测在城市规划、违规建筑监测和灾后评估等领域具有重要应用价值。建筑物变化检测通过对同一地理区域不同时间点获取的遥感图像进行对比分析，精准提取建筑物的新建、拆除及改扩建信息。然而，建筑物形态多样、边缘信息复杂，加之季节变化、光照差异等环境因素干扰，使得建筑物变化检测面临较大挑战。

2、现有深度学习变化检测方法主要存在以下问题：第一，纯数据驱动方法未充分利用建筑物的专业领域先验知识（如形态结构特征、亮度特性和阴影特性），导致对建筑物区域的识别精度受限；第二，建筑物边缘信息难以准确检测，传统方法在建筑物边缘区域普遍存在漏检和边缘模糊问题；第三，已有方法通常针对单一固定数据集设计固定结构的网络，面对新数据集时需要重新训练，泛化能力弱。

3、因此，迫切需要一种融合建筑物专业领域先验知识、实现多数据集协同学习并联合优化边缘检测任务的建筑物变化检测方法。

技术实现思路

1、为了克服现有技术的不足，本发明提供了一种数据与知识双驱动的自组织建筑物变化检测方法，包括：获取个建筑物变化检测数据集，对每个数据集前后两时刻的遥感图像提取建筑物的多种领域特征，将所提取的建筑物的多种领域特征与原始图像进行融合，生成特征增强后的输入数据；将增强后的输入送入自组织数据知识双驱动变化检测网络，搜索得到适配数据特性的最优数据知识双驱动变化检测网络，该网络在进化搜索过程中通过多通道多尺度特征交互池实现跨数据集特征协同，利用有标签数据集对无标签数据集进行知识引导，自适应确定建筑物领域特征融合位置、跨数据集交互结构及边缘损失权重，充分发挥多数据集联合训练的互补优势；利用所述最优数据知识双驱动变化检测网络对个数据集进行变化检测，得到个初始变化检测二值图，对所述二值图进行连通域后处理，去除非建筑区域噪声并填充建筑物内部空洞，同时输出个建筑物变化检测结果。本发明能有效融合建筑物领域先验知识，利用多数据集协同互补提升无标签数据集检测精度，同时提升建筑物变化的边缘清晰度与整体变化检测精度，具有良好的多任务可扩展性。

2、本发明解决其技术问题所采用的技术方案如下：

3、步骤1：获取个建筑物变化检测数据集，对每个数据集前后两时刻的遥感图像提取建筑物的多种领域特征，将所提取的建筑物的多种领域特征与原始图像进行融合，生成特征增强后的输入数据；

4、步骤2：将增强后的输入数据送入自组织数据知识双驱动变化检测网络，搜索得到适配数据特性的最优数据知识双驱动变化检测网络，该网络在进化搜索过程中通过多通道多尺度特征交互池实现跨数据集特征协同，利用有标签数据集对无标签数据集进行知识引导，自适应确定建筑物领域特征融合位置、跨数据集交互结构及边缘损失权重；

5、步骤3：利用最优数据知识双驱动变化检测网络对个数据集进行变化检测，得到个初始变化检测二值图；对个初始变化检测二值图进行连通域后处理，去除非建筑区域噪声并填充建筑物内部空洞，同时输出个建筑物变化检测结果。

6、优选地，所述步骤1具体为：

7、获取个建筑物变化检测数据集，其中为大于或等于1的正整数；每个建筑物变化检测数据集包含针对同一地理区域前后两个时刻和拍摄的遥感图像，记为和；

8、针对每个数据集在和两个时刻的遥感图像，分别提取以下四种建筑物领域特征：

9、（1）形态学建筑物指数mbi；

10、（2）角点指数harris，计算方式如下：

11、(4)

12、(5)

13、其中表示矩阵的行列式，为矩阵迹的平方，、分别表示图像水平方向和垂直方向的梯度，为窗口权重函数，为经验系数；表示表示局部计算窗口的尺寸；

14、（3）纹理指数pantex；pantex通过统计图像在多个方向上的对比度纹理特征区分建筑物与非建筑区域；

15、（4）形态学阴影指数msi；

16、在提取上述四种建筑物领域特征以及canny边缘检测图后，按照以下步骤对特征进行融合与数据增强处理：

17、步骤1-1，对于第个建筑物变化检测数据集，将其在时刻图像的五种特征图, …,按照以下公式叠加，形成时刻的综合多特征图；同理，对时刻图像的五种特征图进行叠加，形成时刻的综合多特征图：

18、(6)

19、其中，, …,分别表示形态学建筑物指数mbi、角点指数harris、纹理指数pantex、形态学阴影指数msi、canny边缘检测图的特征图；表示逐像素拼接操作；

20、步骤1-2：将综合多特征图分别与对应时刻的原始图像进行逐像素叠加，在保留原始信息的基础上增强建筑物相关特征，得到特征增强后的图像和：

21、(7)

22、步骤1-3：第个子网络的最终输入由特征增强后的和两个时刻图像与综合多特征图拼接构成：

23、(8)

24、其中表示逐像素拼接操作。

25、优选地，所述遥感图像为高分辨率光学图像或sar图像。

26、优选地，所述经验系数取0.04~0.06。

27、优选地，所述步骤2具体为：

28、步骤2-1：构建数据知识双驱动的自适应多数据集建筑物变化检测网络框架并确定搜索空间；

29、在网络自适应的多数据无监督遥感图像变化检测算法dfanet的框架基础上，引入建筑物领域知识嵌入机制对网络结构搜索范畴进行扩展，构建数据知识双驱动的自适应多数据集建筑物变化检测网络dfanet-dk；dfanet-dk由输入模块、多特征融合模块、多数据集网络模块、边缘特征提取模块和输出模块构成；

30、数据知识双驱动的自适应多数据集建筑物变化检测网络的搜索空间包含三部分：

31、子网架构编码：采用0/1二进制编码，0表示该层网络不存在，1表示存在，每个子网初始层数设置为固定值；

32、特征结构编码：采用两位数编码，十位数表示建筑物的多种领域特征是否进入该层融合，个位数表示该层输出是否参与跨数据集交互；

33、边缘损失函数权重：采用实数编码，搜索范围为[0, 1.5]；

34、设种群大小为，候选网络初始层数为l，搜索网络最小层数为，特征结构最小层数为；

35、步骤2-2：利用预设的个体编码方式产生初始数据知识双驱动变化检测网络种群；

36、当输入为个建筑物变化检测数据集且种群大小为时，每个候选网络个体的编码结构如下：

37、(9)

38、(10)

39、其中，表示候选网络种群，表示候选网络个体的编码向量，表示第个建筑物数据集对应子网络的架构编码，表示第个数据集的特征结构编码，表示边缘损失函数权重编码；

40、第个数据集的和分解为：

41、(11)

42、其中，表示第个任务中第l层的子网架构编码，表示第个任务中第l层的特征结构编码，其编码方式为两位数，具体解码方式如下：

43、(12)

44、其中，代表多建筑物特征是否进入第个任务子网第l层：取值为2时进入融合，取值为1时不融合；代表第个任务子网第l层的输出是否参与多通道多尺度特征交互池交互：取值为1时进入多通道多尺度特征交互池，取值为0时忽略；

45、按照上述个体编码方式随机生成个个体，构成式（9）所示的数据知识双驱动的变化检测网络的初始种群，其中每一个个体代表了数据知识双驱动的变化检测网络的一个可能架构；

46、步骤2-3：利用区域约束的自选择遗传操作对种群进行迭代优化；

47、设计区域约束的自选择遗传操作，包括交叉操作和突变操作；

48、步骤2-3-1：交叉操作；

49、交叉操作共包含结构区域交叉、特征区域交叉和双区域交叉三种类型，实现过程如下：

50、首先，在种群中通过二进制锦标赛算法随机选择两个个体作为父代和，将和首尾对齐，和的子网架构编码区域和特征结构编码区域随之自动对齐；然后随机生成0到1之间的随机数，当小于交叉概率时，说明满足交叉条件，需要进一步确定交叉操作的类型：

51、再随机生成0到1之间的随机数，代表交叉的类型；当小于0.3时，代表进行结构区域交叉，分别在和的子网架构编码区域内随机选择一个位置作为交叉点，交换两个父代交叉点之后的子网架构编码；当的值在0.3和0.6之间时，代表进行特征区域交叉，分别在和的特征结构编码区域内随机选择一个位置作为交叉点，交换特征结构编码；当的值大于0.6时，代表双区域交叉，需要同时在和的子网架构编码区域和特征结构编码区域中各选择任意位置作为交叉点，实现双区域的交叉操作；对于边缘损失权重，直接对和的值取均值赋给子代，保证权重搜索的连续性。最终得到交叉后的子代个体和；

52、步骤2-3-2：突变操作；

53、突变操作同样包含结构区域突变、特征区域突变和双区域突变三种类型，实现过程如下：

54、首先，在种群中随机选择一个个体作为父代，然后随机生成0到1之间的随机数，当小于突变概率时说明满足突变条件，需要进一步确定突变类型：再随机生成0到1之间的随机数，当小于0.3时，代表进行结构区域突变，在的子网架构编码区域随机选择一个位置作为突变点，将对应位编码取反即0变为1或1变为0；当的值在0.3和0.6之间时，代表进行特征区域突变，在的特征结构编码区域随机选择若干位置作为突变点，对选中位置的两位数编码随机生成新的合法值，即十位数为1或2，个位数为0或1；当的值大于0.6时，代表双区域突变，同时在的子网架构编码区域和特征结构编码区域中选择任意位置作为突变点，实现双区域的突变操作；对于边缘损失权重，在[0, 1.5]范围内随机生成新的值进行替换，最终得到突变后的子代个体；

55、步骤2-4：提取边缘特征并构建深度边缘引导损失函数，对种群中每个个体进行适应度评价；

56、数据知识双驱动的变化检测网络中边缘特征提取模块从多通道多尺度特征交互池的输出特征中同时提取变化信息和边缘信息；具体地，多通道多尺度特征交互池输出特征依次经过一层全连接层带relu激活函数后，通过两路并行的1×1卷积模块分别生成：变化概率图和边缘概率图，其中变化概率图经softmax层激活后输出，对应变化检测结果，边缘概率图经softmax层激活后输出，对应建筑物边缘检测结果；边缘真实标签由canny算法对变化检测真值图进行处理后生成；

57、深度边缘引导损失函数由变化检测损失和边缘检测损失加权组合而成，总损失为：

58、(13)

59、其中，变化检测损失为个建筑物变化检测任务的交叉熵损失之和：

60、(14)

61、其中，为第个任务的真实分类标签，为第个任务对应的预测概率，为交叉熵损失函数；

62、边缘检测损失为建筑物边缘检测的二值交叉熵损失：

63、(15)

64、其中，为像素点的边缘真实值（0或1），为像素点的边缘预测概率，求和对图像中所有像素点进行计算；

65、边缘损失权重由进化自适应搜索自动确定，其物理意义为变化检测任务与边缘检测任务在训练过程中损失贡献的相对比重，用于在训练过程中动态调控变化检测精度与建筑物边缘清晰度之间的平衡；

66、步骤2-5：判断当前迭代次数是否达到预设的最大迭代次数；

67、步骤2-6：若否，返回步骤2-3所述的遗传操作步骤继续进化；

68、步骤2-7：若是，停止迭代，从每个更新种群中选取适应度最高的个体作为最优个体。

69、优选地，所述步骤3具体为：

70、步骤3-1：连通域标记；对网络输出的变化检测二值图进行连通域分析，识别图像中所有像素值为1即变化区域的连通区域，并对每个连通区域进行标记和面积统计；

71、步骤3-2：噪声清除；

72、计算每个连通区域的面积，清除面积低于预设最小面积阈值的分散噪声连通区域；

73、步骤3-3：空洞填充；

74、对保留的连通区域进行内部空洞填充操作；利用建筑物内部空间彼此贯通、整体呈规则闭合图形的连通性特征，将每个连通区域边界所围成的内部空洞即内部像素值为0的区域填充为1，使建筑物主体区域的检测更加平滑完整。

75、最终同时输出个建筑物变化检测结果,, …,，对应个输入建筑物变化检测数据集。

76、一种电子设备，包括：处理器及存储器；所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述电子设备执行上述自组织建筑物变化检测方法。

77、一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述自组织建筑物变化检测方法。

78、一种芯片，包括：处理器，用于从存储器中调用并运行计算机程序，使得安装有所述芯片的设备执行上述自组织建筑物变化检测方法。

79、一种计算机程序产品，所述计算机程序产品包括计算机存储介质，所述计算机存储介质存储计算机程序，所述计算机程序包括能够由至少一个处理器执行的指令，当所述指令由所述至少一个处理器执行时实现上述自组织建筑物变化检测方法。

80、本发明的有益效果如下：

81、本发明通过构建形态学建筑物指数（mbi）、角点指数（harris）、纹理指数（pantex）及形态学阴影指数（msi）等建筑物专业领域特征并将其注入网络，有效克服了纯数据驱动方法在专业领域知识利用上的欠缺，显著提升了建筑物主体区域的识别精度与鲁棒性；同时将n个建筑物变化检测数据集建模为多任务学习框架，通过多通道多尺度特征交互池实现跨数据集特征融合与知识共享，利用有标签数据集对无标签数据集进行变化检测知识引导，有效克服了单数据集样本标签不足导致的精度下降问题；此外，通过进化搜索自适应确定各子网络各层是否存在、建筑物领域特征融合位置及各层输出特征是否参与跨数据集交互，无需人工设计固定网络，在多个不同建筑物数据集场景下均能自动获取最优网络架构；并设计了深度边缘引导损失函数，将变化检测损失与建筑物边缘检测损失组合，引导网络在训练过程中同时优化变化检测精度与建筑物边缘清晰度，有效解决了建筑物边缘模糊与漏检问题。