一种基于孪生网络的水体变化检测方法

1.本发明属于计算机图像处理领域，是基于深度学习的方法来检测高分辨率遥感图像中水体的变化。


背景技术：

2.利用不同时相的遥感数据来定性以及定量地分析地物的变化是遥感测绘领域的一项重要工作，其主要原理是提取到两幅遥感图像由于地表特征随时间发生变化引起相应的遥感影像像元光谱响应的变化，再利用提取到的差异特征进行建模分析，可用来判断地表是否发生了变化以及变化的区域，鉴别变化的性质以及评估变化的时间和空间分布模式。变化检测如今广泛应用于多个领域，例如，用于资源和和环境监测中的土地利用和覆盖变化、森林和植被变化、城市扩展等变化信息的获取、地理空间数据更新、地震、洪水、泥石流和森林大火等灾情监测于评估以及军事活动中的毁伤效果评估、战场信息动态感知、军事目标和兵力部署监测等。然而，由于不同时期获取的遥感图像在光照、对比度、光照质量、分辨率、噪声、比例、姿势和遮挡等方面都有所差异，这些因素都会对变化检测带来不小的挑战。传统的变化检测处理流程包括图像的预处理，包括几何校正、几何欸准、辐射校正、图像滤波、图像增强，然后是利用卷积神经网络来进行差异特征的提取，接下来利用滤波处理、区域生长方法、数学形态学处理等进行后处理去除不感兴趣的区域或者发生伪变化的区域，最后利用虚警数、漏检像素数和误差像素数来评估网络的变化检测性能。随着深度学习的发展，现在不少学者尝试将深度学习应用到变化检测中，利用深度学习的方法，可以加强对图像自身特征以及图像间的差异特征的学习，从而加强网络对变化检测的性能以及鲁棒性。本发明公开了一种基于孪生神经网络和fcn全卷积网络的水体变化检测方法。该发明基于孪生神经网络和fcn网络设计了一种可用于水体变化检测的方法，利用深度学习从原始遥感数据中充分提取出图像的特征信息，有效地弥补了传统变化检测方法中侧重于差异建模，而忽略图像本身的信息。此外，该网络还结合了修正归一化水体指数(rndwi)来提取水体特征，避免图像中的其余地物的信息对水体的干扰，提高了网络对水体特征提取的性能和鲁棒性。本发明设计了一个孪生网络，其主要的结构由三部分组成，分别是编码器、解码器和分类器，编码器由共享权值的孪生网络和fcn全卷积网络构成，首先将两幅图像输入孪生网络中提取图像的特征，这是一个平行权重共享的网络，可以确保从两幅图像中学习到相同的特征，再分别利用一个自上而下的残差网络对图像进行下采样，使得网络在学习图像特征的同时不丢失浅层特征，而是准确映射给深层特征，再利用双线性插值的方法构建由下而上的分支，获取多尺度的特征图，结合多尺度的卷积层，可捕获图像中的低纹理和小目标细节信息。然后利用fcn网络将提取出来的特征图进行整合来提取出图像之间的变化信息。解码层则是利用双线性插值法进行上采样来逐步恢复出特征图的分辨率。最后使用同一个softmax分类器进行分类，得到最终水体变化图。


技术实现要素：

3.本发明公开了一种基于孪生神经网络和fcn全卷积网络的水体变化检测方法。该发明基于孪生神经网络和fcn网络设计了一种可用于水体变化检测的方法，利用深度学习从原始遥感数据中充分提取出图像的特征信息，有效地弥补了传统变化检测方法中侧重于差异建模，而忽略图像本身的信息。此外，该网络还结合了修正归一化水体指数(rndwi)来提取水体特征，避免图像中的其余地物的信息对水体的干扰，提高了网络对水体特征提取的性能和鲁棒性。本发明设计了一个孪生网络，其主要的结构由三部分组成，分别是编码器、解码器和分类器，编码器由共享权值的孪生网络和fcn全卷积网络构成，首先将两幅图像输入孪生网络中提取图像的特征，这是一个平行权重共享的网络，可以确保从两幅图像中学习到相同的特征，再分别利用一个自上而下的残差网络对图像进行下采样，使得网络在学习图像特征的同时不丢失浅层特征，而是准确映射给深层特征，再利用双线性插值的方法构建由下而上的分支，获取多尺度的特征图，结合多尺度的卷积层，可捕获图像中的低纹理和小目标细节信息。然后利用fcn网络将提取出来的特征图进行整合来提取出图像之间的变化信息。解码层则是利用双线性插值法进行上采样来逐步恢复出特征图的分辨率。最后使用同一个softmax分类器进行分类，得到最终水体变化图。
4.本发明采用的技术方案是一种基于孪生网络和fcn网络对遥感图像中的水体进行变化检测方法，该方法包括：
5.步骤1：将参考图像与测试图像分别输入resnet50网络中，通过一个自上而下的分支以及特征跨层连接，将低层次特征中所蕴含的位置信息完整准确地传递给深层次的特征。
6.步骤1.1：将参考图像与测试图像分别输入权值共享的resnet50残差网络中，首先提取出conv3层的特征，在这一步中，用一个1
×
1的卷积核对图像进行降维，再用一个3
×
3的卷积来进行特征学习，再用1
×
1的卷积升维，最后输出的图像的尺寸为原始图像的1/16。
7.步骤1.2：将步骤1获得的图像特征作为下一层resnet网络输入，提取出 conv4层的特征，同样也是采用一个1
×
1的卷积核对图像进行降维操作，再利用 3
×
3的卷积核进行特征学习，最后使用1
×
1的卷积进行升维，最终输出的特征图的尺寸为原始图像的1/64。
8.步骤1.3：将步骤2获得的特征图传输到下一层resnet去，提取出conv5层的特征，在这一步中，操作同步骤2中一样，利用三个卷积核，分别进行降维、深层特征学习和升维的操作，最后输出的特征图的尺寸维原始图像的1/256。
9.步骤2：将步骤1自上而下获得的特征采用双线性插值的方法进行上采样，将获得的深层特征再传递给低层，并逐渐恢复出图像尺寸，使得最后输出的全局特征能保留图像足够丰富的语义信息。
10.步骤2.1：将步骤1.3获得的特征图利用一个1
×
1的卷积减少它的通道数，再利用双线性插值法来进行上采样，再将同一层的特征图串联起来，将conv5层获得的高层语义信息传递给上一层，最终输出的特征图为输入尺寸的4倍。
11.步骤2.2：将步骤2.1中获得的特征图继续利用1
×
1的卷积减少其通道数，利用双线性插值法进行上采样，再与同一层的特征图串联，使得conv4层的特征能传递给下一层，语义特征最终输出的特征图为输入尺寸的4倍。
12.步骤2.3：将步骤2.2获得的特征图继续进行上采样的操作，具体步骤同步骤2.2中
一致，得到的特征融合了所有的高层特征和浅层特征。最终输出的图像尺寸为输入尺寸的4倍。
13.步骤3：利用fcn全卷积网络将步骤2.1得到的特征图与步骤1.2得到的特征图进行逐像素相加，利用fcn网络将步骤2.2得到的网络与步骤1.1得到的特征图进行逐像素相加；利用fcn网络将步骤2.3得到的特征图与原始图像进行逐像素相加。
14.步骤4：将编码器中两个平行共享权值网络中尺度相同的feature map进行串联，再通过上采样还原特征图的分辨率，得到含有差异特征的多尺度特征图。
15.步骤4.1：将孪生网络中两个conv5层的feature map进行串联，然后利用1
×
1 卷积将串联后得到的特征图的通道数变为原来的1/2，之后通过上采样将featuremap的尺寸恢复为输入尺寸的4倍。
16.步骤4.2：将网络中两个conv4层的feature map进行特征串联，然后利用1
×
1 的卷积将特征图的通道数变为原来的一半，再与步骤4.1中经过上采样获得的特征图进行串联，之后再通过上采样特征图的分辨率还原为输入尺寸的4倍。
17.步骤4.3：将两个conv3层的特征图重复步骤4.2的操作，得到分辨率与原始图像相同的特征图，再与原始图像进行串联，最后输出的feature map的分辨率与原始图像一致。
18.步骤5：最终，利用softmax对获得的多尺度具有差异特征的feature map进行分类，得到两幅图像中水体的变化信息。
19.与现有技术相比，本发明的有益效果是：
20.(1)与传统的变化检测方法相比，此发明除了重视两幅图像之间的差异特征的提取，也注重图像自身特征地提取，以提高网络变化检测的性能和鲁棒性。
21.(2)设计了孪生网络和fcn网络相结合的网络结构，将图像中的浅层特征与深层特征融合，使得网络学习到的特征包含足够多的信息。
22.(3)结合了修正归一化水体指数(rndwi)来提取水体特征，避免图像中的其余地物的信息对水体的干扰，提高了网络对水体特征提取的性能。
23.(4)采用双线性插值进行上采样，提取出含有多个尺度的特征图，捕获物体的粗糙信息和细节信息，使得网络可以应用于不同领域和不同场景的变化检测。
附图说明
24.图1为本发明的网络结构图。