基于动态混合策略的城区遥感图像变化深度监测方法及系统

1.本发明属于卫星遥感图像处理技术领域，特别是涉及一种基于动态混合策略的城区遥感图像变化深度监测方法及系统。


背景技术：

2.高分辨遥感图像语义分割是遥感图像领域的一个基本任务，其主要任务是利用计算机通过对观测到的遥感图像中各类目标的颜色，光谱信息和空间信息进行分析，选择特征信息，对图像中每一个像素进行分类并分割出目标图像之间的区域轮廓。城区遥感图像主要包括建筑物、道路、绿植覆盖面积等。城市遥感图像的准确分割以及变化检测可以为城市管理规划中对建筑物，绿植的季节性变化、灾害检测、植被分布变化等各部分组成指标细节进行分析，并对全面掌握城镇布局及其实时动态变化进一步提供依据和帮助。
3.近几十年来，随着计算机人工智能视觉技术的发展，卫星遥感影像的分辨率越来越高，处理图像的能力也极大提升，对开展学术研究和指导生产实践具有重要意义。与传统应用的普通图像相比，遥感图像具有精度高、丰富的上下文信息、较为宽广的视野范围以及能实时动态监控等特点，在各个领域被大规模应用并逐步呈现出精细化的发展趋势。而怎样准确地从遥感图像中提取关键信息就显得异常重要。传统的遥感图像的分割技术例如基于区域分割的方法、边缘检测分割法、阴影分析等，通常依赖人工设计提取特征，在对复杂场景进行区域分割时，泛化性较差。
4.基于边缘检测的深度学习算法对高空遥感图像进行语义分割，能更好地提取图像中有价值的信息，可以提升遥感图像中小尺寸目标的分割精度，同时也可以为城区规划、沙漠检测管理、城市绿化管控和水域监管等提供数据支持。但是在实际的遥感图像中，由于不同条件的复杂环境如地形多样，目标物体相互遮挡和城市建筑类别丰富，以及光照、云层覆盖等诸多因素的影响，存在物体边缘分割细节精度大幅度降低以及分割边界模糊不清的问题。
5.因此，设计一种可以减少地形环境因素影响，以提高区域边缘分割精度的基于动态混合策略的城区遥感图像变化检测方法是十分重要的。


技术实现要素：

6.本发明的目的在于对上述技术中的不足进行改进，提出了一种结合多种混合池化策略的基于deeplabv3 多尺度网络模型的城区遥感图像变化深度检测方法。
7.本发明采取如下技术方案：
8.基于动态混合策略的城区遥感图像变化深度监测方法，其按如下步骤：
9.s1、对城市遥感图像进行预处理，并对城市中不同类别的区域进行标注，得到数据集；
10.s2、基于xception作为骨干网络采用动态混合池化策略的网络模型，利用步骤s1的数据集训练网络；
11.s3、将同一城市区域不同时间的遥感图像进行同比例裁剪，输入训练好的网络模型中，对图像进行分割；
12.s4、得到城市遥感图像的区域分类结果后，计算一段时间内各区域类别的变化程度并将变化标注在图上。
13.进一步，该城区的原始遥感影像采用rsscn7dataset遥感图像数据集。
14.进一步，步骤s1中对原始遥感影像进行裁剪和语义分割作为数据的预处理，裁剪成256*256的大小，使用labelme语义分割标注工具对裁剪过的图像进行标注，将其分为道路、建筑、水域、绿植、空地五个类别。
15.进一步，labelme技术是一种开源图像标注工具，主要用于实例分割、语义分割、目标检测和分类任务的数据集标记工作。
16.进一步，由于在城区中各个区域类别的标志特征一般较为显著，所以我们使用不同颜色直接对预处理后的遥感图像进行分割与标注，然后采用随机选取的方式选取训练数据集。
17.进一步，步骤s2中，使用混合池化deeplabv3 网络模型对数据集进行训练。deeplabv3 网络模型融合多尺度信息，将模型结构分为编码层和解码层，并引入xception作为骨干网络。骨干网络将结果应用串行空洞卷积的方法分为两个模块，其中一部分直接传入解码层，另一部分则经过aspp模块。具体包括如下步骤：
18.s21、在编码层，将检测到的城市遥感图像先经过骨干网络提取特征信息，将图像大小依次变为原始图像大小的1/4，1/8，1/16。
19.s22、由骨干网络得到60*60*2048的特征图进入空洞空间卷积池化金字塔aspp，一般的aspp模块由一个1*1卷积、三个空洞率分别是6，12，18的3*3膨胀卷积层和一个全局平均池化层组成，为了更好地提高网络模型边缘分割的精确度，在此结构的基础上，将aspp模块中全局平均池化替换为本文所采用的混合池化策略，并对输入特征图进行混合池化得到大小为20*20的特征图，通过1*1的卷积进行通道压缩，最后通过反卷积的方法将其还原为输入特征图的高和宽，各部分得到的结果进行拼接融合。
20.s23、在解码端融合骨干网络对应层级输出的低层特征和编码端混合后的结果，经过3*3卷积核上采样后恢复输入图分辨率的预测结果，从而得到城市遥感图像分类的结果图，最终提高了网络模型分割的精度。
21.s24、在采用动态混合池化策略deeplabv3 网络模型中，用rsscn7dataset遥感图像数据集对网络模型进行训练，其余样本作为测试数据集用于测试网络模型。
22.进一步的，步骤s22中的混合池化策略需要对2048层特征图进行优化：
23.第k层特征图中选择最大池化的频率αk、选择平均池化的频率βk和选择随机池化的频率γk为：
[0024][0025]
其中，i_max为第k层特征图中选择最大池化为池化方法的频数，i_avg为第k层特
征图中选择平均池化为池化方法的频数，i_sto为第k层特征图中选择随机池化为池化方法的频数，i_total为已优化第k层特征图的训练集的大小。
[0026]
最终网络模型中第k层特征图输出的混合池化后的结果outputk为：
[0027][0028]
其中，x
k_max
表示第k层特征图采用最大池化方法后的结果，x
k_avg
表示第k层特征图采用平均池化方法后的结果,x
k_sto
表示第k层特征图采用随机池化方法后的结果。
[0029]
进一步的，将aspp模块中的全局平均池化改进为动态混合池化的步骤包括：
[0030]
a、初始化，在训练deeplabv3 网络模型之前，将每层特征图各个池化策略的初始化权重αk、βk和γk都设置为
[0031]
b、分别使用最大池化、平均池化和随机池化的方法对第1层特征图进行池化处理，使用混合池化方法对其余特征图进行池化处理，通过计算预测值和真实值的平均交并比miou来评估不同池化策略的优劣，所得miou值最大的池化方式作为第1层特征图的所选择的池化方式；
[0032]
c、采用b中所述方法对同一输入的第2-2048层特征图的池化策略进行优化；
[0033]
d、对所有的训练集样本均采取上述步骤b、c操作；
[0034]
e、得到训练集中各层特征图采用不同池化策略的αk、βk和γk。
[0035]
进一步的，步骤s22中采用平均交并比(miou)来评估不同池化策略的优劣，miou表示将各个类别预测值和真实值的交集和并集的比值相加，再除以类别数量。其公式可表示为：
[0036][0037]
其中，k表示非空类别数量，tp表示真正例数量，fp表示假正例数量，fn表示假反例数量。
[0038]
进一步的，步骤s2中，deeplabv3 网络模型采用逐像素的交叉熵损失函数softmax loss处理多分类问题，选取每一个像素点作为一个样本，对每一个像素的预测类别和真实类别计算其交叉熵损失函数。损失函数softmax在多分类过程中，将多个输出转化为概率值映射在(0，1)区间内进行分类。
[0039]
经过softmax回归处理之后的输出为：
[0040][0041]
其中，e为自然常数2.71，p
i,j
为第i个样本对第j类的预测概率，l
i,j
为神经网络对第i个样本在第j类的输出，c为原始输入类的数目。
[0042]
上式将输出变为(0，1)的概率分布，通过交叉熵损失函数计算预测的概率分布和真实值的概率分布之间的距离。具体为：
[0043][0044]
其中n为训练集样本数目，c为原始输入类的数目，y(i)为第i个样本所属的类别，w为样本数据的权重。
[0045]
进一步，步骤s3中将同一城市区域不同时间的遥感图像进行同比例裁剪，输入训练好模型中，得到分割后的图像。
[0046]
进一步，步骤s4具体包括：
[0047]
s41、计算t1和t2时刻相同区域的城区遥感图像中第i个类别的预测值的交并比损失，用来表示该区域中第i个类别的变化大小，交并比损失公式如下：
[0048][0049]
其中，li表示第i个区域类别的变化大小，li越大，表示该区域变化越大tpi表示第i个区域类别的真正例数量，fpi表示第i个区域类别的假正例数量，fni表示第i个区域类别的假反例数量。
[0050]
s42、将分割后的图像按照顺序进行拼接。
[0051]
s43、将t1和t2时刻拼接后的城区遥感图像相减，消去相同区域类别的像素点，得到只含有变化区域的部分并作出标记，并将标记后的图像与原图像叠加，从而在遥感图像上显示出城区变化的范围。
[0052]
本发明还公开了一种基于上述城区遥感图像变化深度监测方法的系统，其包括如下模块：
[0053]
数据集获取模块：对城市遥感图像进行预处理，并对不同类别城市区域进行标注，得到数据集；
[0054]
训练模块：基于xception作为骨干网络采用动态混合池化策略的deeplabv3 网络模型，利用数据集训练网络；
[0055]
分割模块：将同一城市区域不同时间的遥感图像进行同比例裁剪，输入训练好模型中，对图像进行分割；
[0056]
标注模块：得到城市遥感图像的区域分类结果后，计算一段时间内各区域类别的变化程度并将变化标注在图上。
[0057]
本发明与现有技术相比，有益的效果是：
[0058]
1.本发明对遥感图像的各层特征图动态地选择不同的池化方式进行池化，能够更好地把握图像的全局信息和局部信息，提高了分割精度。
[0059]
2.本发明将随机池化作为池化策略之一，有效降低了过拟合的风险，提高了模型的泛化能力。
附图说明
[0060]
图1是本发明基于动态混合策略的城区遥感图像变化深度监测方法流程图。
[0061]
图2是混合池化流程图。
[0062]
图3是deeplabv3 网络模型图。
[0063]
图4是本发明基于动态混合策略的城区遥感图像变化深度监测系统框图。
具体实施方式
[0064]
下面结合附图对本发明优选实施例做详细说明。
[0065]
如图1-3所示，本实施例基于动态混合策略的城区遥感图像变化深度监测方法，按如下步骤进行：
[0066]
s1、根据武汉大学2015年发布的rsscn7 dataset遥感图像，对图像进行预处理并对城市中不同类别区域进行标注，得到数据集；
[0067]
s2、基于xception作为骨干网络采用动态混合池化策略的deeplabv3 网络模型，利用数据集训练网络；
[0068]
s3、将同一城市区域不同时间的遥感图像进行同比例裁剪，输入训练好模型中，对图像进行分割。
[0069]
s4、得到城市遥感图像的区域分类结果后，计算一段时间内各区域类别的变化程度并将变化标注在图上。
[0070]
具体的，在本实施例中，该城区的原始遥感影像采用rsscn7dataset遥感图像数据集。
[0071]
在本实施例中，步骤s1中对原始遥感影像进行裁剪和语义分割作为数据的预处理，裁剪成256*256的大小，使用labelme语义分割标注工具对裁剪过的图像进行标注，将其分为道路、建筑、水域、绿植、空地五个类别。
[0072]
进一步，labelme技术是一种开源图像标注工具，主要用于实例分割、语义分割、目标检测和分类任务的数据集标记工作。
[0073]
由于在城区中各个区域类别的标志特征一般较为显著，所以在本实施例中使用不同颜色直接对预处理后的遥感图像进行分割与标注，然后采用随机选取的方式选取训练数据集。
[0074]
本实施例的s2中，使用混合池化deeplabv3 网络模型对数据集进行训练。deeplabv3 网络模型融合多尺度信息，将模型结构分为编码层和解码层，并引入xception作为骨干网络。骨干网络将结果应用串行空洞卷积的方法分为两个模块，其中一部分直接传入解码层，另一部分则经过aspp模块。具体包括如下步骤：
[0075]
s21、在编码层，将检测到的城市遥感图像先经过骨干网络提取特征信息，将图像大小依次变为原始图像大小的1/4，1/8，1/16。
[0076]
s22、由骨干网络得到60*60*2048的特征图进入空洞空间卷积池化金字塔aspp，一般的aspp模块由一个1*1卷积、三个空洞率分别是6，12，18的3*3膨胀卷积层和一个全局平均池化层组成，为了更好地提高网络边缘分割的精确度，在此结构的基础上，将aspp模块中全局平均池化替换为本文所采用的混合池化策略，并对输入特征图进行混合池化得到大小为20*20的特征图，通过1*1的卷积进行通道压缩，最后通过反卷积的方法将其还原为输入特征图的高和宽，各部分得到的结果进行拼接融合。
[0077]
s23、在解码端融合骨干网络对应层级输出的低层特征和编码端混合后的结果，经过3*3卷积核上采样后恢复输入图分辨率的预测结果，从而得到城市遥感图像分类的结果图，最终提高了网络分割的精度。
[0078]
s24、为了更好地提高网络边缘分割的精确度，在deeplabv3 网络结构中，将aspp中全局平均池化替换为本文所采用的混合池化策略。对rsscn7dataset遥感图像数据集进行训练，其余样本作为测试数据集用于测试网络。
[0079]
在本实施例中，上述步骤s22中的混合池化策略需要对2048层特征图进行优化：
[0080]
第k层特征图中选择最大池化的频率αk、选择平均池化的频率βk和选择随机池化的频率γk为：
[0081][0082]
其中，i_max为第k层特征图中选择最大池化为池化方法的频数，i_avg为第k层特征图中选择平均池化为池化方法的频数，i_sto为第k层特征图中选择随机池化为池化方法的频数，i_total为已优化第k层特征图的训练集的大小。
[0083]
最终模型中第k层特征图输出的混合池化后的结果outputk为：
[0084][0085]
其中，x
k_max
表示第k层特征图采用最大池化方法后的结果，x
k_avg
表示第k层特征图采用平均池化方法后的结果,x
k_sto
表示第k层特征图采用随机池化方法后的结果。
[0086]
将aspp模块中的全局平均池化改进为动态混合池化的步骤包括：
[0087]
a、初始化，在训练deeplabv3 网络模型之前，将每层特征图各个池化策略的初始化权重αk、βk和γk都设置为
[0088]
b、分别使用最大池化、平均池化和随机池化的方法对第1层特征图进行池化处理，使用混合池化方法对其余特征图进行池化处理，通过计算预测值和真实值的平均交并比miou来评估不同池化策略的优劣，所得miou值最大的池化方式作为第1层特征图的所选择的池化方式；
[0089]
c、采用b中所述方法对同一输入的第2-2048层特征图的池化策略进行优化；
[0090]
d、对所有的训练集样本均采取上述步骤b、c操作；
[0091]
e、得到训练集中各层特征图采用不同池化策略的αk、βk和γk。
[0092]
在本实施例的步骤s22中，采用平均交并比miou来评估不同池化策略的优劣，miou表示将各个类别预测值和真实值的交集和并集的比值相加，再除以类别数量。其公式可表示为：
[0093][0094]
其中，k表示非空类别数量，tp表示真正例数量，fp表示假正例数量，fn表示假反例数量。
[0095]
在本实施例的步骤s2中，deeplabv3 网络模型采用逐像素的交叉熵损失函数处理
多分类问题，选取每一个像素点作为一个样本，对每一个像素的预测类别和真实类别计算交叉熵损失函数。softmax在多分类过程中，将多个输出转化为概率值映射在(0，1)区间内进行分类。
[0096]
经过softmax回归处理之后的输出为：
[0097][0098]
其中，p
i,j
为第i个样本对第j类的预测概率，l
i,j
为网络对第i个样本在第j类的输出。上式将输出变为(0，1)的概率分布，通过交叉熵损失函数计算预测的概率分布和真实值的概率分布之间的距离。具体为：
[0099][0100]
其中n为训练集样本数目，c为原始输入类的数目，y(i)为第i个样本所属的类别，w为样本数据的权重。
[0101]
在本实施例的步骤s3中，将同一城市区域不同时间的遥感图像进行同比例裁剪，输入训练好模型中，得到分割后的图像。
[0102]
本实施例的步骤s4具体包括：
[0103]
s41、计算t1和t2时刻相同区域的城区遥感图像中第i个类别的预测值的交并比损失，用来表示该区域中第i个类别的变化大小，交并比损失公式如下：
[0104][0105]
其中，li表示第i个区域类别的变化大小，li越大，表示该区域变化越大tpi表示第i个区域类别的真正例数量，fpi表示第i个区域类别的假正例数量，fni表示第i个区域类别的假反例数量。
[0106]
s42、将分割后的图像按照顺序进行拼接。
[0107]
s43、将t1和t2时刻拼接后的城区遥感图像相减，消去相同区域类别的像素点，得到只含有变化区域的部分并作出标记，并将标记后的图像与原图像叠加，从而在遥感图像上显示出城区变化的范围。
[0108]
如图4所示，本实施例公开了一种基于上述实施例城区遥感图像变化深度监测方法的系统，其包括如下模块：
[0109]
数据集获取模块：对城市遥感图像进行预处理，并对不同类别城市区域进行标注，得到数据集；
[0110]
训练模块：基于xception作为骨干网络采用动态混合池化策略的deeplabv3 网络模型，利用数据集训练网络模型；
[0111]
分割模块：将同一城市区域不同时间的遥感图像进行同比例裁剪，输入训练好模型中，对图像进行分割；
[0112]
标注模块：得到城市遥感图像的区域分类结果后，计算一段时间内各区域类别的变化程度并将变化标注在图上。
[0113]
本发明对遥感图像的各层特征图动态地选择不同的池化方式进行池化，能够更好地把握图像的全局信息和局部信息，提高了分割精度。本发明将随机池化作为池化策略之一，有效降低了过拟合的风险，提高了模型的泛化能力。