一种基于视觉Transformer的洪涝灾害监测与灾情分析方法与流程

一种基于视觉transformer的洪涝灾害监测与灾情分析方法
技术领域
1.本发明涉及洪涝灾害监测与灾情分析方法，尤其涉及一种基于视觉transformer的洪涝灾害监测与灾情分析方法。


背景技术：

2.我国自然灾害频发，其中洪水发生最为频繁。洪涝灾害极具有破坏性，对生态环境、人类生命和财产构成巨大威胁。洪涝具有范围广、发生频繁、突发性强和损失大等特点。洪水爆发造成大面积区域淹没是动态变化的，对洪涝区域进行实时监测十分重要。基于3s技术及其相互配合，是监测洪涝灾害的主要手段。洪水淹没面积是进行灾害评估的基础，它依赖于及时有效的数据。随着遥感技术的迅速发展，有大量的卫星数据可用于监测洪水。传统的水体识别的研究工作主要依赖于水体在遥感影像中与其他地表物体之间反映强度的不同来提取水体信息，其中应用最为广泛的就是mcfeeters提出的归一化水体指数（ndwi）。近年来深度学习技术发展迅速，且在各行各业中广泛应用。与传统特征提取方法不同，深度学习模型能在大量样本中自适应学习特征，具有普适性和灵活性等优点。尤其对于洪涝发生前后灾区地表覆盖极具变化的情况，深度学习算法能够迅速且高效的识别出洪涝面积。 然而目前上述技术中仍存在以下缺点使得监测洪涝还具挑战性：1、传统遥感洪涝监测方法精确度不高，很难超过90%，且受限于可用数据等因素；2、基于cnn的语义分割网络常被应用在遥感图像变化检测与目标识别等任务中，但是对于较长范围的时空信息就显得差强人意。
3.鉴于目前利用遥感技术进行洪涝监测主要依赖于指数法、阈值分割和机器学习等算法，这些方法简单，容易受限于影像质量、地形和人为干预等因素的影响，很难达到精准高效的监测洪涝；此外由于洪涝发生时常伴随着云雨，光学卫星透过云雾捕捉到很多有用的水体信息，无法避免的是缺乏可用的数据进行洪涝监测。


技术实现要素：

4.发明目的：为解决上述技术问题，本发明提供了一种基于视觉transformer的洪涝灾害监测与灾情分析方法。
5.技术方案：本发明的洪涝灾害监测与灾情分析，包括步骤：（1）构建双时相图像变化检测模型；所述双时相图像变化检测模型由cnn框架、语义标记器和transformer模块组成，transformer模块包括编码器和解码器；（2）选取双时相遥感影像，制作洪涝灾害标签；（3）根据步骤（1）构建的双时相图像变化检测模型，进行洪涝监测与灾情分析。
6.进一步，所述步骤（1）的实现过程如下：（11）语义特征提取先采用cnn框架进行特征提取，获取双时相遥感影像中的变化水体特征；然后用空间注意力机制 对变化水体特征进行处理，得到双时相特征集：
其中，i为遥感影像时相顺序，；t为转置操作；最后，将双时相特征集输入到transformer模块中；（12）transformer编码将步骤（11）中得到的双时相特征集进行编码，以构建具有时空关系的丰富语义特征集；其中，注意力机制attention和softmax激活函数的关系为：其中，注意力机制是由q、k、v三个控制特征权重的功能键组成； 为网络的层数，分别为学习参数，d为通道的尺寸；（13）transformer解码将步骤（12）编码得到的丰富语义特征集，在像素空间上通过解码器优化变化水体特征 ，以得到优化后的变化水体特征；然后通过浅层cnn计算特征差异图像，得到像素级的预测结果。
7.进一步，所述步骤（2）中，选取广空间范围、长时间尺度的双时相遥感影像对来制作泛化性强的洪涝灾害标签，实现步过程如下：（21）先对包含往年汛期前后的水体的双时相遥感影像对进行辐射定标、几何校正、对数转换的预处理工作；（22）使用图片标记工具对双时相遥感影像进行标记；利用图片处理软件将汛期后较汛期前变化的水体部分和未变化的水体部分分别作区分标记，最终获得与原图同样大小的水体变化真值图；（23）将完成标记的双时相遥感影像切割成可输入模型的样本集；对所述样本集进行筛选，将样本集中完全无水体变化的样本删除；将筛选后的样本集分为训练集、验证集和测试集。
8.进一步，所述步骤（3）中，根据步骤（2）中构建的洪涝灾害标签来训练双时相图像变化检测模型，通过不断调整模型参数，直至模型的损失曲线达到拟合并且数值逼近于0，同时识别遥感影像中洪涝淹没范围的精度达到95%以上。
9.本发明与现有技术相比，其显著效果如下：1、本发明结合深度学习中基于先进视觉transformer的双时相图像变化检测模型和不受时间、天气影响且穿透能力强的雷达数据，能获取洪涝发生时的数据和提高识别精度；2、本发明在为监测洪涝提供新方法的同时，能高效、精准地为洪涝灾害的防灾减灾提供有效的决策依据，具有良好的社会和经济效果。
附图说明
10.图1为本发明的transformer解码器示意图；图2为基于视觉transformer的双时相图像变化检测模型框架图，主要由cnn框架（resnet）、语义标记器和transformer模块（编码器和解码器）组成；图3为本发明所构建的双时相微波遥感洪涝灾害标签示例图，第一行跟第二行是两个时相的哨兵一号数据，第三行是对应的目标变化水体标签；图4为2020年夏季鄱阳湖湖区洪涝灾情分析示例图。
具体实施方式
11.下面结合说明书附图和具体实施方式对本发明做进一步详细描述。
12.本发明提出了一种基于视觉transformer的双时相图像变化检测模型来有效地对微波遥感影像时空信息进行建模，能高效获取洪涝发生前后的水体变化情况，从而对洪涝灾害进行精准监测与灾情分析。一方面采用视觉transformer方法作为本发明的模型框架，其中transformer利用注意力等机制增大感受野利用时空信息，可有效学习高分辨率遥感影像中目标物的变化以及充分利用时空信息；另一方面本发明制作了双时相洪涝灾害标签，将洪涝发生前后的遥感影像数据作为模型的训练数据，可用于精准监测洪涝事件，准确识别出洪水淹没范围。
13.具体步骤如下：步骤一，基于视觉transformer的双时相图像变化检测模型构建如图1所示为本发明基于视觉transformer的模型框架结构图，主要由cnn框架（resnet）、语义标记器和transformer模块组成，transformer模块包括编码器和解码器。实现过程如下：（11）语义特征提取采用经典深度学习卷积神经网络resnet作为提取双时相遥感影像中目标水体变化语义特征的框架，然后使用空间注意力机制将每个时相的遥感影像特征映射转换为一组丰富的语义特征集。
14.先采用cnn框架进行特征提取，获取双时相遥感影像中变化水体特征，然后用空间注意力机制 对变化水体特征进行处理，得到双时相特征集 并输入到transformer模块中：式（1）中，i为遥感影像时相顺序，t为遥感影像转置操作。
15.（12）transformer编码transformer可以充分利用双时相遥感影像时空的全局语义关系，所以在为每个时相生成丰富的语义特征表示后，使用transformer编码器将所得到的双时相特征集 在时空中建模。该编码器会对时空中的相对或绝对位置有关元素信息进行编码，因为位置信息有利于编码器上下文建模。
16.如图2所示，将步骤（11）中得到的双时相特征集进行编码，即在时空中建立双时相特征的联系，以构建具有时空关系的丰富语义特征集。先用msa对双时相特征集
执行注意力机制操作，因为msa可以将来自不同位置的不同特征的信息联系起来；再利用归一化使在空间上保持一致，方便网络特征提取更加稳定；最后利用mlp将输入与输出更好的联系起来，提高网络训练的效率和稳定性。其中msa (muti
‑
head self
‑
attention)是一种注意力机制由q、k、v三个控制特征权重的功能键组成；mlp（muti
‑
layer perception）为多层感知器，softmax为激活函数：t为转置操作，为网络的层数，分别为学习参数，d为通道的尺寸。
17.（13）transformer解码编码器所得到的上下文丰富语义特征集被孪生解码器重新映射到像素空间中，以增强原始的像素级语义特征。最后，从两个优化后的特征图中计算特征差异图像，然后将特征差异图像输入一个浅层的cnn中，以得到像素水平的水体变化预测结果。
18.步骤二，基于哨兵一号微波遥感的洪涝灾害标签制作目前洪涝监测都是对每张遥感影像进行水体识别，从而得到洪水的演进过程，工作量大、费时费力。本发明利用双时相遥感影像对进行洪涝监测，通过灾前灾后两张同一地区遥感影像可以快速识别洪水淹没范围，大大缩短了前期数据处理时间，提高效率。为提高本发明满足多种应用场景，以监测不同地区不同时间的洪涝事件，选取了广空间范围、长时间尺度的双时相微波遥感影像对来制作泛化性强的洪涝灾害标签。具体实现步骤如下：（21）为了满足数据样本具有良好的时间与空间泛化性，能应用到不同地区、不同季节的洪涝监测中。将2015～2020年汛期前后的长江中下游哨兵一号双时相遥感影像对进行必要的预处理，包括辐射定标、几何校正、对数转换等工作；（22）根据水体在sar影像中的形状、纹理、颜色等信息，利用目视解译，人工注释各影像，得到双时相遥感影像的水体变化结果图。利用ps等图片处理软件将因汛期（洪涝）发生变化的水体部分标记为白色，未变化部分标记为黑色（如图3所示），最终获得与原图同样大小的水体变化真值图；（23）将已完成标记的双时遥感影像切割成可输入模型的固定大小：256*256形成样本集；依照transformer模型通道尺寸切割标记好的数据集，同时为提高模型训练效率，对样本进行筛选，将图像中完全无水体变化的样本删除，可有效缩短模型训练时加载影像的时间。本发明针对哨兵一号影像共制作了6296对（ 训练集：70%，验证集：20%，测试集：10%）变化水体样本，可应用在不同地区不同时相的洪涝监测中。
19.步骤三，基于视觉transformer变化检测模型的哨兵一号洪涝精准监测与灾情分析（31）利用步骤二所制作的哨兵一号水体变化数据集来训练基于视觉transformer
的双时相图像变化检测模型，通过调参、更换损失函数以及调整网络结构，直至网络的损失曲线达到拟合并且数值逼近于0，同时能将遥感影像中变化水体识别精度达到95%以上，即可满足高效、精准识别水体变化的要求，从而应用于洪涝监测；（32）结合双时相图像变化检测模型所得到的灾区变化水体分布图和灾区地表覆盖类型数据分析洪涝灾情，可以获得洪水的扩张趋势以及不同地表类型淹没面积，为防洪救灾提供决策依据。
20.根据上述构建水体变化数据集来训练transformer的双时相图像变化检测模型，通过不断调整模型参数，使其满足高效且精准识别洪涝淹没范围的能力。针对洪涝事件进行快速精准监测，获取洪涝发生前后的水体变化情况以及洪水的扩张趋势，为防洪救灾提供决策依据；结合当地土地利用图，可以得到的灾区不同地表类型淹没面积以及变化情况，从而可以定量分析洪涝灾害带来的损失。
21.图4是2020年夏季鄱阳湖湖区洪涝灾情分析示例图。利用双时相图像变化检测模型识别出的洪涝面积与灾区土地覆盖类型数据叠合分析，得到灾区洪水淹没情况。
22.本发明提出一种基于视觉transformer的双时相图像变化检测的深度学习模型，并采用能够穿过云层勘测地表的主动微波遥感卫星（哨兵一号）数据，能实现高精度的全天时全天候洪涝灾害精准监测与灾情分析，其技术指标能将洪涝识别准确率提高到95%以上。