综合多时空尺度多普勒雷达数据的降雨强度估计方法

1.本发明涉及深度学习定量降水估计技术领域，具体是综合多时空尺度多普勒雷达数据的降雨强度估计方法。


背景技术：

2.降雨强度估计是气象学上一个重要的研究方向，与我们的日常生活息息相关。近些年，夏季强对流天气愈发频繁，城市内涝、洪水、泥石流等自然灾害时有发生，对人民的生命和财产安全造成了严重威胁，给国家造成了严重经济损失。多普勒雷达在降雨强度估计中发挥着越来越大的作用，准确且及时的降雨强度估计对防灾减灾有着重大的意义。
3.然而，降雨过程尤为复杂，高分辨率、高准确率的降雨强度估计是一项具有挑战性的任务。在以往的雷达降水估计研究中，往往关注雨量计周围小尺度的雷达反射率因子，也较少考虑气象因子以及雨量计周围的地理环境对降雨产生的影响。


技术实现要素：

4.本发明的目的在于提供一种综合多时空尺度多普勒雷达数据的降雨强度估计方法，以解决上述背景技术中提出的问题。
5.本发明的技术方案是：综合多时空尺度多普勒雷达数据的降雨强度估计方法，包括以下步骤：
6.s1、获取多普勒单偏振雷达数据和地面自动气象站观测数据；
7.s2、获取雷达反射率因子、气象因子和地理因子；
8.s3、采用组合反射率，然后将极坐标系下的雷达数据转为笛卡尔坐标系下的网格数据,再使用反距离加权插值法规整数据，并利用马氏距离去除噪声，进行雷达数据的质量控制，获取准确的雷达等经纬度数据；
9.s4、获得所有时刻、所有站点在笛卡尔坐标系下的1
×
400
×
400的数据集，切割得到三个单层数据集，并对所有数据进行归一化处理，将三个单层数据集合并为一个数据样本保存；
10.s5、以站点实际降水量为地面真值标签，将数据按照2:8的比例划分为测试集和训练集，最终将所有数据以矩阵的形式进行保存；
11.s6、建立使用深度学习技术设计的降雨强度估计模型；
12.s7、初始化模型各神经元权重、训练次数、学习率、学习率衰减系数，通过特征提取网络和全连接神经网络得到降水估计值，对预测结果计算损失；获得最佳网络模型及参数；
13.s8、将测试集中的数据作为输入层数据，输入到网络模型当中，获得相应的预测降水量数据；
14.s9、选定衡量模型性能的评价指标，衡量真实值和估计值的相关性，并根据结果分别在时间和空间维度上进行分析，得到最优结果。
15.进一步的，s1中，于中国气象数据网分别获取多普勒雷达基数据和地面站降水数
据。
16.进一步的，s2中，所述雷达反射率因子为主要输入，所述气象因子和地理因子辅助输入，所述气象因子主要使用温度和湿度，所述地理因子采用高程，对数据进行初步的预处理。
17.进一步的，s3中，选取离国家气象站最近的网格点作为反射率因子的中心，采用多尺度输入，然后将极坐标下的雷达基数据转换成笛卡尔坐标下的网格数据。
18.进一步的，s3中，去除噪声的步骤包括：利用常规回波图片处理的方法去噪和将小于70的像素点过滤去除。
19.进一步的，s4中，所述获得所有时刻、所有站点在笛卡尔坐标系下的1
×
400
×
400的数据集，以国家气象站点为中心切割，分别获取大小为1
×
100
×
100、1
×
50
×
50和1
×
25
×
25的单层数据集，并对所有数据进行归一化处理，将三个单层数据集合并为一个数据样本保存。
20.进一步的，s6中，使用混合空洞卷积进行雷达数据图像降水特征提取，使用最大池化进行下采样，去除冗余信息，对特征进行压缩，简化网络复杂度，使用non-local模块增大高层网络的感受野，获取的信息分布更广。使用设计的多尺度注意力模块，平衡以站点为中心的大尺度图像和小尺度图像。
21.进一步的，s7中，采用均方误差(mse)和平均绝对误差(mae)的加权组合作为损失函数，对预测结果计算损失；利用神经网络进行反向传播，计算各权重梯度，按照梯度下降算法对权重进行更新，不断调整神经元权重，直到训练集误差在合理范围内，停止网络训练，获得最佳网络模型及参数。
22.进一步的，s9中，采用均方根误差(rmse)、平均绝对误差(mae)和相关系数(cc)作为衡量模型性能的评价指标。
23.本发明通过改进在此提供综合多时空尺度多普勒雷达数据的降雨强度估计方法，与现有技术相比，具有如下改进及优点：
24.其一：本发明以雷达反射率因子为主要输入，气象因子和地理因子为辅助输入变量，气象因子采用温度和湿度，地理因子采用高程，对数据进行处理，利用训练集训练模型并对参数进行调整，最终得到可以应用于实际降雨强度估计的模。模型合理利用历史降雨观测数据，提高了降雨强度估计的准确度，合理参考了云团运动路径、云团大小对雨量计所测量的降雨值造成的影响，以及雨量计周围地理环境对降雨的影响，可对区域降水强度进行估计，具有很好的应用前景；
25.其二：本发明的模型整体基于卷积神经网络，设计了一个全新的多尺度自注意力模块，来更好的融合不同尺度中有利于降雨估计的因子。在保持网络结果不变的情况下，输入的数据具有良好的多个维度，根据国家气象站的气象因子数据，使用克里格插值法，根据球形模型，对范围内的气象因子进行差值，再和反射率因子进行时间和空间上的匹配，共同作为输入，合理考虑多尺度时空数据对站点实际降水量带来的影响；
26.其三：本发明提高了依据雷达数据估测降水量的精度，使用深度学习技术，证明了在降雨强度估计任务中多尺度的雷达反射率因子，以及气象和地理因子作为辅助输入变量的有效性。设计的多尺度注意力模块能够更好的结合多尺度中有利于降雨估计的气象因子，对不利因子进行了一定程度的抑制，设计的模型能够学习到降雨场中的微物理特性，有
效利用气象因子和地理因子，与雷达反射率因子相结合，减少误差，进行了更准确的估计。
附图说明
27.下面结合附图和实施例对本发明作进一步解释：
28.图1是为本发明方法的流程示意图；
29.图2为本实施例中混合空洞卷积示意图；
30.图3为本实施例中non-local模块结构示意图；
31.图4为本实施例中多尺度注意力模块结构示意图；
32.图5为本实施例中模型结构示意图；
33.图6是本实施例的全连接层结构示意图。
具体实施方式
34.下面对本发明进行详细说明，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
35.针对传统的降水量估计方法精度不足，本发明所要解决的问题是提高依据雷达数据估测降水数据的精度，设计一种多尺度的自注意力模块的深度学习模型。证明了在定量降水估计任务中多尺度的雷达反射率因子，以及气象和地理因子作为协变量的有效性。由于云团的变化对雨量计产生影响，采用多尺度中的大尺度特征图来学习更广区域云团的复杂变化和运动情况，小尺度特征图学习雨量计附近与降水更强相关性的空间信息。考虑到气象因素和地理因素的空间相关性，采用二维的气象因素和地理因素作为辅助变量，来捕获它们的空间特性。设计的自注意力机制模块更好的结合了多尺度中有利于降雨估计的因子，对不利因子进行了一定程度的抑制。与传统的降雨估计方法以单尺度为输入的深度学习模型相比，本发明模型学习到降雨场中的微物理过程特性，有效利用气象因子和地理因子，将它们与雷达反射率因子相结合，更客观的刻画降水现象，进而减少误差，得到更为准确的降水强度估计。
36.本发明的具体技术方案是：
37.如图1所示，综合多时空尺度多普勒雷达数据的降雨强度估计方法，包括以下步骤：
38.s1、根据历史降水资料，在中国气象数据网(http://data.cma.cn)分别获取多普勒雷达反射率数据和地面站降水数据；
39.s2、以雷达反射率因子为主要输入，气象因子和地理因子辅助输入，气象因子主要采用温度和湿度，地理因子采用高程，对数据进行初步的预处理；
40.s3、采用组合反射率，然后将极坐标系下的雷达数据转为笛卡尔坐标系下的网格数据,再使用反距离加权插值法规整数据；
41.42.p是任意正实数，通常，p＝2；hi是离散点到差值点的距离(x,y)为差值点坐标，(xi,yi)为离散点坐标。
[0043][0044]
r为插值点到最远离散点的距离，n为离散点的总数。并利用马氏距离去除噪声，进行雷达数据的质量控制，最终获取准确的雷达等经纬度数据，执行步骤4；
[0045]
s4、获得所有时刻、所有站点在笛卡尔坐标系下的1
×
400
×
400的数据集，切割得到三个单层数据集，并对所有数据进行归一化处理，将三个单层数据集合并为一个数据样本保存；
[0046]
s5、以站点实际降水量为地面真值标签，将数据按照2:8的比例划分为测试集和训练集，最终将所有数据以矩阵的形式进行保存；
[0047]
s6、建立使用深度学习技术设计的降雨强度估计模型，执行步骤7；
[0048]
本实施例中，使用混合空洞卷积进行雷达数据图像特征的提取。混合空洞卷积在标准卷积核的特征映射中加入零像素进行填充，降低了计算量，并且达到了扩大感受野的目的。相比于普通卷积，空洞卷积可以在不增加参数量的情况下，提高采样图像的分辨率，实现深度cnn中密集的特征提取。对于大小为k的普通卷积核，相对应的空洞卷积核大小为k (k-1)*(r-1)，其中，r为我们采样特征图时的空洞率。本发明采用混合空洞卷积(hdc)的方式来搭建网络，避免了网格效应打断局部信息之间的连续性，能够采样原始特征图的一个完整区域。即对于数量为n的卷积层，每一层的卷积核大小为k，其膨胀率为[r1,r2,
…
,ri]，其最大膨胀率需要满足以下公式：
[0049]
mi＝max[m
i 1-2ri,m
i 1-2(m
i 1-ri),ri]
[0050]
其中，ri为第i层的膨胀率，mi是第i层的最大膨胀率。通过hdc，可以在不丢失局部信息的基础上扩大感受野，捕获更全局的信息，如图2所示。
[0051]
non-local模块考虑了全部的位置，而卷积和序列却不能考虑这么多的信息，non-local可以直接计算两个位置的交互，而不用考虑距离的问题，效率高，效果好，并且只用到几层，输入尺度多样，很容易和其他模型进行结合，可以捕获全局的时空特性，分配不同的权重，最后聚合在每一个位置，具体结构如图3所示，方程式为如下公式：
[0052][0053]
其中x是输入，y是输出，f函数计算x的第i个位置的特征和x的第j个位置的特征相似度。g函数计算x第j个位置的特征的一种表示，c(x)用来归一化。由此可以看到，y的第i个位置的特征，是x的所有位置的特征的加权平均。当f函数选择embeddedgaussian时，就等于在j维度上求softmax，因此
[0054][0055]
也是自注意力的形式。在本发明中，我们对输出的三个不同特征映射，使用1
×
1卷
积操作实现。对不同模块进行相乘，得到全局像素点两两之间的相似度分数，在通过softmax函数，将相似度分数转化为全局信息对于每一个像素点的权重分数。每一个位置的输出用zi来表示，即为全局信息的加权和。
[0056][0057]
式中添加输入作为残差项使non-local模块更加稳定。
[0058]
多尺度注意力模块，平衡以站点为中心的大尺度图像和小尺度图像，接受两个输入，即小尺度特征图xm和大尺度特征图xl，具体模型结构如图4所示，小尺度特征图经过特征映射作为key模块，大尺度特征图经过特征映射作为query模块。将key模块和query模块相乘即为xm和x
l
逐像素的相似度评分矩阵,如下公式:
[0059]gi,j
＝(wk*(xm)i)
t
*(wq*(x
l
)j)
[0060][0061]
，为了使模块更加稳定，往往会将输入作为shortcut连接在模型的最后；
[0062]
s7、初始化模型各神经元权重、训练次数、学习率、学习率衰减系数，通过特征提取网络和全连接神经网络得到降水估计值，采用均方误差(mse)和平均绝对误差(mae)的加权组合作为损失函数，对预测结果计算损失；利用神经网络进行反向传播，计算各权重梯度，按照梯度下降算法对权重进行更新，不断调整神经元权重，直到训练集误差在合理范围内，停止网络训练，获得最佳网络模型及参数，如图5所示；
[0063]
s8、将测试集中的数据作为输入层数据，输入到网络模型当中，获得相应的预测降水量数据，如图6；
[0064]
s9、采用均方根误差(rmse)、平均绝对误差(mae)和相关系数(cc)作为衡量模型性能的评价指标，具体公式如下公式
[0065][0066][0067][0068]
使用相关系数(cc)衡量真实值和估计值的相关性，并根据结果在时间和空间维度上进行分析，得到最优结果。
[0069]
其中，s9中，采用均方根误差(rmse)、平均绝对误差(mae)和相关系数(cc)作为衡量模型性能的评价指标，使用相关系数(cc)衡量真实值和估计值的相关性，并根据结果分别在时间和空间维度上进行分析，得到最优结果，所述rmse作为实验中最常用的评价指标之一，受异常值影响较大，可以反应真实值和估计值误差的上限。mae受异常值影响较小，可以反映真实值和估计值的整体误差。cc衡量真实值和估计值的相关性，研究使cc值越大，
rmse和mae的值越小，代表着最终模型的优越。
[0070]
具体的，模型具体参数设置：总训练次数为500次，学习率初始值设为0.0001，动态的进行变化，当学习率超过20轮不再发生变化，则会自动停止训练，在保证模型进行快速收敛的同时，又不会导致模型产生发散的效果，并对所有的数据进行归一化处理，进一步提升了模型的收敛速度。
[0071]
本发明通过与传统的z-r关系进行对比，发现z-r关系并不能很好的拟合反射率因子和降雨量之间的关系，与地面真实值相差较大。但是使用的bpn网络的表现却优于传统的z-r关系，有效证明了深度学习方法在拟合降雨量与反射率因子方面的优势。但是通过cnn模型对比结果，cnn捕获了这种bp网络所忽略的空间结构。就不同的cnn方法而言，加入了气象因素和地理因子为辅助变量比单纯以反射率因子作为输入能得到更准确的降雨值，进一步验证了降雨与气象和地理空间环境的相关性。
[0072]
上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。