一种基于自注意力机制和预测递归神经网络的气象雷达回波外推方法及系统

1.本发明涉及一种基于自注意力机制和预测递归神经网络的气象雷达回波外推方法及系统，属于雷达回波外推短临预报技术领域。


背景技术：

2.针对短临预报,目前主要有基于雷达回波的外推技术和数值天气预报模式两种方法，但是都存在各自的问题，例如空间信息不足、难以捕捉深层次网络的特征、构建的模型参数繁多以及雷达回波外推的准确度低等。
3.深度学习本质上是一个深度神经网络，它堆叠了多个隐藏层，通过非线性变换，将原始特征映射到高维特征空间。例如，卷积神经网络(convolutional neural networks,cnn)、循环神经网络(recurrent neural networks,rnn)以及长短期记忆网络(long short-term memory，lstm)。
4.但是现有的rnn、cnn或lstm的变形模型很难捕捉到较长时间的图像，且缺少能够从输入雷达图像中学习全局时空关联信息的结构，造成其难以捕捉深层次网络的特征。
5.因此，本技术提出一种基于自注意力机制和预测递归神经网络的气象雷达回波外推方法及系统，以解决现阶段本领域的技术问题。


技术实现要素：

6.本发明的目的在于克服现有技术中的不足，提供一种基于自注意力机制和预测递归神经网络的气象雷达回波外推方法及系统，能够根据现有的雷达回波图像外推未来2小时的雷达回波图像序列。
7.为达到上述目的，本发明是采用下述技术方案实现的：
8.一方面，本发明提供一种基于自注意力机制和预测递归神经网络的气象雷达回波外推方法，包括以下步骤：
9.获取气象雷达回波图像；
10.预处理获取的气象雷达回波图像，获得气象雷达回波图像的灰度数据；
11.基于self-attention机制和predrnn ，获得self-attention predrnn 网络模型；
12.基于self-attention predrnn 网络模型，通过气象雷达回波图像序列，获得气象雷达回波外推图像序列。
13.进一步地，所述预处理获取的气象雷达回波图像，获得气象雷达回波图像的灰度数据包括：
14.基于三维块匹配算法，对获取的气象雷达回波图像去噪；
15.将去噪后的气象雷达回波图像归一化处理，转化为灰度数据。
16.进一步地，所述灰度数据的灰度值范围为[0,255]。
[0017]
进一步地，所述基于self-attention机制和predrnn ，获得self-attention predrnn 网络模型包括：
[0018]
获取a层self-attention机制、a层ghu和4a层causal lstm单元；
[0019]
将获取的self-attention机制、ghu和causal lstm单元分成a组细胞单元；
[0020]
将各组细胞单元的四层causal lstm单元顺次串联，并将第一层causal lstm单元的输出端通信连接一层ghu，ghu输出端通信连接一层self-attention机制，self-attention机制输出端通信连接第二层causal lstm单元；
[0021]
将各组细胞单元依次级联，并使前一步长细胞单元的第四层causal lstm单元输出端通信连接下一步长细胞单元的第一层causal lstm单元，其中，第一步长细胞单元的第一层causal lstm单元接收气象雷达回波图像的灰度数据，第a步长细胞单元的第四层causal lstm单元输出气象雷达回波外推图像序列。
[0022]
进一步地，所述a为3。
[0023]
进一步地，所述基于self-attention predrnn 网络模型，通过气象雷达回波图像序列，获得气象雷达回波外推图像序列包括：
[0024]
初始化self-attention predrnn 模型的模型参数；
[0025]
将气象雷达回波图像的灰度数据输入第一步长细胞单元的第一层causal lstm单元；
[0026]
基于第一层causal lstm单元，利用气象雷达回波图像的灰度数据，更新模型参数的时空记忆和目标序列；
[0027]
基于ghu，利用第一层causal lstm单元更新的目标序列更新气象雷达回波图像的隐藏状态；
[0028]
基于self-attention机制，利用ghu更新的隐藏状态更新气象雷达回波图像的目标序列；
[0029]
基于第二层-第四层causal lstm单元，利用self-attention机制更新的目标序列依次更新目标序列；
[0030]
基于各组细胞单元依次级联，当前步长的细胞单元的第一层causal lstm单元利用前一步长的细胞单元的第四层causal lstm单元更新的目标序列以及前一步长的细胞单元更新的模型参数和灰度数据更新时空记忆和目标序列；
[0031]
基于第a步长细胞单元的第四层causal lstm单元，利用第a步长细胞单元的第三层causal lstm单元更新的目标序列更新目标序列，获得气象雷达回波外推图像序列。
[0032]
另一方面，本发明提供一种基于自注意力机制和预测递归神经网络的气象雷达回波外推系统，包括：
[0033]
获取模板，用于获取气象雷达回波图像；
[0034]
预处理模板，用于预处理获取的气象雷达回波图像，获得气象雷达回波图像的灰度数据；
[0035]
模型构建模板，用于基于self-attention机制和predrnn ，获得self-attention predrnn 网络模型；
[0036]
输出模板，用于基于self-attention predrnn 网络模型，通过气象雷达回波图像序列，获得气象雷达回波外推图像序列。
[0037]
与现有技术相比，本发明所达到的有益效果：
[0038]
本发明能够根据现有的雷达回波图像外推未来2小时的雷达回波图像序列；轻量级的self-attention机制不仅能偶有效控制模型参数的数量，还能提取全局注意力，根据全局时空关联信息的结构，有效捕捉深层次网络的特征，提高外推图像序列的准确度。
附图说明
[0039]
图1所示为本发明基于自注意力机制和预测递归神经网络的气象雷达回波外推方法的一种实施例流程图；
[0040]
图2所示为本发明causal lstm单元的一种实施例结构示意图；
[0041]
图3所示为本发明self-attention机制和ghu的一种实施例结构示意图；
[0042]
图4所示为本发明self-attention机制的一种实施例结构示意图；
[0043]
图5所示为本发明self-attention predrnn 网络模型的一种实施例结构示意图；
[0044]
图6为所示为本发明基于自注意力机制和预测递归神经网络的气象雷达回波外推方法的一种实施例外推图像序列。
具体实施方式
[0045]
下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
[0046]
实施例1
[0047]
本实施例提供一种基于自注意力机制和预测递归神经网络的气象雷达回波外推方法，如图1所示，包括以下步骤：
[0048]
s1获取气象雷达回波图像；
[0049]
s2预处理获取的气象雷达回波图像，获得气象雷达回波图像的灰度数据，
[0050]
应用中，基于三维块匹配算法，对获取的气象雷达回波图像去噪，即去除高斯白噪声，保留图像细节纹理，并对其进行切片处理，使得图像具有良好的边缘特性；接着，将去噪后的气象雷达回波图像归一化处理，转化为灰度数据，灰度数据包括气象雷达回波图像的序列特征，灰度值的范围为[0,255]。
[0051]
s3基于自注意力(self-attention)机制和预测递归神经网络(predrnn )，获得self-attention predrnn 网络模型；
[0052]
s4基于self-attention predrnn 网络模型，通过气象雷达回波图像序列，获得气象雷达回波外推图像序列。
[0053]
本发明能够根据现有的雷达回波图像外推未来2小时的雷达回波图像序列；轻量级的self-attention机制不仅能偶有效控制模型参数的数量，还能提取全局注意力，根据全局时空关联信息的结构，有效捕捉深层次网络的特征，提高外推图像序列的准确度。
[0054]
实施例2
[0055]
在实施例1的基础上，本实施例详细介绍了构建self-attention predrnn 网络模型的方法。
[0056]
基于self-attention机制和predrnn ，获得self-attention predrnn 网络模
型包括：
[0057]
s31获取a层self-attention机制、a层梯度高速公路单元(gradient highway unit，ghu)和4a层长短期记忆网络组成(causal long short-term memory，causal lstm)单元；应用中，a为3。
[0058]
s32将获取的self-attention机制、ghu和causal lstm单元分成a组细胞单元；
[0059]
s33如图5所示，将各组细胞单元的四层causal lstm单元顺次串联，并将第一层causal lstm单元的输出门通信连接一层ghu，ghu输出端通信连接一层self-attention机制，self-attention机制输出端通信连接第二层causal lstm单元，应用中，self-attention机制能捕获气象要素的时空记忆，加快收敛速度。
[0060]
s34如图5所示，将各组细胞单元依次级联，并使前一步长细胞单元的第四层causal lstm单元输出端通信连接下一步长细胞单元的第一层causal lstm单元，其中，第一步长细胞单元的第一层causal lstm单元接收气象雷达回波图像的灰度数据，第a步长细胞单元的第四层causal lstm单元输出气象雷达回波外推图像序列。
[0061]
首先，将气象雷达回波图像的灰度数据分为训练集和测试集，并将训练集同批次输入self-attention predrnn 网络模型，以对self-attention predrnn 网络模型进行训练。本实施例的训练集包括batchsize个样本。
[0062]
应用中，基于气象雷达回波图像每个像素点的雷达反射率因子的有效预测数值范围为[0,75]，本实施例通过下式调整self-attention predrnn 网络模型的模型权重：
[0063][0064]
其中，w(x)为模型权重，x为雷达反射率因子的有效预测数值。
[0065]
通过调整模型权重，能够加强self-attention predrnn 网络模型对于强回波区域的预测能力。
[0066]
接着，将self-attention predrnn 网络模型输出的气象雷达回波外推图像序列和实际的气象雷达回波外推图像序列进行比较，并通过使用损失函数和反向传播算法计算self-attention predrnn 网络模型的模型误差，并根据模型误差调整模型参数。
[0067]
应用中，损失函数包括均方误差函数和平均绝对误差函数。
[0068][0069][0070]
其中，mse为均方误差，mae为平均绝对误差，x(i``)是标准值，y(i``)是模型识别值，n是样本总数。
[0071]
然后，将测试集同批次输入到训练好的self-attention predrnn 网络模型，得到气象雷达回波外推图像序列，并将训练好的self-attention predrnn 网络模型输出的气象雷达回波外推图像序列和实际的气象雷达回波外推图像序列进行比较，通过预设的评价指标判断self-attention predrnn 网络模型的精确度，确定最优的self-attention predrnn 网络模型。
[0072]
实施例3
[0073]
在实施例1或2的基础上，本实施例详细介绍了获得气象雷达回波外推图像序列的方法。
[0074]
基于self-attention predrnn 网络模型，通过气象雷达回波图像序列，获得气象雷达回波外推图像序列包括：
[0075]
s41初始化self-attention predrnn 模型的模型参数，应用中，模型参数包括隐藏状态、目标序列、时间记忆以及空间记忆。
[0076]
s42将气象雷达回波图像的灰度数据输入第一步长细胞单元的第一层causal lstm单元，应用中，第一层causal lstm单元的输入门接收灰度数据。
[0077]
s43如图2所示，在各层causal lstm单元增设更多的非线性层，以放大各信号，有效捕捉深层次网络的特征和短期内的突发变化。基于第一层causal lstm单元，利用气象雷达回波图像的灰度数据，更新模型参数的时空记忆和目标序列。
[0078]
应用中，时空记忆包括时间记忆和空间记忆。第一层causal lstm单元通过时间编辑器更新时间记忆：
[0079][0080][0081]
其中，下标为步长，上标为堆叠causal lstm网络中的具体隐层，c为时间记忆，x为序列特征，h为目标序列，f为时间遗忘门，i为时间输入门，g为时间输入调制门，w1为卷积滤波器，tanh为激活函数，σ为激活函数中的sigmoid函数，*为卷积操作，
⊙
为hadamard乘积。
[0082]
第一层causal lstm单元通过空间编辑器更新空间记忆和目标序列：
[0083][0084][0085][0086][0087]
其中，f`为空间遗忘门，i`为空间输入门，g`为空间输入调制门，o
t
为输出门，w2～w5分别为卷积滤波器，m为空间记忆。
[0088]
s44如图3所示，基于ghu，利用第一层causal lstm单元更新的目标序列更新气象
雷达回波图像的隐藏状态:
[0089][0090][0091]zt
＝u
t
⊙
p
t
(1-u
t
)
⊙zt-1
[0092]
其中，p为转换的输入，u为开关门，z为隐藏状态，w
px
、w
pz
、w
sx
、w
sz
分别为ghu滤波器。
[0093]
s45如图4所示，基于self-attention机制，利用ghu更新的隐藏状态更新气象雷达回波图像的目标序列；
[0094]
v＝z
t
*wv[0095]
k＝z
t
*wk[0096]
q＝z
t
*wq[0097][0098]
其中，为当前更新的目标序列，wv、wk、wq分别为隐藏状态的隐藏权重，v、q、k分别为隐藏状态的隐藏权重矩阵，d为q的向量维度。
[0099]
s46基于第二层-第四层causal lstm单元，利用self-attention机制更新的目标序列依次更新目标序列。
[0100]
s47基于各组细胞单元依次级联，当前步长的细胞单元的第一层causal lstm单元利用前一步长的细胞单元的第四层causal lstm单元更新的目标序列以及前一步长的细胞单元更新的模型参数和灰度数据更新时空记忆(时间记忆和空间记忆)和目标序列。
[0101]
s48基于第a步长细胞单元的第四层causal lstm单元，利用第a步长细胞单元的第三层causal lstm单元更新的目标序列更新目标序列，获得气象雷达回波外推图像序列。
[0102]
实施例4
[0103]
本实施例气象雷达回波图像的像素值为500
×
500，覆盖时长为3小时，输入灰度数据时长为1小时，间隔6分钟，目标序列时长为2小时，间隔为12分钟，共20个时次。对气象雷达回波图像的灰度数据进行翻转、镜像等处理扩大数据集数量。
[0104]
训练模型：
[0105]
将气象雷达回波图像的灰度数据输入初步构建的self-attention predrnn 网络模型中，获得气象雷达回波外推图像序列，并计算气象雷达回波外推图像每一帧的平均损失函数值，调整模型参数，以降低损失函数值。
[0106]
训练参数包括：初始学习率为10-4，学习率惩罚因子为0.5，批量大小设置为30以及迭代次数为30。
[0107]
获取气象雷达回波外推图像：
[0108]
将10张气象雷达回波图像的灰度数据输入训练优化好的self-attention predrnn 网络模型，获得未来2小时的10组气象雷达回波外推图像序列。
[0109]
如图6所示，本实施了获得的气象雷达回波外推图像中回波的位置、轮廓、分布及变化与气象雷达回波实际图像相比十分相似，由此可见，通过本实施获得的气象雷达回波外推图像序列准确度高。
[0110]
实施例5
[0111]
本实施例提供一种基于自注意力机制和预测递归神经网络的气象雷达回波外推系统，包括：
[0112]
获取模板，用于获取气象雷达回波图像；
[0113]
预处理模板，用于预处理获取的气象雷达回波图像，获得气象雷达回波图像的灰度数据；
[0114]
模型构建模板，用于基于self-attention机制和predrnn ，获得self-attention predrnn 网络模型；
[0115]
输出模板，用于基于self-attention predrnn 网络模型，通过气象雷达回波图像序列，获得气象雷达回波外推图像序列。
[0116]
本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0117]
本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0118]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0119]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0120]
以上结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。