基于时空跨尺度注意力融合热带不稳定波预警方法及装置与流程

1.本发明涉及热带不稳定波预警领域，尤其涉及一种基于时空跨尺度注意力融合热带不稳定波预警方法及装置。


背景技术：

2.热带不稳定波是太平洋赤道冷舌区最强的中尺度海洋现象，热带不稳定波的运动和发展影响厄尔尼诺/拉尼娜事件（enso）等大尺度海气耦合过程，热带不稳定波的高频海流扰动对热带地区的水文、生物化学和大气环境有直接影响，对大洋环流、enso循环有反馈作用。海表温度与热带不稳定波密切相关，通过预测海表温度的时空分布能够掌握热带不稳定波的发展演变趋势。我国云南、广东、海南、港澳台等地区地处热带，易受热带不稳定波发展的影响，因此预警与热带不稳定波相关的海表温度时空演变对人类进行海上作业、海上军事活动、航海、渔业、近岸工程等活动至关重要。
3.传统热带不稳定波的预测方法通常是采用基于物理方程的数值模拟方法对海表温度进行统计分析建模。热带不稳定波会影响海洋动力学、大气-海洋-生物环境相互作用、气候变化等过程，同时这些过程中热量、动量和物质传输也会影响热带不稳定波的发展。为使模型更加准确，基于物理方程的数值模拟方法需要考虑复杂的过程，但实现这种建模十分困难。
4.近年来，基于深度神经网络的深度学习技术迎来了蓬勃的发展，出现了许多成熟有效的网络结构，例如：卷积神经网络、循环神经网络、生成对抗网络、长短期记忆模型等。神经网络技术主要依靠卷积层、池化层、全连接层、注意力机制等部件设计出完整的网络架构，这种网络架构通过提取数据的特征并利用损失函数计算误差，应用反向传播原理更新模型参数，不断优化网络。这种方法通过在大量数据上重复学习，能够以端到端的方式学习到数据的特征，并基于这种特征加以应用。大量研究成果表明拥有大量数据的情况下，深度学习的建模优于基于统计、数值计算或者专家系统的建模方法。
5.深度学习模型在海洋学和其他地球科学领域的应用仍处于起步阶段，因此需要根据数据要素构成、预报场景及数据特征针对性地设计深度学习网络，提高对热带不稳定波预测的准确性和及时性，减少热带不稳定波及其次生灾害对海上作业、海上军事活动、航海、渔业、近岸工程等活动的影响。


技术实现要素：

6.本发明提供了一种基于时空跨尺度注意力融合热带不稳定波预警方法及装置，本发明使用端到端的方法，利用不同尺度的卷积核具有不同的感受野的原理，提取多尺度数据，然后在不同尺度下利用注意力机制关注不同尺度的空间信息，最后利用双边局部注意力机制实现跨尺度空间图融合；提高算法模型对海洋图像不同尺度空间信息的编码能力，进而实现了对热带不稳定波的高效预警，减少了自然灾害，详见下文描述：第一方面，一种基于时空跨尺度注意力融合热带不稳定波预警方法，所述方法包
括：基于所有时刻、各个位置的海表二维温度图像，利用卷积、反卷积网络对海表温度时空数据进行上、下采样，生成多尺度空间数据；将多尺度空间数据输入对应的分支网络进行相应尺度下特征图的计算，并计算正则化损失；将多尺度特征图利用双边局部注意力机制实现跨尺度空间图融合，生成全局特征描述图，利用全局特征描述图计算预测损失，并将预测损失与正则化损失联合用于神经网络的优化训练；基于优化训练后的神经网络对时刻t的海表温度进行预测，选择t时刻之前的k个时刻数据输入优化训练后的神经网络，该优化训练后的神经网络的输出为热带不稳定波的预测值，通过将预测值与坐标关联，绘制热带不稳定波的时空图像，实现对热带不稳定波的预警。
7.其中，所述将多尺度空间数据输入对应的分支网络进行相应尺度下特征图的计算具体为：构建多尺度特征网络分支，每个分支网络提取空间特征图，每个分支网络cnnk由五层卷积神经网络构成，共包含三层卷积、最大池化操作以及一个多层感知机模块；三个卷积层均为二维卷积操作，其输出维度分别为1024*1024，512*512和256*256；最大池化的核尺寸为4*4；多层感知机模块由全连接层核relu激活函数构成，relu函数为relu(x)=max(x,0)，其中max为最大值函数。
8.其中，所述将多尺度特征图利用双边局部注意力机制实现跨尺度空间图融合具体为：构建跨尺度注意力机制减少不同尺度特征图之间的冗余信息，其利用softmax层生成注意力ak，通过散度正则化项增大不同尺度注意力之间的散度，散度正则化项的公式如下：l
div
(ak, a
l
) = 1
ꢀ‑ꢀ
sim(ak, a
l
)其中，a
l
为注意力特征，l
div
为散度正则化计算结果，sim为相似度计算函数。
9.进一步地，所述正则化损失为：利用分支网络提取不同尺度的特征图，按照散度正则化项计算散度损失，利用散度损失优化分支网络，损失函数如下所示：。
10.其中，所述将多尺度特征图利用双边局部注意力机制实现跨尺度空间图融合具体为：将大尺度特征图变换为匹配的尺寸：
其中，p表示间隔为2的最大池化操作，wc是卷积的参数；大尺度特征图与中尺度特征图的尺寸匹配，采用特征图平均的方式将大尺度信息与中尺度信息融合，得到融合特征图；对融合特征图进行局部分解操作，将每一时刻的f
t
均匀分解成 h*w 个子区域，在子区域中通过平均池化得到最终融合特征图。
11.其中，所述利用全局特征描述图计算预测损失具体为：利用分解后的特征图生成时序权重，生成全局特征表示；根据全局特征表示 u 生成通道选择权重：根据通道选择权重变换特征图，获取全局特征图：利用变换后的全局特征图计算预测损失：其中，m为横坐标下标，n为纵坐标下标，sst为t时刻真实标签值，grids
output
为遍历二维输出的坐标。
12.第二方面、一种基于时空跨尺度注意力融合热带不稳定波预警装置，所述装置包括：生成多尺度空间数据模块，用于基于所有时刻、各个位置的海表二维温度图像，利用卷积、反卷积网络对海表温度时空数据进行上、下采样，生成多尺度空间数据；计算正则化损失模块，用于将多尺度空间数据输入对应的分支网络进行相应尺度下特征图的计算，并计算正则化损失；优化训练模块，用于将多尺度特征图利用双边局部注意力机制实现跨尺度空间图融合，生成全局特征描述图，利用全局特征描述图计算预测损失，并将预测损失与正则化损失联合用于神经网络的优化训练；热带不稳定波的预警模块，用于基于优化训练后的神经网络对时刻t的海表温度进行预测，选择t时刻之前的k个时刻数据输入优化训练后的神经网络，该优化训练后的神经网络的输出为热带不稳定波的预测值，通过将预测值与坐标关联，绘制热带不稳定波的时空图像，实现对热带不稳定波的预警。
13.第三方面、一种基于时空跨尺度注意力融合热带不稳定波预警装置，所述装置包括：处理器和存储器，所述存储器中存储有程序指令，所述处理器调用存储器中存储的程序指令以使装置执行第一方面中的任一项所述的方法步骤。
14.第四方面、一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令被处理器执行时使所述处理器执行第一方面中的任一项所述的方法步骤。
15.本发明提供的技术方案的有益效果是：1、本发明克服了传统数值模拟或者统计分析方法的复杂建模过程的同时考虑复杂的感受野，从多尺度数据中提取特征；
2、本方法属于端到端的神经网络模型，只需要给出连续时刻的海表温度数据就可以完成模型训练，不需要额外人工处理，实际应用中可以快速部署；3、本发明对海洋图像不同尺度空间信息编码，实现对热带不稳定波的高效预警，有助于降低热带不稳定波时空演变及其次生灾害对海上作业、海上军事活动、航海、渔业、近岸工程等活动的影响。
附图说明
16.图1为一种基于时空跨尺度注意力融合热带不稳定波预警方法的流程图；图2为多尺度海表温度空间数据生成示意图；图3为多尺度特征提取分支网络结构图；图4为一种基于时空跨尺度注意力融合热带不稳定波预警装置的结构示意图；图5为一种基于时空跨尺度注意力融合热带不稳定波预警装置的另一结构示意图。
具体实施方式
17.为使本发明的目的、技术方案和优点更加清楚，下面对本发明实施方式作进一步地详细描述。
18.实施例1一种基于时空跨尺度注意力融合的热带不稳定波预警方法主要分为四部分：多尺度空间数据生成部分、多分支特征图提取部分、跨尺度特征图融合部分、预警部分。
19.其中，多尺度空间数据生成部分利用不同的感受野，感受野的差异可以提高算法模型对海洋图像不同尺度空间信息的编码能力；多分支特征图提取部分用于提取低信息冗余的特征图，进一步提高模型的跨尺度预测能力；跨尺度特征图融合部分利用双边局部注意力机制实现跨尺度空间图融合；预警部分根据计算出的热带不稳定波数值绘制热带不稳定波的时空图像，根据时空图像对热带不稳定波进行实时的预警。
20.一种基于时空跨尺度注意力融合的热带不稳定波预警方法，参见图1，该热带不稳定波预警方法包括以下步骤：101：根据与时刻、坐标相关联的海表温度数据生成海表温度时空数据，该海表温度时空数据为二维图像形式，获取二维时空图像后即可构成海表温度时空数据库；102：按照步骤101获得所有时刻、各个位置的海表二维温度图像后，利用卷积、反卷积网络对海表温度时空数据进行上、下采样，生成多尺度空间数据；103：将步骤102得到的多尺度空间数据输入对应的分支网络进行相应尺度下特征图的计算，并计算正则化损失；104：将步骤103中的多尺度特征图利用双边局部注意力机制实现跨尺度空间图融合，生成全局特征描述图，利用全局特征描述图计算预测损失，并将预测损失与步骤103正则化损失联合用于神经网络的优化训练；105：基于优化训练后的神经网络对时刻t的海表温度进行预测，选择t时刻之前的k个时刻数据输入优化训练后的神经网络，该优化训练后的神经网络的输出为热带不稳定波的预测值，通过将预测值与坐标关联，绘制热带不稳定波的时空图像，实现对热带不稳定
波的预警。
21.综上所述，本发明实施例通过上述步骤101-步骤105，克服了传统数值模拟或者统计分析方法的复杂建模过程的同时考虑复杂的感受野，从多尺度数据中提取特征，应用端到端的神经网络模型，只需要给出连续时刻的海表温度数据就可以完成模型训练，不需要额外人工处理，实际应用中可以快速部署，提高了海洋表面温度预测的精度和效率，进而实现了对热带不稳定波的预警，减少热带不稳定波及其次生灾害对海上作业、海上军事活动、航海、渔业、近岸工程等活动的影响。
22.实施例2下面结合具体的计算公式、实例、图2-图3对实施例1中的方案进行进一步地介绍，详见下文描述：201：气候与应用前沿研究院icar提供的历史气候观测和模拟数据集；其中，数据包括cmip5/6模式的历史模拟数据和美国soda模式重建的近100多年历史观测同化数据。
23.202：选取海表温度数据时间跨度为2006至2019年共计13年，将这段时间分为2006年1月1日至2009年12月31日和2010年1月1日至2019年3月31日两个不重叠的时间段，两个时间段分别对应训练集数据d
train
和测试集数据d
test
；203：在步骤202的两个时间段内均采样东赤道太平洋10
°
s ~ 10
°
n和180
°
w ~ 120
°
w的海洋表面温度数据，采样分辨率为9km
ꢀ×ꢀ
9km，东赤道太平洋10
°
s ~ 10
°
n和180
°
w ~ 120
°
w之间的区域得到232
ꢀ×ꢀ
696个温度点，采样区域海表温度的方式是取对应9km
ꢀ×ꢀ
9km区域海洋表面温度的平均值；204：将步骤203中的温度点对应经纬坐标生成一张二维图像表示对应时刻海表温度的空间数据图像，按照步骤202的时间顺序排列空间数据图像，得到海表温度的时空序列数据，x
t
表示t时刻东赤道太平洋10
°
s ~ 10
°
n和180
°
w ~ 120
°
w地区的海洋表面温度图像数据；205：分别使用卷积、反卷积网络对海表温度的时空序列数据d进行上、下采样，生成多尺度空间数据；其中，本发明实施例生成了3个尺度的时空数据，即可以选择卷积核尺寸为：2*2，4*4，8*8，具体实现时，可以根据实际应用中的需要进行尺寸的限定，本发明实施例对此不做限制。
24.206：用上述尺寸的卷积核构建卷积层，对原始数据进行多尺度采样得到多尺度时空数据：，即：，k为卷积核尺寸，设置为2，4，8；其中，t为输入数据的时刻长度；c为通道数；h为图像高度；w为图像宽度；v
sst
为海表温度的时空序列数据；为通过卷积核构建的多尺度时空数据。
25.通过上述步骤201到206实现了对多尺度时空数据的构建和划分。
26.207：构建多尺度特征网络分支，每个分支网络独自提取空间特征图，每个分支网络cnnk由五层卷积神经网络构成，共包含三层卷积(convolutional, cov)、最大池化(maxpooling, mp)操作以及一个多层感知机模块（mlp）；
其中，三个卷积层均为二维卷积操作，其输出维度分别为1024*1024，512*512和256*256；进行最大池化操作，其核尺寸为4*4；多层感知机模块由全连接层核relu激活函数构成，relu函数为relu(x)=max(x,0)，其中max为最大值函数。
27.208：用步骤207中的分支网络提取对应分支时空数据的特征图；其中，，cnn为步骤207中的多尺度特征网络分支，为经过对应cnn提取的时空数据特征。
28.209：构建跨尺度注意力机制模块减少不同尺度特征图之间的冗余信息，其利用softmax层生成注意力ak，通过散度正则化项增大不同尺度注意力之间的散度，散度正则化项的公式如下：l
div
(ak, a
l
) = 1
ꢀ‑ꢀ
sim(ak, a
l
)（2）其中，a
l
为注意力特征，l
div
为散度正则化计算结果，sim为相似度计算函数。
29.210：利用分支网络提取不同尺度的特征图，然后按照步骤209的散度正则化项计算散度损失，利用散度损失优化分支网络模块，损失函数如下所示：（3）基于步骤207到步骤210实现了低冗余多尺度特征图的特征提取，提高了算法模型对海洋图像不同尺度空间信息的编码能力。
30.211：根据步骤208的网络提取到海表温度特征图为，表示第k个分支网络提取到的t时刻的特征，首先将不同分支特征图融合为一个特征图，以相邻两种尺度分支融合为例，假设大尺度分支输出特征图大小为，中尺度分支的特征图大小为，r为实数空间，跨尺度融合首先将大尺度特征图变换为匹配的尺寸：（4）其中，p表示间隔为2的最大池化操作，wc是卷积的参数。通过以上公式，大尺度特征图与中尺度特征图的尺寸匹配，采用特征图平均的方式将大尺度信息与中尺度信息融合，得到融合特征图。
31.212：对融合特征图进行局部分解操作，将每一时刻的f
t
均匀分解成 h*w 个子区域，在子区域中通过平均池化得到最终融合特征图，即；213：利用步骤212分解后的特征图生成时序权重，首先生成全局特征表示；
（5）其中，gap为全局平均池化操作算子，k为尺度数，本发明细节设置为3，fi为步骤212中的区域中心特征。
32.随后根据全局特征表示 u 生成通道选择权重：（6）其中，wi为算子矩阵，wj为算子矩阵。
33.214：根据步骤213的通道选择权重变换特征图，获取全局特征图：（7）通过步骤211到214实现了从多尺度特征图到全局特征图的变换，全局特征图融合了多尺度的信息，得到更加全面的信息。
34.215：利用变换后的全局特征图计算预测损失：（8）其中，m为横坐标下标，n为纵坐标下标，sst为t时刻真实标签值，grids
output
为遍历二维输出的坐标。
35.将步骤210中的正则化损失和步骤215中的预测损失相结合共同优化神经网络，总损失函数如下所示：（9）216：假设待预测海表温度的时间为t，选择t时刻之前的k个时刻数据输入优化后的神经网络，优化后的神经网络的输出为热带不稳定波的预测值，通过将预测值与坐标关联，绘制热带不稳定波的时空图像，将预测值与历年预警阈值对比，结合图像分析，实现对热带不稳定波的预警。
36.综上所述，本发明实施例通过上述步骤201-步骤216，运用复杂的感受野，从多尺度数据中提取特征，应用端到端的神经网络模型，只需要给出连续时刻的海表温度数据就可以完成模型训练，不需要额外人工处理，实际应用中可以快速部署，提高了热带不稳定波预测的精度和效率，有助于降低热带不稳定波时空演变及其次生灾害对海上作业、海上军事活动、航海、渔业、近岸工程等活动的影响。
37.实施例3下面结合具体的实验，对实施例1和2中的方案进行可行性验证，详见下文描述：一、数据集：本实验是气候与应用前沿研究院icar提供的历史气候观测和模拟数据集。数据包括cmip5/6模式的历史模拟数据和美国soda模式重建的近100多年历史观测同化数据；对于cmip数据共4645，其中1-2265为cmip6中15个模式提供的151年的历史模拟数据（总共：151年 *15 个模式=2265）；2266-4645为cmip5中17个模式提供的140年的历史模拟数据（总共：140年 *17 个模式=2380）。对于历史观测同化数据为美国提供的soda数据。
38.二、评估标准：
1、mse：是展示温度预测精度的关键指标，可以直观地显示预测效果。
39.2、可视化图像：将预测结果转变为二维图像，直观反映预测效果。
40.三、实验结果：可以发现，本发明提出的基于时空跨尺度注意力融合的热带不稳定波预测方法选择t时刻之前的k个时刻数据实现热带不稳定波在t时刻的时空分布预测，通过将预测值与坐标关联，绘制热带不稳定波的时空图像，将预测值与历年预警阈值对比，结合图像分析，实现对热带不稳定波的预警。
41.实施例4一种基于时空跨尺度注意力融合热带不稳定波预警装置，参见图4，该装置包括：生成多尺度空间数据模块，用于基于所有时刻、各个位置的海表二维温度图像，利用卷积、反卷积网络对海表温度时空数据进行上、下采样，生成多尺度空间数据；计算正则化损失模块，用于将多尺度空间数据输入对应的分支网络进行相应尺度下特征图的计算，并计算正则化损失；优化训练模块，用于将多尺度特征图利用双边局部注意力机制实现跨尺度空间图融合，生成全局特征描述图，利用全局特征描述图计算预测损失，并将预测损失与正则化损失联合用于神经网络的优化训练；热带不稳定波的预警模块，用于基于优化训练后的神经网络对时刻t的海表温度进行预测，选择t时刻之前的k个时刻数据输入优化训练后的神经网络，该优化训练后的神经网络的输出为热带不稳定波的预测值，通过将预测值与坐标关联，绘制热带不稳定波的时空图像，实现对热带不稳定波的预警。
42.综上所述，本发明实施例通过上述模块提高了热带不稳定波预测的精度和效率，有助于降低热带不稳定波时空演变及其次生灾害对海上作业、海上军事活动、航海、渔业、近岸工程等活动的影响。
43.实施例5一种基于时空跨尺度注意力融合热带不稳定波预警装置，参见图5，该装置包括：处理器和存储器，存储器中存储有程序指令，处理器调用存储器中存储的程序指令以使装置执行实施例1中的以下方法步骤：基于所有时刻、各个位置的海表二维温度图像，利用卷积、反卷积网络对海表温度时空数据进行上、下采样，生成多尺度空间数据；将多尺度空间数据输入对应的分支网络进行相应尺度下特征图的计算，并计算正则化损失；将多尺度特征图利用双边局部注意力机制实现跨尺度空间图融合，生成全局特征描述图，利用全局特征描述图计算预测损失，并将预测损失与正则化损失联合用于神经网络的优化训练；基于优化训练后的神经网络对时刻t的海表温度进行预测，选择t时刻之前的k个时刻数据输入优化训练后的神经网络，该优化训练后的神经网络的输出为热带不稳定波的预测值，通过将预测值与坐标关联，绘制热带不稳定波的时空图像，实现对热带不稳定波的预警。
44.其中，将多尺度空间数据输入对应的分支网络进行相应尺度下特征图的计算具体
为：构建多尺度特征网络分支，每个分支网络提取空间特征图，每个分支网络cnnk由五层卷积神经网络构成，共包含三层卷积、最大池化操作以及一个多层感知机模块；三个卷积层均为二维卷积操作，其输出维度分别为1024*1024，512*512和256*256；最大池化的核尺寸为4*4；多层感知机模块由全连接层核relu激活函数构成，relu函数为relu(x)=max(x,0)，其中max为最大值函数。
45.进一步地，分支网络为：，为经过对应cnn提取的时空数据特征。
46.其中，将多尺度特征图利用双边局部注意力机制实现跨尺度空间图融合具体为：构建跨尺度注意力机制减少不同尺度特征图之间的冗余信息，其利用softmax层生成注意力ak，通过散度正则化项增大不同尺度注意力之间的散度，散度正则化项的公式如下：如下：其中，a
l
为注意力特征，l
div
为散度正则化计算结果，sim为相似度计算函数。
47.进一步地，正则化损失为：利用分支网络提取不同尺度的特征图，按照散度正则化项计算散度损失，利用散度损失优化分支网络，损失函数如下所示：。
48.其中，将多尺度特征图利用双边局部注意力机制实现跨尺度空间图融合具体为：将大尺度特征图变换为匹配的尺寸：其中，p表示间隔为2的最大池化操作，wc是卷积的参数；大尺度特征图与中尺度特征图的尺寸匹配，采用特征图平均的方式将大尺度信息与中尺度信息融合，得到融合特征图；对融合特征图进行局部分解操作，将每一时刻的f
t
均匀分解成 h*w 个子区域，在子区域中通过平均池化得到最终融合特征图。
49.其中，利用全局特征描述图计算预测损失具体为：利用分解后的特征图生成时序权重，生成全局特征表示；根据全局特征表示 u 生成通道选择权重：根据通道选择权重变换特征图，获取全局特征图：利用变换后的全局特征图计算预测损失：
其中，m为横坐标下标，n为纵坐标下标，sst为t时刻真实标签值，grids
output
为遍历二维输出的坐标。
50.这里需要指出的是，以上实施例中的装置描述是与实施例中的方法描述相对应的，本发明实施例在此不做赘述。
51.上述的处理器1和存储器2的执行主体可以是计算机、单片机、微控制器等具有计算功能的器件，具体实现时，本发明实施例对执行主体不做限制，根据实际应用中的需要进行选择。
52.存储器2和处理器1之间通过总线3传输数据信号，本发明实施例对此不做赘述。
53.基于同一发明构思，本发明实施例还提供了一种计算机可读存储介质，存储介质包括存储的程序，在程序运行时控制存储介质所在的设备执行上述实施例中的方法步骤。
54.该计算机可读存储介质包括但不限于快闪存储器、硬盘、固态硬盘等。
55.这里需要指出的是，以上实施例中的可读存储介质描述是与实施例中的方法描述相对应的，本发明实施例在此不做赘述。
56.在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例的流程或功能。
57.计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中，或者通过计算机可读存储介质进行传输。计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。可用介质可以是磁性介质或者半导体介质等。
58.本发明实施例对各器件的型号除做特殊说明的以外，其他器件的型号不做限制，只要能完成上述功能的器件均可。
59.本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
60.以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。