基于时空信息交互融合的海表温度预测方法、系统及应用

1.本发明属于海表面温度预测技术领域，特别涉及基于时空信息交互融合的海表温度预测方法、系统及应用。


背景技术：

2.海表面温度是海洋表面附近的水温，其时空变化反应海洋物理场理化性质的动态演变规律，因此海表面温度数据的时空分布预测对指导海洋生态环境有着重要的意义。在目前最先进的海表面温度数据预测方法中，能够综合考虑到时序特征、空间结构特征以及外界因素对海洋科学数据的影响，时间特征数据处理方面通常采用长短期记忆神经网络模型等时间序列模型，而在空间特征数据处理方面通常采用卷积神经网络模型。在时空融合策略中，多先进行空间融合，再进行时间融合，虽然实现了时序特征和空间特征融合，能够从一定程度上挖掘海表面温度数据的时空分布规律和变化趋势。但是，该方法存在以下问题：第一，现有模型结构无法实现海表面温度数据时空信息的交互融合。现有海表面温度数据预测模型结构多采用空间特征聚合后再进行时间特征聚合的方法。由于空间维度先于时间维度融合，空间特征融合时无法得到其他时刻空间特征的指导，因此无法有效实现时空信息的交互融合。
3.第二，海洋物理场中存在物理过程变化缓慢的特点，因此时序预测需要考虑超长期依赖的问题，例如一个月前的海洋要素特征也会对当前时刻海洋科学数据预测产生影响。现有方法多采用长短期记忆神经网络模型等传统时序预测模型，在时序特征传递的过程中之前的时序信息会丢失，尽管模型中门机制的结构一定程度上缓解了长期依赖的问题，但是对于超长期依赖现象，现有时序预测方法均无能为力。


技术实现要素：

4.针对现有技术存在的不足，本发明提供基于时空信息交互融合的海表温度预测方法、系统及应用，通过时空矩阵构建模块，构建空间中的每一点的时空矩阵，并从时空矩阵中抽取出时间视角和空间视角的特征表达；通过构建时空特征交互融合模块，利用transformer中的自注意力机制和互注意力机制，充分挖掘了不同时刻的时间特征的相互指导关系、挖掘不同空间的空间特征的相互指导关系以及充分挖掘时间特征和空间特征的相互指导关系，实现海表面温度数据时空信息的交互融合，提高海表面温度预测准确度。
5.为了解决上述技术问题，本发明采用的技术方案是：基于时空信息交互融合的海表温度预测方法，包括以下步骤：s1、将n个时刻维度为m*n*v的海表面温度数据矩阵在v维度上进行矩阵平均操作并将矩阵聚合，得到维度为n*m*n的矩阵s；m、n、v为三个维度；s2、从矩阵s中抽取每一空间点的时空矩阵，其中；抽取方法为抽取t天中点i的特征值与其邻域内d-1个空间点的特征值作为该点的1个空间点的特征值作为该点的，维度为
；之后将进行矩阵变换，得到i点的维度为t*d的时空网格，从而得到所有时刻的时空网格；s3、将进行特征聚合，得到时间特征矩阵，的维度为m*n*t*d，m*n代表存在m*n个空间点，对于每个空间点存在一个维度为t*d的二维时间特征矩阵，其中每一行代表海表面温度的时间特征，即每个空间点时刻的时间特征，维度为1*d；s4、将的后两维度进行转置操作得到空间特征矩阵，的维度为m*n*d*t，m*n代表存在m*n个空间点，对于每个空间点存在一个维度为d*t的二维空间特征矩阵，其中每一行代表海表面温度的空间特征，即每个空间点上的空间特征，维度为1*t；s5、将和转换为m*n个点的二维时间特征矩阵和二维空间特征矩阵，得到的时间特征矩阵和空间特征矩阵维度分别为t*f和d*f；s6、通过四个基于transformer的注意力编码块将步骤s5得到的时间特征和空间特征交互融合，其中，基于transformer的注意力编码块分别是基于时间自注意力模块、空间自注意力模块、时间指导空间注意力模块、空间指导时间注意力模块，输入时间特征矩阵和空间特征矩阵最终分别得到m*n个样本点的t*l、d*l、t*l和d*l的四个特征矩阵m1、m2、m3、m4；s7、将四个特征矩阵m1、m2、m3、m4进行聚合，得到t*d维度的聚合时空矩阵m；s8、将聚合时空矩阵m经过lstm操作，得到最后m*n个点的预测结果；通过m*n个空间点的真实数据值y进行损失计算，进行反向传播操作更新模型参数。
6.进一步的，步骤s6中，所述基于时间自注意力模块，只接受时间特征矩阵并设置权重，， ，分别与相乘所得，， ：之后计算时间特征间关系权重矩阵：最后利用中特征间的关系权重，计算m1，对不同的特征分配关注度：最终得到的矩阵m1是时间特征相互指导的特征矩阵。
7.进一步的，步骤s6中，所述空间自注意力模块，只接受空间特征矩阵并设置权重，，，分别与相乘所得，， ：
之后计算空间特征间关系权重矩阵：最后利用中特征间的关系权重，计算m2，对不同的特征分配关注度：最终得到的矩阵m2是空间特征相互指导的特征矩阵。
8.进一步的，步骤s6中，所述时间指导空间注意力模块，首先接受时间特征矩阵和并设置权重，与相乘所得，作为时间指导矩阵：之后输入空间特征矩阵并设计权重， ，分别与相乘所得，：计算时空关系权重矩阵：最后利用中特征间的关系权重，计算m3，即分配时间特征对空间特征的关注度：最终得到的矩阵m3是时间特征指导空间特征的特征矩阵。
9.进一步的，步骤s6中，所述空间指导时间注意力模块，首先接受空间特征矩阵和并设置权重，与相乘所得，作为空间指导矩阵：之后输入时间特征矩阵并设计权重，，分别与相乘所得，：计算时空关系权重矩阵：
最后利用中特征间的关系权重，计算m4，即分配空间特征对时间特征的关注度：最终得到的矩阵m4是空间特征指导时间特征的特征矩阵。
10.进一步的，步骤s7根据以下公式得到聚合时空矩阵m，其中，将时间信息自融合后的时间特征和时空信息融合后的空间特征相结合，得到多视角时空特征矩阵；将空间信息自融合后的空间特征和时空信息融合后的时间特征相结合，得到具有多视角的时空特征矩阵；t表示矩阵的转置，最后进行叉乘操作，得到最终的时空融合特征矩阵。
11.进一步的，步骤s8中，通过得到的m*n个点的预测结果和m*n个空间点的真实数据值y进行损失计算，如公式（4）所示：每完成一个批次中的全部样本预测和损失计算，通过公式（5）得到最终损失值loss，进行反向传播操作更新模型参数：式中，m为批次大小。
12.本发明还提供一种基于时空信息交互融合的海表温度预测系统，用于实现如前所述的基于时空信息交互融合的海表温度预测方法，包括输入模块、时空矩阵构建模块、时空特征交互融合模块、时空矩阵聚合模块、海表面温度数据预测模块和输出模块，所述输入模块，用于输入海表面温度数据，获取n个时刻维度为m*n*v的海表面温度数据矩阵，在v维度上进行矩阵平均操作并将矩阵聚合，得到维度为n*m*n的矩阵s；所述时空矩阵构建模块，用于构建时空矩阵，从矩阵s中抽取每一空间点的时空矩阵，之后将进行矩阵变换，得到i点的维度为t*d的时空网格，从而得到所有时刻的时空网格；所述时空特征交互融合模块，用于进行时空特征交互融合，包括四个基于transformer的注意力编码块，分别是基于时间自注意力模块、时间指导空间注意力模块、空间指导时间注意力模块和空间自注意力模块，首先将进行特征聚合，得到时间特征矩阵，然后将的后两维度进行转置操作得到空间特征矩阵；将和转换为m*n个点的二维时间
特征矩阵和二维空间特征矩阵，通过四个基于transformer的注意力编码块处理最终分别得到m*n个样本点的四个特征矩阵m1、m2、m3、m4；所述时空矩阵聚合模块，用于将四个特征矩阵m1、m2、m3、m4进行聚合，得到聚合时空矩阵m；所述海表面温度数据预测模块，用于将聚合时空矩阵m经过lstm操作，得到最后m*n个点的预测结果；所述输出模块，用于输出预测结果。
13.本发明还提供一种基于时空信息交互融合的海表温度预测系统的应用，用于预测海表面温度，输入一段历史时间段a天内的海表面温度数据，输出未来一段时间段b天的海表面温度预测结果。
14.与现有技术相比，本发明优点在于：（1）实现海表面温度数据时空信息的交互融合。本方法通过时空矩阵构建模块构建一个时空全局空间，从时间视角和空间视角抽取时间特征矩阵和空间特征矩阵，利用transformer中的自注意力机制和互注意力机制将时间特征矩阵和空间特征矩阵进行交互融合，充分挖掘时间特征和空间特征的相互指导关系，实现海表面温度数据时空信息的交互融合，提高海表面温度预测准确度。
15.（2）解决了海表面温度时序预测超长期依赖的问题。通过时空特征交互融合模块，实现所有时刻的时间特征都能对任一时间特征进行指导交互，且保证交互过程中远近平等，有效提取全局的有效超长期依赖关系，解决了现有方法中时序特征传递的过程中之前的时序信息会丢失的问题。
附图说明
16.为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
17.图1为本发明的方法流程示意图；图2为本发明的时间自注意力编码块；图3为本发明的空间自注意力编码块；图4为本发明的时间指导空间交互注意力编码块；图5为本发明的空间指导时间交互注意力编码块。
具体实施方式
18.下面结合附图及具体实施例对本发明作进一步的说明。
19.实施例1本实施例设计了基于时空信息交互融合的海表温度预测方法，本方法将传统convlstm模型中的卷积子模块替换成时空矩阵构建模块和时空特征交互融合模块。首先对海表面温度数据预处理，然后构建时空矩阵构建模块获取时间特征矩阵和空间特征矩阵，最后构建时空特征交互融合模块将时间特征矩阵和空间特征矩阵的时空信息进行交互融
合，获得四个特征矩阵并将其聚合，聚合时空矩阵经过lstm操作得到预测结果，最终目的是预测未来n 1时刻同一空间区域上的海表面温度。结合图1-图5，包括以下步骤：s1、将n个时刻维度为m*n*v的海表面温度数据矩阵在v维度上进行矩阵平均操作并将矩阵聚合，得到维度为n*m*n的矩阵s；m、n、v为三个维度。
20.s2、从矩阵s中抽取每一空间点的时空矩阵，其中；抽取方法为抽取t天中点i的特征值与其邻域内d-1个空间点的特征值作为该点的1个空间点的特征值作为该点的，维度为；之后将进行矩阵变换，得到i点的维度为t*d的时空网格，从而得到所有时刻的时空网格。
21.s3、将进行特征聚合，得到时间特征矩阵，的维度为m*n*t*d，m*n代表存在m*n个空间点，对于每个空间点存在一个维度为t*d的二维时间特征矩阵，其中每一行代表海表面温度的时间特征，即每个空间点时刻的时间特征，维度为1*d。
22.s4、将的后两维度进行转置操作得到空间特征矩阵，的维度为m*n*d*t，m*n代表存在m*n个空间点，对于每个空间点存在一个维度为d*t的二维空间特征矩阵，其中每一行代表海表面温度的空间特征，即每个空间点上的空间特征，维度为1*t。
23.s5、将和转换为m*n个点的二维时间特征矩阵和二维空间特征矩阵，即将每一个空间点作为独立样本，二维时间特征矩阵和二维空间特征矩阵作为该样本的特征输入。本发明设计两个全连接层，得到的m*n个样本点的时间特征矩阵和空间特征矩阵维度分别为t*f和d*f。
24.s6、通过四个基于transformer的注意力编码块将步骤s5得到的时间特征和空间特征交互融合。
25.其中，基于transformer的注意力编码块分别是基于时间自注意力模块、空间自注意力模块、时间指导空间注意力模块、空间指导时间注意力模块，最终分别得到m*n个样本点的t*l、d*l、t*l和d*l的四个特征矩阵m1、m2、m3、m4。
26.结合图2所示，基于时间自注意力模块，只接受时间特征矩阵并设置权重，， ，分别与相乘所得，， ：之后计算时间特征间关系权重矩阵：最后利用中特征间的关系权重，计算m1，对不同的特征分配关注度：最终得到的矩阵m1是时间特征相互指导的特征矩阵。
27.结合图3所示，空间自注意力模块，只接受空间特征矩阵并设置权重，
，，分别与相乘所得，， ：之后计算空间特征间关系权重矩阵：最后利用中特征间的关系权重，计算m2，对不同的特征分配关注度：最终得到的矩阵m2是空间特征相互指导的特征矩阵。
28.结合图4所示，首先接受时间特征矩阵和并设置权重，与相乘所得，作为时间指导矩阵：之后输入空间特征矩阵并设计权重， ，分别与相乘所得，：计算时空关系权重矩阵：最后利用中特征间的关系权重，计算m3，即分配时间特征对空间特征的关注度：最终得到的矩阵m3是时间特征指导空间特征的特征矩阵。
29.结合图5所示，所述空间指导时间注意力模块，首先接受空间特征矩阵和并设置权重，与相乘所得，作为空间指导矩阵：之后输入时间特征矩阵并设计权重，，分别与相乘所得，：
计算时空关系权重矩阵：最后利用中特征间的关系权重，计算m4，即分配空间特征对时间特征的关注度：最终得到的矩阵m4是空间特征指导时间特征的特征矩阵。
30.s7、将四个特征矩阵m1、m2、m3、m4进行聚合，得到t*d维度的聚合时空矩阵m。
31.根据以下公式得到聚合时空矩阵m，其中，将时间信息自融合后的时间特征和时空信息融合后的空间特征相结合，得到多视角时空特征矩阵；将空间信息自融合后的空间特征和时空信息融合后的时间特征相结合，得到具有多视角的时空特征矩阵；t表示矩阵的转置，最后进行叉乘操作，得到最终的时空融合特征矩阵。
32.s8、将t*d的聚合时空矩阵m经过lstm操作，得到最后m*n个点的预测结果；通过m*n个空间点的真实数据值y进行损失计算，公式（4）所示。每完成一个批次（批次大小定义为m）中的全部样本预测和损失计算，通过公式（5）得到最终损失值loss，进行反向传播操作更新模型参数。
33.实施例2本实施例提供一种基于时空信息交互融合的海表温度预测系统，用于实现如实施例1所述的基于时空信息交互融合的海表温度预测方法，该系统包括输入模块、时空矩阵构建模块、时空特征交互融合模块、时空矩阵聚合模块、海表面温度数据预测模块和输出模块。
34.所述输入模块，用于输入海表面温度数据，获取n个时刻维度为m*n*v的海表面温度数据矩阵，在v维度上进行矩阵平均操作并将矩阵聚合，得到维度为n*m*n的矩阵s。
35.所述时空矩阵构建模块，用于构建时空矩阵，从矩阵s中抽取每一空间点的时空矩阵，之后将进行矩阵变换，得到i点的维度为t*d的时空网格，从而得到所有时刻的时空网格。
36.所述时空特征交互融合模块，用于进行时空特征交互融合，包括四个基于transformer的注意力编码块，分别是基于时间自注意力模块、时间指导空间注意力模块、空间指导时间注意力模块和空间自注意力模块，首先将进行特征聚合，得到时间特征矩阵，然后将的后两维度进行转置操作得到空间特征矩阵；将和转换为m*n个点的二维时间特征矩阵和二维空间特征矩阵，通过四个基于transformer的注意力编码块处理最终分别得到m*n个样本点的四个特征矩阵m1、m2、m3、m4；所述时空矩阵聚合模块，用于将四个特征矩阵m1、m2、m3、m4进行聚合，得到聚合时空矩阵m。
37.所述海表面温度数据预测模块，用于将聚合时空矩阵m经过lstm操作，得到最后m*n个点的预测结果。
38.所述输出模块，用于输出预测结果。
39.其中各模块的数据处理过程可参见实施例1部分的记载，此处不再赘述。
40.实施例3本实施例提供一种基于时空信息交互融合的海表温度预测系统的应用，用于预测海表面温度，输入一段历史时间段a天内的海表面温度数据，输出未来一段时间段b天的海表面温度预测结果。
41.下面以举例的方式介绍预测海表面温度的具体方法。
42.步骤一，建立训练数据集：（1）获取全球1981年至2022年等42年的海表面温度数据，从时间和空间两个维度抽取预测区域的海表面温度数据，构造该区域内不同时空维度上的海表面温度数据集。
43.（2）将构造的海表面温度时空数据集按照70%、20%、10%的比例分成训练样本、验证样本和测试样本，并按照每a天预测b天的方法对数据进行处理。
44.步骤二，建立海表面温度预测模型：（1）采用pytorch搭建深度学习框架。
45.（2）构建基于transformer机制时空信息交互融合预测模型，包括时空矩阵构建模块和时空特征交互融合模块（四个基于transformer的注意力编码块）、时空矩阵聚合模块和海表面温度数据预测模块。该模型输入为前a天的海表面温度数据，输出为未来b天的海表面温度预测数据。
46.（3）将步骤一的训练样本输入模型进行训练，并使用验证样本检测每次训练后模型预测效果，在模型训练100次后，使用测试样本对模型进行评估。
47.步骤三，模型应用：（1）设置需要预测的b天参数，将前a天的海表面温度数据输入训练好的模型，得到最终的b天海表面温度预测结果。
48.综上所述，本发明（1）在时空矩阵构建模块中，构建空间中的每一点的时空矩阵，并从时空矩阵中抽取出时间视角和空间视角的特征表达。（2）时空特征交互融合模块利用transformer中的自注意力机制和互注意力机制，构建充分挖掘了不同时刻的时间特征的相互指导关系的时间自注意力编码块、挖掘不同空间的空间特征的相互指导关系的空间自
注意力编码块以及充分挖掘时间特征和空间特征的相互指导关系的时间指导空间交互注意力编码块和空间指导时间交互注意力编码块，通过以上四个编码块构建时空数据超长期依赖关系，实现了海表面温度数据时空信息的交互融合。
49.此外，需要说明的是，在实际应用时，本发明的方法及系统还可应用于其他海洋科学数据（例如叶绿素浓度、风速、风向等时空数据场）的时空变化获得时空分布预测，反应海洋物理场理化性质的动态演变规律。比如通过应用本发明的方法和系统处理，获得近海叶绿素a浓度预测，输入一段历史时间段a天内的近海叶绿素a数据（通过原始叶绿素a遥感数据、气象遥感数据及浮标叶绿素a监测数据得到n个时刻维度为m*n*v的近海叶绿素a数据），输出未来一段时间段b天的叶绿素a预测结果（长时序连续的整个近海区域叶绿素a预测图）。
50.当然，上述说明并非是对本发明的限制，本发明也并不限于上述举例，本技术领域的普通技术人员，在本发明的实质范围内，做出的变化、改型、添加或替换，都应属于本发明的保护范围。