多源海面物理要素的机器学习融合方法和模型

1.本技术涉及海洋数据处理技术领域，具体涉及一种多源海面物理要素的数据融合方法及模型。


背景技术：

2.在海洋领域的研究中，数据融合必不可少，它为进一步分析海洋发展以及规律提供了强有力的数据支持。当前有许多数据融合算法被研究者提出并利用。以海面风场的数据融合为例，目前主要的融合方法有插值类融合算法和同化变分类融合算法。其中插值算法有cressman插值、kriging插值和时空加权分析，同化变分算法包括最优插值，三维变分等。凌征等通过cressman插值融合了我国近海的卫星风场和沿岸气象站风场资料。zhang等对包括ssm/i、tmi、quikscat、amsr-e等在内的多颗卫星海面风速数据进行了时空权重插值融合，产生了全球范围的自1987年至2006年的时间分辨率为12h、每天和每月的0.25
°
网格的风速。齐亚琳等对海洋二号卫星海面风场和ncep数值风场资料进行融合，融合算法中同样采用时空权重插值。yan等对多源散射计和辐射计风场与模式在分析风场金西行了融合研究，利用最优插值法建立了时间分辨率为6h，空间分辨率为0.25
°
的2000年至2015年的全球风场产品。
3.中国专利cn105975763a“一种多源海面风场的融合方法和装置”提供了一种涉及海面风场领域的风场融合方法及装置，该专利利用时空插值算法以及线性插值算法等方法对多个星载微波遥感器采集的海面风场数据和/或多个再分析气象海面风场数据进行数据融合。该发明能够发挥多源卫星的协同观测的优势，同时通过卫星遥感风场数据和再分析气象风场数据融合构建融合海面风场可以有效的提高海面风场的覆盖范围以及时空分辨率。
4.上述专利中的技术使用了传统插值方法，即每次进行融合风场时都需要进行插值操作，要对各个风场数据进行网格化处理，需要浪费大量的时间，同时处理风场数据所得到的中间网格数据也浪费了大量的空间，而对于传统插值方法来说，其对计算能力也有一定的要求，当硬件设备计算能力较差时，可能会伴随着数据融合时间的增大。
5.对于融合算法来说，不论是插值类融合算法，还是同化变分类融合算法，它们都可以基本解决海面风场融合的问题。但是在实际应用中，需要受到当前计算能力的制约，这些算法由于复杂计算过程，往往需要使用计算机集群，且较难实现实时化融合。


技术实现要素：

6.为此，本技术提供一种多源海面物理要素的数据融合方法及模型，以解决现有技术存在的融合算法受计算能力的制约难以实现实时化融合的问题。
7.为了实现上述目的，本技术提供如下技术方案：
8.第一方面，一种多源海面物理要素的机器学习融合方法，包括：
9.获取多源数据和nwp模式数据/再分析数据，并对获取的所述多源数据进行预处
理；
10.将经过预处理的所述多源数据进行混合插值，得到与所述nwp模式数据/再分析数据相同分辨率的标准网格数据；
11.根据所述标准网格数据和所述nwp模式数据/再分析数据建立特征工程，获取目标融合模型所需训练样本；
12.将所述训练样本输入到所述目标融合模型进行训练，得到数据融合模型；根据所述数据融合模型对nwp模式数据/再分析数据进行推理，得到融合场。
13.作为优选，所述多源数据进行混合插值时，具体为：
14.判断数据点是否重叠；
15.若数据点未重叠，则直接进行插值；
16.若数据点重叠，则选取距离插值时间点最近的数据进行插值。
17.作为优选，所述多源数据进行混合插值时采用反距离加权插值算法进行插值。
18.作为优选，所述标准网格数据为0.25
°×
0.25
°
的标准网格数据。
19.作为优选，所述nwp模式数据/再分析数据为era-5再分析数据
20.作为优选，根据所述标准网格数据和所述nwp模式数据/再分析数据建立特征工程时，具体为：
21.使用卫星插值数据作为学习目标，选取卫星插值格点及其周围5
×
5的era-5值作为训练特征进行训练。
22.作为优选，所述目标融合模型为xgboost学习方法。
23.第二方面，一种多源海面物理要素的数据融合模型，所述数据融合模型根据所述的多源海面物理要素的机器学习融合方法训练所得。
24.第三方面，一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现所述多源海面物理要素的机器学习融合方法的步骤。
25.第四方面，一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现多源海面物理要素的机器学习融合方法的步骤。
26.相比现有技术，本技术至少具有以下有益效果：
27.1、与现有的海面数据融合技术相比，本发明提出的技术方案依托机器学习方法，通过训练得到融合模型后即可快速进行数据融合，操作简单，降低了硬件要求，同时该数据融合方法在一定程度上弱化了物理机制对于数据的影响，适用于几乎所有的海面物理要素；
28.2、本发明方法在cpu平台上即可进行操作。
附图说明
29.为了更直观地说明现有技术以及本技术，下面给出几个示例性的附图。应当理解，附图中所示的具体形状、构造，通常不应视为实现本技术时的限定条件；例如，本领域技术人员基于本技术揭示的技术构思和示例性的附图，有能力对某些单元(部件)的增/减/归属划分、具体形状、位置关系、连接方式、尺寸比例关系等容易作出常规的调整或进一步的优化。
30.图1为本技术实施例提供的多源海面物理要素的机器学习融合方法的流程图；
31.图2为本技术实施例提供的时间选取方法结构示意图；
32.图3为本技术实施例提供的特征工程的建立的结构示意图；
33.图4为本技术实施例提供的机器学习模型训练图；
34.图5为本技术实施例提供模型训练及推理过程框图；
35.图6为本技术实施例提供浮标风速检验。
具体实施方式
36.以下结合附图，通过具体实施例对本技术作进一步详述。
37.在本技术的描述中：除非另有说明，“多个”的含义是两个或两个以上。本技术中的术语“第一”、“第二”、“第三”等旨在区别指代的对象，而不具有技术内涵方面的特别意义(例如，不应理解为对重要程度或次序等的强调)。“包括”、“包含”、“具有”等表述方式，同时还意味着“不限于”(某些单元、部件、材料、步骤等)。
38.本技术中所引用的如“上”、“下”、“左”、“右”、“中间”等的用语，通常是为了便于对照附图直观理解，而并非对实际产品中位置关系的绝对限定。在未脱离本技术揭示的技术构思的情况下，这些相对位置关系的改变，当亦视为本技术表述的范畴。
39.数值模式预报(numerical weather prediction,，nwp)是根据海洋和大气实际情况，在一定初值和边值条件下，通过数值计算，求解描写天气演变过程的流体力学和热力学方程组，预报未来天气的方法，如欧洲中期天气预报中心(european centre for medium-range weather forecasts，ecmwf，简称ec)发布的模式预报产品等。大气再分析资料(reanalysis data)是一种利用资料同化方法把数值预报产品和多种观测资料融合起来而得到的综合资料，具有内容丰富、资料时间长和汇总了广泛观测资料等特点，如ecmwf发布的era-5再分析数据等。
40.请参阅图1，本发明的实施例提供一种多源海面物理要素的机器学习融合方法，包括：
41.s1：获取多源数据，并对获取的所述多源数据进行预处理；
42.具体的，本发明中的多源数据可以为卫星遥感数据、船舶数据或其它观测数据，以研究风场融合为例，本发明针对海面风场进行数据融合，研究中选取了三颗卫星来提供数据支持，分别为hy-2b卫星、中法海洋卫星(cfosat)以及metop-b卫星，但在实际应用中，可以选取任意可用的极轨卫星或同步卫星来提供数据支持，不仅限于上述三颗卫星。
43.其中对于hy-2b卫星来说，选取hy-2b散射计l2b级数据，其数据的时间跨度为12小时，空间分辨率为25km
×
25km。hy-2b散射计每天约有16轨数据，可覆盖全球90％的海域。现有技术使用ecmwf再分析风场数据、tao和ndbc浮标实测数据，对hy-2b风场进行了总体质量分析。分析发现，在4～24m/s风速区间内，hy-2b风速、风向rmse分别优于2m/s和20
°
，能较好满足hy-2b散射计业务化应用的精度要求。
44.对于中法海洋卫星来说，采用成熟的cast2000小卫星平台，设计寿命3年，运行于轨道高度521km、降交点地方时07:00am的太阳同步轨道，探测数据分别传输至中法两国地面站，由两国地面应用系统接收并进行处理。该卫星在海洋动力环境业务监测、海洋灾害监测和预报预警、海洋科学研究中发挥重要作用。本发明中选取的cfosat卫星l2b级数据时间
跨度为12小时，空间分辨率为12.5km
×
12.5km，其风速精度为1.5m/s，风向精度为20
°
。
45.对于metop-b卫星来说，欧洲航天局和欧洲气象卫星开发组织联合发射的metop-b代替metop-a作为主要的业务观测卫星，其提供的海面风场数据产品风速精度为2m/s，风速范围为0～50m/s。本发明选取的metop-b风场数据空间分辨率为12.5km
×
12.5km。
46.对于融合风场的检验方法，选取了浮标数据选自离岸50km以上，具有连续风矢量观测能力的热带大气海洋观测计划(tropical atmosphere ocean array,tao)浮标数据。该浮标具有较高的观测频率，每10分钟观测一次风速，风向。
47.请参阅图2，对于不同的环绕地球飞行的人造地球卫星来说，经过同一区域的时间可能有所不同。为了保证研究的科学性和合理性，本发明针对三颗不同的卫星数据进行了处理。通过对不同的卫星经过研究区域的时间统计分析得出，约在00utc以及12utc时刻经过目标区域，因此将0时和12时(所有时间均为世界统一时间)作为融合数据的目标时刻。同时为了保证数据量的充足，实验中选取时间窗口为3小时，即选取目标时刻前后各三小时内的卫星数据同等作为该目标时刻的卫星数据。
48.s2：将经过预处理的所述多源数据进行混合插值，得到与nwp模式数据/再分析数据相同分辨率的标准网格数据；
49.具体的，对多源卫星等遥感数据进行混合插值，得到与nwp模式数据/再分析数据等相同分辨率的标准网格数据。这一步骤只是用来训练融合模型，当融合模型训练完毕后进行数据融合的时候不需要插值。
50.本发明中选取的nwp模式数据/再分析数据为era-5再分析数据，但是在实际应用中不仅限于使用era-5再分析数据。era-5是欧洲中期天气预报中心对过去40-70年全球气候和天气的第五代再分析数据。目前的数据是从1950年开始的，分为1950-1978年的气候数据存储条目和1979年以后的。era-5提供了大量大气、海浪和陆地表面数量的每小时估计数。本发明选用的era-5再分析风场的空间分辨率为0.25
°×
0.25
°
。
51.以研究风场融合为例，对选取的hy-2b，cfosat以及metop-b卫星数据进行统一混合，本发明中将混合的卫星数据统一处理成为0.25
°×
0.25
°
的标准网格数据。在插值处理过程中，由于卫星数据之间分辨率的不同，即12.5km
×
12.5km及25km
×
25km不等，为了方便统一插值，本发明选择了反距离加权插值算法对混合卫星数据进行插值，得到0.25
°×
0.25
°
的标准网格数据，即与选择的era-5数据保持一致的网格数据。
52.s3：根据所述标准网格数据和所述nwp模式数据/再分析数据建立特征工程，获取目标融合模型所需训练样本；
53.具体的，以研究风场融合为例，经过插值处理后的卫星数据与era-5数据均为0.25
°×
0.25
°
的网格数据，本发明使用卫星插值风场数据作为学习目标，选取卫星插值格点及其周围(5
×
5窗口)的era-5值作为训练特征进行训练。如图3所示，图中左侧部门绿点表示卫星插值数据，周围5
×
5的格点为era-5数据，将周围5
×
5的era-5格点数据依次获取作为模型的输入，卫星插值数据作为模型的目标进行训练。
54.s4：将所述训练样本输入到所述目标融合模型进行训练，得到数据融合模型；根据所述数据融合模型对nwp模式数据/再分析数据进行推理，得到融合场。
55.请参阅图4，具体的，使用但不限于xgboost等机器学习方法作为目标融合模型，以研究风场融合为例，获取到足量的训练样本后，选取xgboost这一机器学习方法来进行模型
的训练，最终获取到融合模型。
56.使用训练完毕的数据融合模型进行机器推理，快速高效的进行数据融合。
57.以研究风场融合为例，使用xgboost机器学习方法生成融合模型后，使用融合模型对nwp模式数据/再分析数据进行推理，以此获取到融合风场。
58.本技术的多源海面物理要素的机器学习融合方法是指对于海面风、海浪、海标温度等物理要素，采用机器学习方法，训练从上述物理要素的数值预报/再分析数据，映射到该物理要素卫星遥感数据的模型。其主要目的是对于没有卫星遥感观测没有覆盖的区域，而只有数值预报/再分析数据的区域，直接从再分析数据中推理出全区域的融合数据，当模型学习能力达到一定的水平时，甚至可能通过模型推理得到高时间分辨率的融合数据，即在卫星未扫过区域的时间段内推理得到融合数据。
59.本发明提供的多源海面物理要素的数据融合方法及模型，既能够快速进行数据融合，又对硬件或计算能力要求不高，通过对多源卫星等遥感数据等进行混合插值处理得到标准网格数据以此作为学习目标，并利用机器学习方法或者深度学习方法将nwp模式数据/再分析数据作为输入，训练得到融合模型，根据nwp模式数据/再分析数据和卫星遥感数据的对应关系的模型(已训练好的机器学习模型)，从nwp模式数据/再分析数据推理出卫星遥感数据。在数据融合过程中仅需cpu即可进行，无需再进行插值操作，对计算能力要求不高，可以实现高效快速融合。
60.本发明通过机器学习方法训练得到最终的数据融合模型，然后使用数据融合模型进行数据融合。相比于插值方法，机器学习方法的特点：精确。机器学习可以通过数据发现事物中线性或非线性规律，得到解决问题的精准方案。伴随着数据量的增大，其精准度会随之提高；自动化。机器学习在训练过程中无需人工干预，可以自动进行；速度快。机器学习在推理过程中可以几秒甚至几毫秒中产生结果，便于进行实时应用。本发明方法在cpu为intel(r)xeon(r)cpu e5-2690 v4@2.60ghz的平台上进行单一时刻数据融合仅需1.5s，而对于插值方法来说，可能需要计算机集群等设备才能够保证速度。
61.本发明并不局限于xgboost某一种机器学习方法和现有的深度学习方法，也不局限于某一种卫星等遥感数据以及某一种特定nwp模式数据/再分析数据，对于一般的卫星遥感数据，一般的nwp模式数据/再分析数据均具有普遍适用性。
62.请参阅图5，本发明使用机器学习方法进行数据融合，包括模型训练以及模型推理两部分操作，图中上半部分为模型训练过程，在融合模型训练过程中，由于卫星等遥感数据的分辨率等问题，需要对卫星等遥感数据进行插值处理，以此与nwp模式数据/再分析数据保持分辨率同步，便于模型的训练，而当融合模型训练完毕后就进入到了模型推理过程，如图下半部分，从图中可以看出，在模型推理过程中并不涉及到插值问题，即直接将nwp模式数据/再分析数据作为模型的输入，模型的输出即为最终的数据融合结果。
63.请参阅图6，本发明提供的多源海面物理要素的数据融合方法在cpu平台上即可进行操作，以风场融合为例，在西北太平洋地区(0
°
～45
°
，100
°
～160
°
)进行单一时刻数据融合仅需1.5s即可完成。且对融合后的风场数据与浮标数据进行对比，结果显示，融合风场数据的风速相比较原始风场来说明显更加接近浮标数据，具体结果如图6，图中横坐标表示匹配样例，纵坐标表示风速，从图中可以看出，在黑框标记的部分，融合风场明显靠近浮标数据，该结果说明使用机器学习进行海面物理要素融合的方法在准确度方面是有效的。
64.综上，本发明所提出的使用机器学习来进行海面物理要素数据融合的方法在速度上比较传统方法更快，在准确度上较原始nwp模式数据/再分析数据更好，而且对硬件要求更低，虽然本发明仅以风场融合进行说明，但是本发明方法在海浪场，海表温度场等海面要素均适用。
65.本发明的另一个实施例提供一种多源海面物理要素的数据融合模型，一种多源海面物理要素的数据融合模型，所述数据融合模型根据所述的多源海面物理要素的机器学习融合方法训练所得。
66.本发明的另一个实施例提供一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现所述多源海面物理要素的机器学习融合方法的步骤。
67.本发明的另一个实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现多源海面物理要素的机器学习融合方法的步骤。
68.以上实施例的各技术特征可以进行任意的组合(只要这些技术特征的组合不存在矛盾)，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述；这些未明确写出的实施例，也都应当认为是本说明书记载的范围。
69.上文中通过一般性说明及具体实施例对本技术作了较为具体和详细的描述。应当理解，基于本技术的技术构思，还可以对这些具体实施例作出若干常规的调整或进一步的创新；但只要未脱离本技术的技术构思，这些常规的调整或进一步的创新得到的技术方案也同样落入本技术的权利要求保护范围。