基于多进程的背景场误差协方差矩阵BE的快速计算方法与流程

基于多进程的背景场误差协方差矩阵be的快速计算方法
技术领域
1.本发明属于数值预报模式技术领域，具体涉及一种基于多进程的背景场误差协方差矩阵be的快速计算方法。


背景技术：

2.数值天气预报模式是当前天气预报、灾害性天气预警的基础关键技术环节。数值天气预报模式通过输入当前天气状态(称为初值)，按照物理方程经过积分、从而计算出一段时间后未来的天气状态。因此初值的准确与否对未来的天气预报的准确性有着极大的影响。初值质量是决定数值预报质量的最基础环节，而资料同化是提高模式初值质量的有效方法。当前资料同化的效果主要取决于对各种观测资料，包括地面探测、探空、飞机报文、卫星数据、雷达数据等的实时数据同化。同化的观测资料越多、时效性越好，最终的天气预报越准确、效果越好。
3.在对观测资料的同化试验和应用过程中，需要实时的分析观测资料的同化效果，以每种观测资料以及不同天气背景下不同种类观测资料信息的使用权重，这个关键步骤中的核心数据主要由背景场误差协方差矩阵be(background error，be)来决定。背景场误差协方差矩阵be代表资料同化分析场中所包含观测与背景场信息之间的比重,与区域天气气候特征密切相关,对资料同化的质量起着至关重要的作用,是做好变分同化的关键环节。
4.背景场误差协方差矩阵be是数值模式同化流程中最重要的基数据之一，在改善数值模式同化效果、进行大规模数据同化试验中有重要作用，需要经常根据不同天气背景下不断更新、重新计算be矩阵，是数值模式预报过程最基础、最重要的步骤之一。在已有计算方案中，背景场误差协方差矩阵be在对数据完成预处理之后，按照顺序对多个控制变量逐格点进行循环计算，因此耗费时间较长。在背景场误差协方差矩阵be计算速度较慢的情况下，需要非常长的时间才能完成背景场误差协方差矩阵be的更新计算，对数值预报模式最终的预报效果造成了一定的影响；同时，也极大的降低了大规模同化试验的效率。
5.因此，如何提高背景场误差协方差矩阵be计算速度对于提升数值预报模式效果有着很重要的基础意义。


技术实现要素：

6.为了克服上述现有技术存在的不足，本发明提供了一种基于多进程的背景场误差协方差矩阵be的快速计算方法，具体为针对制约背景场误计算速度的第4阶段进行并行化改进。
7.为了实现上述目的，本发明提供如下技术方案：
8.一种基于多进程的背景场误差协方差矩阵be的快速计算方法，包括以下步骤：
9.获取原始气象背景场数据；
10.对所述原始气象背景场数据进行预处理得到待处理数据；
11.将待处理数据按照计算量划分为相对平均的多个子文件，进行任务并行化拆分；
12.根据计算集群的硬件配置，将待处理的子文件按照计算负载在集群上自动、平均分配，计算子文件中的背景场信息；
13.子文件全部完成计算后再将多个子文件中完成的计算信息进行合并、提取，完成背景场误差协方差矩阵be的计算。
14.优选地，所述原始气象背景场数据包括通过地面探测、探空、飞机报文、卫星、雷达获取的气象观测数据。
15.优选地，对所述原始气象背景场数据中的图像进行预处理包括：
16.提取所述原始气象背景场数据中的原始气象目标图像；
17.对所述原始气象目标图像进行滤波降噪处理，得到中值滤波图像；
18.对所述中值滤波图像进行非线性拉伸，并重新分配图像的像元亮度或灰度值的对比度，得到初步处理图像。
19.优选地，还包括提取所述初步处理图像的轮廓信息，并计算所述原始气象目标图像与所述初步待处理图像的方差图，并对所述方差图进行滤波得到方差平滑图，得到待处理图像数据。
20.优选地，所述计算所述原始气象目标图像与所述初步待处理图像的方差图，包括以下步骤：
21.获取所述原始气象目标图像与所述中值滤波图像的差值图像；
22.对所述差值图像进行平方，并依据权重对其进行加权得到方差图。
23.优选地，所述提取所述待处理图像的轮廓信息后还采用边缘模糊处理方式对轮廓边缘进行过渡处理。
24.优选地，所述对原始气象背景场数据进行预处理得到待处理数据，还包括：
25.选取一个时间段，将该时间段内所需要的原始气象背景场数据复制到本地文件夹；
26.按照正常步骤开始数据预处理，但是在计算量最大、制约计算速度的瓶颈环节中断正常计算过程；待数据预处理阶段完全结束后，制约计算速度的瓶颈环节所需的数据已全部预处理完成。
27.优选地，所述根据计算集群的硬件配置，将待处理的子文件按照计算负载在集群上自动、平均分配，计算子文件中的背景场信息，具体包括以下步骤：
28.统计预处理数据，即所有待处理文件夹中子文件；
29.将每个子文件视作一个单独的计算任务，然后按照大型计算机节点的cpu数量进行平均分配，使每个cpu得到平均分配的计算任务；
30.按照总任务数设定计算资源，并为每个任务加载所需的依赖环境，计算时每个子任务处在相同的依赖环境，都使用单独的进程进行计算，完成每个子文件的计算任务。
31.本发明提供的基于多进程的背景场误差协方差矩阵be的快速计算方法应用于数值模式预报中的数据同化关键数据的计算，将全部计算流程分解为预处理、子任务拆分、关键步骤并行、合并提取等步骤，并在关键并行阶段提出了子任务自动化的平均分配方法，大大提高了背景场误差协方差矩阵be计算速度及数值预报模式最终的预报效果；同时，也极大的提升了大规模同化试验的效率，对于提升数值预报模式效果有着很重要的基础意义。
附图说明
32.为了更清楚地说明本发明实施例及其设计方案，下面将对本实施例所需的附图作简单地介绍。下面描述中的附图仅仅是本发明的部分实施例，对于本领域普通技术人员来说，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
33.图1为本发明实施例1的基于多进程的背景场误差协方差矩阵be的快速计算方法的流程图。
具体实施方式
34.为了使本领域技术人员更好的理解本发明的技术方案并能予以实施，下面结合附图和具体实施例对本发明进行详细说明。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
35.实施例1
36.本发明提供了一种基于多进程的背景场误差协方差矩阵be的快速计算方法，具体如图1所示，包括以下步骤：
37.s1、获取原始气象背景场数据；
38.具体地，本实施例中的原始气象背景场数据包括通过地面探测、探空、飞机报文、卫星、雷达获取的气象观测数据。观测数据越多、时效性越好，最终的天气预报越准确、效果越好。
39.s2、对原始气象背景场数据进行预处理得到待处理数据，具体包括两部分：
40.一方面对原始气象背景场数据中的图像进行预处理，具体包括：
41.提取原始气象背景场数据中的原始气象目标图像；
42.对原始气象目标图像进行滤波降噪处理，得到中值滤波图像；
43.对中值滤波图像进行非线性拉伸，并重新分配图像的像元亮度或灰度值的对比度，得到初步处理图像。
44.同时还包括提取初步处理图像的轮廓信息，并计算原始气象目标图像与初步待处理图像的方差图，并对方差图进行滤波得到方差平滑图，得到待处理图像数据。计算原始气象目标图像与初步待处理图像的方差图，包括以下步骤：
45.获取原始气象目标图像与中值滤波图像的差值图像；
46.对差值图像进行平方，并依据权重对其进行加权得到方差图。
47.本实施例在提取待处理图像的轮廓信息后还采用边缘模糊处理方式对轮廓边缘进行过渡处理。
48.另一方面对原始气象背景场数据进行预处理得到待处理数据，还包括：
49.选取一个时间段，将该时间段内所需要的原始气象背景场数据复制到本地文件夹；
50.按照正常步骤开始数据预处理，但是在计算量最大、制约计算速度的瓶颈环节中断正常计算过程；待数据预处理阶段完全结束后，制约计算速度的瓶颈环节所需的数据已全部预处理完成。
51.s3、将待处理数据按照计算量划分为相对平均的多个子文件，进行任务并行化拆分；
52.s4、根据计算集群的硬件配置，将待处理的子文件按照计算负载在集群上自动、平均分配，计算子文件中的背景场信息，具体包括以下步骤：
53.统计预处理数据，即所有待处理文件夹中子文件；
54.将每个子文件视作一个单独的计算任务，然后按照大型计算机节点的cpu数量进行平均分配，使每个cpu得到平均分配的计算任务；
55.按照总任务数设定计算资源，并为每个任务加载所需的依赖环境，计算时每个子任务处在相同的依赖环境，都使用单独的进程进行计算，完成每个子文件的计算任务。
56.s5、子文件全部完成计算后再将多个子文件中完成的计算信息进行合并、提取，完成背景场误差协方差矩阵be的计算。
57.本发明提供的基于多进程的背景场误差协方差矩阵be的快速计算方法应用于数值模式预报中的数据同化关键数据的计算，关键是将全部计算流程分解为预处理、子任务拆分、关键步骤并行、合并提取等步骤，并在关键并行阶段提出了子任务自动化的平均分配方法，大大提高了背景场误差(be)协方差矩阵计算速度及数值预报模式最终的预报效果；同时，也极大的提升了大规模同化试验的效率，对于提升数值预报模式效果有着很重要的基础意义。
58.实验证明，采用本发明提供的背景场误差(be)协方差矩阵的计算方法对原始气象背景场数据的背景信息进行处理，大大提升背景误差矩阵计算效率，最高可达20-40倍，将每次背景误差矩阵计算时间由原来常规方法的10天以上大幅压缩至几个小时，为开展区域数值模式逐日快速更新同化，以及进行大规模数值模式更新同化循环试验奠定了坚实基础。
59.以上所述实施例仅为本发明较佳的具体实施方式，本发明的保护范围不限于此，任何熟悉本领域的技术人员在本发明披露的技术范围内，可显而易见地得到的技术方案的简单变化或等效替换，均属于本发明的保护范围。