一种高效大气模式物理过程任务划分算法的制作方法

1.本发明涉及一种高效大气模式物理过程任务划分算法，属于气候气象预测技术领域。


背景技术：

2.气候气象预测是当今世界上最复杂的应用问题之一，涉及到众多不同的科学领域。自上世纪50年代以来，数值模拟方法取得了巨大的进展，并在气候气象预测领域发挥了重要作用。从极端天气灾害到日常生活规划，数值模拟预测为各种实际问题提供了有力的科学依据。
3.作为气候模式中重要组成部分之一，大气模式是科学家和学者用于研究和理解大气规律的重要方法，同时也是促进世界最强大超级计算机发展的最重要科学应用之一。
4.大气模式主要由两个部分组成：动力框架和物理过程。动力框架求解大气运动方程，以网格点为基本计算单元，伴随邻居通信和全局规约操作。物理过程主要对网格垂柱进行计算，主要计算降雨、云、长短波辐射等内容，网格垂柱之间不需要进行通信。
5.为适应大气模式动力框架与物理过程的不同计算特征，大气模式动力框架与物理过程计算前对大气网格需要有不同的划分方法。大气模式计算过程中，每一个时间步，动力框架与物理过程计算都是交替进行，动力框架与物理过程计算前需要有动力框架和物理过程的耦合信息交换过程。如果大气模式中动力框架和物理过程对大气网格的划分方式不同，也即同一个大气网格所属的动力框架进程号和物理过程进程号不同，那么，在动力框架和物理过程耦合时这两个进程需要进行通信，获得该网格的物理量信息。
6.随着网格精度的增加和并行规模的扩大，大气模式物理过程的计算以及物理过程和动力框架之间耦合时的通信变得更加复杂。平衡大气模式物理过程计算时间和物理过程与动力框架耦合时的通信时间是提高地球系统模式中大气模式整体性能的关键点之一。一方面，网格精度增加，大气模式物理过程计算更为复杂，耦合时通信量增加；另一方面，在异构体系结构中，并行规模扩大，单处理器计算任务减少，但通信形式更加复杂。面对复杂的计算和通信问题，合理的大气模式物理过程网格划分一直是研究的重难点之一。
7.神威
·
太湖之光超级计算机网络结构分为3个层次，最顶层为中心交换网络，中间层为超节点网络，最底层为资源共享网络；网络直径为7，全网双向带宽总和达到56tb/s；超节点内部全连接架构，计算节点通过infiniband fdr网络进行连接，超节点间的网络构成两层胖树结构；超节点与超节点之间通过64根网线相连，与超节点内的全连接相比，带宽为1：4裁剪。
8.在神威
·
太湖之光超级计算机平台上，现有的大气模式物理过程计算任务划分方法容易导致物理过程计算任务分配不平衡或物理过程和动力框架耦合时通信复杂，难以平衡大气模式物理过程计算以及物理过程和动力框架耦合时通信需求，这会给大气模式带来10％～30％的性能损失。


技术实现要素：

9.本发明的目的是提供一种高效大气模式物理过程任务划分算法，其既能使大气模式物理过程计算任务相对平衡，又能减少大气模式与动力框架耦合时的通信开销，可显著提高大气模式大规模并行时的整体性能。
10.为达到上述目的，本发明采用的技术方案是：提供一种高效大气模式物理过程任务划分算法，所述大气模式包含动力框架和物理过程两个过程，动力框架与物理过程的任务划分相互独立，且动力框架的任务划分先进行，动力框架任务划分结束后，每一个网格映射到一个进程；
11.包括以下步骤：
12.s1、获取大气模式中各进程所在的超节点号，即获取进程号与超节点号的映射关系；
13.s2、根据s1中获取的超节点号信息，对大气模式中的各进程进行分组，将具有相同超节点号的进程分到同一个组；
14.s3、采用与动力框架相同的网格划分方式，按照超节点进行物理过程的第一级任务划分，使得同一组进程中动力框架与物理过程具有相同的网格；
15.s4、调整大气模式物理过程中组内进程间网格划分，将网格重分配到组内进程中，为所有超节点中的每一个进程分配网格，具体为：
16.统计每一个超节点k中分配的网格数量nk，以及超节点k中的进程数量pk；
17.将属于超节点k的网格按照网格编号由小到大顺序排成一列，将属于超节点k的进程按照进程号由小到大顺序排成一列；
18.将超节点k中第ii个(0《＝ii《nk)网格映射到超节点k中第jj个进程，0＜＝jj＜pk,jj＝ii％pk，其中，％是取余运算，即jj是ii除以pk的余数。
19.由于上述技术方案的运用，本发明与现有技术相比具有下列优点：
20.本发明基于神威
·
太湖之光超级计算机平台，提出一种高效大气模式物理过程任务划分算法，充分利用神威
·
太湖之光超级计算机系统的通信网络结构，既能使大气模式物理过程计算任务相对平衡，又能减少大气模式与动力框架耦合时的通信开销，可显著提高大气模式大规模并行时的整体性能。
附图说明
21.附图1为本发明一种高效大气模式物理过程任务划分算法的流程图。
具体实施方式
22.实施例：本发明提供一种高效大气模式物理过程任务划分算法，所述大气模式包含动力框架和物理过程两个过程，动力框架与物理过程的任务划分相互独立，且动力框架的任务划分先进行，动力框架任务划分结束后，每一个网格映射到一个进程；
23.本专利基于动力框架任务划分结果，对物理过程任务划分方法进行研究，包括以下步骤：
24.s1、获取大气模式中各进程所在的超节点号，即获取进程号与超节点号的映射关系；
25.s2、根据s1中获取的超节点号信息，对大气模式中的各进程进行分组，将具有相同超节点号的进程分到同一个组；
26.s3、采用与动力框架相同的网格划分方式，按照超节点进行物理过程的第一级任务划分，使得同一组进程中动力框架与物理过程具有相同的网格；
27.动力框架任务划分后，在动力框架中，网格号与进程号有一个映射关系：假设一共有n个网格，p个进程，动力框架任务划分后，编号为i(0《＝i《n)的网格映射到编号为j(0《＝j《p)的进程；动力框架任务划分结果可以保证任何一个网格编号都会映射有一个进程号，且一个网格只会被映射到一个进程；
28.获取进程号与超节点号的映射关系，假设编号为j的进程所在的超节点号为k，动力框架与物理过程的计算采用相同的网格和相同的进程，那么，在动力框架中，编号为i的网格映射到编号为j的进程，而在物理过程中，编号为i的网格映射到编号为k的超节点，从而保证物理过程第一级任务划分达到如下效果：任何一个网格编号都会映射到一个超节点号，且同一个网格只会映射到一个超节点号，实现了物理过程第一级的按超节点的任务划分，保证同一组进程中大气模式动力框架与物理过程具有相同的网格；
29.s4、调整大气模式物理过程中组内进程间网格划分，将网格重分配到组内进程中，为所有超节点中的每一个进程分配网格，具体为：
30.统计每一个超节点k中分配的网格数量nk，以及超节点k中的进程数量pk；
31.将属于超节点k的网格按照网格编号由小到大顺序排成一列，将属于超节点k的进程按照进程号由小到大顺序排成一列；
32.将超节点k中第ii个(0《＝ii《nk)网格映射到超节点k中第jj个进程，0＜＝jj＜pk,jj＝ii％pk，其中，％是取余运算，即jj是ii除以pk的余数。
33.对上述实施例的进一步解释如下：
34.本发明充分利用神威
·
太湖之光超级计算机系统通信网络结构的如下特征：神威
·
太湖之光超级计算机系统中，超节点内采用全连接网络，超节点间采用1：4裁剪的通信网络；利用这一特征，第一级任务划分将大气模式物理过程与动力框架耦合时的通信需求限制在超节点内，可以大大提高物理过程和动力框架耦合时的通信性能；而第二级任务划分保证大气模式物理过程计算时超节点内的计算任务平衡，可以大大提高大气模式物理过程的性能；因此，采用高效大气模式物理过程任务划分算法可以显著提高大气模式大规模并行时的整体性能。
35.采用上述一种高效大气模式物理过程任务划分算法时，其既能使大气模式物理过程计算任务相对平衡，又能减少大气模式与动力框架耦合时的通信开销，可显著提高大气模式大规模并行时的整体性能。
36.为了便于更好的理解本发明，下面将对本文中使用的术语进行简要的解释：
37.地球系统模式：英文名cesm，一个用于气候气象研究与预测的高性能科学工程计算应用。
38.大气模式：英文名cam，地球系统模式中的一个分量模式，通常是地球系统模式应用软件中最耗时的一个部分，主要研究大气运动以及云、降水等自然现象。
39.动力框架：大气模式组成部分之一，主要用于求解大气运动方程。
40.物理过程：大气模式组成部分之一，主要用于求解雨、云以及短波辐射等现象。
41.神威
·
太湖之光：我国第一台自主研制的超级计算机平台。
42.上述实施例只为说明本发明的技术构思及特点，其目的在于让熟悉此项技术的人士能够了解本发明的内容并据以实施，并不能以此限制本发明的保护范围。凡根据本发明精神实质所作的等效变化或修饰，都应涵盖在本发明的保护范围之内。