一种利用MPI的NumPy优化方法及系统与流程

技术特征：
1.一种利用mpi的numpy优化方法，其特征在于，包括以下步骤：s1：根据集群和/或主机中cpu的使用情况，对集群和/或主机中的cpu资源进行分配；s2：采用mpi进行数据交换通信，根据当前两个进程所绑定的cpu核心的物理位置，或根据主机间连接的网络方式，选择当前两个进程之间的通信方式；s3：确定当前计算节点需要并行实现的numpy方法，选择当前计算节点中numpy方法的具体实现方式，包括使用线性代数计算库intelmkl连接numpy进行并行计算、使用openblas连接numpy进行并行计算，或使用cython进行并行计算。2.根据权利要求1所述的利用mpi的numpy优化方法，其特征在于，所述s1步骤中，对集群和/或主机中的cpu资源进行分配的具体步骤包括：获取集群和/或主机中cpu的使用情况，在保持使用的numa节点数最少的条件下优先选择相对空闲的cpu核心，并将待运行计算的进程绑定在所述相对空闲的cpu核心上。3.根据权利要求1所述的利用mpi的numpy优化方法，其特征在于，所述进程间的通信方式包括共享内存、rdma、socket中的一种。4.根据权利要求3所述的利用mpi的numpy优化方法，其特征在于，所述s2步骤中，选择当前两个进程之间的通信方式的具体步骤包括：获取当前两个进程所绑定的cpu核心的物理位置，判断当前两个进程所绑定的cpu核心是否在同一计算节点：若是，则使用共享内存作为通信方式；否则进一步判断当前两个进程所绑定的cpu核心所在的两个计算节点间是否使用infiniband连接：若是，则使用rdma作为通信方式，否则使用socket利用tcp协议作为通信方式。5.根据权利要求1所述的利用mpi的numpy优化方法，其特征在于，所述s3步骤中，其具体步骤包括：s3.1：确定当前计算节点需要并行实现的numpy方法；s3.2：判断所述numpy方法是否能基于原生numpy方法利用划分数据进行有效并行，若是，则执行s3.3步骤；否则使用cython进行并行计算；s3.3：判断当前集群和/或主机使用的处理器是否支持线性代数计算库intelmkl，若是，则选择使用线性代数计算库intelmkl连接numpy进行并行计算；否则使用openblas连接numpy进行并行计算。6.根据权利要求5所述的利用mpi的numpy优化方法，其特征在于，所述s3步骤中，还包括以下步骤：判断当前集群和/或主机使用的处理器所使用的指令集是否为arm架构，若是，则使用arm架构中的neon指令集对代码的编译进行优化。7.根据权利要求1所述的利用mpi的numpy优化方法，其特征在于，采用mpi进行数据交换通信时，采用数据结构形式将多维矩阵数据存储在集群和/或主机的内存中。8.根据权利要求7所述的利用mpi的numpy优化方法，其特征在于，所述数据结构形式包括分布式多维数组数据结构。9.根据权利要求1所述的利用mpi的numpy优化方法，其特征在于，采用mpi进行数据交换通信时，使用mpi4py库进行数据交换时的数据序列化。10.一种利用mpi的numpy优化系统，应用于权利要求1～9任一项所述的利用mpi的
numpy优化方法，其特征在于，包括：cpu核心分配模块，用于根据集群和/或主机中cpu的使用情况，对集群和/或主机中的cpu资源进行分配；进程通信方式判定模块，用于选择当前两个进程之间的通信方式；底层计算实现选择模块，用于选择程序中函数的具体实现方式，包括使用线性代数计算库intelmkl连接numpy进行并行计算、使用openblas连接numpy进行并行计算，或使用cython进行并行计算。

技术总结
本发明为克服现有技术中NumPy在集群和多核计算环境下的性能不理想、兼容性差的缺陷，提出一种利用MPI的NumPy优化方法及系统，其根据集群和/或主机中CPU的使用情况，对集群和/或主机中的CPU资源进行分配；采用MPI进行数据交换通信，根据当前两个进程所绑定的CPU核心的物理位置，或根据主机间连接的网络方式，选择当前两个进程之间的通信方式；确定当前计算节点需要并行实现的NumPy方法，选择当前计算节点中NumPy方法的具体实现方式，包括使用线性代数计算库IntelMKL连接NumPy进行并行计算、使用OpenBLAS连接NumPy进行并行计算，或使用Cython进行并行计算。用Cython进行并行计算。用Cython进行并行计算。


技术研发人员：梁嘉迪 杜云飞 卢宇彤 肖侬
受保护的技术使用者：中山大学
技术研发日：2021.01.18
技术公布日：2021/10/19