一种面向高性能计算的存储服务资源管理方法与流程

1.本发明涉及一种面向高性能计算的存储服务资源管理方法，属于高性能计算领域。


背景技术：

2.在高性能计算领域，随着高性能计算机的计算性能的不断提升，存储规模也在不断扩大。目前，计算性能主要通过计算资源的不断扩展来提升，而存储系统则是采用运算节点-转发节点-全局存储的三层转发架构，通过增加转发节点的数量来效缓解底层分布式存储的压力，实现存储规模的扩展。
3.在p级高性能计算机中，运算节点的数量已达到数万个，转发节点的数量也达到数百个，而在某些高性能计算平台中，运算节点与转发节点之间是以一种静态映射的方式形成固定的服务关系。在以下两种场景中，上述固定映射关系的弊端尤为突出：一是在转发节点故障时，其对应的运算节点文件系统将无法使用，为了保证计算资源不浪费，必须使用其他的转发节点来代替，但是重新映射可操作性差，而且已有的映射关系发生变化，会导致映射关系混乱，管理难度成倍增加；二是为了临时提升用户应用程序的i/o性能，一种最直接的方法就是为用户队列内的运算节点分配更多的存储服务资源，然而运算节点和存储服务资源之间重新建立映射关系实施起来比较困难。
4.在超大规模环境下，尚没有一种高效的映射查询方法，而存储服务资源调度则是以单进程方式逐一进行修改映射关系，执行效率很低。


技术实现要素：

5.本发明的目的是提供一种面向高性能计算的存储服务资源管理方法，以解决高性能计算平台中计算节点与存储服务资源之间的映射关系查询与存储服务资源调度的问题。
6.为达到上述目的，本发明采用的技术方案是：提供一种面向高性能计算的存储服务资源管理方法，基于由管理节点层、ce节点层和运算节点层构成的分层管理结构，包括运算节点到存储服务资源映射查询、存储服务资源到运算节点的映射查询和存储服务资源调度；所述管理节点，用于将待查询的运算节点分组和查询结果的格式化处理，还用于将查询任务指派到指定的ce节点，还用于选择调度策略并计算映射关系，将调度任务派送到指定的ce节点；所述ce节点层，用于在ce节点上以多进程的方式登录到多个运算节点，执行具体的查询任务，还用于在ce节点上以多进程的方式登录到转发节点，然后在转发节点上获取具体的映射信息，还用于在ce节点上以多进程的方式登录到计算节点，执行具体的调度任务；所述运算节点层为存储服务资源的使用层；所述运算节点到存储服务资源映射查询包括以下步骤：
s11、在管理节点对待查询的运算节点按照均匀分配原则分组，然后将分配好的计算节点分别派送给指定的ce节点；s12、ce节点从管理节点处获得待查询的计算节点，ce节点立即向指派的运算节点发送查询任务；s13、ce节点收到运算节点发回的查询结果，并反馈给管理节点；s14、管理节点对查询结果格式化处理并输出，从而完成运算节点存储服务资源的查询任务；所述存储服务资源到运算节点的映射查询包括以下步骤：s21、管理节点向ce节点发出查询指令后，在多个ce节点上并发登陆到转发节点；s22、在转发节点上，通过netstat命令获取已建立的tcp连接；s23、根据管理节点的查询指令中指定的端口号过滤对应存储服务资源的运算节点的ip地址和端口号；s24、根据运算节点的ip地址的命名规则，将ip地址转换成运算节点号，反馈给管理节点，在管理节点格式化输出；所述存储服务资源调度包括以下步骤：s31、管理节点选择调度策略并计算存储服务资源和计算节点的映射关系；s32、将调度任务派送到指定的ce节点；s33、在ce节点上以多进程的方式登录到计算节点，执行具体的调度任务。
7.上述技术方案中进一步改进的方案如下：1. 上述方案中，所述ce节点可复用转发节点，也可用其它单独节点代替。
8.2. 上述方案中，s31中所述调度策略可以是任何自定义的规则，根据管理需求制定。
9.由于上述技术方案的运用，本发明与现有技术相比具有下列优点：本发明提出一种高效的查询和调度方法，充分利用分层和并发的思想，将查询和调度任务分发到多个分控节点，在分控节点上又以多进程的方式实施查询和调度任务，解决了部分高性能计算平台分层架构下，存储服务资源和计算节点快速查询和调度的问题，快速高效，可扩展性、通用性强。
附图说明
10.附图1为高性能计算分层存储架构示意图；附图2为分层管理结构示意图；附图3为存储服务资源到运算节点查询流程示意图；附图4为调度任务执行流程示意图。
具体实施方式
11.实施例：本发明提供一种面向高性能计算的存储服务资源管理方法，基于由管理节点层、ce节点层和运算节点层构成的分层管理结构，包括运算节点到存储服务资源映射查询、存储服务资源到运算节点的映射查询和存储服务资源调度；所述管理节点，用于将待查询的运算节点分组和查询结果的格式化处理，还用于
将查询任务指派到指定的ce节点，还用于选择调度策略并计算映射关系，将调度任务派送到指定的ce节点；所述ce节点层，用于在ce节点上以多进程的方式登录到多个运算节点，执行具体的查询任务，还用于在ce节点上以多进程的方式登录到转发节点，然后在转发节点上获取具体的映射信息，还用于在ce节点上以多进程的方式登录到计算节点，执行具体的调度任务；所述运算节点层为存储服务资源的使用层；所述运算节点到存储服务资源映射查询包括以下步骤：s11、在管理节点对待查询的运算节点按照均匀分配原则分组，然后将分配好的计算节点分别派送给指定的ce节点；s12、ce节点从管理节点处获得待查询的计算节点，ce节点立即向指派的运算节点发送查询任务；s13、ce节点收到运算节点发回的查询结果，并反馈给管理节点；s14、管理节点对查询结果格式化处理并输出，从而完成运算节点存储服务资源的查询任务；所述存储服务资源到运算节点的映射查询包括以下步骤：s21、管理节点向ce节点发出查询指令后，在多个ce节点上并发登陆到转发节点，这里ce节点按顺序选择，ce节点数量根据转发节点数量决定，一般按照1:16进行配比，也可根据实际需求做出改变；s22、在转发节点上，通过netstat命令获取已建立的tcp连接；s23、根据管理节点的查询指令中指定的端口号过滤对应存储服务资源的运算节点的ip地址和端口号；s24、根据运算节点的ip地址的命名规则，将ip地址转换成运算节点号，反馈给管理节点，在管理节点格式化输出；所述存储服务资源调度包括以下步骤：s31、管理节点选择调度策略并计算存储服务资源和计算节点的映射关系，有了映射关系，ce节点才知道计算节点使用哪个存储服务资源，ce节点是中间执行节点，收到任务后才能知道做什么；s32、将调度任务派送到指定的ce节点；s33、在ce节点上以多进程的方式登录到计算节点，执行具体的调度任务。
12.所述ce节点可复用转发节点，也可用其它单独节点代替。
13.s31中所述调度策略可以是任何自定义的规则，根据管理需求制定。
14.对上述实施例的进一步解释如下：运算节点到存储服务资源映射查询：如图2所示，采用分层架构，管理节点负责将待查询的运算节点分组和查询结果的格式化处理，ce节点（command control nodes）负责具体的查询任务，在ce节点上以多进程的方式登录到多个运算节点并发获取指定信息，ce节点可复用转发节点，也可用其它单独节点代替。
15.具体工作流程如下：1）在管理节点对待查询的运算节点分组，分别派送给指定的ce节点；
2）ce节点向指派的运算节点发送查询任务；3）ce节点收到运算节点发回的查询结果，并反馈给管理节点；4）管理节点对查询结果格式化处理并输出，从而完成运算节点存储服务资源的查询任务。
16.存储服务资源到运算节点的映射查询：查询原理与运算节点查询存储服务资源的原理类似，管理节点将查询任务指派到指定的ce节点，在ce节点上以多进程的方式登录到转发节点，然后在转发节点上获取具体的映射信息，具体流程如图3所示。
17.管理节点发出查询指令后，在多个ce节点上并发登陆到转发节点；在转发节点上，首先，通过netstat命令来获取已建立的tcp连接；其次，根据管理节点的查询指令指定的端口号来过滤对应存储服务资源的运算节点的ip地址；接着，根据运算节点的ip地址的命名规则，将ip地址转换成运算节点号，反馈给管理节点，在管理节点格式化输出。
18.存储服务资源调度：调度原理与运算节点查询原理类似，管理节点首先选择调度策略并计算映射关系（调度策略可以是任何自定义的规则，根据管理需求制定），然后将调度任务派送到指定的ce节点，在ce节点上以多进程的方式登录到计算节点，执行具体的调度任务，具体流程如图4所示。
19.采用上述一种面向高性能计算的存储服务资源管理方法时，其提出一种高效的查询和调度方法，充分利用分层和并发的思想，将查询和调度任务分发到多个分控节点，在分控节点上又以多进程的方式实施查询和调度任务，解决了部分高性能计算平台分层架构下，存储服务资源和计算节点快速查询和调度的问题，快速高效，可扩展性、通用性强。
20.为了便于更好的理解本发明，下面将对本文中使用的术语进行简要的解释：转发节点：如图1所示，为转发层对应的节点。
21.全局文件系统：提供统一大容量的分布式文件系统。
22.前端文件系统：前端文件系统的客户端部署在计算节点，负责对用户应用程序的io请求进行规约等操作，服务端部署在转发节点，负责将计算节点的io请求转发到后端全局文件系统。
23.存储服务资源：转发节点上前端文件系统的服务端，根据转发节点、网络类型和端口号区分。
24.映射（mapping）：计算节点要使用全局文件系统，必须通过前端文件系统的服务端进行转发，即必须与一个存储服务资源建立连接，其中，一个计算节点只能连接到一个存储服务资源，一个存储服务资源可能与多个计算节点建立连接。
25.存储服务资源调度（storage server resources，ssr）：动态改变计算节点与存储服务资源的映射关系。
26.用户队列：由多个计算节点组成的一个集合。
27.上述实施例只为说明本发明的技术构思及特点，其目的在于让熟悉此项技术的人士能够了解本发明的内容并据以实施，并不能以此限制本发明的保护范围。凡根据本发明精神实质所作的等效变化或修饰，都应涵盖在本发明的保护范围之内。