一种基于超算的横向扩展实现方法及系统与流程

1.本发明属于计算机领域，尤其涉及一种基于超算的横向扩展实现方法及系统。


背景技术：

2.本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
3.随着高性能计算技术的发展，超算集群的稳定性已成为超算日常运行中的一个十分重要的组成部分，同时由于超算集群的复杂性以及超算规模的扩大，这给超算的稳定运行带来了许多不确定因素。当超算集群的规模越来越大时，如何监控整个超算系统的状态，如何保证监控质量，成为了一个关键的问题。
4.目前较为常见的解决方案，是将服务器的状态信息定时推送到指定服务器上存储，然后由指定服务器的信息进行可视化展示。这种方案的局限性在于，随着超算集群的规模越来越大，超算集群监控的可扩展性将越来越差，这就容易造成超算集群监控系统本身的时效性不准确，其监控系统本身的状态就会越来越不稳定。


技术实现要素：

5.为了解决上述背景技术中存在的技术问题，本发明提供一种基于超算的横向扩展实现方法及系统，其在不增加运维成本的前提下，设计出合理的监控方案。
6.为了实现上述目的，本发明采用如下技术方案：
7.本发明的第一个方面提供一种基于超算的横向扩展实现方法。
8.一种基于超算的横向扩展实现方法，包括：同一局域网内的超算集群服务器、监控集群服务器和信息汇总服务器，
9.根据新增超算集群服务器的指令，将新增超算集群服务器注册在监控集群中；
10.监控集群根据所有的超算集群服务器重新规划每台监控服务器所需要监控的超算集群服务器数量；
11.信息汇总服务器根据规划后每台监控服务器所需要监控的超算集群服务器数量，获取新增的监控服务器的超算集群服务器状态信息。
12.本发明的第二个方面提供一种基于超算的横向扩展实现系统。
13.一种基于超算的横向扩展实现系统，包括：同一局域网内的超算集群服务器、监控集群服务器和信息汇总服务器，其中：
14.监控集群服务器根据新增超算集群服务器的指令，将新增超算集群服务器注册在监控集群中；监控集群根据所有的超算集群服务器重新规划每台监控服务器所需要监控的超算集群服务器数量；
15.信息汇总服务器，根据规划后每台监控服务器所需要监控的超算集群服务器数量，获取新增的监控服务器的超算集群服务器状态信息。
16.本发明的第三个方面提供一种基于超算的横向扩展实现方法。
17.一种基于超算的横向扩展实现方法，包括：同一局域网内的超算集群服务器、监控集群服务器和信息汇总服务器，
18.根据新增监控集群服务器的指令，将新增监控集群服务器注册在监控集群中；
19.监控集群根据所有的监控集群服务器重新规划每台监控服务器所需要监控的超算集群服务器数量；
20.信息汇总服务器根据规划后每台监控服务器所需要监控的超算集群服务器数量，获取新增的监控服务器的超算集群服务器状态信息。
21.本发明的第四个方面提供一种基于超算的横向扩展实现系统。
22.一种基于超算的横向扩展实现系统，包括：同一局域网内的超算集群服务器、监控集群服务器和信息汇总服务器，其中：
23.监控集群服务器，根据新增监控集群服务器的指令，将新增监控集群服务器注册在监控集群中；监控集群根据所有的监控集群服务器重新规划每台监控服务器所需要监控的超算集群服务器数量；
24.信息汇总服务器，根据规划后每台监控服务器所需要监控的超算集群服务器数量，获取新增的监控服务器的超算集群服务器状态信息。
25.本发明的第五个方面提供一种计算机可读存储介质。
26.一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述第一个方面或第三个方面所述的基于超算的横向扩展实现方法中的步骤。
27.本发明的第六个方面提供一种计算机设备。
28.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述第一个方面或第三个方面所述的基于超算的横向扩展实现方法中的步骤。
29.与现有技术相比，本发明的有益效果是：
30.相对于传统的监控方案，此监控方法在不确定超算规模大小的时候，更好的实现超算的监控，减少运维成本，实现更好的监控资源分配。且在超算规模不断扩大的时候，此方案对运维成本及监控资源分配的效果更加明显。
附图说明
31.构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
32.图1是本发明实施例一示出的超算集群服务器横向扩展的监控方案框架图；
33.图2是本发明实施例三示出的监控服务器横向扩展示意图。
具体实施方式
34.下面结合附图与实施例对本发明作进一步说明。
35.应该指出，以下详细说明都是例示性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
36.需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根
据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
37.需要注意的是，附图中的流程图和框图示出了根据本公开的各种实施例的方法和系统的可能实现的体系架构、功能和操作。应当注意，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，所述模块、程序段、或代码的一部分可以包括一个或多个用于实现各个实施例中所规定的逻辑功能的可执行指令。也应当注意，在有些作为备选的实现中，方框中所标注的功能也可以按照不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，或者它们有时也可以按照相反的顺序执行，这取决于所涉及的功能。同样应当注意的是，流程图和/或框图中的每个方框、以及流程图和/或框图中的方框的组合，可以使用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以使用专用硬件与计算机指令的组合来实现。
38.实施例一
39.如图1所示，本实施例提供了一种基于超算的横向扩展实现方法，该方法包括：同一局域网内的超算集群服务器、监控集群服务器和信息汇总服务器，
40.根据新增超算集群服务器的指令，将新增超算集群服务器注册在监控集群中；
41.监控集群根据所有的超算集群服务器重新规划每台监控服务器所需要监控的超算集群服务器数量；
42.信息汇总服务器根据规划后每台监控服务器所需要监控的超算集群服务器数量，获取新增的监控服务器的超算集群服务器状态信息。
43.具体地，获取新增的超算服务器的通信地址，将其添加至监控集群；获取新增的监控服务器的通信地址，将其添加至监控集群；将监控集群发起重新规划监控超算服务器命令，新的超算监控集群将重新确定每台监控服务器应该监控的超算集群服务器，信息汇总服务器将获取新增的监控服务器的超算服务器状态信息。
44.例如，原来的超算集群服务器为m台，监控集群服务器数量为n台，新增超算集群服务器为a台，则在重新规划后，每台监控服务器监控的服务器数量为(m a)/n台。
45.具体步骤如下：
46.超算集群新增服务器后，注册到监控集群中；
47.监控集群收到注册通知后，将按照注册时获得的主机名称，将所有超算集群服务器按照字符串大小的规则从小到大排序
48.监控集群将按照当前正常的监控服务器数量来计算每台监控服务器应该监控的超算服务器数量；
49.计算规则：每台监控服务器监控的服务器数量＝所要监控的总超算集群服务器数量/当前存活的监控服务器的数量
50.监控集群将当前存活的监控服务器按照主机名按照字符串大小的规则从小到大进行排序，每台监控服务器将按照可监控服务器的最大数量从上述已排好序的超算集群服务器来获取指定数量的主机进行监控。
51.作为一种或多种实施方式，在提高扩展速度方面，我们使用约定优于配置的方案，尽可能的减少配置。
52.通常当服务器数量发生变化的时候，特别是新增或者减少的时候，都需要更改配置文件，且随着数据量越来越大，数据存储也是个问题，要不断扩展数据库集群，这是及其麻烦而且特别耗时的事情。
53.而使用超算监控方案，将极大的简化监控部署。
54.当超算集群新增服务器的时候，仅需要超算服务器的监控客户端启动时指定注册集群的ip地址及约定的注册安全口令即可，监控集群收到注册信息后通过etcd同步注册信息，所有监控服务器的配置信息都将一致。
55.对于存储方面，不同于使用类似于mysql的关系数据库，本实施例使用时序数据库prometheus来存储数据，超算监控的数据允许有损失，因此不做集群，每开一台监控服务器的服务端，存储都将扩展。因为不是集群，不存在读写时的信息同步，其读写性能将大大提高，且无需进行数据的同步。
56.实施例二
57.本实施例提供一种基于超算的横向扩展实现系统。
58.一种基于超算的横向扩展实现系统，包括：同一局域网内的超算集群服务器、监控集群服务器和信息汇总服务器，其中：
59.监控集群服务器根据新增超算集群服务器的指令，将新增超算集群服务器注册在监控集群中；监控集群根据所有的超算集群服务器重新规划每台监控服务器所需要监控的超算集群服务器数量；
60.信息汇总服务器，根据规划后每台监控服务器所需要监控的超算集群服务器数量，获取新增的监控服务器的超算集群服务器状态信息。
61.实施例三
62.本实施例提供一种基于超算的横向扩展实现方法。
63.如图2所示，一种基于超算的横向扩展实现方法，包括：同一局域网内的超算集群服务器、监控集群服务器和信息汇总服务器，
64.根据新增监控集群服务器的指令，将新增监控集群服务器注册在监控集群中；
65.监控集群根据所有的监控集群服务器重新规划每台监控服务器所需要监控的超算集群服务器数量；
66.信息汇总服务器根据规划后每台监控服务器所需要监控的超算集群服务器数量，获取新增的监控服务器的超算集群服务器状态信息。
67.具体地，在一个局域网内有x台服务器组成一个超算集群，有y台监控服务器组成一个监控集群，z台信息汇总服务器。在超算集群规模扩大时，将新增n台监控服务器添加至监控集群，且告知信息汇总服务器。此时，监控集群将重新规划每台监控服务器所需要监控的超算集群服务器数量，信息汇总服务器将获取新增的监控服务器的超算服务器状态信息。
68.例如，原来的超算集群服务器为m台，监控集群服务器适量为n台，新增监控服务器为b台，则在重新规划后，每台监控服务器监控的服务器数量为m/(n b)台。
69.具体步骤如下:
70.监控集群新增监控服务器后，注册到监控集群中
71.监控集群收到注册通知后，将按照注册时获取的主机名，将所有正常的监控服务
器按照字符串大小的规则从小到大进行排序。
72.监控集群将按照当前正常的监控服务器数量来计算每台监控服务器应该监控的超算服务器数量；
73.计算规则：每台监控服务器监控的服务器数量＝所要监控的总超算集群服务器数量/当前存活的监控服务器的数量
74.每台监控服务器将按照可监控的服务器的最大数量从已排好序的超算集群服务器来获取指定数量的主机进行监控。
75.作为一种或多种实施方式，在提高扩展速度方面，我们使用约定优于配置的方案，尽可能的减少配置。
76.通常当服务器数量发生变化的时候，特别是新增或者减少的时候，都需要更改配置文件，且随着数据量越来越大，数据存储也是个问题，要不断扩展数据库集群，这是及其麻烦而且特别耗时的事情。
77.而使用超算监控方案，将极大的简化监控部署。
78.当监控集群新增服务器的时候，相同的，也仅仅需要监控服务器启动服务端的时候指定注册集群的ip及约定的注册安全口令即可，监控集群收到注册信息后通过etcd同步注册信息，所有监控服务器的配置信息都将一致。
79.对于存储方面，不同于使用类似于mysql的关系数据库，我们使用时序数据库prometheus来存储数据，超算监控的数据允许有损失，因此不做集群，每开一台监控服务器的服务端，存储都将扩展。因为不是集群，不存在读写时的信息同步，其读写性能将大大提高，且无需进行数据的同步。
80.实施例四
81.本实施例提供一种基于超算的横向扩展实现系统。
82.一种基于超算的横向扩展实现系统，包括：同一局域网内的超算集群服务器、监控集群服务器和信息汇总服务器，其中：
83.监控集群服务器，根据新增监控集群服务器的指令，将新增监控集群服务器注册在监控集群中；监控集群根据所有的监控集群服务器重新规划每台监控服务器所需要监控的超算集群服务器数量；
84.信息汇总服务器，根据规划后每台监控服务器所需要监控的超算集群服务器数量，获取新增的监控服务器的超算集群服务器状态信息。
85.实施例五
86.一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述实施例一或实施例三所述的基于超算的横向扩展实现方法中的步骤。
87.实施例六
88.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述实施例一或实施例三所述的基于超算的横向扩展实现方法中的步骤。
89.本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储
介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
90.本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
91.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
92.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
93.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(read-only memory，rom)或随机存储记忆体(random accessmemory，ram)等。
94.以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。