一种监控集群的方法、装置、设备及可读介质与流程

1.本发明涉及计算机领域，并且更具体地涉及一种监控集群的方法、装置、设备及可读介质。


背景技术：

2.近年来，随着计算机技术的发展，使用集群构造超级计算机或者服务器成为一种流行趋势。集群的规模已从过去的几个节点扩展到数百甚至数千个节点。集群系统的监控管理变得越来越复杂，集群的管理和监控也越来越成为一项富有挑战性的工作。如何高效地监控集群并快速维护集群系统已成为集群管理者耗时而费力的工作。由于收集的集群监控信息庞大且未经处理，用户无法直观地从这些数据中获得优化集群系统的依据。


技术实现要素：

3.有鉴于此，本发明实施例的目的在于提出一种监控集群的方法、装置、设备及可读介质，通过使用本发明的技术方案，能够减少集群通信的开销，具有良好的可扩展性，能够快速发现并及时处理集群故障，提高整个集群系统的可用性，能够为集群的系统优化提供数据支持和分析依据。
4.基于上述目的，本发明的实施例的一个方面提供了一种监控集群的方法，包括以下步骤：
5.在集群的节点中选择主管理节点，将集群中其余节点直接或间接连接到主管理节点以构建节点拓扑结构；
6.采集每个节点的信息，并将采集到的信息汇总到主管理节点中；
7.响应于主管理节点接收到各个节点汇总的信息，将接收到的信息与阈值进行比较；
8.响应于接收到的信息大于阈值，发出相应的警告信息。
9.根据本发明的一个实施例，在集群的节点中选择主管理节点，将集群中其余节点直接或间接连接到主管理节点以构建节点拓扑结构包括：
10.在集群的节点中选择一个节点作为主管理节点，将其余节点定义为普通节点；
11.根据主管理节点能够连接其他节点的数量选择对应数量的普通节点连接到主管理节点；
12.选择一个与主管理节点连接的普通节点作为一级子管理节点，根据一级子管理节点能够连接其他节点的数量选择对应数量的普通节点连接到一级子管理节点，重复当前步骤，直到与主管理节点连接的普通节点全部成为一级子管理节点；
13.选择一个与一级子管理节点连接的普通节点作为二级子管理节点，根据二级子管理节点能够连接其他节点的数量选择对应数量的普通节点连接到二级子管理节点，重复当前步骤直到所有节点连接完成以形成节点拓扑结构。
14.根据本发明的一个实施例，采集每个节点的信息，并将采集到的信息汇总到主管
理节点中包括：
15.采集每个节点的cpu负载信息、内存负载信息、节点的网络负载信息、磁盘容量、cpu温度、电压、风扇转速和用户在线时间的信息，并将采集到的信息发送到节点对应的管理节点中；
16.管理节点将接收到的信息以及节点本身采集到的信息发送到上一级管理节点中，直到全部信息汇总到主管理节点中。
17.根据本发明的一个实施例，还包括：
18.将采集到的信息存储到数据库中，并根据需求输出cpu消耗报告和网络流量报告。
19.本发明的实施例的另一个方面，还提供了一种监控集群的装置，装置包括：
20.构建模块，构建模块配置为在集群的节点中选择主管理节点，将集群中其余节点直接或间接连接到主管理节点以构建节点拓扑结构；
21.采集模块，采集模块配置为采集每个节点的信息，并将采集到的信息汇总到主管理节点中；
22.比较模块，比较模块配置为响应于主管理节点接收到各个节点汇总的信息，将接收到的信息与阈值进行比较；
23.告警模块，告警模块配置为响应于接收到的信息大于阈值，发出相应的警告信息。
24.根据本发明的一个实施例，构建模块还配置为：
25.在集群的节点中选择一个节点作为主管理节点，将其余节点定义为普通节点；
26.根据主管理节点能够连接其他节点的数量选择对应数量的普通节点连接到主管理节点；
27.选择一个与主管理节点连接的普通节点作为一级子管理节点，根据一级子管理节点能够连接其他节点的数量选择对应数量的普通节点连接到一级子管理节点，重复当前步骤，直到与主管理节点连接的普通节点全部成为一级子管理节点；
28.选择一个与一级子管理节点连接的普通节点作为二级子管理节点，根据二级子管理节点能够连接其他节点的数量选择对应数量的普通节点连接到二级子管理节点，重复当前步骤直到所有节点连接完成以形成节点拓扑结构。
29.根据本发明的一个实施例，采集模块还配置为：
30.采集每个节点的cpu负载信息、内存负载信息、节点的网络负载信息、磁盘容量、cpu温度、电压、风扇转速和用户在线时间的信息，并将采集到的信息发送到节点对应的管理节点中；
31.管理节点将接收到的信息以及节点本身采集到的信息发送到上一级管理节点中，直到全部信息汇总到主管理节点中。
32.根据本发明的一个实施例，还包括输出模块，输出模块配置为：
33.将采集到的信息存储到数据库中，并根据需求输出cpu消耗报告和网络流量报告。
34.本发明的实施例的另一个方面，还提供了一种计算机设备，该计算机设备包括：
35.至少一个处理器；以及
36.存储器，存储器存储有可在处理器上运行的计算机指令，指令由处理器执行时实现上述任意一项方法的步骤。
37.本发明的实施例的另一个方面，还提供了一种计算机可读存储介质，计算机可读
存储介质存储有计算机程序，计算机程序被处理器执行时实现上述任意一项方法的步骤。
38.本发明具有以下有益技术效果：本发明实施例提供的监控集群的方法，通过在集群的节点中选择主管理节点，将集群中其余节点直接或间接连接到主管理节点以构建节点拓扑结构；每个节点采集节点的信息，并将采集到的信息汇总到主管理节点中；响应于主管理节点接收到各个节点汇总的信息，将接收到的信息与阈值进行比较；响应于接收到的信息大于阈值，发出相应的警告信息的技术方案，能够减少集群通信的开销，具有良好的可扩展性，能够快速发现并及时处理集群故障，提高整个集群系统的可用性，能够为集群的系统优化提供数据支持和分析依据。
附图说明
39.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的实施例。
40.图1为根据本发明一个实施例的监控集群的方法的示意性流程图；
41.图2为根据本发明一个实施例的监控集群的系统的示意图；
42.图3为根据本发明一个实施例的节点拓扑结构和信息传递链的示意图；
43.图4为根据本发明一个实施例的监控集群的装置的示意图；
44.图5为根据本发明一个实施例的计算机设备的示意图；
45.图6为根据本发明一个实施例的计算机可读存储介质的示意图。
具体实施方式
46.为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明实施例进一步详细说明。
47.基于上述目的，本发明的实施例的第一个方面，提出了一种监控集群的方法的一个实施例。图1示出的是该方法的示意性流程图。
48.如图1中所示，该方法可以包括以下步骤：
49.s1在集群的节点中选择主管理节点，将集群中其余节点直接或间接连接到主管理节点以构建节点拓扑结构。可以在集群的一个节点上设置监控模块，该监控模块自动读取配置文件中的节点信息，将运行监控模块的节点作为根节点，也称为主管理节点(mn)，并根据广度优先的原则将其他节点依次连接为普通节点(cn)，当主管理节点(mn)的附件数达到饱和值时(即最多连接3个节点)，启动与主管理节点连接的一个普通节点成为子管理节点(cmn)，并将普通节点连接到子管理节点，当子管理节点(cmn)达到饱和值时，主管理节点启动与主管理节点连接的另一个普通节点进行连接，以此类推。当与主管理节点连接的所有普通节点都成为子管理节点时，启动子管理节点下的普通节点成为次子管理节点，依次类推，直到连接配置文件中的所有节点。
50.s2采集每个节点的信息，并将采集到的信息汇总到主管理节点中。当节点开始信息采集时，所有普通节点的信息向上传输到其子管理节点，子管理节点将信息链接起来，然后再链接自己的信息，再传输到上级子管理节点，最后传输到主管理节点，主管理节点将接
收到与饱和值相等的信息链。这种信息传输方式可以确保网络上监控信息的转发次数最少，提高监控任务的执行效率。这种传输信息的方式很容易扩大集群的规模。
51.s3响应于主管理节点接收到各个节点汇总的信息，将接收到的信息与阈值进行比较。每个节点采集的信息包括：cpu、内存、节点的网络负载信息，以及磁盘容量、cpu温度、电压、风扇转速和用户在线时间，在收集这些信息后与用户设置的阈值进行比较。
52.s4响应于接收到的信息大于阈值，发出相应的警告信息。如果采集到的信息超过设置的阈值，将根据用户设置的报警方法进行报警，用户可以设置的报警方式包括：邮件、短信，方便用户及时获取故障信息，快速处理故障，提高整个集群系统的可用性。还可以将采集的信息存储在数据库中，可以根据用户需求输出cpu消耗报告和网络流量报告，为用户集群系统优化提供数据支持和分析依据。还可以使用如图2所示的系统实现上述方法，系统包括设置监控模块、信息采集模块、报警模块和信息统计处理模块，其中监控模块是整个监控过程的核心，控制整体操作；信息采集模块与监控模块连接，从监控模块获取节点拓扑关系，形成信息传输链，采集集群中节点的信息。根据这种信息传输模式，可以减少通信开销，并且具有良好的可扩展性；报警模块与信息采集模块连接，判断信息采集模块采集的信息是否超过阙值。如果超过，将根据用户设置的报警模式(邮件和短信)为用户提供性能预警和硬件报警；信息统计处理模块与信息采集模块连接，将判断信息采集模块采集的信息存储在数据库中，以备将来处理，它还可以根据用户的需要输出cpu消耗报告和网络流量报告。
53.通过使用本发明的技术方案，能够减少集群通信的开销，具有良好的可扩展性，能够快速发现并及时处理集群故障，提高整个集群系统的可用性，能够为集群的系统优化提供数据支持和分析依据。
54.在本发明的一个优选实施例中，在集群的节点中选择主管理节点，将集群中其余节点直接或间接连接到主管理节点以构建节点拓扑结构包括：
55.在集群的节点中选择一个节点作为主管理节点，将其余节点定义为普通节点；
56.根据主管理节点能够连接其他节点的数量选择对应数量的普通节点连接到主管理节点；
57.选择一个与主管理节点连接的普通节点作为一级子管理节点，根据一级子管理节点能够连接其他节点的数量选择对应数量的普通节点连接到一级子管理节点，重复当前步骤，直到与主管理节点连接的普通节点全部成为一级子管理节点；
58.选择一个与一级子管理节点连接的普通节点作为二级子管理节点，根据二级子管理节点能够连接其他节点的数量选择对应数量的普通节点连接到二级子管理节点，重复当前步骤直到所有节点连接完成以形成节点拓扑结构。如图3所示，集群中有8个节点，每个节点可以连接3个节点，选择一个节点作为主管理节点(mn)，根据宽度优先的原则，主管理节点连接其他节点作为普通节点cn1，cn2，cn3，普通节点收集监控信息的节点，当主管理节点(mn)接入节点数达到饱和值n(根据主管理节点所能承受的负载，饱和值n为3)时，启动普通节点(cn1)成为子管理节点(cmn1)。子管理节点(cmn1)继续连接普通节点cn4、cn5、cn6。子管理节点(cmn1)收集所有普通节点和自身的信息。当子管理节点(cmn1)达到饱和值时，主管理节点启动另一个普通节点(cn3)作为子管理节点(cmn3)挂载，直到挂载配置文件中的所有节点，本例中挂载的是cn7。当所有普通节点都变成子管理节点时，子管理节点下的普
通节点也变成子管理节点，可挂载的最大节点数为n
×
(n 1)。当信息收集时，所有普通节点的信息都会被转发到子管理节点，子管理节点接收到信息后，将信息链接起来，并将自己的信息链接到后面，然后向上传递一级到管理节点，该节点接收与饱和值相等的信息链。其中m4、m5、m6传输给cmn1，cmn1将它们链接到m4 m5 m6，然后将自己的信息链接到后面的m4 m5 m6 m1，最后，主管理节点接收到m4 m5 m6 m1、m2和m7 m3三条信息链。
59.在本发明的一个优选实施例中，采集每个节点的信息，并将采集到的信息汇总到主管理节点中包括：
60.采集每个节点的cpu负载信息、内存负载信息、节点的网络负载信息、磁盘容量、cpu温度、电压、风扇转速和用户在线时间的信息，并将采集到的信息发送到节点对应的管理节点中；
61.管理节点将接收到的信息以及节点本身采集到的信息发送到上一级管理节点中，直到全部信息汇总到主管理节点中。
62.在本发明的一个优选实施例中，还包括：
63.将采集到的信息存储到数据库中，并根据需求输出cpu消耗报告和网络流量报告。
64.通过使用本发明的技术方案，能够减少集群通信的开销，具有良好的可扩展性，能够快速发现并及时处理集群故障，提高整个集群系统的可用性，能够为集群的系统优化提供数据支持和分析依据。
65.需要说明的是，本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关硬件来完成，上述的程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中存储介质可为磁碟、光盘、只读存储器(read-only memory，rom)或随机存取存储器(random access memory，ram)等。上述计算机程序的实施例，可以达到与之对应的前述任意方法实施例相同或者相类似的效果。
66.此外，根据本发明实施例公开的方法还可以被实现为由cpu执行的计算机程序，该计算机程序可以存储在计算机可读存储介质中。在该计算机程序被cpu执行时，执行本发明实施例公开的方法中限定的上述功能。
67.基于上述目的，本发明的实施例的第二个方面，提出了一种监控集群的装置，如图4所示，装置200包括：
68.构建模块，构建模块配置为在集群的节点中选择主管理节点，将集群中其余节点直接或间接连接到主管理节点以构建节点拓扑结构；
69.采集模块，采集模块配置为采集每个节点的信息，并将采集到的信息汇总到主管理节点中；
70.比较模块，比较模块配置为响应于主管理节点接收到各个节点汇总的信息，将接收到的信息与阈值进行比较；
71.告警模块，告警模块配置为响应于接收到的信息大于阈值，发出相应的警告信息。
72.在本发明的一个优选实施例中，构建模块还配置为：
73.在集群的节点中选择一个节点作为主管理节点，将其余节点定义为普通节点；
74.根据主管理节点能够连接其他节点的数量选择对应数量的普通节点连接到主管理节点；
75.选择一个与主管理节点连接的普通节点作为一级子管理节点，根据一级子管理节点能够连接其他节点的数量选择对应数量的普通节点连接到一级子管理节点，重复当前步骤，直到与主管理节点连接的普通节点全部成为一级子管理节点；
76.选择一个与一级子管理节点连接的普通节点作为二级子管理节点，根据二级子管理节点能够连接其他节点的数量选择对应数量的普通节点连接到二级子管理节点，重复当前步骤直到所有节点连接完成以形成节点拓扑结构。
77.在本发明的一个优选实施例中，采集模块还配置为：
78.采集每个节点的cpu负载信息、内存负载信息、节点的网络负载信息、磁盘容量、cpu温度、电压、风扇转速和用户在线时间的信息，并将采集到的信息发送到节点对应的管理节点中；
79.管理节点将接收到的信息以及节点本身采集到的信息发送到上一级管理节点中，直到全部信息汇总到主管理节点中。
80.在本发明的一个优选实施例中，还包括输出模块，输出模块配置为：
81.将采集到的信息存储到数据库中，并根据需求输出cpu消耗报告和网络流量报告。
82.基于上述目的，本发明实施例的第三个方面，提出了一种计算机设备。图5示出的是本发明提供的计算机设备的实施例的示意图。如图5所示，本发明实施例包括如下装置：至少一个处理器21；以及存储器22，存储器22存储有可在处理器上运行的计算机指令23，指令由处理器执行时实现以上方法。
83.基于上述目的，本发明实施例的第四个方面，提出了一种计算机可读存储介质。图6示出的是本发明提供的计算机可读存储介质的实施例的示意图。如图6所示，计算机可读存储介质31存储有被处理器执行时执行如上方法的计算机程序32。
84.此外，根据本发明实施例公开的方法还可以被实现为由处理器执行的计算机程序，该计算机程序可以存储在计算机可读存储介质中。在该计算机程序被处理器执行时，执行本发明实施例公开的方法中限定的上述功能。
85.此外，上述方法步骤以及系统单元也可以利用控制器以及用于存储使得控制器实现上述步骤或单元功能的计算机程序的计算机可读存储介质实现。
86.本领域技术人员还将明白的是，结合这里的公开所描述的各种示例性逻辑块、模块、电路和算法步骤可以被实现为电子硬件、计算机软件或两者的组合。为了清楚地说明硬件和软件的这种可互换性，已经就各种示意性组件、方块、模块、电路和步骤的功能对其进行了一般性的描述。这种功能是被实现为软件还是被实现为硬件取决于具体应用以及施加给整个系统的设计约束。本领域技术人员可以针对每种具体应用以各种方式来实现的功能，但是这种实现决定不应被解释为导致脱离本发明实施例公开的范围。
87.在一个或多个示例性设计中，功能可以在硬件、软件、固件或其任意组合中实现。如果在软件中实现，则可以将功能作为一个或多个指令或代码存储在计算机可读介质上或通过计算机可读介质来传送。计算机可读介质包括计算机存储介质和通信介质，该通信介质包括有助于将计算机程序从一个位置传送到另一个位置的任何介质。存储介质可以是能够被通用或专用计算机访问的任何可用介质。作为例子而非限制性的，该计算机可读介质可以包括ram、rom、eeprom、cd-rom或其它光盘存储设备、磁盘存储设备或其它磁性存储设备，或者是可以用于携带或存储形式为指令或数据结构的所需程序代码并且能够被通用或
专用计算机或者通用或专用处理器访问的任何其它介质。此外，任何连接都可以适当地称为计算机可读介质。例如，如果使用同轴线缆、光纤线缆、双绞线、数字用户线路(dsl)或诸如红外线、无线电和微波的无线技术来从网站、服务器或其它远程源发送软件，则上述同轴线缆、光纤线缆、双绞线、dsl或诸如红外线、无线电和微波的无线技术均包括在介质的定义。如这里所使用的，磁盘和光盘包括压缩盘(cd)、激光盘、光盘、数字多功能盘(dvd)、软盘、蓝光盘，其中磁盘通常磁性地再现数据，而光盘利用激光光学地再现数据。上述内容的组合也应当包括在计算机可读介质的范围内。
88.以上是本发明公开的示例性实施例，但是应当注意，在不背离权利要求限定的本发明实施例公开的范围的前提下，可以进行多种改变和修改。根据这里描述的公开实施例的方法权利要求的功能、步骤和/或动作不需以任何特定顺序执行。此外，尽管本发明实施例公开的元素可以以个体形式描述或要求，但除非明确限制为单数，也可以理解为多个。
89.应当理解的是，在本文中使用的，除非上下文清楚地支持例外情况，单数形式“一个”旨在也包括复数形式。还应当理解的是，在本文中使用的“和/或”是指包括一个或者一个以上相关联地列出的项目的任意和所有可能组合。
90.上述本发明实施例公开实施例序号仅仅为了描述，不代表实施例的优劣。
91.本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
92.所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本发明实施例公开的范围(包括权利要求)被限于这些例子；在本发明实施例的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，并存在如上的本发明实施例的不同方面的许多其它变化，为了简明它们没有在细节中提供。因此，凡在本发明实施例的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本发明实施例的保护范围之内。