一种基于定时任务框架的集群管理方法及系统与流程

1.本技术涉及数据管理技术领域，特别涉及一种基于定时任务框架的集群管理方法、系统、计算设备和计算机可读存储介质。


背景技术：

2.目前，集群的管理及监控高度依赖于厂商提供的api(application programming interface应用程序编程接口)，在厂商服务提供的接口变动时，本监控服务处于被动修改的状态；另外，在同步厂商的修改未完成之前会导致监控服务将失效，在此过程中本监控服务的调整范围以及变动大小取决于厂商，进而导致监控服务比较被动，且影响用户的使用体验。
3.因此，如何解决上述问题成为本领域技术人员亟待解决的技术问题。


技术实现要素：

4.本发明的目的是提供一种基于定时任务框架的集群管理方法、系统、计算设备和可读存储介质。
5.为解决上述问题，本发明的第一方面提供了一种基于定时任务框架的集群管理方法，包括:
6.调度监控任务访问应用程序编程接口，获取集群各节点的状态信息；
7.统计集群各节点的状态信息；
8.基于预设任务阈值与状态信息的比较，触发任务动作。
9.一些实施例中，所述调度监控任务访问应用程序编程接口，包括:
10.基于定时任务框架创建监控任务；
11.配置监控任务触发条件；
12.基于触发条件的触发,调度各监控任务访问应用程序编程接口。
13.一些实施例中，定时任务框架包括springboot的quartz框架。
14.一些实施例中，利用定时任务框架创建服务器状态监控任务；
15.基于服务器状态监控任务的触发条件的触发，调度服务器状态监控任务，并通过应用程序编程接口监控集群各节点状态，统计服务器的集群各节点共计占用的资源。
16.一些实施例中，利用定时任务框架创建任务状态监控任务；
17.基于任务状态监控任务的触发条件的触发，调度任务状态监控任务，并通过应用程序编程接口监控集群各节点状态，获取服务器的集群各节点正在执行中的任务。
18.一些实施例中，利用定时任务框架创建资源占用统计任务；
19.基于资源占用统计任务的触发条件的触发，调度资源占用统计任务，并通过应用程序编程接口监控集群各节点状态，统计任务在集群各节点的资源占用情况。
20.一些实施例中，利用定时任务框架创建会话状态监控任务；
21.基于会话状态监控任务的触发条件的触发，调度会话状态监控任务，并通过应用
程序编程接口监控集群各节点状态，获取服务器当前存在的会话信息。
22.一些实施例中，所述任务动作包括发送邮件、重启节点、关闭会话和取消查询。
23.根据本发明的另一个方面，提供了一种基于定时任务框架的集群管理系统，包括：
24.查询模块，用于访问应用程序编程接口，获取集群各节点的状态信息；
25.统计模块，用于统计集群各节点的状态信息；
26.动作模块，基于预设任务阈值与状态信息的比较，触发任务动作。
27.根据本发明的又一方面，提供了一种计算设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机指令，所述处理器执行所述指令时实现上述任意一项所述方法的步骤。
28.根据本发明的再一方面，提供了一种计算机可读存储介质，其中，该指令被处理器执行时实现上述任意一项所述方法的步骤。
29.本发明的上述技术方案具有如下有益的技术效果：
30.本技术中，基于定时任务框架定时访问应用程序编程接口，获取集群各节点的状态信息；统计集群各节点的状态信息；基于预设任务阈值与状态信息的比较，触发任务动作。本技术中，一方面，利用定时任务框架对集群节点状态进行监控，并统计各节点的状态信息，以对各节点进行状态监控；二方面，基于统计的节点状态信息，根据阈值比较分析各节点的当前状态，并触发相应的任务动作；由此可见，本技术技术方案可对集群的节点状态信息进行监控和分析，并基于阈值的比较触发任务动作，能够实现监控服务的主动调整，提升用户的使用体验。
附图说明
31.图1是根据本发明第一实施方式的计算设备的结构框图；
32.图2是根据本发明第一实施方式的基于定时任务框架的集群管理方法的流程图；
33.图3是根据本发明第一实施方式的基于定时任务框架的集群管理系统的结构框图。
具体实施方式
34.为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本发明进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。
35.在下面的描述中阐述了很多具体细节以便于充分理解本技术。但是本技术能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本技术内涵的情况下做类似推广，因此本技术不受下面公开的具体实施的限制。
36.在本技术一个或多个实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本技术一个或多个实施例。在本技术一个或多个实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本技术一个或多个实施例中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
37.应当理解，尽管在本技术一个或多个实施例中可能采用术语第一、第二等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本技术一个或多个实施例范围的情况下，第一也可以被称为第二，类似地，第二也可以被称为第一。取决于语境，如在此所使用的词语“如果”可以被解释成为“响应于确定”。
38.现有的集群的统一管理及监控，包括如下缺点：1、现有的集群的管理及监控高度依赖且受限于厂商提供的api(application programming interface)，在厂商服务提供的接口变动时，本监控服务处于被动修改的状态；另外，在同步厂商的修改未完成之前会导致监控服务将失效，在此过程中本监控服务的调整范围以及变动大小取决于厂商，进而导致监控服务比较被动，且影响用户的使用体验。
39.如何客服上述缺陷成为本领域亟待解决的问题。
40.图1示出了根据本技术一实施例的计算设备100的结构框图。该计算设备100的部件包括但不限于存储器110和处理器120。处理器120与存储器110通过总线130相连接，数据库150用于保存数据。
41.计算设备100还包括接入设备140，接入设备140使得计算设备100能够经由一个或多个网络160通信。这些网络的示例包括公用交换电话网(pstn)、局域网(lan)、广域网(wan)、个域网(pan)或诸如因特网的通信网络的组合。接入设备140可以包括有线或无线的任何类型的网络接口(例如，网络接口卡(nic))中的一个或多个，诸如ieee802.11无线局域网(wlan)无线接口、全球微波互联接入(wi-max)接口、以太网接口、通用串行总线(usb)接口、蜂窝网络接口、蓝牙接口、近场通信(nfc)接口，等等。
42.在本技术的一个实施例中，计算设备100的上述部件以及图1中未示出的其他部件也可以彼此相连接，例如通过总线。应当理解，图1所示的计算设备结构框图仅仅是出于示例的目的，而不是对本技术范围的限制。本领域技术人员可以根据需要，增添或替换其他部件。
43.计算设备100可以是任何类型的静止或移动计算设备，包括移动计算机或移动计算设备(例如，平板计算机、个人数字助理、膝上型计算机、笔记本计算机、上网本等)、移动电话(例如，智能手机)、可佩戴的计算设备(例如，智能手表、智能眼镜等)或其他类型的移动设备，或者诸如台式计算机或pc的静止计算设备。计算设备100还可以是移动式或静止式的服务器。
44.其中，处理器120可以执行图2所示的基于定时任务框架的集群管理方法中的步骤。图2示出了根据本技术一实施例的基于定时任务框架的集群管理方法的流程图，包括步骤101至步骤103。
45.本技术的技术方案基于上述技术问题的缺陷而提出，包括：
46.参考图2，本技术提供了一种基于定时任务框架的集群管理方法，包括：
47.s101、调度监控任务访问应用程序编程接口，获取集群各节点的状态信息；其中，应用程序编程接口简称api(application programming interface)。
48.一些实施例中，集群包括impala集群。
49.一些实施例中，定时任务框架包括springboot的quartz框架。
50.一些实施例中，调度监控指令定时访问应用程序编程接口，包括：基于定时任务框
架创建监控任务；配置监控任务触发条件；基于触发条件的触发，调度各监控任务访问应用程序编程接口；其中，监控任务通过应用程序编程接口监控集群各节点状态，以获取各节点的状态信息。
51.具体地，quartz定时任务框架具有调度模块、任务模块和触发模块。利用quartz定时任务框架的任务模块创建监控任务；触发模块用于为任务模块中的监控任务分配触发条件；调度模块根据触发模块的触发条件的触发调度各监控任务；其中，监控任务通过应用程序编程接口监控集群各节点状态，以获取各节点的状态信息。
52.一些实施例中，定时任务框架基于监控任务访问应用程序编程接口，通过impala的impalad获取节点的状态信息。其中，impalad(也称为impala daemon)在安装impala的每个节点上运行。impalad接受定时任务框架的任务查询后读取和写入数据文件，并通过将工作分发到impala集群中的其他impala节点来并行化查询，以获取状态信息。
53.一些实施例中，监控任务包括服务器状态监控任务、任务状态监控任务、资源占用统计任务和会话状态监控任务。
54.一些实施例中，利用定时任务框架创建服务器状态监控任务；基于服务器状态监控任务的触发条件的触发，调度服务器状态监控任务，并通过应用程序编程接口监控集群各节点状态，统计服务器的集群各节点共计占用的资源。
55.具体地，一个示例性实施例中，在任务模块内创建服务器状态监控任务；调度模块根据触发模块内预设的服务器状态监控任务的触发条件的触发，调度服务器状态监控任务，并通过应用程序编程接口监控impala集群各节点状态，以统计服务器的impala集群各节点共计占用的资源。
56.一些实施例中，利用定时任务框架创建任务状态监控任务；基于任务状态监控任务的触发条件的触发，调度任务状态监控任务，并通过应用程序编程接口监控集群各节点状态，获取服务器的集群各节点正在执行中的任务。
57.具体地，一个示例性实施例中，在任务模块内创建任务状态监控任务。其中，定时任务框架执行服务器状态监控任务的调度之后，调度模块根据触发模块内预设的任务状态监控任务的触发条件的触发，调度任务状态监控任务，并通过应用程序编程接口监控impala集群各节点状态，获取服务器的impala集群各节点正在执行中的任务，从而对节点正在执行的任务进行实时监控和分析。
58.一些实施例中，利用定时任务框架创建资源占用统计任务；基于资源占用统计任务的触发条件的触发，调度资源占用统计任务，并通过应用程序编程接口监控集群各节点状态，统计任务在集群各节点的资源占用情况。
59.具体地，一个示例性实施例中，在任务模块内创建资源占用统计任务。其中，定时任务框架执行资源占用统计任务之后，调度模块根据触发模块内预设的资源占用统计任务的触发条件的触发，调度资源占用统计任务，并通过应用程序编程接口监控impala集群各节点状态，统计任务在impala集群各节点的资源占用情况。
60.一些实施例中，利用定时任务框架创建会话状态监控任务；基于会话状态监控任务的触发条件的触发，调度会话状态监控任务，并通过应用程序编程接口监控集群各节点状态，获取服务器当前存在的会话信息。
61.具体地，一个示例性实施例中，在任务模块内包括会话状态监控任务；调度模块根
据会话状态监控任务的触发条件的触发，调度会话状态监控任务，并通过应用程序编程接口监控impala集群各节点状态，获取服务器当前存在的会话信息。
62.一些实施例中，本技术的应用程序编程接口包括云api，其中云api包括但不限于华为云api；需要理解的是，选择何种云api可按照用户需求进行配置，并申请并不做具体限定。
63.s102、统计集群各节点的状态信息；
64.其中，利用定时任务框架内的统计模块对节点的状态信息进行统计；节点的状态信息包括各节点共计占用的资源、各节点正在执行中的任务、任务在各个节点的资源占用情况和当前存在的会话(session)信息。
65.s103、基于预设任务阈值与状态信息的比较，触发任务动作。
66.一些实施例中，任务动作包括发送邮件、重启节点、关闭会话和取消查询。
67.一些实施例中，定时任务框架包括阈值模块，阈值模块用于存储任务模块的预设任务阈值；其中，基于统计的节点的状态信息与预设任务阈值的比较，触发发送邮件动作，使操作人员通过邮件渠道获取状态信息。
68.一些实施例中，基于统计的各节点正在执行中的任务与预设任务阈值的比较，触发取消查询动作；即当各节点正在执行中的任务数量较多时，取消任务的查询，释放内存或cpu空间。
69.一些实施例中，基于任务在各个节点的资源占用情况与预设任务阈值的比较，触发重启节点动作；即当任务在各个节点的资源过大时，重启节点，释放空间。
70.一些实施例中，基于当前存在的会话信息与预设任务阈值的比较，触发关闭会话动作；即当会话处于闲置状态时，关闭当前会话，释放空间。
71.一些实施例中，还包括：将节点的状态信息存储至数据库；其中，数据库包括mysql。用于动态保存任务的资源占用情况，以及记录impala集群的当前查询信息和历史任务信息。
72.本技术中，一方面，利用定时任务框架对集群节点状态进行监控，并统计各节点的状态信息，以对各节点进行状态监控；二方面，基于统计的节点状态信息，根据阈值比较分析各节点的当前状态，并触发相应的任务动作；由此可见，本技术技术方案可对集群的节点状态信息进行监控和分析，并基于阈值的比较触发任务动作，能够实现监控服务的主动调整，即针对性的对各集群的各节点作出主动的任务动作处理，及时优化查询进程和资源利用率；三方面，通过对状态信息进行入库，更方便的掌控集群内当前以及历史的任务信息，方便后续的维护。
73.在一个实施例中，任务模块内包括服务器状态监控任务；调度模块根据触发模块内预设的服务器状态监控任务的触发条件，通过应用程序编程接口监控impala集群各节点状态，获取服务器的impala集群各节点共计占用的资源；其中，获取一个节点的执行中的任务占用的内存资源，例如，占用内存资源为13％。
74.进一步，阈值模块中，存储了服务器状态监控任务的预设任务阈值10％；基于节点正在执行的任务占用资源内存与预设任务阈值的比较，正在执行中的任务资源占用超出预设任务阈值，利用做差条件式计算超出的任务资源占用差值(13％-10％＝3％)，基于差值触发任务动作，并将超出的任务取消查询。本技术实施例中，当节点正在执行中的任务占用
内存资源较多时，取消超出的任务的查询，可快速释放空间，有效优化资源。
75.在一个实施例中，任务模块内包括资源占用统计任务；调度模块根据触发模块内预设的资源占用统计任务的触发条件，通过应用程序编程接口监控impala集群各节点状态，统计任务在impala集群各节点的资源占用情况；其中，一个节点的任务的cpu占用率为65％。
76.进一步，阈值模块中，存储了资源占用统计任务的cpu阈值60％；基于节点的资源占用情况信息与cpu阈值的比较，统计的节点的资源占用情况信息超出cpu阈值，利用做差条件式计算差值(65％-60％＝5％)，基于差值触发任务动作，任务动作包括发送邮件给开发人员，提醒开发人员cpu占用率较高。本技术实施例中，当各节点的资源过大时，通知开发人员cpu的资源情况，给与开发人员合理分配cpu资源提供参考。
77.上述实施例中，还可以基于差值和预设时间发送邮件给开发人员；其中，预设时间包括4分钟。
78.在另一个示例性实施例中，任务模块内包括资源占用统计任务；调度模块根据触发模块内预设的括资源占用统计任务的触发条件，通过应用程序编程接口监控impala集群各节点状态，统计任务在impala集群各节点的资源占用情况；其中，一个节点的任务的内存占用率为90％。
79.进一步，阈值模块中，存储了资源占用统计任务的内存阈值85％；基于节点的资源占用情况信息与内存阈值的比较，统计的节点的资源占用情况信息超出内存阈值，利用做差条件式计算差值(90％-85％＝5％)，基于差值触发任务动作，任务动作包括重启节点。本技术实施例中，当各节点的资源过大时，重启集群节点，释放内存空间，使内存具有足够的存储空间，保证任务查询的正常进行。
80.上述实施例中，还可以基于差值和预设时间重启集群节点；其中，预设时间包括5-10分钟。
81.参考图3，本技术提供了一种基于定时任务框架的集群管理系统，包括查询模块、统计模块和动作模块：
82.查询模块，用于访问应用程序编程接口，获取集群各节点的状态信息；
83.统计模块，用于统计集群各节点的状态信息；
84.动作模块，基于预设任务阈值与状态信息的比较，触发任务动作。
85.具体地，查询模块内设置有任务模块、调度模块和触发模块。任务模块用于创建监控任务；触发模块为任务模块中的监控任务分配触发条件；调度模块根据触发模块的触发条件的触发调度各监控任务；其中，监控任务通过应用程序编程接口监控集群各节点状态，以获取各节点的状态信息。
86.一些实施例中，还包括：将节点的状态信息存储至数据库；其中，数据库包括mysql。用于动态保存任务的资源占用情况，以及记录集群的当前查询信息和历史任务信息。
87.本技术中，一方面，利用定时任务框架对集群节点状态进行监控，并统计各节点的状态信息，以对各节点进行状态监控；二方面，基于统计的节点状态信息，根据阈值比较分析各节点的当前状态，并触发相应的任务动作；由此可见，本技术技术方案可对集群的节点状态信息进行监控和分析，并基于阈值的比较触发任务动作，能够实现监控服务的主动调
整，即针对性的对各集群的各节点坐车主动的任务动作处理，从而提升用户的使用体验。
88.根据本发明的又一方面，提供了一种计算设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机指令，处理器执行所述指令时实现上述任意一项所述方法的步骤。
89.根据本发明的再一方面，提供了一种计算机可读存储介质，其中，该指令被处理器执行时实现上述任意一项所述方法的步骤。
90.应当理解的是，本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理，而不构成对本发明的限制。因此，在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。此外，本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。
91.上述为本实施例的一种计算机可读存储介质的示意性方案。需要说明的是，该存储介质的技术方案与上述的一种用于保证企业登录凭证安全的方法的技术方案属于同一构思，存储介质的技术方案未详细描述的细节内容，均可以参见上述一种用于保证企业登录凭证安全的方法的技术方案的描述。
92.上述对本技术特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
93.计算机指令包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
94.需要说明的是，对于前述的各方法实施例，为了简便描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本技术并不受所描述的动作顺序的限制，因为依据本技术，某些步骤可以采用其它顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定都是本技术所必须的。
95.在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其它实施例的相关描述。
96.以上公开的本技术优选实施例只是用于帮助阐述本技术。可选实施例并没有详尽叙述所有的细节，也不限制该发明仅为的具体实施方式。显然，根据本技术的内容，可作很多的修改和变化。本技术选取并具体描述这些实施例，是为了更好地解释本技术的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本技术。本技术仅受权利要求书及其全部范围和等效物的限制。