一种基于调度中心的集群管理系统的制作方法

1.本技术涉及区块链应用技术领域，具体公开了一种基于调度中心的集群管理系统。


背景技术：

2.在目前传统的集群管理系统中，缺少节点状态监测管理的程序，无法实时监控各个节点的运行状态，无法查看当前所有运行的节点信息；
3.且节点扩展方式为手动扩展，把镜像部署到相应节点之后，再手动更改节点中的项目配置，从而实现其扩展，较为复杂；
4.且上下线流程复杂，需要手动启动或停止节点内部的项目，校验节点的可用性较为困难。
5.因此，发明人有鉴于此，提供了一种基于调度中心的集群管理系统，以便解决上述问题。


技术实现要素：

6.本发明的目的在于解决传统的集群管理系统中存在缺少节点状态监测管理的过程，导致无法实时监控各个节点的运行状态的问题。
7.为了达到上述目的，本发明的基础方案提供一种基于调度中心的集群管理系统，包括业务数据库：业务数据库内包含具体的业务列表；
8.执行节点群：与业务数据库关联并用于执行业务；
9.配置数据库：与执行节点群关联并用于存储及配置节点数据；
10.任务调度中心：与配置数据库关联并用于调用执行节点；
11.执行节点群内设有若干单个执行节点。
12.进一步，所述单个节点是指实际执行具体业务逻辑的虚拟机或物理机。每个虚拟机和物理机为一个单独的执行节点。
13.进一步，所述业务数据库内包含具体的任务列表，执行节点可由任务调度中心控制从业务数据库内拉取任务进行执行。通过任务调度中心控制执行节点进行任务的执行状态，可通过任务调度中心直接观察节点状态。
14.进一步，所述执行节点从业务数据库内拉取任务的具体流程如下：
15.步骤a001：由任务调度中心向执行节点发送调用请求；
16.步骤a002：执行节点收到调用请求后再业务数据库中查询还未执行的最久的一条任务，修改其状态为执行中；
17.步骤a003：由执行节点执行其对应的业务功能。
18.进一步，所述任务调度中心调用执行节点的策略包括连续执行的路由策略和阻塞处理策略。
19.进一步，所述路由策略为：当调度中心检测到执行节点有任务执行或出现故障的
时候，会把任务分配给下一个执行节点。
20.进一步，所述阻塞处理策略为：当路由策略出现问题，执行节点在执行任务的时候接收到新的任务，会等待当前任务执行完毕再执行新的任务，不会丢弃新的任务，也不会覆盖旧的任务。
21.进一步，本发明还可对新加入的执行节点进行如下检测:
22.步骤s001：启动执行节点，观察其配置信息是否出现在任务调度中心中，出现了则表明该节点上线成功，没出现则说明该节点上线失败；
23.步骤s002：通过调度中心调用该接节点的业务内容，若能从业务数据库拉取任务并执行，则说明该节点可用，若不能从业务数据库拉取任务或不能执行，则说明该节点不可用。
24.与现有技术相比，本发明的有益效果为：
25.1.本发明集群维护方便，所有节点信息都显示在一个列表里，可以快速定位故障节点。
26.2.本发明上下线流程方便，仅通过修改数据库就能实现一个节点的上线以及下线。
27.3.本发明节点可用性校验方便，直接在任务调度中心调用对应节点的业务服务即可验证其可用性。
28.4.与现有技术相比，本发明通过任务调度中心和配置数据库的配合，可直接在任务调度中心调用对应节点，即可监控该节点的信息以及可用性，解决了传统的集群管理系统中存在缺少节点状态监测管理的过程，导致无法实时监控各个节点的运行状态的问题。
附图说明
29.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
30.图1示出了本技术实施例提出的一种基于调度中心的集群管理系统的框架示意图；
31.图2示出了本技术实施例提出的一种基于调度中心的集群管理系统的流程示意图；
32.图3示出了本技术实施例提出的一种基于调度中心的集群管理系统的流程示意图。
具体实施方式
33.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
34.下面通过具体实施方式进一步详细的说明：
35.一种基于调度中心的集群管理系统，实施例如图1所示：可知包括配置数据库、任务调度中心、执行节点集群和业务数据库，其中业务数据库与执行节点群关联，执行节点群用于执行所需待处理的业务，执行节点群与配置数据库关联，配置数据库用于存储及配置节点数据、配置数据库还与任务调度中心进行关联，任务调度中心则用于调用执行节点，执行节点群内设有若干单个执行节点；
36.任务调度中心具体功能如下：从配置数据库中获取定时任务的信息，并根据任务信息的需求调用合适的执行节点，该执行节点需处于空闲状态且未处于故障状态，任务调度中心通过发出心跳检测请求对该执行节点需处于空闲状态且未处于故障状态进行检测；
37.执行节点集群群的具体功能如下：包含若干可被任务调度中心调度的执行节点，执行节点是实际执行自动化脚本进行取证的虚拟机或物理机，执行节点集群部署，任务调度中心根据感知到的在线的所有执行节点，如“127.0.0.1:9997,127.0.0.1:9998,127.0.0.1:9999”,创建一个列表，排序规则：升序排列，首先根据ip，分四段，从左往右依次比较，当ip相同的时候，根据端口号升序排列，当调度中心每次发起调度请求时，会按照顺序对执行器发出心跳检测请求；
38.任务调度中心首先对第一个地址进行心跳检测，心跳失败因此自动跳过，第二个依然心跳检测失败
……
直至心跳检测第三个地址“127.0.0.1:9999”成功，选定为“目标执行器”；然后对“目标执行器”发送调度请求》；
39.心跳机制：执行节点每隔10秒向调度中心发送本身的ip地址、端号、存活状态的数据到调度中心，调度中心如果1分钟内都没有收到执行节点发送来的存活数据则认为该节点出现故障，不再调用该节点。如果调度中心如果1分钟内收到执行节点发送来的数据，表明该功能正常，并且重置调度中心一分钟的计时；
40.心跳检测请求：调度中心向执行节点发送心跳请求，执行节点不再等待10秒，而是直接向调度中心发送存活状态信息，调度中心20s内未收到存活状态信息，则认为该执行节点出现故障，20s内收到存活状态信息，则执行节点状态正常，对“目标执行器”发送调度请求；
41.结合图1可知，执行节点群内包含了若干的单个执行节点，单个执行节点之间可相互关联，每个执行节点都是最小的业务执行单元，执行节点群内的单个执行节点可由任务调度中心进行调用，且执行节点群内的每个执行节点的配置信息均保存至配置数据库内，执行节点集群还与业务数据库进关联，业务数据库内包含了具体的任务列表，执行节点可由任务调度中心控制从业务数据库内拉取任务进行执行，再把执行好的任务信息再写入数据库，完成信息的反馈，配置数据库还关联有任务调度中心，任务调度中心可以显示所有正常运行的节点信息，并且调用这些节点去执行任务，使用者可通过任务调度中心所显示的节点信息来对节点进行判断，同时查看该节点是否正常工作，其中，判断节点是否正常工作的方法如下：
42.首先调度中心向执行节点发送调度请求，执行节点在接收到调度请求后会立刻发送响应到调度中心，如果调度中心在发送调度请求之后并未收到响应，则执行节点处于故障状态；
43.当执行节点正常工作时，执行节点将从业务数据库内拉取任务，执行节点拉取任务的具体流程如下：
44.步骤a001，由任务调度中心向执行节点发送调用请求；
45.步骤a002，执行节点收到调用请求后去业务数据库中查询还未执行的最久的一条任务；
46.步骤a003，执行节点将对所选取的任务修改其状态为执行中，然后由执行节点执行其对应的业务功能；
47.任务调度中心调用执行节点的策略包括连续执行的两部分，分别依次为：执行策略和纠错策略，当第一部分失效时，由第二部分代替第一部分，以完成第一部分的工作；
48.第一部分为执行策略，也称路由策略：
49.调度中心检测到执行节点有任务执行或出现故障的时候，会把任务分配给下一个执行节点，分配的步骤还是先向执行节点发送调用请求，然后执行节点调用所需执行的任务或者因故障而未完成的任务进行执行；
50.具体的路由策略如下：
51.a.任务调度中心对相应执行节点发起心跳请求；
52.b.执行节点接受到任务调度中心发起的心跳请求后，在10s时间内向任务调度中心反馈状态信息；
53.c.任务调度中心在20s时间内收到执行节点反馈的状态信息，则判定该执行节点没有故障，若任务调度中心在20s时间内没有收到执行节点反馈的状态信息，则判断该执行节点故障，并对下一个执行节点进行上述a步骤；
54.第二部分为纠错策略，也称阻塞处理策略：如果路由策略出现问题，执行节点在执行任务的时候接收到新的任务，会等待当前任务执行完毕再执行新的任务，不会丢弃新的任务，也不会覆盖旧的任务；
55.具体的阻塞处理策略如下：
56.d.任务调度中心对标记为正常状态下的执行节点发起心跳请求；
57.e.被标记为正常状态下的执行节点接受到任务调度中心发起的心跳请求后，在10s时间内向任务调度中心反馈状态信息；
58.f.任务调度中心在10s时间内收到标记为正常状态下的执行节点反馈的状态信息，则判定该执行节点空闲，若任务调度中心在10s～20s时间内收到标记为正常状态下的执行节点反馈的状态信息，则判断该执行节点忙碌，若任务调度中心在20s时间没有内收到标记为正常状态下的执行节点反馈的状态信息，则判断该执行节点故障，并将该信息反馈到任务调度中心，任务调度中心接受到该执行节点忙碌或者故障的反馈信息后，依次对下一个执行节点进行是否故障检测，选取一个处于正常状态下的执行节点，并将其标记为正常状态的执行节点，根据编号对下一个标记为正常状态下的执行节点进行上述d步骤，直到选取出未处于故障状态且处于空闲状态的执行节点并将其标记为“目标执行节点”；然后对“目标执行节点”发送调度请求，调度该执行节点执行自动取证任务；
59.本发明中的心跳检测反馈时间并不限定于10s或者20s，可以根据使用需求以及运算效力进行设定例如2s、5s等；
60.如图2和图3所示，本发明还可对执行节点进行检测，检测方法为：
61.启动执行节点，在任务调度中心进行观测，当可以在任务调度中心查看到此执行节点的配置信息时，表明该节点上线成功；
62.若在任务调度中心未看到此执行节点的配置信息时，则表明该节点上线未成功，并将该信息进行反馈；
63.同时在调度中心调用此节点的业务内容，能够从业务数据库拉取任务并且完整执行，即可校验节点的可用性；
64.若节点不能从业务数据库中进行任务的拉取或者拉取了任务后不能完整执行，则表明该节点不可用；
65.当需要扩展节点时，将镜像部署到新的节点上，新的节点将自动加入执行节点群，然后启动执行节点，先通过任务调度中心查看新加入的节点是否上线成功，若上线成功则继续验证该节点的可用性，保证该新加入的节点能完成所需完成的工作并能投入到任务分配中；
66.其中镜像部署主要通过阿里云的功能进行实现，新节点的配置信息将被写入配置数据库中保存，配置信息主要包含调度中心地址、端口号和分组名等，用于节点直接连接到任务调度中心，配置信息以键值对的方法存入，便于后续配置属性的扩展；
67.综上，与现有技术相比，本发明通过任务调度中心和配置数据库的配合，可直接在任务调度中心调用对应节点，即可监控该节点的信息以及可用性，解决了传统的集群管理系统中存在缺少节点状态监测管理的过程，导致无法实时监控各个节点的运行状态的问题。
68.尽管为使解释简单化，将上述方法图示并描述为一系列动作，但应理解并领会，这些方法不受动作的次序所限。根据一个或多个实施例，一些动作可按不同次序发生和/或与来自本文中图示和描述或本文中未图示和描述但本领域技术人员可以理解的其他动作并发地发生。为使本领域技术人员将进一步领会，结合本文中所公开的实施例来描述的各种解说性逻辑板块、模块、电路、和算法步骤可实现为电子硬件、计算机软件或这两者的组合。为清楚地解说硬件与软件的这一可互换性，各种解说性组件、框、模块、电路和步骤在上面是以其功能性的形式作一般化描述的。此类功能性是被实现为硬件还是软件取决于具体应用和施加于整体系统的设计约束。技术人员对于每种特定应用可用不同的方式来实现所描述的功能性，但这样的实现决策不应被解读成导致脱离了本发明的范围。结合本文所公开的实施例描述的各种解说性逻辑板块、模块和电路可用通用处理器、数字信号处理器(dsp)、专用集成电路(asic)、现场可编程门阵列(fpga)或其它可编程逻辑器件、分立的门或晶体管逻辑、分立的硬件组件或其设计成执行本文所描述功能的任何组合来实现或执行。通用处理器可以是微处理器，但在替换方案中，该处理器可以是任何常规的处理器、控制器、微控制器或状态机。处理器还可以被实现为计算设备的组合，例如dsp与微处理器的组合、多个微处理器、与dsp核心协作的一个或多个微处理器或任何其他此类配置。结合本文中公开的实施例描述的方法或算法的步骤可直接在硬件中、在由处理器执行的软件模块中，或在这两者的组合中体现。软件模块可驻留在ram存储器、闪存、rom存储器、eprom存储器、eeprom存储器、寄存器、硬盘、可移动盘、cd-rom或本领域中所知的任何其他形式的存储介质中。示例性存储介质耦合到处理器以使得该处理器能从/向该存储介质读取和写入信息。在替换方案中，存储介质可以被整合到处理器。处理器和存储介质可驻留在asic中。asic可驻留在用户终端中。在替换方案中，处理器和存储介质可作为分立组件驻留在用户终端中。在一个或多个示例性实施例中，所描述的功能可在硬件、软件、固件或其任何组合
中实现。如果在软件中实现为计算机程序产品，则各功能可以作为一条或更多条指令或代码存储在计算机可读介质上或藉其进行传送。计算机可读介质包括计算机存储介质和通信介质两者，其包括促成计算机程序从一地向另一地转移的任何介质。存储介质可以是能被计算机访问的任何可用介质。作为示例而非限定，这样的计算机可读介质可包括ram、rom、eeprom、cd-rom或其它光盘存储、磁盘存储或其它磁存储设备、或能被用来携带或存储指令或数据结构形式的合意程序代码且能被计算机访问的任何其它介质。任何连接也被正当地称为计算机可读介质。例如，如果软件是使用同轴电缆、光纤电缆、双绞线、数字订户线(dsl)、或诸如红外、无线电、以及微波之类的无线技术从web网站、服务器或其它远程源传送而来，则该同轴电缆、光纤电缆、双绞线、dsl或诸如红外、无线电、以及微波之类的无线技术就被包括在介质的定义之中。如本文中所使用的盘(disk)和碟(disc)包括压缩碟(cd)、激光碟、光碟、数字多用碟(dvd)、软盘和蓝光碟，其中盘(disk)往往以磁的方式再现数据，而碟(disc)用激光以光学方式再现数据。上述的组合也应被包括在计算机可读介质的范围内。