分布式数据库的集群管理方法及分布式管理系统集群与流程

1.本发明涉及分布式数据库技术领域，具体地说是分布式数据库的集群管理方法及分布式管理系统集群。


背景技术：

2.随着信息技术的高速发展，庞大数量的用户在使用互联网时会产生大量的数据，服务商需要考虑将用户的数据使用可扩展的分布式数据库存储起来，但由于数据库的单各节点承载量是有限的，随着用户量的增加、数据量的不断积累，数据库集群的规模不断扩大。
3.在分布式数据库中，通常数据分散保存在多个节点上，业务需要跨节点执行，数据以多副本形式存储来保证高可用，需要在多个节点间同步和迁移。这就需要各个节点之间保持通讯，获取互相之间的信息和心跳来确定是否能执行相关操作。
4.因此数据库集群不断扩容也就产生了一系列问题：随着集群规模达不断扩大，每个节点用于维护与其他节点的信息、心跳和连接的资源不断增加，占用硬件资源不断增加，用于处理业务的资源不断减小，使得整个集群的性能无法随节点数量增加线性扩展，在单个节点服务器性能不变的情况下很快到达扩展瓶颈。
5.基于上述分析，在单个节点服务器性能不变的情况，如何实现集群的性能随着节点数量增加线性扩展，是需要解决的技术问题。


技术实现要素：

6.本发明的技术任务是针对以上不足，提供分布式数据库的集群管理方法及分布式管理系统集群，来解决在单个节点服务器性能不变的情况，如何实现集群的性能随着节点数量增加线性扩展的技术问题。
7.第一方面，本发明的分布式数据库的集群管理方法，应用于包括中心节点、管理节点和普通节点的分布式数据库集群，所述中心节点用于处理元数据，所述管理节点中存储有数据库系统表和集群系统元数据，用于管理、监控和访问数据库，并用于处理整个集群的业务；
8.所述方法包括如下步骤：
9.基于用户约束的集群分组策略对中心节点、管理节点和普通节点进行分组，将中心节点组成中心节点集群，将管理节点组成管理分组集群，以分组模式将普通节点组成多个分组集群；
10.管理节点和普通节点均与中心节点连接，定期将其节点元数据发送至中心节点，且管理节点将集群系统元数据发送至中心节点，所述节点元数据包括心跳和信息；
11.管理节点从中心节点订阅集群系统元数据以及管理节点和所有普通节点的节点元数据，基于心跳判断普通节点和其它管理节点的存活，与普通节点和其它管理节点发起并保持连接；
12.普通节点从中心节点订阅集群系统元数据以及管理节点、本分组节点以及预设分组节点的节点元数据，基于心跳判断管理节点、本分组节点以及用户预设分组节点的存活，与管理节点、本分组节点以及预设分组节点发起并保持连接，所述普通节点用于管理、监控和维护其本分组的普通节点，并用于处理其本分组集群的业务；
13.对于一个普通节点，所述本分组节点为与所述普通节点处于同一个分组内的另一个普通节点，所述预设分组节点为基于预设分组、与所述普通节点相互连接的另一个分组内的普通节点。
14.作为优选，所述管理节点和普通节点通过key-value的定时定期将其节点元数据发送至中心节点；key的格式为分类/分组/节点id；
15.管理节点通过key的前缀订阅管理节点和所有普通节点的节点元数据。
16.作为优选，所述集群系统元数据包括数据组织结构的路由表以及集群配置。
17.作为优选，用户根据需求在普通节点存储业务数据，并处理管理节点、本分组节点、以及预设分组节点存储数据的业务。
18.作为优选，用户在普通节点上执行业务，但所述业务并非本分组节点和预设分组节点上的业务时，将所述业务所在节点作为目标节点，普通节点需要获取目标节点的节点元数据，基于心跳判断目标节点的存活，并向目标节点发起连接。
19.作为优选，本分组内保持连接的两个普通节点之间能够进行数据转移，以将数据作为副本保存；
20.普通节点和对其对应的预设分组节点保持连接，所述两个普通节点之间能够进行数据转移，以将数据作为副本保存；
21.两个普通节点保持连接、但所述两个普通节点分属不同的分组，基于用户命令所述两个普通节点之间能够进行数据转移，以数据作为副本保存。
22.作为优选，用户修改集群分组策略后，基于修改后集群分组策略，对所述中心节点、管理节点和普通节点进行重启分组。
23.第二方面，本发明的分布式数据库集群，所述分布式数据库集群用于通过如第一方面任一项所述的分布式数据库的集群管理方法进行集群管理，所集群包括：
24.中心节点，所述中心节点共多个并组成中心节点集群，所述中心节点用于处理元数据；
25.管理节点，所述管理节点共多个并组成管理分组集群，每个管理节点中存储有数据库系统表和集群系统元数据，用于管理、监控和访问数据库，并用于处理整个集群的业务，所述管理节点用于定期将其节点元数据发送至中心节点，并将集群系统元数据发送至中心节点，所述节点元数据包括心跳和信息，并从中心节点订阅集群系统元数据以及管理节点和所有普通节点的节点元数据，基于心跳判断普通节点和其它管理节点的存活，与普通节点和其它管理节点发起并保持连接；
26.普通节点，所述普通节点共多个并以分组模式组成多个分组集群，所述普通节点用于定期将其节点元数据发送至中心节点，并用于从中心节点订阅集群系统元数据以及管理节点、本分组节点以及预设分组节点的节点元数据，基于心跳判断管理节点、本分组节点以及用户预设分组节点的存活，与管理节点、本分组节点以及预设分组节点发起并保持连接，所述普通节点用于管理、监控和维护其本分组的普通节点，并用于处理其本分组集群的
业务。
27.作为优选，所述管理节点和普通节点通过key-value的定时定期将其节点元数据发送至中心节点；key的格式为分类/分组/节点id；
28.管理节点用于通过key的前缀订阅管理节点和所有普通节点的节点元数据；
29.所述集群系统元数据包括数据组织结构的路由表以及集群配置；
30.本分组内保持连接的两个普通节点之间能够进行数据转移，以将数据作为副本保存；
31.普通节点和对其对应的预设分组节点保持连接，所述两个普通节点之间能够进行数据转移，以将数据作为副本保存；
32.两个普通节点保持连接、但所述两个普通节点分属不同的分组，基于用户命令所述两个普通节点之间能够进行数据转移，以数据作为副本保存。
33.作为优选，用户根据需求在普通节点存储业务数据，并处理管理节点、本分组节点、以及预设分组节点存储数据的业务；
34.用户在普通节点上执行业务，但所述业务并非本分组节点和预设分组节点上的业务时，将所述业务所在节点作为目标节点，普通节点用于获取目标节点的节点元数据，基于心跳判断目标节点的存活，并向目标节点发起连接；
35.用户修改集群分组策略后，所述中心节点、管理节点和普通节点基于修改后集群分组策略重启分组。
36.本发明的分布式数据库的集群管理方法及分布式管理系统集群具有以下优点：中心节点和管理节点各自组成独立集群，普通节点根据用户预设的分组策略，以分组模式组成多个分组集群，管理节点和普通节点将本节点信息和心跳发送给中心节点；管理分组集群存储系统表并将集群系统元数据发送到中心节点，并从中心节点订阅整个集群所有节点的信息和心跳，拥有管理、监控、维护整个集群的功能，可以处理数据库全部数据；普通节点从中心节点获取集群系统元数据、本分组各节点和管理节点的信息和心跳外，根据用户部署策略获取其他指定分组的节点信息和心跳，只拥有处理本分组内节点和指定节点的数据的相关功能；普通节点只需要获取本分组、管理分组和用户预设的少量节点信息，大幅减少了节点硬件资源消耗；在单个节点资源不变的情况下，大幅增加了整个集群的规模，且依然可以使数据库各节点之间保持数据流动，保证数据库功能和高可用。
附图说明
37.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
38.下面结合附图对本发明进一步说明。
39.图1为实施例1分布式数据库的集群管理方法流程框图的结构示意图；
40.图2为实施例2分布式数据库集群的分组结构示意图。
具体实施方式
41.下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好地理解本发明并能予以实施，但所举实施例不作为对本发明的限定，在不冲突的情况下，本发明实施例以及实施例中的技术特征可以相互结合。
42.本发明实施例提供分布式数据库的集群管理方法及分布式管理系统集群，用于解决在单个节点服务器性能不变的情况，如何实现集群的性能随着节点数量增加线性扩展的技术问题。
43.实施例1：
44.本发明分布式数据库的集群管理方法，应用于包括中心节点、管理节点和普通节点的分布式数据库集群，中心节点用于处理元数据，管理节点中存储有数据库系统表和集群系统元数据，用于管理、监控和访问数据库，并用于处理整个集群的业务。
45.本实施例中该方法包括如下步骤：
46.s100、基于用户约束的集群分组策略对中心节点、管理节点和普通节点进行分组，将中心节点组成中心节点集群，将管理节点组成管理分组集群，以分组模式将普通节点组成多个分组集群；
47.s200、管理节点和普通节点均与中心节点连接，定期将其节点元数据发送至中心节点，且管理节点将集群系统元数据发送至中心节点，节点元数据包括心跳和信息；
48.s300、管理节点从中心节点订阅集群系统元数据以及管理节点和所有普通节点的节点元数据，基于心跳判断普通节点和其它管理节点的存活，与普通节点和其它管理节点发起并保持连接；
49.普通节点从中心节点订阅集群系统元数据以及管理节点、本分组节点以及预设分组节点的节点元数据，基于心跳判断管理节点、本分组节点以及用户预设分组节点的存活，与管理节点、本分组节点以及预设分组节点发起并保持连接，所述普通节点用于管理、监控和维护其本分组的普通节点，并用于处理其本分组集群的业务。
50.对于一个普通节点，本分组节点为与所述普通节点处于同一个分组内的另一个普通节点，预设分组节点为基于预设分组、与普通节点相互连接的另一个分组内的普通节点。
51.本实施例中，管理节点和普通节点通过key-value的定时定期将其节点元数据发送至中心节点；key的格式为分类/分组/节点id。对应的，管理节点通过key的前缀订阅管理节点和所有普通节点的节点元数据。
52.集群系统元数据包括数据组织结构的路由表以及集群配置。管理节点可以的监控、管理和访问数据库，并可以处理整个集群业务。
53.用户根据需要在普通节点存储业务数据，可以处理管理节点、本分组节点、用户预设分组节点存储数据的业务。
54.用户在普通节点执行在非本分组和预设分组节点上的业务时，此节点需要先获取目标分组节点的信息和心跳，然后发起连接。因此执行速度相较保持连接的分组节点慢。
55.用户可以通过命令在保持连接的两个分组间转移数据，防止单一节点压力过大或者存储资源不足。
56.用户修改集群分组策略后，基于修改后集群分组策略，对中心节点、管理节点和普通节点进行重启分组。即将中心节点组成中心节点集群，将管理节点组成管理分组集群，将
普通节点分组，每组内普通节点组成分组集群，且普通节点可根据预设分组，和其预设分组节点连接。该另一个分组内普通节点作为该分组内组成新的
57.本分组内保持连接的两个普通节点之间能够进行数据转移，以将数据作为副本保存；普通节点和对其对应的预设分组节点保持连接，所述两个普通节点之间能够进行数据转移，以将数据作为副本保存；两个普通节点保持连接、但两个普通节点分属不同的分组，基于用户命令所述两个普通节点之间能够进行数据转移，以数据作为副本保存。
58.本实施例的方法可以实现大规模数据库集群的管理，以电子商务为例，通常在大规模数据库集群中，需要按照仓库进行水平分组。
59.本例中对数据库中的仓库表、订单表、支付表及物流表按照订单中商品的所属仓库进行分区。每组分区放在独立的分组集群中，商品表放在独立的分组集群中，每个分区所在分组节点通过预设和商品分组保持连接。除了查询商品表外，所有生成订单、订单查询、支付、物流等操作都在分组内完成。如果出现跨仓库调货，则需要重新连接，执行速度较慢。也可以通过和预设和后备仓库保持连接加快跨仓库业务执行速度。整个集群的查询统计功能通过独立的分组集群节点，此分组中节点通过预设保持和所有节点的连接，能够快速获取所有节点的数据。
60.实施例2：
61.本发明的分布式数据库集群，用于通过实施例1公开的分布式数据库的集群管理方法进行集群管理，该集群包括中心节点、管理节点和普通节点。
62.中心节点共多个并组成中心节点集群，中心节点用于处理元数据。
63.管理节点共多个并组成管理分组集群，每个管理节点中存储有数据库系统表和集群系统元数据，用于管理、监控和访问数据库，并用于处理整个集群的业务，管理节点用于定期将其节点元数据发送至中心节点，并将集群系统元数据发送至中心节点，节点元数据包括心跳和信息，并从中心节点订阅集群系统元数据以及管理节点和所有普通节点的节点元数据，基于心跳判断普通节点和其它管理节点的存活，与普通节点和其它管理节点发起并保持连接。
64.普通节点共多个并以分组模式组成多个分组集群，普通节点用于定期将其节点元数据发送至中心节点，并用于从中心节点订阅集群系统元数据以及管理节点、本分组节点以及预设分组节点的节点元数据，基于心跳判断管理节点、本分组节点以及用户预设分组节点的存活，与管理节点、本分组节点以及预设分组节点发起并保持连接，所述普通节点用于管理、监控和维护其本分组的普通节点，并用于处理其本分组集群的业务。
65.其中，管理节点和普通节点通过key-value的定时定期将其节点元数据发送至中心节点；key的格式为分类/分组/节点id；管理节点用于通过key的前缀订阅管理节点和所有普通节点的节点元数据。
66.集群系统元数据包括数据组织结构的路由表以及集群配置。
67.本分组内保持连接的两个普通节点之间能够进行数据转移，以将数据作为副本保存；普通节点和对其对应的预设分组节点保持连接，所述两个普通节点之间能够进行数据转移，以将数据作为副本保存；两个普通节点保持连接、但所述两个普通节点分属不同的分组，基于用户命令所述两个普通节点之间能够进行数据转移，以数据作为副本保存。
68.用户根据需求在普通节点存储业务数据，并处理管理节点、本分组节点、以及预设
分组节点存储数据的业务。
69.用户在普通节点上执行业务，但所述业务并非本分组节点和预设分组节点上的业务时，将所述业务所在节点作为目标节点，普通节点用于获取目标节点的节点元数据，基于心跳判断目标节点的存活，并向目标节点发起连接。
70.用户修改集群分组策略后，中心节点、管理节点和普通节点基于修改后集群分组策略重启分组，中心节点组成中心节点集群，管理节点组成管理分组集群，普通节点以分组模式组成分组集群，且普通节点基于预设分组和其预设分组节点连接。
71.上文通过附图和优选实施例对本发明进行了详细展示和说明，然而本发明不限于这些已揭示的实施例，基与上述多个实施例本领域技术人员可以知晓，可以组合上述不同实施例中的代码审核手段得到本发明更多的实施例，这些实施例也在本发明的保护范围之内。