一种融合型数据库平台即服务的制作方法

1.本发明涉及数据库监控和管理领域，尤其涉及一种融合型数据库平台即服务。


背景技术：

2.green plum(以下简称gp)是一种开源的基于postgresql开发的面向数据仓库应用的关系型数据库，属于联机分析处理(online analytical processing，olap)型数据库，能并行处理海量数据，是大数据领域不可或缺的关系型数据库。
3.gp数据库与其他数据库一样，提供各种用于数据库的性能查询以及数据库的基本操作的命令行，包括账号开设、数据库及库表建立等。相比传统的关系型数据库，gp数据库具备master节点和segments节点，使用难度比传统数据库高，并且采用命令行式的操作方式对于数据库管理员(database administrator，dba)来说十分不友好，不仅需要数据库管理员牢记各类命令和命令参数，而且查询结果也不友好，难以实时地了解gp数据库的性能和存在的问题，因此针对以上问题，迫切需要设计出一种融合型数据库平台即服务，以满足实际使用的需要。


技术实现要素：

4.为了解决以上技术问题，本发明提供了一种融合型数据库平台即服务。
5.本发明所解决的技术问题可以采用以下技术方案实现：
6.一种融合型数据库平台即服务，包括：
7.一监控模块，用于调用一目标数据库的性能查询接口，以实时获取所述目标数据库的性能指标监控数据，并进行可视化的展示，所述目标数据库为greenplum数据库；
8.一管理模块，用于调用一开源的数据库管理工具，以接收用户于所述目标数据库对应的前端界面上的操作指令，并通过所述开源的数据库管理工具将所述操作指令以对应的命令行发送至所述目标数据库，以对所述目标数据库进行可视化管理操作。
9.本发明所述的一种融合型数据库平台即服务，所述监控模块包括：
10.一获取单元，用于实时获取所述性能指标监控数据，所述性能指标监控数据包括所述目标数据库的关键运行性能指标；
11.一比较单元，连接所述获取单元，用于按照一预设周期将所述关键运行性能指标与对应的预先设置的指标阈值进行比较；
12.一告警单元，连接所述比较单元，用于当同一所述关键运行性能指标连续一预设次数超过对应的所述预先设置的指标阈值时生成告警，并输出一告警信息。
13.本发明所述的一种融合型数据库平台即服务，所述监控模块还包括：
14.一时序数据库，连接所述告警单元，用于存储所述告警信息；
15.一发送单元，连接所述时序数据库，用于从所述时序数据库中获取所述告警信息，通过调用短信接口和/或微信公众号接口，并以短信和/或语音电话和/或微信消息的方式发送给相关人员。
16.本发明所述的一种融合型数据库平台即服务，所述管理模块按照标准数据库连接的方式将所述操作指令对应的命令行发送至所述目标数据库。
17.本发明所述的一种融合型数据库平台即服务，所述目标数据库的关键运行性能指标包括所述目标数据库的基本信息、连接数信息、表数统计信息、存储信息、各数据库信息、监控查询信息、集群度量信息、告警信息中的一种或多种组合；
18.其中，所述基本信息包括运行时间、和/或软件版本号、和/或master节点是否可达、和/或standby节点是否可达、和/或在线账号数、和/或账号总数、和/或当前客户端数；
19.所述连接数信息包括当前连接数、和/或客户端连接数、和/或在线账号连接数、和/或活动连接数；
20.所述表数统计信息包括各目标数据库内数据表的总数目、和/或当前库内数据表总数目；
21.所述存储信息包括各段剩余储存空间、和/或各数据库存储空间使用情况、和/或各数据库耗用存储速率；
22.所述各数据库信息包括各所述主机的cpu占用情况、和/或内存及硬盘使用情况、和/或硬盘读写速度、和/或网络连接速度；
23.所述监控查询信息包括查询标识符、和/或响应状态、和/或用户名、和/或数据库、和/或资源队列、和/或上传时间、和/或排队时间、和/或运行时间、和/或溢出文件、和/或cpu时间；
24.所述告警信息包括告警时间、和/或告警类型、和/或告警事件、和/或定位信息。
25.本发明所述的一种融合型数据库平台即服务，所述管理模块包括：
26.库管理单元，用于对数据库的新建、编辑、删除操作进行管理；
27.表管理单元，用于对数据表的新建、删除、清空、表结构编辑、结构化查询语言操作、表信息查看、建表语句查看、重命名操作进行管理；
28.视图管理单元，用于对视图的新建、删除、编辑、结构化查询语言操作操作进行管理；
29.存储过程管理单元，用于对存储过程的新建、删除、编辑、执行操作进行管理；
30.函数管理单元，用于对函数的的新建、删除、编辑、执行操作进行管理；
31.触发器管理单元，用于对触发器的新建、删除、编辑操作进行管理；
32.事件管理单元，用于对事件的新建、删除、编辑操作进行管理。
33.本发明所述的一种融合型数据库平台即服务，所述管理模块还包括：
34.监控管理单元，用于进行监控模块的启动或暂停；
35.会话管理单元，用于按照预设条件进行实例会话的查看、停止、多维度统计；
36.结构化查询窗口单元，用于执行结构化查询语句；所述结构化查询语句的执行记录；以及提供结构化查询语言模板；
37.导入导出单元，用于将数据导入所述目标数据库中；以及从所述目标数据库中导出数据。
38.本发明所述的一种融合型数据库平台即服务，所述监控模块还包括：
39.一可视化展示单元，用于利用一开源的前端展示工具对所述性能指标监控数据进行可视化的展示。
40.本发明所述的一种融合型数据库平台即服务，所述开源的前端展示工具为系统监控和报警工具或可视化工具。
41.本发明所述的一种融合型数据库平台即服务，所述开源的数据库管理工具为通用数据库管理。
42.本发明的有益效果在于：
43.本发明将green plum数据库进行可视化的前端界面显示，方便用户操作，避免用户直接以命令行的方式进行操作，降低了gp数据库的使用难度，有效地提升了用户对gp数据库的操作和管理效率；同时通过调用gp数据库的性能查询接口及时获取gp数据库的可用性和效率的关键运行性能指标，并以可视化的方式直观的显示，方便用户提早发现问题，为数据库管理提供有力支撑。
附图说明
44.图1为本发明的较佳实施例中，一种融合型数据库平台即服务的结构框图；
45.图2为本发明的较佳实施例中，gp数据库的性能指标监控数据的可视化监控状态示意图；
46.图3为本发明的较佳实施例中，融合型数据库平台即服务的前端界面展示图。
具体实施方式
47.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
48.需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
49.下面结合附图和具体实施例对本发明作进一步说明，但不作为本发明的限定。
50.react：是一个用于构建用户界面的javascript库。
51.平台即服务(platform as a service，paas)：是指一组基于云的服务，提供更多丰富的服务，如工作流和设计工具以及多个api，可帮助企业用户和开发人员以本地部署解决方案无法企及的速度创建应用程序，在平台上打造出让用户满意的应用程序。由于paas是基于云的服务，所以没有安装和维护服务器、修补、升级、身份验证等烦恼。
52.本发明实施例提供一种融合型数据库平台即服务，属于数据库监控和管理领域，如图1-3所示，包括：
53.一监控模块1，用于调用一目标数据库的性能查询接口，以实时获取目标数据库的性能指标监控数据，并进行可视化的展示，目标数据库为green plum数据库；
54.一管理模块2，用于调用一开源的数据库管理工具，以接收用户于目标数据库对应的前端界面上的操作指令，并通过开源的数据库管理工具将操作指令以对应的命令行发送至目标数据库，以对目标数据库进行可视化管理操作。
55.具体的，本发明基于开源的green plum数据库，通过设计相关的监控和管理程序来实现对green plum数据库的监控和管理，采用react或其他等前端技术，从用户的角度出
发，为用户提供green plum数据库的可视化的前端界面，在前端界面上对green plum数据库的常用功能进行合理布局，操作选项丰富，方便用户使用该green plum数据库，无需牢记各类命令和命令参数，即使是普通用户亦可通过前端界面上的操作选项，实现数据库的创建、修改监控的管理，将用户管理和权限管理有机结合，一定程度避免了误操作；通过调用green plum数据库的性能查询接口，实时监控其关键运行性能指标，将最能体现数据库可用性和效率的指标直观展示，及时有效地进行报警，方便用户提早发现问题，为数据库管理提供有力支撑。
56.作为较佳的实施方式，其中，监控模块1包括：
57.一获取单元11，用于实时获取性能指标监控数据，性能指标监控数据包括目标数据库的关键运行性能指标；
58.一比较单元12，连接获取单元11，用于按照一预设周期将关键运行性能指标与对应的预先设置的指标阈值进行比较；
59.一告警单元13，连接比较单元12，用于当同一关键运行性能指标连续一预设次数超过对应的预先设置的指标阈值时生成告警，并输出一告警信息。
60.作为较佳的实施方式，其中，监控模块1还包括：
61.一时序数据库14，连接告警单元13，用于存储告警信息；
62.一发送单元15，连接时序数据库14，用于从时序数据库14中获取告警信息，通过调用短信接口和/或微信公众号接口，并以短信和/或语音电话和/或微信消息的方式发送给相关人员。
63.具体的，在本实施例中监控模块1将获取的关键运行性能指标定期与预先设置的的指标阈值进行比较，例如可以每隔三秒或五秒进行一次比较，判断是否超过阈值。若某一关键运行性能指标在连续三次的比较中都超过阈值，则调用监控告警接口产生告警信息，避免瞬间高峰而产生误报警；
64.作为较佳的实施方式，其中，管理模块2按照标准数据库连接(jdbc)的方式将操作指令对应的命令行发送至目标数据库。
65.作为较佳的实施方式，其中，目标数据库的各项性能指标包括目标数据库的基本信息、连接数信息、表数统计信息、存储信息、各段(segment)的状态信息、各数据库信息、监控查询信息、集群度量信息、告警信息中的一种或多种组合；
66.其中，基本信息包括运行时间、和/或软件版本号、和/或master节点是否可达、和/或standby节点是否可达、和/或在线账号数、和/或账号总数、和/或当前客户端数；
67.连接数信息包括当前连接数、和/或客户端连接数、和/或在线账号连接数、和/或活动连接数；
68.表数统计信息包括各目标数据库内数据表的总数目、和/或当前库内数据表总数目；
69.存储信息包括各段(segment)剩余储存空间、和/或各数据库存储空间使用情况、和/或各数据库耗用存储速率；
70.各段(segment)的状态信息包括主机、和/或端口、和/或角色(p/m)、和/或节点数据目录、和/或数据库标识符(dbid)、和/或内容标识符(content id)、和/或在线状态(up/down)、和/或同步模式状态(synchronized)；
71.各数据库信息包括各主机的cpu占用情况、和/或内存及硬盘使用情况、和/或硬盘读写速度、和/或网络连接速度；
72.监控查询信息包括查询标识符、和/或响应状态(done/running/queued/blocked)、和/或用户名、和/或数据库、和/或资源队列、和/或上传时间、和/或排队时间、和/或运行时间、和/或溢出文件、和/或cpu时间；
73.通过查询/cpu/iowait/memory/disk i/o/network/load/swap，获取得到集群度量信息；
74.告警信息包括告警时间、和/或告警类型、和/或告警事件、和/或定位信息。
75.作为较佳的实施方式，其中，管理模块2包括：
76.库管理单元21，用于对数据库的新建、编辑、删除操作进行管理；
77.表管理单元22，用于对数据表的新建、删除、清空、表结构编辑、结构化查询语言操作、表信息查看、建表语句查看、重命名操作进行管理；
78.视图管理单元23，用于对视图的新建、删除、编辑、结构化查询语言操作操作进行管理；
79.存储过程管理单元24，用于对存储过程的新建、删除、编辑、执行操作进行管理；
80.函数管理单元25，用于对函数的的新建、删除、编辑、执行操作进行管理；
81.触发器管理单元26，用于对触发器的新建、删除、编辑操作进行管理；
82.事件管理单元27，用于对事件的新建、删除、编辑操作进行管理。
83.作为较佳的实施方式，其中，管理模块2还包括：
84.监控管理单元28，用于进行监控模块1的启动或暂停；还可用于显示状态信息、innodb存储引擎行操作、连接数相关
85.会话管理单元29，用于按照预设条件进行实例会话的查看、停止(kill)、多维度统计；
86.结构化查询窗口单元210，用于执行结构化查询(sql)语句；结构化查询语句的执行记录；以及提供结构化查询语言模板；
87.导入导出单元211，用于将数据导入目标数据库中；以及从目标数据库中导出数据。
88.具体的，在本实施例中，上述管理模块2的各单元均以操作选项的方式布局在前端界面上，通过鼠标点击或者命令提示帮助的方式选择对应的操作选项实现相应的数据库功能，无需牢记数据库的各项命令以及对应的命令参数，对于数据库管理员较为友好，数据库使用体验感较佳。
89.作为较佳的实施方式，其中，监控模块1还包括：
90.一可视化展示单元(图中未示出)，用于利用一开源的前端展示工具对性能指标监控数据进行可视化的展示。
91.具体的，在本实施例，通过将gp数据库的性能查询接口接入监控模块1，实时获取数据库的性能指标数据，并可选择地将需要监控的部分或全部关键运行性能指标以可视化的方式展示，如图2所示，为本发明实施例监控的部分关键运行性能指标状态的可视化视图。
92.作为较佳的实施方式，其中，开源的前端展示工具为系统监控和报警工具或可视
化工具。
93.具体的，在本实施例中，可以采用系统监控和报警工具(prometheus)作为开源的前端展示工具，也可以采用可视化工具(grafana)作为开源的前端展示工具。
94.作为较佳的实施方式，其中，开源的数据库管理工具为通用数据库管理，例如dbeaver。
95.本发明实施例所使用的技术均是开源技术，可随着前端开源展示技术的丰富而更新迭代数据库的监控可视化页面，完善数据库监控和管理功能。
96.本发明所提供的融合型数据库平台即服务，在监控层面，利用开源的prometheus或grafana等前端展示工具，通过调用gp数据库的各类性能查询接口，实时获取gp数据库的性能数据，并以可视化的方式(如柱状图、时序图及仪表盘等)展示；
97.在管理层面，利用前端开发语言开发web前端界面，调用开源的dbeaver等数据库管理工具，将前端界面上对于数据库的管理操作命令通过数据库管理工具，以java数据库连接(java data base connectivity，jdbc)的方式下达给gp数据库，实现对数据库的可视化管理操作。如图3所示，为本发明较佳实施例中对green plum数据库进行数据库管理操作的前端界面的示意图，通过数据库名、字符集、校验规则实现数据库的创建、编辑、删除和刷新。
98.采用上述技术方案的优点或有益效果在于：本发明将green plum数据库进行可视化的前端界面显示，方便用户操作，避免用户直接以命令行的方式进行操作，降低了gp数据库的使用难度，有效地提升了用户对gp数据库的操作和管理效率；同时通过调用gp数据库的性能查询接口及时获取gp数据库的可用性和效率的关键运行性能指标，并以可视化的方式直观的显示，方便用户提早发现问题，为数据库管理提供有力支撑。
99.以上仅为本发明较佳的实施例，并非因此限制本发明的实施方式及保护范围，对于本领域技术人员而言，应当能够意识到凡运用本发明说明书及图示内容所作出的等同替换和显而易见的变化所得到的方案，均应当包含在本发明的保护范围内。