一种数据库自动化巡检方法、装置、设备及介质与流程

1.本技术涉及数据处理技术领域，尤其涉及一种数据库自动化巡检方法、装置、设备及介质。


背景技术：

2.目前正处于信息大爆炸时代，数据库服务器数量急剧增加，各种数据中心、金融机构、企业对数据库服务器的日常巡检工作越来越繁重，针对这类服务器的日常巡检工作也越来越多。
3.传统的方式是用户登录到数据库服务器，人工进行各类操作，手动敲入大量命令检查各项指标，比如cpu、内存、磁盘、数据库日志等，运维人员需要面对大量的数据库日常巡检工作，这是一项复杂且耗费时间的工作，工作重复性强、且效率低下，运维人力成本较高，并且巡检报告良莠不齐。


技术实现要素：

4.本技术的主要目的在于提供一种数据库自动化巡检方法、装置、设备及介质，旨在解决现有数据库巡检方法获得的巡检报告质量较低的技术问题。
5.为实现上述目的，本技术提供一种数据库自动化巡检方法，包括以下步骤：
6.接收用户输入的巡检请求；
7.根据所述巡检请求和待巡检数据库的信息，生成巡检作业指令；
8.根据所述巡检作业指令，收集所述待巡检数据库的目标指标数据；
9.将所述目标指标数据推送至风险评估知识库，以获取所述待巡检数据库的目标健康度分数值；其中，所述风险评估知识库包括数据库的指标数据与健康度分数值的对应关系；
10.根据所述健康度分数值，获得巡检结果。
11.可选地，所述巡检请求中包括巡检数据库类型信息、巡检数据库对象信息、巡检指标项信息、巡检模式信息和通知方式信息。
12.可选地，所述巡检模式包括手动发起模式和自动发起模式；其中，所述自动发起模式包括：
13.指定时间点发起；
14.每隔若干分钟发起；
15.每隔若干小时发起；
16.每隔若干天发起；
17.每周指定日发起；
18.每月指定日发起。
19.可选地，所述根据所述巡检请求和待巡检数据库的信息，生成巡检作业指令，包括：
20.根据所述巡检请求创建巡检任务；
21.对所述巡检任务进行验证，验证无误后则将所述巡检任务登记到任务管理列表中；
22.每隔一分钟遍历所述任务管理列表中的巡检任务；
23.根据所述巡检任务所属巡检模式，自动发起巡检任务或手动发起巡检任务，根据所述巡检任务发起巡检作业指令。
24.可选地，所述根据所述巡检任务所属巡检模式，自动发起巡检任务或手动发起巡检任务，根据所述巡检任务发起巡检作业指令，包括：
25.若为自动发起巡检任务，需到指定时间点后，首先检查待巡检数据库的当前负载情况，如果负载值高于设定阀值，则暂缓发起巡检作业指令，等若干分钟再次尝试发起，循环至负载值低于设定阀值时，则发起巡检作业指令；
26.若为手动发起巡检任务，则通过手动操作以发起巡检作业指令。
27.可选地，所述风险评估知识库中包括不同类型的数据库的指标数据与健康度分数值的对应关系。
28.可选地，在所述接收用户输入的巡检请求的步骤之前，还包括：
29.根据健康指标体系，建立所述风险评估知识库。
30.一种数据库自动化巡检装置，包括：
31.用户界面模块，用于接收用户输入的巡检请求；
32.巡检中心模块，用于根据所述巡检请求和待巡检数据库的信息，生成巡检作业指令；
33.指标收集模块，用于根据所述巡检作业指令收集所述待巡检数据库的指标数据；
34.评分模块，用于将所述目标指标数据推送至风险评估知识库，以获取所述待巡检数据库的目标健康度分数值；其中，所述风险评估知识库包括数据库的指标数据与健康度分数值的对应关系；
35.报告生成模块，用于根据所述健康度分数值，获得巡检结果。
36.一种计算机设备，该计算机设备包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序，实现上述的方法。
37.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，处理器执行所述计算机程序，实现上述的方法。
38.本技术所能实现的有益效果如下：
39.本技术采用预先登记巡检请求的方式，不需要每次巡检都输入一堆参数，提高了巡检操作效率，且根据巡检请求结合当前待巡检数据库的信息可发起巡检作业指令，再收集待巡检数据库的指标数据并推送至风险评估知识库，通过风险评估知识库可对待巡检数据库的健康度分数值进行准确全面地评估，从而得到巡检结果，便于后续生成高质量的巡检报告，整个流程可实现自动化运行，大大减少了运维人员手工巡检工作量，从而降低了人工运维的成本。
附图说明
40.为了更清楚地说明本技术具体实施方式或现有技术中的技术方案，下面将对具体
实施方式或现有技术描述中所需要使用的附图作简单地介绍。在所有附图中，类似的元件或部分一般由类似的附图标记标识。附图中，各元件或部分并不一定按照实际的比例绘制。
41.图1为本技术的实施例中一种数据库自动化巡检方法的流程示意图；
42.图2为本技术的实施例中一种数据库自动化巡检装置的框架结构示意图。
43.本技术目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
44.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术的一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
45.需要说明的是，本技术实施例中所有方向性指示(诸如上、下、左、右、前、后
……
)仅用于解释在某一特定姿态下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。
46.在本技术中，除非另有明确的规定和限定，术语“连接”、“固定”等应做广义理解，例如，“固定”可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本技术中的具体含义。
47.另外，若本技术实施例中有涉及“第一”、“第二”等的描述，则该“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，全文中出现的“和/或”的含义，包括三个并列的方案，以“a和/或b”为例，包括a方案、或b方案、或a和b同时满足的方案。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本技术要求的保护范围之内。
48.实施例1
49.参照图1，本实施例提供一种数据库自动化巡检方法，包括以下步骤：
50.接收用户输入的巡检请求；
51.根据所述巡检请求和待巡检数据库的信息，生成巡检作业指令；
52.根据所述巡检作业指令，收集所述待巡检数据库的目标指标数据；
53.将所述目标指标数据推送至风险评估知识库，以获取所述待巡检数据库的目标健康度分数值；其中，所述风险评估知识库包括数据库的指标数据与健康度分数值的对应关系；
54.根据所述健康度分数值，获得巡检结果。
55.现有技术中，数据库巡检方法可采用脚本化训练，这是手工巡检的升级版，运维人员利用现成的巡检脚本手动或者自动去巡检数据库的各个组件，由于巡检脚本是固定的，因此脚本化巡检能相对全面的巡检数据库，但能否从巡检脚本的执行结果中发现问题，仍受限于运维人员的经验，因此与手工巡检的效果类似，数据库数量越多，巡检报告的质量依
然会越差。
56.在本实施例中，先接收用户输入的巡检请求即为巡检请求的登记过程，采用预先登记巡检任务的方式，不需要每次巡检都输入一堆参数，提高了巡检操作效率，且根据巡检请求结合当前待巡检数据库的信息可发起巡检作业指令，再收集待巡检数据库的指标数据并推送至风险评估知识库，通过风险评估知识库可对待巡检数据库的健康度分数值进行准确全面地评估，从而得到巡检结果，便于后续生成高质量的巡检报告，整个流程可实现自动化运行，大大减少了运维人员手工巡检工作量，从而降低了人工运维的成本。本实施例通过将人工手动巡检数据库的方式变为自动化巡检，让数据库的运维人员从单调、重复的巡检工作中释放，从而将更多的精力用于巡检问题的分析和运维处理中。
57.需要说明的是，所述风险评估知识库基于运维人员的经验搭建。所述待巡检数据库的目标指标数据为数据库的指标数据的一种或多种。
58.作为一种可选的实施方式，所述巡检请求中包括巡检数据库类型信息、巡检数据库对象信息、巡检指标项信息、巡检模式信息和通知方式信息。
59.在本实施方式中，巡检数据库类型包括mongodb、hive、hbase、postgresql、oracle、sqlserver、kingbase、mysql、达梦等，因此可同时适用于多种类型数据库的巡检工作，将多种不同类型数据库巡检工作整合在一起。巡检数据库对象即数据库所在主机ip地址(如果是集群环境则为集群中所有节点的ip地址)。巡检指标项即需要巡检的指标项，针对不同类型的数据库，系统会为每一种类型的数据库提供一个默认的指标项模板，模版中包括根据经验得出的重要指标项组合，同时也可以自定义指标组合，系统提供所有可采集的指标项全集，用户可以在其中选择需要的指标项作为巡检指标组合。通知方式即巡检作业完成(或失败)时，以什么方式通知，通知类型包括短信、邮件，或者第三方应用如微信、飞书等办公软件。
60.作为一种可选的实施方式，所述巡检模式包括手动发起模式和自动发起模式；其中，所述自动发起模式包括：
61.指定时间点发起；
62.每隔若干分钟发起；
63.每隔若干小时发起；
64.每隔若干天发起；
65.每周指定日发起(如每周三、周五发起)；
66.每月指定日发起(如每月的1号或29号)。
67.在本实施方式中，提供了自动和手动两种模式发起巡检作业，全面满足各种巡检需求，其中自动巡检采用周期性自动发起方式，可尽量减少巡检作业对生产系统的影响。
68.作为一种可选的实施方式，所述根据所述巡检请求和待巡检数据库的信息，生成巡检作业指令，包括：
69.根据所述巡检请求创建巡检任务；
70.对所述巡检任务进行验证，验证无误后则将所述巡检任务登记到任务管理列表中；
71.每隔一分钟遍历所述任务管理列表中的巡检任务；
72.根据所述巡检任务所属巡检模式，自动发起巡检任务或手动发起巡检任务，根据
所述巡检任务发起巡检作业指令。
73.在本实施方式中，对巡检任务还具有验证环节，只有验证成功后才能登记到任务管理列表中，并且每隔一分钟遍历任务管理列表中的巡检任务，因此可保证预先登记的巡检任务可靠性高，然后再通过自动或手动方式发起巡检作业指令即可。
74.作为一种可选的实施方式，所述根据所述巡检任务所属巡检模式，自动发起巡检任务或手动发起巡检任务，根据所述巡检任务发起巡检作业指令，包括：
75.若为自动发起巡检任务，需到指定时间点后，首先检查待巡检数据库的当前负载情况，如果负载值高于设定阀值，则暂缓发起巡检作业指令，等若干分钟再次尝试发起，循环至负载值低于设定阀值时，则发起巡检作业指令；
76.若为手动发起巡检任务，则通过手动操作以发起巡检作业指令。
77.在本实施方式中，在自动发起巡检任务的模式中，到指定时间点后会首先检查待巡检数据库的当前负载情况，如果是集群则检查集群内所有节点的负载情况，负载可通过目标数据库的cpu使用率、磁盘io、数据库活跃连接数和数据库命令最近5分钟平均响应时长等指标代入对应数学公式计算得出，并且设置一个设定阈值，只有负载值低于设定阀值时，才能发起巡检作业指令，需要说明的是，如果1小时内还没发起，则本次巡检作业发起失败，其好处在于可以减少巡检作业对生产系统的影响。
78.目前数据库巡检方式可为平台化训练，这是脚本化训练的升级版，巡检数据库的平台内置了巡检脚本，数据库自动巡检完成后产生巡检报告，可保证巡检报告的质量，但是能否从巡检报告中发现问题，仍受限于运维人员的经验。
79.因此，作为一种可选的实施方式，所述风险评估知识库中包括不同类型的数据库的指标数据与健康度分数值的对应关系。
80.在所述接收用户输入的巡检请求的步骤之前，还包括：
81.根据健康指标体系，建立所述风险评估知识库。
82.在本实施方式中，风险评估知识库是根不同数据库的指标数据与健康度分数值的对应关系，预先对不同类型数据库建立不同的健康指标体系，健康指标体系采用系统默认设置或者根据用户实际运行环境进行调整和设置。因此，通过对不同类型数据库建立不同的健康指标体系，更具有针对性，从而可针对各种不同数据库给出相对应的巡检报告，再保证巡检报告质量高的同时，还可直观从巡检报告发现问题，无需运维人员的经验，便于智能管理。
83.其中，系统默认设置可参照如下表1-10：
84.表1系统健康体系
85.检查项建议值cpu使用率《80％内存使用率《80％文件系统使用率《80％磁盘busy率《70％
86.表2 kingbase数据库健康体系
[0087][0088][0089]
表3达梦数据库健康体系
[0090]
检查项建议值实例状态在线表空间使用率《80％连接数总连接数-连接数》20
[0091]
表4 mongodb数据库健康体系
[0092]
检查项建议值实例状态在线事务回滚率《40％
[0093]
表5 mongodb数据库健康体系
[0094][0095][0096]
表6 hive数据库健康体系
[0097]
检查项建议值连接数总连接数-连接数》20内存使用率》75％and《90％查询成功率》60％
[0098]
表7 postgresql数据库健康体系
[0099][0100]
表8 oracle数据库健康体系
[0101][0102][0103]
表9 mysql数据库健康体系
[0104]
检查项建议值连接数总连接数-连接数》20innodb缓冲区使用率》75％and《90％
[0105]
表10 sql server数据库健康体系
[0106]
检查项建议值缓存命中率》75％and《90％filegroup空闲空间率》20％卷空闲空间率》20％
[0107]
作为一种可选的实施方式，所述健康指标体系包括检查指标项、检查指标项的建议值以及优化建议。
[0108]
在本实施方式中，风险评估知识库可根据对应的数据库类型的健康指标体系，结合实际巡检数据，根据对应数学公式算出健康得分，最后将所有巡检数据和健康得分以及优化建议整合后生成巡检报告，这里风险评估知识库不仅可以给出当前系统的健康状况，
并对每一项不满足健康指标体系的检查项给出优化建议，并且，可以根据用户实际的生产情况调整健康指标体系。
[0109]
实施例2
[0110]
参照图2，本实施例提供一种数据库自动化巡检装置，包括：
[0111]
用户界面模块，用于接收用户输入的巡检请求；
[0112]
巡检中心模块，用于根据所述巡检请求和待巡检数据库的信息，生成巡检作业指令；
[0113]
指标收集模块，用于根据所述巡检作业指令收集所述待巡检数据库的指标数据；
[0114]
评分模块，用于将所述目标指标数据推送至风险评估知识库，以获取所述待巡检数据库的目标健康度分数值；其中，所述风险评估知识库包括数据库的指标数据与健康度分数值的对应关系；
[0115]
报告生成模块，用于根据所述健康度分数值，获得巡检结果。
[0116]
在本实施例中，巡检中心模块可用于处理用户界面模块输入的巡检请求，针对用户提交请求中的设置，创建(登记)巡检任务；并调度、发起巡检作业，发送巡检作业指令给指标收集模块；根据指标收集模块返回的巡检的数据，结合风险评估知识库的数据，给出待巡检数据库的健康度分数值。指标收集模块接收到巡检中心模块的巡检作业指令，执行收集待巡检数据库的指标数据的操作，收集指令中包括需要收集的检查项(即用户在创建任务是指定的指标项集合)，收集完成以后，将数据推送到巡检中心模块。而报告生成模块可将巡检中心模块推送过来的巡检结果数据按照一定格式进行渲染和展示，生成巡检报告，同时还需要对报告进行管理，根据报告保留配置，删除历史报告，或者仅保留几份报告等，同时还具备推送报告的功能，根据用户在登记巡检任务时设置的推送选项，将生成的巡检报告通过邮件或其他方式发送给用户。
[0117]
实施例3
[0118]
本实施例提供一种计算机设备，该计算机设备包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序，实现实施例1中所述的方法。
[0119]
实施例4
[0120]
本实施例提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，处理器执行所述计算机程序，实现实施例1中所述的方法。
[0121]
以上仅为本技术的优选实施例，并非因此限制本技术的专利范围，凡是利用本技术说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本技术的专利保护范围内。