一种支持多系统多指标的高可用监控方法与流程

1.本发明涉及大数据平台系统监控技术领域，具体地说是一种支持多系统多指标的高可用监控方法。


背景技术：

2.随着大数据平台的建设，数仓间存在外围接口提供及时性问题，而此问题会引发使用者对数据提供时间的关切。运维人员需要快速精准的获取各个系统异常情况，让问题及时发现并抢先客户发现前解决。


技术实现要素：

3.本发明的技术任务是针对以上不足之处，提供一种支持多系统多指标的高可用监控方法，部署方便，配置简单，能够灵活且高可用的适配各种系统指标，最大限度的释放现场人力成本，使用运维人员可根据提醒及时响应。
4.本发明解决其技术问题所采用的技术方案是：
5.一种支持多系统多指标的高可用监控方法，该方法的实现方式如下：
6.1)、通过jenkins启用定时调度；
7.2)、使用python语言集成对关系数据库访问及对非关系型数据库进行防问，以获取应用执行日志，及执行情况日志；
8.3)、通过连接主机插件应用，获取应用主机上的日志及文件系统使用情况，通过日增及剩余情况进行预警；
9.4)、通过外围接口push相应预警内容到对应主机，配置应用获取预警信息；
10.5)、预警数据分类及预警模板配置，通过对预警信息分类，组织形成相应的预警通知信息；通过预警的级别对不同层级人员进行预警信息的推送；
11.6)、根据不同级别配置预警信息接收人员参数表；
12.在网元层级完成汇总后第一时间监控并反馈异常情况，通过通信框架发送预警通知信息。
13.该方法收集系统间交互或系统中存在的问题、及运行情况，通过邮件、短信、钉钉等通信软件完成系统异常情况问题的定时监控，减少维护方面人力，及时、快速的发现并通知系统运行状况，同时通过嵌入系统的应用插件，完成系统运行状况的收集，进行定期分析。
14.能够可靠的帮助现场负责人员快速精准的获取各个系统异常情况，让问题及时发现并抢先客户发现前解决，同时可以有效减少各个现场的人力投入。支持灵活配置现场负责人的信息，如手机号和邮箱地址等。
15.优选的，所述通过jenkins启用定时调度，支持多系统，包括win、linux；能够灵活的嵌入到各系统应用中，达到同时监控的效果；
16.该方法支持分布式部署数据收集，通过嵌入的数据收集插件，完成数据收集，通过
集中的服务主机进行预警处理，应用支持主从部署。
17.优选的，所述关系数据库包括oracle、mysql数据库；所述非关系型数据库包括redis、hbase、mongodb数据库。
18.优选的，所述主机插件包括paramiko、ftplib、sqlite3、关系数据库调用集成插件、邮件推送集成插件、短信插件等应用。
19.优选的，所述预警信息接收人员参数表形式如下：
20.smslist＝{'sale':['186xxxxxxxx','186xxxxxxxx','186xxxxxxxx'],'operater':['186xxxxxxxx'],
[0021]
'manager':['186xxxxxxxx'],
[0022]
'customer':['186xxxxxxxx']
[0023]
}。
[0024]
实现配置中灵活配置负责人员的信息。
[0025]
优选的，所述预警通知信息包括短信通知、邮件通知及钉钉等应用软件通知；
[0026]
邮件类模板，通过html页面标签完成对邮件内容的装饰，通过不同格式的标签明了的反应邮件中突出关注的内容。
[0027]
优选的，程序根据配置定期或者监控kafka消息的方式自动派单与执行，从而能够可靠的帮助现场负责人员快速精准的获取各个系统异常情况。
[0028]
优选的，产生的相关日志与任务单等信息会通过时长配置实现自动清理，每天自动清理30天前历史任务单与日志信息，从而自动归档过期的任务单与日志信息。
[0029]
本发明还要求保护一种支持多系统多指标的高可用监控装置，包括：至少一个存储器和至少一个处理器；
[0030]
所述至少一个存储器，用于存储机器可读程序；
[0031]
所述至少一个处理器，用于调用所述机器可读程序，执行上述的支持多系统多指标的高可用监控方法。
[0032]
本发明还要求保护计算机可读介质，所述计算机可读介质上存储有计算机指令，所述计算机指令在被处理器执行时，使所述处理器执行上述的支持多系统多指标的高可用监控方法。
[0033]
本发明的一种支持多系统多指标的高可用监控方法与现有技术相比，具有以下有益效果：
[0034]
该方法减少了人力运维成本、并及时定期对预警信息进行推送，由运维人员了解系统运维状况；
[0035]
系统定时定期清理、对预警出的异常问题进行优化，减少的故障的发生；
[0036]
部分系统数据交互情况可邮件分批推送客户，使用软件应用客户及时掌握各系统运行情况，方便系统间及不同厂商间的沟通；
[0037]
对系统资源使用情况的监控，方便的主机系统运维，对分布式系统资源的动态分配提供的必要的数据支持。
附图说明
[0038]
图1是本发明实施例提供的支持多系统多指标的高可用监控方法实现流程图；
[0039]
图2是本发明实施例提供的支持多系统多指标的高可用监控方法中配置文件示例图。
具体实施方式
[0040]
下面结合附图和具体实施例对本发明作进一步说明。
[0041]
本发明实施例提供一种支持多系统多指标的高可用监控方法，该方法的实现方式如下：
[0042]
1)、通过jenkins启用定时调度，支持win、linux等多系统；
[0043]
2)、使用python语言集成对oracle、mysql等关系数据库访问及对redis、hbase、mongodb等非关系型数据库进行防问，以获取应用执行日志，及执行情况日志；
[0044]
3)、通过连接主机插件：paramiko、ftplib、sqlite3、关系数据库调用集成插件、邮件推送集成插件、短信插件等应用，获取应用主机上的日志及文件系统使用情况，通过日增及剩余情况进行预警；
[0045]
4)、通过外围接口push相应预警内容到对应主机，配置应用获取预警信息；
[0046]
5)、预警数据分类及预警模板配置，通过对预警信息分类，组织形成相应的预警短信信息、预警邮件信息；通过预警的级别对不同层级人员进行预警信息的推送；
[0047]
6)、根据不同级别配置预警信息接收人员参数表：
[0048]
smslist＝{'sale':['186xxxxxxxx','186xxxxxxxx','186xxxxxxxx'],'operater':['186xxxxxxxx'],
[0049]
'manager':['186xxxxxxxx'],
[0050]
'customer':['186xxxxxxxx']
[0051]
}。
[0052]
邮件类模板，通过html页面标签完成对邮件内容的装饰，通过不同格式的标签明了的反应邮件中突出关注的内容。
[0053]
本方法收集系统间交互或系统中存在的问题、及运行情况，通过邮件、短信、钉钉等通信软件完成系统异常情况问题的定时监控，减少维护方面人力，及时，快速的发现并通知系统运行状况，同时通过嵌入系统的应用插件，完成系统运行状况的收集，进行定期分析。
[0054]
本方法是通过多渠道多指标部署简单的系统预警监控应用软件实现，为系统提供了一种简单配置就可直接使用的服务组件。技术上使用python与java语言实现，配置文件采用yml格式，整体项目采用akka与thrift等框架，支持邮件、短信、钉钉等方式发送预警。
[0055]
该预警监控软件，不依赖任何业务应用，可独立使用，也可以方便的嵌入其他系统应用中使用，不影响原系统应用的功能。
[0056]
通过预警监控软件的使用，能够周期性监控数据，替代人工完成系统周期性应用监测及时预警；
[0057]
通过配置信息接收人的短信邮箱、钉钉号等，配置相应的预警接收级别，便可接收到预警发出的短信、钉钉及邮件信息；
[0058]
该预警监控软件，可支持分布式部署数据收集，通过嵌入的数据收集插件，完成数据收集，通过集中的服务主机进行预警处理，应用支持主从部署；
[0059]
产生的相关日志与任务单等信息会通过时长配置实现自动清理。
[0060]
在网络畅通的情况下，可以方便的嵌入各应用系统。
[0061]
通过支持多系统多指标的高可用监控软件实现本实施例所述的多系统数据监控的实现，能够可靠的帮助现场负责人员快速精精准获取各个系统异常情况，让问题及时发现并抢先客户发现前解决，同时可以有效减少各个现场的人力投入；能够灵活的嵌入到各系统应用中，达到同时监控的效果；支持灵活配置现场负责人的信息，如手机号和邮箱地址等；自动归档过期的任务单与日志信息。
[0062]
软件支持分布式部署，可以应对突发性服务器停机等异常情况，不会影响服务的正常提供。
[0063]
程序根据配置定期或者以监控kafka消息的方式自动派单与执行，实现快速精准性，且无需人工干预。
[0064]
在网元层级完成汇总后就可以第一时间监控并反馈异常情况，通过通信框架发送短信与邮件，让问题及时发现并抢先客户发现前解决。
[0065]
能够灵活的嵌入到各系统应用中，只需要在配置时根据格式配置好相关信息，可以打通系统之间的壁垒。
[0066]
支持灵活配置现场负责人的信息，可以通过配置灵活配置负责人员的信息。
[0067]
自动归档过期的任务单与日志信息，每天可以自动清理30天前历史任务单与日志信息。
[0068]
该方法应用部署方便，配置简单，监控周期灵活配置，通知方式有短信、邮件、钉钉等，对不同预警分类分级发送，可及时通知不同级别负责人应用运行情况、数据缺失的异常情况。该监控应用可以灵活且高可用的适配各种系统指标，最大限度的释放现场人力成本，使用运维人员可根据提醒及时响应。
[0069]
本发明实施例还提供了一种支持多系统多指标的高可用监控装置，包括：至少一个存储器和至少一个处理器；
[0070]
所述至少一个存储器，用于存储机器可读程序；
[0071]
所述至少一个处理器，用于调用所述机器可读程序，执行上述实施例所述的支持多系统多指标的高可用监控方法。
[0072]
本发明实施例还提供了一种计算机可读介质，所述计算机可读介质上存储有计算机指令，所述计算机指令在被处理器执行时，使所述处理器执行本发明上述实施例中所述的支持多系统多指标的高可用监控方法。具体地，可以提供配有存储介质的系统或者装置，在该存储介质上存储着实现上述实施例中任一实施例的功能的软件程序代码，且使该系统或者装置的计算机(或cpu或mpu)读出并执行存储在存储介质中的程序代码。
[0073]
在这种情况下，从存储介质读取的程序代码本身可实现上述实施例中任何一项实施例的功能，因此程序代码和存储程序代码的存储介质构成了本发明的一部分。
[0074]
用于提供程序代码的存储介质实施例包括软盘、硬盘、磁光盘、光盘(如cd-rom、cd-r、cd-rw、dvd-rom、dvd-ram、dvd-rw、dvd rw)、磁带、非易失性存储卡和rom。可选择地，可以由通信网络从服务器计算机上下载程序代码。
[0075]
此外，应该清楚的是，不仅可以通过执行计算机所读出的程序代码，而且可以通过基于程序代码的指令使计算机上操作的操作系统等来完成部分或者全部的实际操作，从而
实现上述实施例中任意一项实施例的功能。
[0076]
此外，可以理解的是，将由存储介质读出的程序代码写到插入计算机内的扩展板中所设置的存储器中或者写到与计算机相连接的扩展单元中设置的存储器中，随后基于程序代码的指令使安装在扩展板或者扩展单元上的cpu等来执行部分和全部实际操作，从而实现上述实施例中任一实施例的功能。
[0077]
上文通过附图和优选实施例对本发明进行了详细展示和说明，然而本发明不限于这些已揭示的实施例，基与上述多个实施例本领域技术人员可以知晓，可以组合上述不同实施例中的代码审核手段得到本发明更多的实施例，这些实施例也在本发明的保护范围之内。