系统慢查询的实时掌握方法、装置及电子设备与流程

1.本发明涉及慢查询技术领域，具体涉及一种系统慢查询的实时掌握方法、装置及电子设备。


背景技术：

2.很多web应用发布上线后，随着系统在产线运行的时间越来越久，使用的人数越来越多，系统的响应速度会慢慢地降下来，很多情况下，系统的响应慢都是因为运行过程中生产数据的积累导致的，数据积累到一定量的情况下，如果没有做好查询优化，就会导致查询效率越来越差，查询速度越来越慢。这时如果没有及时介入处理，一方面会影响到系统的稳定性，另一方面也会影响客户的使用体验。
3.但是目前大多数情况下，对这种问题的发现，只能依赖客户反馈到运营人员，再由运营人员反馈到系统的开发人员，由于都是人工反馈，反馈链过长效率低下，不能及时处理问题，由此导致客户体验不佳。


技术实现要素：

4.本发明的主要目的在于提供一种系统慢查询的实时掌握方法及装置，以解决相关技术中无法及时掌握系统慢查询、不能及时处理的问题。
5.为了实现上述目的，本发明的第一方面提供了一种系统慢查询的实时掌握方法，包括：
6.接收系统的数据库操作触发预设时间阈值的触发信息；
7.根据所述触发信息输出慢sql到对应的日志文件；
8.清洗所述日志文件，并导入到监控系统；
9.判断所述监控系统中清洗后的日志文件是否触发预警阈值；
10.若是，则进行预警并通知对应的负责人。
11.可选地，在接收系统的数据库操作触发预设时间阈值的触发信息之前，所述方法还包括：
12.预先配置druid的数据库连接池的慢sql输出参数。
13.可选地，所述日志文件记录具体的sql语句、最终执行sql语句的耗时、操作内容。
14.可选地，所述清洗所述日志文件包括：
15.按照预先配置的清洗规则清洗所述日志文件。
16.可选地，在清洗所述日志文件之后，所述方法还包括：
17.按照预设格式重新组装日志文件。
18.进一步地，在导入到监控系统之前，所述方法还包括：
19.抽取重新组装后的日志文件。
20.可选地，在判断所述监控系统中清洗后的日志文件是否达到预警阈值之前，所述方法还包括：
21.预先配置预警规则，所述预警规则包括预警阈值；
22.预先配置通知规则，所述通知规则包括通知对应的负责人。
23.本发明的第二方面提供了一种系统慢查询的实时掌握装置，包括：
24.接收单元，用于接收系统的数据库操作触发预设时间阈值的触发信息；
25.输出单元，用于根据所述触发信息输出慢sql到对应的日志文件；
26.清洗单元，用于清洗所述日志文件，并导入到监控系统；
27.判断单元，用于判断所述监控系统中清洗后的日志文件是否触发预警阈值；
28.预警单元，用于若是，则进行预警并通知对应的负责人。
29.本发明的第三方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使计算机执行第一方面任意一项提供的系统慢查询的实时掌握方法。
30.本发明的第四方面提供了一种电子设备，所述电子设备包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器执行第一方面任意一项提供的系统慢查询的实时掌握方法。
31.在本发明实施例提供的系统慢查询的实时掌握方法中，接收系统的数据库操作触发预设时间阈值的触发信息；根据所述触发信息输出慢sql到对应的日志文件；清洗所述日志文件，并导入到监控系统；判断所述监控系统中清洗后的日志文件是否触发预警阈值；若是，则进行预警并通知对应的负责人。本发明可以及时地掌握到生产环境的系统在进行哪项的操作时响应速度慢，由此就可以及时地介入处理，提升系统稳定性，提高了用户体验，进而解决了相关技术中无法及时掌握系统慢查询、不能及时处理的问题。
附图说明
32.为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
33.图1为本发明实施例提供的系统慢查询的实时掌握方法流程示意图；
34.图2为本发明实施例提供的系统慢查询的实时掌握装置框图；
35.图3为本发明实施例提供的电子设备框图。
具体实施方式
36.为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
37.需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用
的数据在适当情况下可以互换，以便这里描述的本发明的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
38.在本发明中，术语“上”、“下”、“左”、“右”、“前”、“后”、“顶”、“底”、“内”、“外”、“中”、“竖直”、“水平”、“横向”、“纵向”等指示的方位或位置关系为基于附图所示的方位或位置关系。这些术语主要是为了更好地描述本发明及其实施例，并非用于限定所指示的装置、元件或组成部分必须具有特定方位，或以特定方位进行构造和操作。
39.并且，上述部分术语除了可以用于表示方位或位置关系以外，还可能用于表示其他含义，例如术语“上”在某些情况下也可能用于表示某种依附关系或连接关系。对于本领域普通技术人员而言，可以根据具体情况理解这些术语在本发明中的具体含义。
40.此外，术语“安装”、“设置”、“设有”、“连接”、“相连”、“套接”应做广义理解。例如，可以是固定连接，可拆卸连接，或整体式构造；可以是机械连接，或电连接；可以是直接相连，或者是通过中间媒介间接相连，又或者是两个装置、元件或组成部分之间内部的连通。对于本领域普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
41.需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。
42.现有的情况下，随着系统的使用时间越来越长，系统的响应时间是越来越长，但是缺少一种机制能及时掌握系统慢的原因，本发明提供一种系统慢查询的实时掌握方法，通过本发明，可以及时地掌握到生产环境的系统在进行哪项的操作时响应速度慢，由此就可以及时的介入处理，提升系统稳定性，提高用户体验。
43.本发明实施例提供了一种系统慢查询的实时掌握方法，其中，慢查询是在日志文件中记录运行比较慢的sql语句，在分析mysql语句查询性能时，可以让mysql记录下查询超过指定时间的语句，将超过指定时间的sql语句查询称为慢查询；本发明实施例提供的系统慢查询的实时掌握方法如图1所示，该方法包括如下的步骤s101至步骤s105：
44.步骤s101：接收系统的数据库操作触发预设时间阈值的触发信息；其中，预设时间阈值可以为3秒，按照3秒的预设时间阈值设置慢查询sql的输出标准，当系统的某个数据库操作超过3秒还未返回结果的时候，接收触发信息；
45.具体的，在所述步骤s101中接收系统的数据库操作触发预设时间阈值的触发信息之前，所述方法还包括：
46.预先配置druid的数据库连接池的慢sql输出参数。即，预先进行druid的数据库连接池参数设置，druid的数据库连接池具备慢查询sql的输出功能。
47.步骤s102：根据所述触发信息输出慢sql到对应的日志文件；根据触发信息将相关的sql语句输出到对应的日志文件中；
48.其中，所述日志文件记录具体的sql语句、最终执行sql语句的耗时、操作内容。即，日志文件的内容主要记录具体的sql语句、最终执行sql语句的耗时、相关的操作内容等关键信息。
49.步骤s103：清洗所述日志文件，并导入到监控系统；
50.具体的，所述步骤s103中的清洗所述日志文件包括：
51.按照预先配置的清洗规则清洗所述日志文件。
52.进一步的，在清洗所述日志文件之后，所述方法还包括：
53.按照预设格式重新组装日志文件。
54.在导入到监控系统之前，所述方法还包括：
55.抽取重新组装后的日志文件。在抽取重新组装后的日志文件之后，导入到监控系统。
56.步骤s104：判断所述监控系统中清洗后的日志文件是否触发预警阈值；
57.具体的，在步骤s104中的判断所述监控系统中清洗后的日志文件是否达到预警阈值之前，所述方法还包括：
58.预先配置预警规则，所述预警规则包括预警阈值；
59.预先配置通知规则，所述通知规则包括通知对应的负责人。
60.步骤s105：若是，则进行预警并通知对应的负责人。
61.预先配置预警规则和通知规则，根据预先配置的预警规则判断是否触发预警，若是，则进行预警，并根据预先配置的通知规则以短信或者钉钉等形式通知对应的负责人。
62.本发明选用druid的数据库连接池，druid的数据库连接池具备慢查询sql的输出功能，按照3秒的阈值设置慢查询sql的输出标准，当系统的某个数据库操作超过3秒还未返回结果的时候，就会将相关的sql语句输出到对应的日志文件中，日志内容主要记录具体的sql语句、最终执行sql语句的耗时、相关的操作内容等关键信息。对日志文件的内容进行清洗，导入到监控系统，当触发对应的预警规则时，以短信或者钉钉的形式通知到对应的负责人。
63.从以上的描述中，可以看出，本发明实现了如下技术效果：
64.本发明可以及时地掌握到生产环境的系统在进行哪项的操作时响应速度慢，由此就可以及时地介入处理，提升系统稳定性，提高了用户体验，进而解决了相关技术中无法及时掌握系统慢查询、不能及时处理的问题。
65.需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
66.本发明实施例还提供了一种用于实施上述系统慢查询的实时掌握方法的系统慢查询的实时掌握装置，如图2所示，该装置包括：
67.接收单元21，用于接收系统的数据库操作触发预设时间阈值的触发信息；
68.输出单元22，用于根据所述触发信息输出慢sql到对应的日志文件；
69.清洗单元23，用于清洗所述日志文件，并导入到监控系统；
70.判断单元24，用于判断所述监控系统中清洗后的日志文件是否触发预警阈值；
71.预警单元25，用于若是，则进行预警并通知对应的负责人。
72.本发明实施例还提供了一种电子设备，如图3所示，该电子设备包括一个或多个处理器31以及存储器32，图3中以一个处理器31为例。
73.该控制器还可以包括：输入装置33和输出装置34。
74.处理器31、存储器32、输入装置33和输出装置34可以通过总线或者其他方式连接，图3中以通过总线连接为例。
75.处理器31可以为中央处理器(central processing unit，简称为cpu)，处理器31还可以为其他通用处理器、数字信号处理器(digital signal processor，简称为dsp)、专用集成电路(application specific integrated circuit，简称为asic)、现场可编程门阵列(field-programmable gate array，简称为fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合，通用处理器可以是微处理器或者任何常规的处理器。
76.存储器32作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本发明实施例中的控制方法对应的程序指令/模块。处理器31通过运行存储在存储器32中的非暂态软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例的系统慢查询的实时掌握方法。
77.存储器32可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据服务器操作的处理装置的使用所创建的数据等。此外，存储器32可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器32可选包括相对于处理器31远程设置的存储器，这些远程存储器可以通过网络连接至网络连接装置。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
78.输入装置33可接收输入的数字或字符信息，以及产生与服务器的处理装置的用户设置以及功能控制有关的键信号输入。输出装置34可包括显示屏等显示设备。
79.一个或者多个模块存储在存储器32中，当被一个或者多个处理器31执行时，执行如图1所示的方法。
80.本领域技术人员可以理解，实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成的，程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各电机控制方法的实施例的流程。其中，存储介质可为磁碟、光盘、只读存储记忆体(read-only memory，简称为rom)、随机存储记忆体(random access memory，简称为ram)、快闪存储器(flash memory，简称为fm)、硬盘(hard disk drive，简称为hdd)或固态硬盘(solid-state drive，简称为ssd)等；存储介质还可以包括上述种类的存储器的组合。
81.虽然结合附图描述了本发明的实施方式，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下作出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。