慢查询日志检测的信息的处理方法、装置、设备及介质与流程

1.本发明涉及运维监控、软件监控领域，具体涉及慢查询日志检测的信息的处理方法、装置、设备及介质。


背景技术：

2.随着计算机业务系统的不断发展升级，用户的数据库中的业务规模、访问量、数据量等呈爆发式的增长。这使得在用户数据库中，会出现一些正常的查询sql(structured query language，结构化查询语言)变成慢查询的现象。慢查询会导致线上业务的响应时间变慢，如果得不到及时处理，在线上业务查询变慢的同时，大量的慢查询可能导致数据库服务器压力较大，影响到整个系统的稳定性。
3.目前慢查询的处理方式一般都是使用工具和脚本定时采集慢查询，事后通过人工分析进行跟进处理，解决慢查询问题的处理效率比较低。


技术实现要素：

4.本发明提出一种慢查询日志检测的信息的处理方法、装置、设备及介质，可用于解决现有的人工分析进行跟进处理慢查询，处理效率比较低的问题，可提出如下的技术方案。
5.一种慢查询日志检测的信息的处理方法，包括步骤：
6.获取当前用户的目标数据库信息，所述目标数据库内存储有所述当前用户的数据库语句；
7.对所述数据库语句进行查询，记录查询时间信息；
8.当所述查询时间大于等于第一阈值时间时，生成所述目标数据库中慢查询的日志数据信息，所述第一阈值时间是预先定义的，用于指示所述查询时间超过所述第一阈值时间的查询为所述慢查询；
9.将所述日志数据转换成流数据，生成所述慢查询的检测信息；
10.输出所述检测信息至所述当前用户。
11.本发明还可提出一种慢查询日志检测的信息的处理装置，包括：
12.获取单元，用于获取当前用户的目标数据库信息，所述目标数据库内存储有所述当前用户的数据库语句；
13.查询单元，用于对所述数据库语句进行查询，记录查询时间信息；
14.生成单元，用于当所述查询时间大于等于第一阈值时间时，生成所述目标数据库中慢查询的日志数据信息，所述第一阈值时间是预先定义的，用于指示所述查询时间超过所述第一阈值时间的查询为所述慢查询；
15.转换单元，用于将所述日志数据转换成流数据，生成所述慢查询的检测信息；
16.输出单元，用于输出所述检测信息至所述当前用户。
17.本发明还可提出一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述所
述慢查询日志检测的信息的处理方法的步骤。
18.本发明还可提出一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述所述慢查询日志检测的信息的处理方法的步骤。
19.本发明提出一种慢查询日志检测的信息的处理方法、装置、设备及介质，通过实时采集慢日志并将慢查询转换为流数据发生到系统平台，提升处理时效，将慢查询作为事件消息通过流数据订阅后，发送到当前用户，实时性得到大幅提升，可对慢查询的产生进行针对性的分析。极大的提高了效率，节省了成本。
附图说明
20.图1为本发明一种慢查询日志检测的信息的处理方法的一应用环境示意图；
21.图2为本发明一种慢查询日志检测的信息的处理方法的一流程示意图；
22.图3为图2中步骤s30的一具体实施方式流程示意图；
23.图4为图2中步骤s30的又一具体实施方式流程示意图；
24.图5为图2中步骤s30的又一具体实施方式流程示意图；
25.图6为本发明一种慢查询日志检测的信息的处理方法的一模型示意图；
26.图7为本发明一种慢查询日志检测的信息的处理装置的一结构示意图；
27.图8为本发明一实施例中计算机设备的一结构示意图。
具体实施方式
28.以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。
29.需要说明的是，本实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
30.本发明提供的慢查询日志检测的信息的处理方法，在一些实施例中，可应用在如图1的应用环境中，其中，客户端通过通信网络与服务端进行通信。服务端可以通过客户端获取当前用户的目标数据库信息，所述目标数据库内存储有所述当前用户的数据库语句；对所述数据库语句进行查询，记录查询时间信息；当所述查询时间大于等于第一阈值时间时，生成所述目标数据库中慢查询的日志数据信息，所述第一阈值时间是预先定义的，用于指示所述查询时间超过所述第一阈值时间的查询为所述慢查询；将所述日志数据转换成流数据，生成所述慢查询的检测信息；输出所述检测信息至所述当前用户。在本发明中，提出一种慢查询日志检测的信息的处理方法，实时采集慢日志并将慢查询转换为流数据发生到系统平台，提升处理时效，将慢查询作为事件消息通过流数据订阅后，发送到当前用户，实时性得到大幅提升。下面通过具体的实施例对本发明进行详细的描述。
31.请参阅图2所示，图2为本发明实施例提供的慢查询日志检测的信息的处理方法的
一个流程示意图，包括如下步骤：
32.s10、获取当前用户的目标数据库信息，所述目标数据库内存储有所述当前用户的数据库语句。
33.在一些实施例中，业务系统可提供服务的app(application，中间件)系统程序，当前用户的目标数据库可用于app存取数据和数据的交互。目标数据库是一个应用程序日志、事件的传输、处理、管理和搜索的平台，可以用来统一对当前用户的数据库语句进行管理，并且目标数据库还可提供web(world wide web，全球广域网)接口用于查询和统计。在获取到当前用户的目标数据库信息时，可通过接口等与目标数据库建立起通信连接，可用来查询目标数据库中的数据信息。
34.s20、对所述数据库语句进行查询，记录查询时间信息。
35.在一些实施例中，在获取到当前用户的目标数据库信息之后，可根据目标数据库的接口信息，实现与目标数据库之间的通信连接。可查找目标数据库中的数据库语句，并可对数据库语句进行查询，记录数据库语句的查询时间信息。通过观察检索引擎可发现在目标数据库中，每天都可能会有慢查询产生，在某些情况下，可能会有大量的慢查询产生，并且在目标数据库中可形成慢查询日志。其中，目标数据库中耗时比较久的查询叫做慢查询，慢查询过多会造成目标数据库和业务系统的不稳定。因此，通过对数据库语句进行查询，并记录数据库语句的查询时间，可以用于了解到目标数据库中是否已经产生了慢查询。
36.s30、当所述查询时间大于等于第一阈值时间时，生成所述目标数据库中慢查询的日志数据信息，所述第一阈值时间是预先定义的，用于指示所述查询时间超过所述第一阈值时间的查询为所述慢查询。
37.在一些实施例中，可预设第一阈值时间，可用于指示数据库语句中查询时间超过第一阈值时间的查询为慢查询。当查询时间大于等于第一阈值时间，即表示该数据库语句的查询为慢查询，此时可生成目标数据库中慢查询的日志数据信息。日志数据信息可存放到特定目录下的日志文件中。
38.请参阅图3，在一些实施例中，所述s30的当所述查询时间大于等于第一阈值时间时，生成所述目标数据库中慢查询的日志数据信息步骤，还可包括如下的子步骤。
39.s301、判断查询时间是否小于第一阈值时间。
40.s302、当所述查询时间大于等于所述第一阈值时间时，生成所述目标数据库中慢查询的日志数据信息。
41.s302、当所述查询时间小于所述第一阈值时间时，减小所述第一阈值时间数值的大小，可再次进入步骤s301，对所述数据库语句再次进行查询，并再次记录查询时间信息。
42.在一些实施例中，当查询时间大于等于所述第一阈值时间时，即出现了慢查询，此时可生成所述目标数据库中慢查询的日志数据信息。当当所述查询时间小于所述第一阈值时间时，即没有出现慢查询。此时可能存在第一阈值时间的数值取值较大，无法正常的反应出数据库语句的慢查询情况。可减小所述第一阈值时间数值的大小，并再次进入步骤s301重新进行查询操作，对所述数据库语句再次进行查询，并再次记录查询时间信息。
43.请参阅图4，在一些实施例中，在一些实施例中，所述s30的当所述查询时间大于等于第一阈值时间时，生成所述目标数据库中慢查询的日志数据信息步骤，还可包括如下的子步骤。
44.s311、当所述查询时间大于等于第一阈值时间时，生成所述目标数据库中慢查询的日志数据信息。
45.s312、预设一查询时间间隔，在同一所述查询时间间隔内，将所述日志数据信息汇总形成日志数据信息组。
46.s313、将所述日志数据信息组内的所述日志数据转换成流数据，生成所述慢查询的检测信息。
47.可在一些实施例中，预先设定一个查询时间间隔，在同一个查询时间间隔内，将慢查询的日志数据信息汇总形成日志数据信息组。通过在不同的查询时间间隔下，对日志数据信息组内的所述日志数据转换成流数据，生成所述慢查询的检测信息。可根据检测信息中的流数据的信息量，从而可反映出不同的查询时间间隔内出现慢查询的次数。可根据所在的查询时间间隔的具体时间，对慢查询现象的产生进行相应的分析。
48.请参阅图5，在一些实施例中，在一些实施例中，所述s30的当所述查询时间大于等于第一阈值时间时，生成所述目标数据库中慢查询的日志数据信息步骤，还可包括如下的子步骤。
49.s321、当所述查询时间大于等于第一阈值时间时，生成所述目标数据库中慢查询的日志数据信息。
50.s322、按照生成的所述日志数据信息的先后顺序，将所述日志数据信息汇总形成查询日志数组，每一所述查询日志数组内的所述日志数据信息的数量相同。
51.s323、将所述查询日志数组内的所述日志数据转换成流数据，生成所述慢查询的检测信息。
52.在一些实施例中，按照生成的所述日志数据信息的先后顺序，将所述日志数据信息汇总形成查询日志数组。对查询日志数组的所述日志数据转换成流数据，生成所述慢查询的检测信息。由于每一所述查询日志数组内的所述日志数据信息的数量相同，检测信息中每一查询日志数组对应的流数据的信息量也相同。可一次性的对相同的流数据的信息量进行分析，提升处理时效，实时性可得到大幅度的提高，并进一步的对慢查询现象的产生进行相应的分析。
53.s40、将所述日志数据转换成流数据，生成所述慢查询的检测信息。
54.在一些实施例中，可将日志数据转换成流数据，生成所述慢查询的检测信息。其中，检测信息可包括所述日志数据信息和流数据信息。并且可将日志数据信息与其对应的所述流数据信息成对输出至所述当前用户，可将日志数据信息对应的流数据信息设置在日志数据信息的一侧位置处。例如可按照第一个日志数据信息、第一个流数据信息、第二个日志数据信息、第二个流数据信息
……
的顺序进行排列，其中，第一个日志数据信息与第一个流数据信息相对应，第二个日志数据信息与第二个流数据信息相对应，依次递推。
55.s50、输出所述检测信息至所述当前用户。
56.在一些实施例中，可预设一检测时间间隔，在同一所述检测时间间隔内，将所述检测信息生成检测信息组，输出所述检测信息组至所述当前用户。通过在不同的检测时间间隔下，将检测信息汇总生成检测信息组。可根据检测信息中的流数据的信息量，从而可反映出不同的检测时间间隔内出现慢查询的次数。可根据所在的检测时间间隔的具体时间，对慢查询现象的产生进行相应的分析。
57.可见，在上述方案中，通过实时采集慢日志并将慢查询转换为流数据发生到系统平台，提升处理时效，将慢查询作为事件消息通过流数据订阅后，发送到当前用户，实时性得到大幅提升。在不同的查询时间间隔下，对日志数据信息组内的所述日志数据转换成流数据，生成所述慢查询的检测信息。可根据检测信息中的流数据的信息量，从而可反映出不同的查询时间间隔内出现慢查询的次数。可根据所在的查询时间间隔的具体时间，对慢查询现象的产生进行相应的分析。极大的提高了效率，节省了成本。
58.应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
59.请参阅图6，在一些实施例中，图6为本发明一种慢查询日志检测的信息的处理方法的一模型示意图。其中，业务系统101可提供服务的app(application，中间件)系统程序，当前用户的目标数据库可用于app存取数据和数据的交互。目标数据库102可以用来统一对当前用户的数据库语句进行管理。在获取到当前用户的目标数据库102信息时，可通过接口等与目标数据库102建立起通信连接，可查询目标数据库102中的数据信息。当目标数据库102中产生慢查询106时，可将慢查询106产生的日志数据信息作为事件消息，消息订阅系统107可将慢查询的日志数据转换成流数据，并且将流数据传输至实时平台预处理103。经过实时平台预处理103后，可进行人工智能分析诊断104，对慢查询的日志数据，慢查询对应的流数据进行分析，从而优化系统105。
60.在一些实施例中，实时平台预处理103可通过kafka平台进行实现。kafka是由apache软件基金会开发的一个开源流处理平台，由scala和java编写。kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据。这种动作(网页浏览，搜索和其他用户的行动)是在现代网络上的许多社会功能的一个关键因素。这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。对于像hadoop一样的日志数据和离线分析系统，但又要求实时处理的限制，这是一个可行的解决方案。kafka的目的是通过hadoop的并行加载机制来统一线上和离线的消息处理，也是为了通过集群来提供实时的消息。
61.请参阅图7，在一些实施例中，本发明提出一种慢查询日志检测的信息的处理装置。其中，所述慢查询日志检测的信息的处理装置600可包括有获取单元601、查询单元602、生成单元603、转换单元604和输出单元605。各功能模块详细说明如下。
62.获取单元601，用于获取当前用户的目标数据库信息，所述目标数据库内存储有所述当前用户的数据库语句；
63.查询单元602，用于对所述数据库语句进行查询，记录查询时间信息；
64.生成单元603，用于当所述查询时间大于等于第一阈值时间时，生成所述目标数据库中慢查询的日志数据信息，所述第一阈值时间是预先定义的，用于指示所述查询时间超过所述第一阈值时间的查询为所述慢查询；
65.转换单元604，用于将所述日志数据转换成流数据，生成所述慢查询的检测信息；
66.输出单元605，用于输出所述检测信息至所述当前用户。
67.在一实施例中，获取单元601具体用于：
68.可以用来统一对当前用户的数据库语句进行管理，并且目标数据库还可提供接口
用于查询和统计。在获取到当前用户的目标数据库信息时，可通过接口等与目标数据库建立起通信连接，可用来查询目标数据库中的数据信息。
69.在一实施例中，查询单元602具体用于：
70.可查找目标数据库中的数据库语句，并可对数据库语句进行查询，记录数据库语句的查询时间信息。通过观察检索引擎可发现在目标数据库中，每天都可能会有慢查询产生，在目标数据库中可形成慢查询日志。通过对数据库语句进行查询，并记录数据库语句的查询时间，可以用于了解到目标数据库中是否已经产生了慢查询。
71.在一实施例中，生成单元603具体用于：
72.s301、判断查询时间是否小于第一阈值时间。
73.s302、当所述查询时间大于等于所述第一阈值时间时，生成所述目标数据库中慢查询的日志数据信息。
74.s302、当所述查询时间小于所述第一阈值时间时，减小所述第一阈值时间数值的大小，可再次进入步骤s301，对所述数据库语句再次进行查询，并再次记录查询时间信息。
75.在又一实施例中，生成单元603具体用于：
76.s311、当所述查询时间大于等于第一阈值时间时，生成所述目标数据库中慢查询的日志数据信息。
77.s312、预设一查询时间间隔，在同一所述查询时间间隔内，将所述日志数据信息汇总形成日志数据信息组。
78.s313、将所述日志数据信息组内的所述日志数据转换成流数据，生成所述慢查询的检测信息。
79.在又一实施例中，生成单元603具体用于：
80.s321、当所述查询时间大于等于第一阈值时间时，生成所述目标数据库中慢查询的日志数据信息。
81.s322、按照生成的所述日志数据信息的先后顺序，将所述日志数据信息汇总形成查询日志数组，每一所述查询日志数组内的所述日志数据信息的数量相同。
82.s323、将所述查询日志数组内的所述日志数据转换成流数据，生成所述慢查询的检测信息。
83.在一实施例中，转换单元604用于：
84.将日志数据转换成流数据，生成所述慢查询的检测信息。其中，检测信息可包括所述日志数据信息和流数据信息。并且可将日志数据信息与其对应的所述流数据信息成对输出至所述当前用户，可将日志数据信息对应的流数据信息设置在日志数据信息的一侧位置处。例如可按照第一个日志数据信息、第一个流数据信息、第二个日志数据信息、第二个流数据信息
……
的顺序进行排列，其中，第一个日志数据信息与第一个流数据信息相对应，第二个日志数据信息与第二个流数据信息相对应，依次递推。
85.在一实施例中，输出单元605具体用于：
86.可预设一检测时间间隔，在同一所述检测时间间隔内，将所述检测信息生成检测信息组，输出所述检测信息组至所述当前用户。通过在不同的检测时间间隔下，将检测信息汇总生成检测信息组。可根据检测信息中的流数据的信息量，从而可反映出不同的检测时间间隔内出现慢查询的次数。可根据所在的检测时间间隔的具体时间，对慢查询现象的产
生进行相应的分析。
87.关于慢查询日志检测的信息的处理装置的具体限定可以参见上文中对于慢查询日志检测的信息的处理方法的限定，在此不再赘述。上述慢查询日志检测的信息的处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
88.在一个实施例中，提供了一种计算机设备，该计算机设备700可以是服务端，其内部结构图可以如图8所示。该计算机设备700包括通过系统总线连接的处理器701、存储器702、网络接口704和数据库。其中，该计算机设备700的处理器701用于提供计算和控制能力。该计算机设备700的存储器702包括非易失性和/或易失性存储介质、内存储器703。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器703为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备700的网络接口704用于与外部的客户端通过网络连接通信。该计算机程序被处理器执行时以实现一种慢查询日志检测的信息的处理方法服务端侧的功能或步骤。
89.在一个实施例中，提供了一种计算机设备，该计算机设备700可以是客户端。该计算机设备700包括通过系统总线连接的处理器701、存储器702、网络接口704、显示屏和输入装置。其中，该计算机设备700的处理器701用于提供计算和控制能力。该计算机设备700的存储器702包括非易失性存储介质、内存储器703。该非易失性存储介质存储有操作系统和计算机程序。该内存储器703为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备700的网络接口704用于与外部服务器通过网络连接通信。该计算机程序被处理器701执行时以实现一种慢查询日志检测的信息的处理方法客户端侧的功能或步骤。
90.在一个实施例中，提供了一种计算机设备700，包括存储器702、处理器701及存储在存储器上并可在处理器上运行的计算机程序，处理器701执行计算机程序时实现以下步骤：
91.获取当前用户的目标数据库信息，所述目标数据库内存储有所述当前用户的数据库语句；
92.对所述数据库语句进行查询，记录查询时间信息；
93.当所述查询时间大于等于第一阈值时间时，生成所述目标数据库中慢查询的日志数据信息，所述第一阈值时间是预先定义的，用于指示所述查询时间超过所述第一阈值时间的查询为所述慢查询；
94.将所述日志数据转换成流数据，生成所述慢查询的检测信息；
95.输出所述检测信息至所述当前用户。
96.在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
97.获取当前用户的目标数据库信息，所述目标数据库内存储有所述当前用户的数据库语句；
98.对所述数据库语句进行查询，记录查询时间信息；
99.当所述查询时间大于等于第一阈值时间时，生成所述目标数据库中慢查询的日志
数据信息，所述第一阈值时间是预先定义的，用于指示所述查询时间超过所述第一阈值时间的查询为所述慢查询；
100.将所述日志数据转换成流数据，生成所述慢查询的检测信息；
101.输出所述检测信息至所述当前用户。
102.需要说明的是，上述关于计算机可读存储介质或计算机设备所能实现的功能或步骤，可对应参阅前述方法实施例中，服务端侧以及客户端侧的相关描述，为避免重复，这里不再一一描述。
103.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双数据率sdram(ddrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)等。
104.以上描述仅为本技术的较佳实施例以及对所运用技术原理的说明，本领域技术人员应当理解，本技术中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离所述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案，例如上述特征与本技术中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
105.除说明书所述的技术特征外，其余技术特征为本领域技术人员的已知技术，为突出本发明的创新特点，其余技术特征在此不再赘述。