数据的处理方法及装置、电子设备和可读存储介质与流程

1.本技术涉及计算机领域，具体涉及一种数据的处理方法及装置、电子设备和可读存储介质。


背景技术：

2.在现有技术中，对于目标系统性能测试的方法是：按照统一格式模板进行数据的采集，并依靠人工对目标系统性能进行分析和评估，即存在对于不需要采集的数据进行了采集，而对于需要的数据可能进行了漏采集的情况。可见，现有技术在目标系统性能测试方式中进行数据采集的方式比较单一，导致无法准确对目标系统性能问题进行定位的问题。


技术实现要素：

3.本技术实施例的目的是提供一种数据的处理方法及装置、电子设备和可读存储介质，能够解决现有技术中通过统一模板进行数据采集存在数据漏采集或过采集的情况，导致无法准确地对目标系统性能问题进行定位的问题。
4.为了解决上述技术问题，本技术是这样实现的：
5.第一方面，本技术实施例提供了一种数据的处理方法，包括：根据与待采集的目标数据对应的目标模板对所述目标数据进行采集；获取与所述目标数据对应的性能指标值；其中，所述性能指标值用于表征目标系统的性能状况，所述目标系统为所述待采集的目标数据所在的系统；根据所述性能指标值与预设阈值的比较结果确定所述目标系统的性能状况。
6.第二方面，本技术实施例提供了一种数据的处理装置，包括：采集模块，用于根据与待采集的目标数据对应的目标模板对所述目标数据进行采集；获取模块，用于获取与所述目标数据对应的性能指标值；其中，所述性能指标值用于表征目标系统的性能状况，所述目标系统为所述待采集的目标数据所在的系统；确定模块，用于根据所述性能指标值与预设阈值的比较结果确定所述目标系统的性能状况。
7.第三方面，本技术实施例提供了一种电子设备，该电子设备包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面所述的方法的步骤。
8.第四方面，本技术实施例提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤。
9.通过本技术实施例，可以根据待采集的目标数据确定对应的目标模板，即可以根据待采集的目标数据的不同确定对应的目标模板，无需使用统一格式的模板对数据进行采集；进一步地，可以根据目标数据的性能指标值与预设阈值的比较结果对目标系统进行性能分析，实现了有针对性的数据采集进而可以有针对性的进行性能分析，实现了对目标系统性能问题的准确定位。
附图说明
10.图1是本技术实施例中数据的处理方法的流程图；
11.图2是本技术实施例中目标模板采集数据的示意图；
12.图3是本技术实施例中目标模板采集数据的又一示意图；
13.图4是本技术实施例中对系统进行性能分析的示意图；
14.图5是本技术实施例中数据的处理装置的结构示意图。
具体实施方式
15.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
16.本技术的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。
17.请参见图1，图1是本技术实施例的数据的处理方法的流程图，如图1所示，该方法的步骤包括：
18.步骤s102，根据与待采集的目标数据对应的目标模板对目标数据进行采集；
19.可见，在本技术实施例中是根据待采集的目标数据确定对应的用于进行数据采集的目标模板，而不是采用统一的模板进行数据采集；即可以根据需求对所需要采集的数据进行有针对性的采集，而通过统一的模板进行数据采集存在不必要的数据采集，或者是统一模板中的配置文件不完整，导致需要采集的数据漏采集。
20.步骤s104，获取与目标数据对应的性能指标值；其中，性能指标值用于表征目标系统的性能状况，目标系统为待采集的目标数据所在的系统；
21.其中，目标数据均对应相应的性能指标值，例如，目标数据可以是该目标系统的基本硬件信息：cpu(central processing unit，中央处理器)使用信息、内存占用信息、进程信息等等，还可以是数据库信息：用于表征查询超过指定时间的慢查询语句等。因此，目标数据对应的性能指标值可以是：cpu已被使用30％、内存已被占用60％、慢查询语句所表征的查询时间为5s等。
22.步骤s106，根据性能指标值与预设阈值的比较结果确定目标系统的性能状况。
23.通过上述本技术实施例中的步骤s102至步骤s106，可以根据待采集的目标数据确定对应的目标模板，即可以根据待采集的目标数据的不同确定对应的目标模板，无需使用统一格式的模板对数据进行采集；进一步地，可以根据目标数据的性能指标值与预设阈值的比较结果对目标系统进行性能分析，实现了有针对性的数据采集进而可以有针对性的进行性能分析，实现了对目标系统性能问题的准确定位。
24.可选地，在本技术实施例中，对于步骤s102中涉及到的根据与待采集的目标数据对应的目标模板对目标数据进行采集的方式，进一步可以是：
25.步骤s102-11，根据目标数据确定目标模板中的参数信息；其中，参数信息用于表征目标数据的来源和类型；
26.步骤s102-12，对目标数据的来源和数据类型进行验证；
27.步骤s102-13，若验证通过，则根据目标模板中的配置参数对目标数据进行采集。
28.下面结合具体实施方式对上述步骤s102-11至步骤s102-13进行举例说明；
29.该目标模板中的配置参数可以是(data:[{id:
‘’
，ip:
‘’
，type:
‘’
，db：
‘’
,middleware：
‘’
},当然该目标模板中的配置参数仅仅是举例说明，也可以是其他配置参数的目标模板，即可以根据实际需求调整模板中的配置参数。当目标数据为：id:
‘1’
，ip:
‘
192.168.1.1’,type:
‘
jvm’，db：
‘
redis’,middleware：
‘
mq’的情况下，对该目标模板中的配置参数进行配置，最终的目标模板为(data:[{id:
’1’
，ip:’192.168.1.1’,type:’jvm’，db：’redis,middleware：
‘
mq’}。
[0030]
需要说明的是，在其他应用场景中，可以配置多条这样的配置参数，如：
[0031]
(data:[{id:
’1’
，ip:’192.168.1.1’,type:’jvm’，db：’redis,middleware：
‘
mq’},
[0032]
{id:
’2’
，ip:’192.168.1.2’,type:’python’，db：’mysql’,middleware：
‘
mq’}])。
[0033]
也就是说，可以根据所要采集的目标数据的实际情况进行相应目标模板配置参数的调整。此外，在目标数据通过目标模板采集之后，可以对采集的目标数据进行存储，方便后续对目标数据进行性能分析过程中对目标数据进行解析。
[0034]
以上述具体应用场景中，以(data:[{id:
‘1’
，ip:
‘
192.168.1.1’,type:
‘
jvm’，db：
‘
redis’,middleware：
‘
mq’}])为例，本技术实施例中的验证通过可以是指：验证ip(internet protocol，互联网协议)为开机状态、jvm链接成功、数据连接成功、中间件的配置信息正确等。
[0035]
也就是说，在本技术实施例中，为了使得后续数据的采集能够更加顺利的执行，在本技术实施例中可以先对目标模板中目标数据的来源和数据类型的标识进行验证；在验证通过的情况下，再对目标数据进行采集。
[0036]
可选地，如图2所示，在本技术实施例中采集目标数据的方式包括以下至少之一：
[0037]
1)，通过第三方工具的接口获取目标数据；
[0038]
其中，在本技术的具体应用场景中，该第三方工具的接口可以是openfalcon接口，通过该openfalcon接口可以获取目标系统的基本配置信息，例如，cpu(central processing unit，中央处理器)的信息，内存信息，load(负荷)信息，io(input/output，输入/输出)信息，端口活动信息，进程信息，jvm(java virtual machine，java虚拟机)信息等。
[0039]
2)，通过自定义的接口获取目标数据；
[0040]
其中，在本技术的具体应用场景中，该自定义的接口可以是使用java自主开发对应的接口采集数据库mysql、redis、和其他中间件的信息。
[0041]
3)，从目标系统的日志文件中读取目标数据。
[0042]
其中，在本技术实施例的具体应用场景中，可以通过第三方工具，如elasticsearch，对目标系统的日志文件进行数据读取。当然，该第三方工具仅仅是举例说明，其他能够获取日志文件中数据的第三方工具也是在本技术的保护范围之内的。
[0043]
可见，上述三种采集目标数据的方式所获取的目标数据的类型是不相同的，因此，在本技术的具体应用场景中根据需求可以只采用其中一种方式，也可以是上述三种方式中任意两种的组合，或是同时采用上述三种方式。
[0044]
因此，在具体应用场景中，其目标模板采集目标数据的方式可以是如图3所示，首先是按照目标模板中配置的id进行数据读取，进而读取目标系统的基本配置信息，如机器信息cpu、内存信息、io信息、磁盘信息等，再就是按照应用数据
---
数据库
---
中间件，这样的顺序进行数据的读取；其中，应用数据包括：jvm信息和应用日志；数据库包括：mysql，redis，hbase，mogodb；中间件包括：mq和kafka。
[0045]
可选地，对于本技术实施例中步骤s106中涉及到的根据性能指标值与预设阈值的比较结果确定目标系统的性能状况的方式，进一步可以是：
[0046]
步骤s106-11，从性能指标值中选择与性能分析需求对应的目标性能指标值；
[0047]
步骤s106-12，比较目标性能指标值与预设阈值；
[0048]
步骤s106-13，若比较结果满足预设条件，则确定目标系统存在性能问题。
[0049]
可选地，本技术实施例中的预设条件可以包括如下两种：
[0050]
1)若目标数据为第一目标数据，且与第一目标数据对应的预设阈值为第一预设阈值时，预设条件为：第一目标数据的性能指标值小于或等于第一预设阈值；
[0051]
2)在目标数据为第二目标数据，且与第二目标数据对应的预设阈值为第二预设阈值时，预设条件为：第二目标数据的性能指标值大于或等于第二预设阈值；
[0052]
其中，第一目标数据不同于第二目标数据；第一预设阈值不同于第二预设阈值。
[0053]
也就是说，该不同的目标数据的性能指标值对应有不同的预设阈值，例如第一目标数据可以是tps和响应时间，在响应时间和tps不达标，即小于第一预设阈值的情况下，则会进行目标系统性能问题的定位；而第二目标数据可以是慢查询语句，如jvm gc回收时间过长，即时长超过第二预设阈值，则会进行目标系统性能问题的定位。
[0054]
可选地，不同应用场景或需求，所需要的性能指标是不相同的，例如：
[0055]
稳定测试场景：稳定性测试主要目标是考核目标系统稳定性质目标，其关注的主要指标包括：性能指标的tps(transactions per second，事务数/秒)的波动性，即根据上下波动情况来分析目标系统结构的稳定性；在该场景下关注的指标可以包括：系统硬件资源指标，日志关注容量，以及数据库慢查询语句以及接口处理的时间等。
[0056]
混合测试场景：是指单接口压测完成之后会根据线上接口之间占比进行配置；其关注的性能指标为tps在各个接口中的配比。需要说明的是，混合场景更关注硬件资源消耗，以及数据锁信息和接口之间资源竞争等信息。
[0057]
以上述稳定测试场景为例，获取的目标数据包括cpu使用情况、内存使用情况、应用日志的容量信息、以及数据库中的慢查询语句信息。相应的，该目标数据的性能指标值为：cpu当前使用已经达到了满负荷的60％，当前内存占用已经超过最大运行内存的70％、当前应用日志的所剩容量为1g，慢查询语句所指示的所表征的查询时间为5s。针对不同目标数据其对应的预设阈值也是不相同的，在目标数据为cpu使用情况的情况下，其对应的预设阈值可以是50％，而目标数据为慢查询语句的情况下，其对应的预设阈值可以是1s等。上述仅仅是举例说明，可以根据实际情况进行相应预设阈值的设置。
[0058]
可见，当前cpu的使用已经超过预设阈值的50％，说明该目标系统存在当前运行负
载过多的问题，慢查询语句所指示的所表征的查询时间超过1s，则说明书数据库中的数据结构存在问题。
[0059]
此外，在具体应用场景中，进行性能分析的方式可以遵循以下原则：由硬件数据到软件数据的顺序进行性能分析，和/或按照业务流程从上到下进行数据性能分析，具体可以如图4所示的顺序进行分析，即：压测信息
--
机器基本信息
--
应用相关数据
--
数据库数据
--
中间件信息顺序依次逐层的进行分析；其中，压测信息包括：并发数、tps、响应时间、成功率；机器信息包括：cpu信息、内存信息、磁盘信息和load信息；应用信息包括：java基本信息、日志信息；数据库包括：基本配置信息、慢查询语句、shwo processus；中间件信息包括：中间件基本信息、执行信息。
[0060]
可选地，本技术实施例的方法步骤还可以包括：
[0061]
步骤s108，在确定目标系统存在性能问题之后，发送通知消息。
[0062]
需要说明的是，该通知消息用于表征目标系统存在性能问题，该通知消息可以是发送给相关的技术人员，也可以是上报给目标系统，以便对目标系统的配置参数进行调整。
[0063]
可选地，本技术实施例的方法步骤还可以包括：
[0064]
步骤s110，在确定目标系统存在性能问题之后，对目标系统的配置参数进行调整，直到性能指标值与预设阈值的比较结果不满足预设条件。
[0065]
也就是说，在定位出性能问题后会相应的对目标系统的配置参数进行调整；在本技术可选实施方式中，如果第一次配置参数调整后，依然还出现性能问题，则可以进行多次配置参数的调整，直到性能指标值与预设阈值的比较结果不满足预设条件，也就是说直到系统不在出现性能问题，即不在发送通知消息，以达到优化目标系统配置参数的目的。
[0066]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本技术各个实施例的方法。
[0067]
在本技术实施例中还提供了一种数据的处理装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
[0068]
请参见图5，图5是本技术实施例的数据的处理装置的结构示意图，如图5所示，本技术实施例中的装置包括：
[0069]
采集模块52，用于根据与待采集的目标数据对应的目标模板对目标数据进行采集；
[0070]
获取模块54，用于获取与目标数据对应的性能指标值；其中，性能指标值用于表征目标系统的性能状况，目标系统为待采集的目标数据所在的系统；
[0071]
确定模块56，用于根据性能指标值与预设阈值的比较结果确定目标系统的性能状况。
[0072]
可选地，本技术实施例中的采集模块52进一步可以包括：第一确定单元，用于根据
目标数据确定目标模板中的参数信息；其中，参数信息用于表征目标数据的来源和类型；验证单元，用于对目标数据的来源和数据类型进行验证；采集单元，用于若验证通过，则根据目标模板中的配置参数对目标数据进行采集。
[0073]
可选地，在本技术实施例中采集目标数据的方式包括以下至少之一：通过第三方工具的接口获取目标数据；通过自定义的接口获取目标数据；从目标系统的日志文件中读取目标数据。
[0074]
可选地，本技术实施例中的确定模块56进一步可以包括：选择单元，用于从性能指标值中选择与性能分析需求对应的目标性能指标值；比较单元，用于比较目标性能指标值与预设阈值；第二确定单元，用于若比较结果满足预设条件，则确定目标系统存在性能问题。
[0075]
可选地，若目标数据为第一目标数据，且与第一目标数据对应的预设阈值为第一预设阈值时，预设条件为：第一目标数据的性能指标值小于或等于第一预设阈值；
[0076]
在目标数据为第二目标数据，且与第二目标数据对应的预设阈值为第二预设阈值时，预设条件为：第二目标数据的性能指标值大于或等于第二预设阈值；其中，第一目标数据不同于第二目标数据；第一预设阈值不同于第二预设阈值。
[0077]
可选地，本技术实施例中的装置还可以包括：发送模块，用于在确定目标系统存在性能问题之后，发送通知消息。在本实施例中，通知消息用于通知目标系统存在性能问题。
[0078]
可选地，本技术实施例中的装置还可以包括：调整模块，用于在确定目标系统存在性能问题之后，对目标系统的配置参数进行调整，直到性能指标值与预设阈值的比较结果不满足预设条件。
[0079]
通过本技术实施例中数据的处理装置，可以根据待采集的目标数据确定对应的目标模板，即可以根据目标数据的不同确定对应的目标模板，无需使用统一格式的模板对数据进行采集；进一步地，实现了有针对性的数据采集以及有针对性的性能分析，实现了对目标系统性能问题的准确定位，解决了现有技术中数据采集的方式比较单一而导致的无法准确地对目标系统性能问题进行定位的问题。
[0080]
可选的，本技术实施例还提供一种电子设备，包括处理器，存储器，存储在存储器上并可在所述处理器上运行的程序或指令，该程序或指令被处理器执行时实现上述数据的处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
[0081]
需要注意的是，本技术实施例中的电子设备包括上述所述的移动电子设备和非移动电子设备。
[0082]
本技术实施例还提供一种可读存储介质，所述可读存储介质上存储有程序或指令，该程序或指令被处理器执行时实现上述数据的处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
[0083]
其中，所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质，包括计算机可读存储介质，如计算机只读存储器(read-only memory，rom)、随机存取存储器(random access memory，ram)、磁碟或者光盘等。
[0084]
显然，本领域的技术人员应该明白，上述的本技术的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储
在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本技术不限制于任何特定的硬件和软件结合。
[0085]
以上所述仅为本技术的优选实施例而已，并不用于限制本技术，对于本领域的技术人员来说，本技术可以有各种更改和变化。凡在本技术的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本技术的保护范围之内。