一种数据处理方法及装置与流程

1.本发明涉及计算机科学与技术领域，尤其涉及一种数据处理方法及装置。


背景技术：

2.随着计算机科学与技术的发展，远程字典服务（remote dictionary server，redis）的运行控制技术不断提高。
3.当前，互联网企业可以将redis应用在高并发缓存、应用共享和计数器等多种场景中，对redis的使用规模可以达到数万至数十万例，对于redis的规模化部署也成为了一种必然趋势。在规模化部署的情况下，需要对redis运行期间的运行状态进行有效监测。
4.但是，现有技术无法有效的对redis的运行状态进行监测。


技术实现要素：

5.鉴于上述问题，本发明提供一种克服上述问题或者至少部分地解决上述问题的数据处理方法及装置，技术方案如下：一种数据处理方法，包括：客户端设备在所述客户端设备上采集远程字典服务redis的终端运行数据，所述终端运行数据中包括至少一个redis运行指标项的指标值；客户端设备将所述终端运行数据和设备标识发送至redis的云管理平台；所述云管理平台从redis集群上获得服务端运行数据和集群标识，所述服务端运行数据包括至少一个redis运行指标项的指标值；所述云管理平台分别对所述终端运行数据和所述服务端运行数据中的各所述运行指标项的指标值进行统计，获得统计结果；所述云管理平台按照预定义的处理方式，输出与所述统计结果相对应的处理信息。
6.可选的，所述客户端设备上设置有采集器和目标队列；所述客户端设备在所述客户端设备上采集远程字典服务redis的终端运行数据，包括：所述客户端设备通过采集器在所述客户端设备上采集所述终端运行数据，并将采集到的所述终端运行数据发送到所述目标队列中进行保存；所述客户端设备通过第一线程，周期性的从所述目标队列中读取所述终端运行数据，对读取到的所述终端运行数据进行累加，获得累加数据；所述客户端设备将所述终端运行数据和设备标识发送至redis的云管理平台，包括：所述客户端设备通过第二线程，周期性的将当前的所述累加数据和所述设备标识上报至所述云管理平台；其中，所述第一线程与所述第二线程相互独立。
7.可选的，所述方法还包括：所述客户端设备在读取所述终端运行数据的过程中，对在每个周期时长内读取到
的所述终端运行数据进行汇总；所述客户端设备对每次进行的所述汇总所消耗的内存进行监控，当所述汇总所消耗的内存不小于预设内存阈值时，输出内存消耗告警。
8.可选的，所述云管理平台按照预定义的处理方式，输出与所述统计结果相对应的处理信息，包括：当所述统计结果中存在指标值满足预设告警条件的至少一个redis运行指标项时，所述云管理平台输出相应的告警信息，所述告警信息中对应保存有至少一个告警指标项的指标项标识、指标值、指标含义和重要度。
9.可选的，在所述客户端设备将所述终端运行数据和设备标识发送至redis的云管理平台之后，所述方法还包括：所述客户端设备对自身保存的、已发送至所述云管理平台的所述终端运行数据进行删除。
10.一种数据处理装置，包括：客户端设备和redis的云管理平台，所述客户端设备包括第一采集单元和第一发送单元，所述云管理平台包括：第一获得单元、统计单元、第二获得单元和第一输出单元；其中：所述第一采集单元，用于在所述客户端设备上采集远程字典服务redis的终端运行数据，所述终端运行数据中包括至少一个redis运行指标项的指标值；所述第一发送单元，用于将所述终端运行数据和设备标识发送至所述云管理平台；所述第一获得单元，用于从redis集群上获得服务端运行数据和集群标识，所述服务端运行数据包括至少一个redis运行指标项的指标值；所述统计单元，用于分别对所述终端运行数据和所述服务端运行数据中的各所述运行指标项的指标值进行统计；所述第二获得单元，用于获得统计结果；所述第一输出单元，用于按照预定义的处理方式，输出与所述统计结果相对应的处理信息。
11.可选的，所述第一采集单元包括：采集器、第二发送单元、目标队列、读取单元、累加单元和第三获得单元；其中：所述采集器，用于在所述客户端设备上采集所述终端运行数据；所述第二发送单元，用于将采集到的所述终端运行数据发送到所述目标队列中进行保存；所述读取单元，用于通过第一线程，周期性的从所述目标队列中读取所述终端运行数据；所述累加单元，用于对读取到的所述终端运行数据进行累加；所述第三获得单元，用于获得累加数据；所述第一发送单元，用于通过第二线程，周期性的将当前的所述累加数据和所述设备标识上报至所述云管理平台；其中，所述第一线程与所述第二线程相互独立。
12.可选的，所述客户端设备还包括：汇总单元、监控单元和第二输出单元；其中：所述汇总单元，用于在所述客户端设备读取所述终端运行数据的过程中，对在每
个周期时长内读取到的所述终端运行数据进行汇总；所述监控单元，用于对所述客户端设备每次进行的所述汇总所消耗的内存进行监控；所述第二输出单元，用于当所述汇总所消耗的内存不小于预设内存阈值时，输出内存消耗告警。
13.可选的，所述第一输出单元，用于当所述统计结果中存在指标值满足预设告警条件的至少一个redis运行指标项时，输出相应的告警信息，所述告警信息中对应保存有至少一个告警指标项的指标项标识、指标值、指标含义和重要度。
14.可选的，所述客户端设备还包括：删除单元；所述删除单元，用于在所述客户端设备将所述终端运行数据和设备标识发送至redis的云管理平台之后，对所述客户端设备自身保存的、已发送至所述云管理平台的所述终端运行数据进行删除。
15.本发明提出的数据处理方法及装置，客户端设备在客户端设备上采集远程字典服务redis的终端运行数据，终端运行数据中包括至少一个redis运行指标项的指标值；客户端设备将终端运行数据和设备标识发送至redis的云管理平台；云管理平台从redis集群上获得服务端运行数据和集群标识，服务端运行数据包括至少一个redis运行指标项的指标值；云管理平台分别对终端运行数据和服务端运行数据中的各运行指标项的指标值进行统计，获得统计结果；云管理平台按照预定义的处理方式，输出与统计结果相对应的处理信息。云管理平台可以获得客户端设备的终端运行数据，获得redis集群的集群运行数据，实现对客户端设备和redis集群的redis运行数据的统计分析和监控告警等功能，从而实现对客户端设备和redis集群的设备监控，实现对故障事件或异常事件的及时定位，以使得技术人员可以及时确定问题来源，提高问题解决效率，从而提高redis的运行效率和服务质量。
16.上述说明仅是本发明技术方案的概述，为了能够更清楚地了解本发明的技术手段，可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
17.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
18.图1示出了本发明实施例提供的第一种数据处理方法的信令图；图2示出了本发明实施例提供的第二种数据处理方法的信令图；图3示出了本发明实施例提供的第一种数据处理装置的结构示意图。
具体实施方式
19.下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围
完整的传达给本领域的技术人员。
20.如图1所示，本实施例提出了第一种数据处理方法，该方法可以包括以下步骤：s101、客户端设备在客户端设备上采集远程字典服务redis的终端运行数据，终端运行数据中包括至少一个redis运行指标项的指标值；其中，客户端设备可以为设置有redis客户端的终端电子设备。需要说明的是，终端电子设备可以为手机、平板电脑或台式电脑等，本发明对于终端电子设备的设备类型不作限定。
21.其中，终端运行数据可以为redis客户端在客户端设备上的运行数据。
22.可选的，客户端设备可以实时采集自身设置的redis客户端的终端运行数据，并将采集到的终端运行数据保存至自身的数据存储空间中。
23.具体的，客户端设备可以监控redis客户端针对触发redis的所有操作，如网络连接、读写和关闭连接等事件、超时延迟事件和redis协议规范（redis serialization protoco，resp）协议交互，采集所有操作涉及的输入数据和输出数据和等指标。
24.s102、客户端设备将终端运行数据和设备标识发送至redis的云管理平台；其中，设备标识可以为客户端设备的设备标识。
25.具体的，设备标识可以是由汉字、数字、字母和符号等字符中的一种或几种构成。
26.其中，云管理平台可以为设置在云端的，用于获得并汇总分析在redis客户端和redis服务端上的redis运行数据，实现对redis运行数据进行监控告警、监控客户端设备和redis服务端的运行状态以及定位故障设备等功能的数据管理平台，如cachecloud。
27.可选的，客户端设备可以在采集到终端运行数据时，实时的将终端运行数据和设备标识发送至云管理平台；可选的，客户端设备可以周期性的将采集到的终端运行数据和设备标识发送至云管理平台；可选的，客户端设备还可以在将终端运行数据和设备标识发送至云管理平台时，将其请求的与终端运行数据相关的redis集群的集群标识一并发送至云管理平台。
28.可选的，客户端设备可以按照预定义的数据上报格式，对采集到的终端运行数据进行数据整理汇总，将整理汇总后的终端运行数据发送至云管理平台。其中，客户端设备所整理汇总后的终端运行数据可以包括：通用数据、命令耗时数据、命令值统计数据和异常统计数据等。
29.其中，通用数据可以包括数据采集时间和数据上报时间；命令耗时时间可以包括耗时时间分布信息、命令调用次数、命令名称、实例地址、耗时90%最大数据、耗时99%最大数据、最长耗时、耗时平均值和耗时中值等；命令值统计数据可以包括命令名称、实例地址、调用量和值大小分布区间等；异常统计数据可以包括异常类名、异常消息、异常发生时间、实例地址、异常个数和异常类型等。
30.可选的，在客户端设备将终端运行数据和设备标识发送至redis的云管理平台之后，上述方法还包括：客户端设备对自身保存的、已发送至云管理平台的终端运行数据进行删除。
31.具体的，客户端设备可以在将终端运行数据和设备标识发送至云管理平台之后，对已发送的终端数据进行删除，释放数据存储空间，提高对于数据存储空间的利用率。
32.s103、云管理平台从redis集群上获得服务端运行数据和集群标识，服务端运行数据包括至少一个redis运行指标项的指标值；其中，redis集群可以为redis的服务端集群设备。
33.其中，服务端运行数据可以为redis服务端上的redis运行数据。
34.其中，集群标识可以为redis集群的集群标识。
35.具体的，云管理平台可以主动从redis集群上获得服务端运行数据和集群标识。
36.可选的，云管理平台可以先行从客户端设备处获得终端运行数据，之后再从redis集群处获得服务端运行数据，如图1所示；可选的，云管理平台也可以先行从redis集群处获得服务端运行数据，之后再从客户端设备处获得终端运行数据；当然，云管理平台也可以同时从客户端设备处获得终端运行数据和从redis集群处获得服务端运行数据。
37.s104、云管理平台分别对终端运行数据和服务端运行数据中的各运行指标项的指标值进行统计；具体的，云管理平台可以在获得终端运行数据、客户端设备的设备标识、服务端运行数据和集群标识之后，对终端运行数据中包含的运行指标项的指标值进行统计，对服务端运行数据中包含的运行指标项的指标值进行统计。
38.可选的，当客户端设备一并将终端运行数据、设备标识和redis集群的集群标识发送至云管理平台时，云管理平台可以对应统计该终端运行数据和该集群标识对应的集群运行数据。
39.可选的，云管理平台可以按照预定义的数据统计方式，对终端运行数据和集群运行数据进行数据统计。
40.可选的，云管理平台也可以在获得终端运行数据和客户端设备的设备标识，而还未获得服务端运行数据和集群标识时，先行对终端运行数据进行统计，之后在获得服务端运行数据和集群标识时，再对服务端运行数据进行统计；可选的，云管理平台也可以在获得服务端运行数据和集群标识，而还未获得终端运行数据和客户端设备的设备标识时，先行对服务端运行数据进行统计，之后在获得终端运行数据和客户端设备的设备标识时，再对终端运行数据进行统计。
41.s105、云管理平台获得统计结果；具体的，本发明可以设置包括有序号、指标项、报警值、指标含义和重要度区分的表头，按照该表头来统计终端运行数据和集群运行数据。为更好的说明云管理平台对于终端运行数据和集群运行数据的统计方式，本实施例提出下述表1进行说明。
42.表1 统计表
s106、云管理平台按照预定义的处理方式，输出与统计结果相对应的处理信息。
43.具体的，云管理平台可以根据统计结果中的各运行指标项的指标值，来确定各运行指标项的指标值是否正常，分析客户端设备和redis集群的设备状态，确定异常事件和故障事件，定位异常来源，输出告警。
44.可选的，步骤s106可以包括：当统计结果中存在指标值满足预设告警条件的至少一个redis运行指标项时，云管理平台输出相应的告警信息，告警信息中对应保存有至少一个告警指标项的指标项标识、指标值、指标含义和重要度。
45.具体的，云管理管理平台可以在某个运行指标项的指标值达到告警阈值时，主动而及时的触发报警，如redis紧急报警。
46.可选的，云管理管理平台可以基于获得的redis的终端运行数据和集群运行数据，审计redis客户端和redis集群的健康度，并进行可视化展示；云管理平台可以审计redis客户端的流量健康度并进行可视化展示；云管理平台可以持续迭代监控流程；可选的，云管理平台可以通过输出告警信息，来使得运维人员根据告警信息调整
redis集群的设置，如内存扩容各节点伸缩，实现运维辅助的功能；云管理平台可以通过输出告警信息，来使得开发人员根据告警信息优化项目代码，避免大对象和慢查询等情况的发生；需要说明的是，云管理平台可以获得客户端设备的终端运行数据，获得多个redis集群的集群运行数据，实现对客户端设备和redis集群的redis运行数据的统计分析和监控告警等功能，从而实现对客户端设备和redis集群的设备监控，实现对故障事件或异常事件的及时定位，以使得技术人员可以及时确定问题来源，提高问题解决效率，从而提高redis的运行效率和服务质量。
47.可以理解的是，云管理平台可以获得多个客户端设备的终端运行数据，也可以获得多个redis集群的集群运行数据，实现对多个客户端设备和多个redis集群的redis运行数据的统计分析和监控告警等功能，从而实现对多个客户端设备和多个redis集群的设备监控，进一步提高redis的运行效率和服务质量。
48.本实施例提出的数据处理方法，客户端设备在客户端设备上采集远程字典服务redis的终端运行数据，终端运行数据中包括至少一个redis运行指标项的指标值；客户端设备将终端运行数据和设备标识发送至redis的云管理平台；云管理平台从redis集群上获得服务端运行数据和集群标识，服务端运行数据包括至少一个redis运行指标项的指标值；云管理平台分别对终端运行数据和服务端运行数据中的各运行指标项的指标值进行统计，获得统计结果；云管理平台按照预定义的处理方式，输出与统计结果相对应的处理信息。云管理平台可以获得客户端设备的终端运行数据，获得redis集群的集群运行数据，实现对客户端设备和redis集群的redis运行数据的统计分析和监控告警等功能，从而实现对客户端设备和redis集群的设备监控，实现对故障事件或异常事件的及时定位，以使得技术人员可以及时确定问题来源，提高问题解决效率，从而提高redis的运行效率和服务质量。
49.基于图1所示步骤，如图2所示，本实施例提出第二种数据处理方法。在该方法中，客户端设备上设置有采集器和目标队列；步骤s101可以包括s1011、s1012、s1013和s1014，步骤s102可以具体为s1021；其中：s1011、客户端设备通过采集器在客户端设备上采集终端运行数据；需要说明的是，技术人员可以预先在客户端设备上，针对客户端设备与redis集群在进行交互时可能会涉及的所有操作（如连接事件，resp协议执行数据和超时异常事件等）进行源码埋点，即在客户端设备上修改源代码，加入数据采集逻辑，来实现在客户端设备上设置采集器。
50.具体的，采集器在客户端设备上的redis客户端的应用程序接口（application programming interface，api）处于调用状态时，可以主动执行数据采集逻辑，对客户端设备上的终端运行数据进行采集。
51.需要说明的是，客户端设备在启动采集器时，可以启动一个单线程worker执行对终端运行数据的主动采集，采集结束时即可以关闭该单线程。具体的，该单线程与客户端设备上的其他线程如redis客户端的线程可以是相互独立的。
52.s1012、客户端设备将采集到的终端运行数据发送到目标队列中进行保存；可选的，客户端设备可以通过采集器，将采集到的终端运行数据发送至目标队列中进行暂时的保存。
53.其中，目标队列可以为由数组支持的有界阻塞队列，如arrayblockingqueue。可选的，目标队列可以在内部对接收的终端运行数据进行排序，并可以采用先进先出的方式对终端运行数据进行管理。具体的，队列的头部数据可以是在队列中停留时间最长的元素，队列的尾部可以是在队列中停留时间最短的元素。目标队列在接收新元素时，可以将其放置在队列尾部，而队列检索操作获取数据时，可以获取队列中的头部元素。
54.可选的，目标队列的队列大小可以限制为1024，超出队列限制的终端运行数据可以不阻塞resp交互而直接抛弃。
55.需要说明的是，目标队列采用优雅关闭机制对其接收的终端运行数据进行管理，在正常情况下可以防止不必要的数据丢失，保证数据可靠性。
56.s1013、客户端设备通过第一线程，周期性的从目标队列中读取终端运行数据；其中，第一线程可以为客户端每次从目标队列中读取终端运行数据时启动的线程。具体的，客户端设备可以使用无锁单线程方式对目标队列中保存的终端运行数据进行读取。
57.可选的，上述方法还可以包括：客户端设备在读取终端运行数据的过程中，对在每个周期时长内读取到的终端运行数据进行汇总；客户端设备对每次进行的汇总所消耗的内存进行监控，当汇总所消耗的内存不小于预设内存阈值时，输出内存消耗告警。
58.其中，周期时长可以由技术人员根据实际情况进行设置，本发明对此不作限定。比如，周期时长可以为1分钟，此时，客户端设备可以在读取终端运行数据的过程中，对每分钟读取到的终端运行数据进行汇总，比如，客户端设备可以对第1分钟内读取到的终端运行数据进行汇总，对第2分钟内读取到的终端运行数据进行汇总。
59.具体的，客户端设备可以在汇总数据期间，监控每次汇总所消耗或开销的内存，并可以直观的仪表盘方式展现给用户或技术人员。具体的，如果某次汇总消耗的内存不小于预设内存阈值，则可以输出内存消耗告警，避免内存消耗过大引起oom错误。
60.其中，预设内存阈值可以由技术人员根据实际情况进行制定，本发明对此不作限定。
61.s1014、客户端设备对读取到的终端运行数据进行累加，获得累加数据；具体的，客户端设备可以对每个周期时长内读取到的终端运行数据进行累加，获得相应的累加数据。
62.需要说明的是，客户端设备对读取到的终端运行数据进行累加，可以实现对终端运行数据的初步统计，从而可以减少云管理平台在统计终端运行数据时的工作量，减少云管理平台的资源消耗，提高云管理平台对于终端运行数据的统计效率。
63.s1021、客户端设备通过第二线程，周期性的将当前的累加数据和设备标识上报至云管理平台；其中，第一线程与第二线程相互独立。
64.具体的，客户端设备可以主动的、周期性的将累加数据发送至云管理平台。其中，客户端设备每次发送累加数据时，均可以开启与上述第一线程不同的第二线程，来执行将累加数据发送至云管理平台的任务。
65.需要说明的是，客户端设备在执行对终端运行数据的采集、读取、累加和上报等步
骤时，每个步骤均可以启动独立线程来执行，且无需占用redis客户端执行正常业务逻辑所使用的线程池，保证该各步骤的执行过程不会影响redis客户端对于业务逻辑的正常执行，保证客户端设备对于数据采集、读取、累加和上报等逻辑的鲁棒性，防止异常引入情况下对客户端设备的侵入。
66.本实施例提出的数据处理方法，可以有效实现客户端设备对于终端运行数据的采集、读取、累加和上报，保证云管理平台对于终端运行数据进行管理的实现。
67.与图1所示步骤相对应，如图3所示，本实施例提出第一种数据处理装置100，该装置可以包括：客户端设备101和redis的云管理平台102，客户端设备101包括第一采集单元1011和第一发送单元1012，云管理平台102包括：第一获得单元1021、统计单元1022、第二获得单元1023和第一输出单元1024；其中：第一采集单元1011，用于在客户端设备101上采集远程字典服务redis的终端运行数据，终端运行数据中包括至少一个redis运行指标项的指标值；第一发送单元1012，用于将终端运行数据和设备标识发送至云管理平台102；第一获得单元1021，用于从redis集群上获得服务端运行数据和集群标识，服务端运行数据包括至少一个redis运行指标项的指标值；统计单元1022，用于分别对终端运行数据和服务端运行数据中的各运行指标项的指标值进行统计；第二获得单元1023，用于获得统计结果；第一输出单元1024，用于按照预定义的处理方式，输出与统计结果相对应的处理信息。
68.需要说明的是，第一采集单元1011、第一发送单元1012、第一获得单元1021、统计单元1022、第二获得单元1023和第一输出单元1024的具体处理过程及其带来的技术效果可以分别参考图1中的步骤s101、s102、s103、s104、s105和s106，此处不再赘述。
69.可选的，第一采集单元1011包括：采集器、第二发送单元、目标队列、读取单元、累加单元和第三获得单元；其中：采集器，用于在客户端设备101上采集终端运行数据；第二发送单元，用于将采集到的终端运行数据发送到目标队列中进行保存；读取单元，用于通过第一线程，周期性的从目标队列中读取终端运行数据；累加单元，用于对读取到的终端运行数据进行累加；第三获得单元，用于获得累加数据；第一发送单元1012，用于通过第二线程，周期性的将当前的累加数据和设备标识上报至云管理平台102；其中，第一线程与第二线程相互独立。
70.可选的，客户端设备101还包括：汇总单元、监控单元和第二输出单元；其中：汇总单元，用于客户端设备101在读取终端运行数据的过程中，对在每个周期时长内读取到的终端运行数据进行汇总；监控单元，用于对客户端设备101每次进行的汇总所消耗的内存进行监控；第二输出单元，用于当汇总所消耗的内存不小于预设内存阈值时，输出内存消耗告警。
71.可选的，第一输出单元1024，用于当统计结果中存在指标值满足预设告警条件的
至少一个redis运行指标项时，输出相应的告警信息，告警信息中对应保存有至少一个告警指标项的指标项标识、指标值、指标含义和重要度。
72.可选的，客户端设备101还包括：删除单元；删除单元，用于在客户端设备101将终端运行数据和设备标识发送至redis的云管理平台102之后，对客户端设备101自身保存的、已发送至云管理平台102的终端运行数据进行删除。
73.本实施例提出的数据处理装置100，客户端设备101在客户端设备101上采集远程字典服务redis的终端运行数据，终端运行数据中包括至少一个redis运行指标项的指标值；客户端设备101将终端运行数据和设备标识发送至redis的云管理平台102；云管理平台102从redis集群上获得服务端运行数据和集群标识，服务端运行数据包括至少一个redis运行指标项的指标值；云管理平台102分别对终端运行数据和服务端运行数据中的各运行指标项的指标值进行统计，获得统计结果；云管理平台102按照预定义的处理方式，输出与统计结果相对应的处理信息。云管理平台102可以获得客户端设备101的终端运行数据，获得redis集群的集群运行数据，实现对客户端设备101和redis集群的redis运行数据的统计分析和监控告警等功能，从而实现对客户端设备101和redis集群的设备监控，实现对故障事件或异常事件的及时定位，以使得技术人员可以及时确定问题来源，提高问题解决效率，从而提高redis的运行效率和服务质量。
74.还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
75.以上仅为本技术的实施例而已，并不用于限制本技术。对于本领域技术人员来说，本技术可以有各种更改和变化。凡在本技术的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本技术的权利要求范围之内。