时序指标数据动态提取方法、电子设备及存储介质与流程

1.本发明涉及计算机领域，具体涉及一种时序指标数据动态提取方法、电子设备及存储介质。


背景技术：

2.日志记录了用户对各种业务的访问操作、业务数据的变更处理等等信息。对日志进行统计分析，可以直观快速地了解到用户对业务的需求，业务访问统计等等数据，便于根据统计分析，对业务进行及时调整等。
3.现有技术在对海量日志数据进行分析时，一般采用大量服务器作为计算支持，其硬件成本较高。进一步，不同业务生成的日志数据的格式不同，对其进行统计处理时需要针对不同的格式采用不同的统计处理方式，增加了统计处理的复杂度。


技术实现要素：

4.鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的时序指标数据动态提取方法、电子设备及存储介质。
5.根据本发明的一个方面，提供了一种时序指标数据动态提取方法，包括：
6.读取队列中存储的至少一条日志数据，其中，对至少一条日志数据预设埋点；
7.基于埋点确认是否接收到服务器动态下发的至少一条指标提取规则；
8.若是，根据至少一条指标提取规则，对至少一条日志数据进行转换并提取得到时序指标数据。
9.根据本发明的另一方面，提供了一种电子设备，包括：处理器、存储器、通信接口和通信总线，处理器、存储器和通信接口通过通信总线完成相互间的通信；
10.存储器用于存放至少一可执行指令，可执行指令使处理器执行以下操作：
11.读取队列中存储的至少一条日志数据，其中，对至少一条日志数据预设埋点；
12.基于埋点确认是否接收到服务器动态下发的至少一条指标提取规则；
13.若是，根据至少一条指标提取规则，对至少一条日志数据进行转换并提取得到时序指标数据。
14.根据本发明的又一方面，提供了一种计算机存储介质，存储介质中存储有至少一可执行指令，可执行指令使处理器执行上述任一项的时序指标数据动态提取方法对应的操作。
15.根据本发明提供的时序指标数据动态提取方法、电子设备及存储介质，基于动态下发的指标提取规则进行快速提取，得到时序指标数据，一方面，大大简化数据存储成本，也便于根据时序指标数据进行分析，无需大量服务器硬件支持，降低硬件成本。另一方面，指标提取规则动态下发，可以快速适配不同的日志数据，灵活满足业务需求。
16.上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够
更明显易懂，以下特举本发明的具体实施方式。
附图说明
17.通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
18.图1示出了根据本发明一个实施例的时序指标数据动态提取方法的流程示意图；
19.图2示出了根据本发明另一个实施例的时序指标数据动态提取方法的流程示意图；
20.图3示出了根据本发明一个实施例的一种电子设备的结构示意图。
具体实施方式
21.需说明的是，目前，市面上的一些数据分析引擎(例如hadoop等)，都支持将数据进行可视化分析，但是这些数据都需要是结构化数据，而无法适用于杂散的、有差异性的流式数据。
22.实施例一
23.图1示出了根据本发明一个实施例的时序指标数据动态提取方法的流程示意图，如图1所示，该方法包括如下步骤：
24.需说明的是，本技术实施例方法的执行主体可以是服务器，通过对各个业务数据库中的日志数据进行转换、提取分析等一系列处理，实现时序指标数据的动态提取。这里，业务数据库中存储了各种服务器在为用户提供业务服务过程中所产生的各种用户数据。
25.另外，时序指标数据方便从时间维度对数据进行统计，将流式数据转化为结构化数据，能够被数据分析引擎直接解析，例如被可视化引擎调用以进行可视化分析等，以给运维人员提供较直观的数据参考。
26.步骤s101，读取队列中存储的至少一条日志数据。
27.日志数据用于记录用户访问、业务处理等数据，不同日志数据对应不同的记录对象，由于记录时使用的代码的不同、接口不同、业务需求不同等原因，导致最终得到的日志数据为包含了多个不同类型的流式数据，统计时需要针对不同类型的流式数据都针对性的进行统计，导致对日志数据直接进行统计的难度较大。
28.基于以上问题，本实施例对存储在队列中的日志数据进行处理，以便动态提取得到时序指标数据。队列中的日志数据可以从多个不同的数据库中获取，不同数据库的类型可以相同或不同，不同数据库中日志数据的类型可以相同或不同。将至少一个数据库中包含的日志数据收敛至对应的队列中，如将一个或多个数据库类型相同的数据库的日志数据收敛至一个队列中，以便后续由队列对其进行分析转换，生成结构化的易存储的数据，降低存储空间。对队列可以采用如kafka队列，在读取队列中存储的至少一条日志数据时，可以预先对至少一条日志数据进行埋点处理。埋点可以设置在队列，方便读取时对日志数据进行处理。
29.步骤s102，基于埋点确认是否接收到服务器动态下发的至少一条指标提取规则。
30.基于埋点判断是否已经接收到服务器动态下发的至少一条指标提取规则，具体
的，如设置埋点时，埋点中设置空函数，当接收到服务器动态下发的指标提取规则后，重新内置埋点，执行步骤s103，触发埋点执行，实现根据指标提取规则进行提取。
31.在一个可选的实施例中，至少一条指标提取规则由服务器下发存储至指定数据库中，如zookeeper数据库，基于zookeeper数据库的watch机制，当服务器动态下发新的指标提取规则，或者动态下发修改后的指标提取规则等，zookeeper可以监听到指标提取规则的变化，相应地通知队列的埋点，确定指定数据库接收到服务器动态下发的至少一条指标提取规则，对指标提取规则进行，内置埋点，以便调用埋点，根据指标提取规则进行数据提取。
32.本实施例中指标提取规则由服务器动态下发，这样可以根据不同时期不同业务需求动态地对指标提取规则进行调整，下发时可以根据需求下发一条或多条指标提取规则，适应不同的需求，更灵活。具体到对读取的队列中的日志数据提取时，本实施例无需预先在代码中写入针对日志数据所需的多条指标提取规则，无需预先考虑指标提取规则对所有日志数据进行全面覆盖，可以灵活应对不同的日志数据。进一步，若队列中的日志数据类型变更，可以动态下发修改后的指标提取规则，修改方便，无需对其它代码等进行修改，快速地适配各种日志数据，适用性和扩展性较强。
33.步骤s103，根据至少一条指标提取规则，对至少一条日志数据进行转换并提取得到时序指标数据。
34.在对至少一条日志数据进行转换的过程中，针对不同流式数据结构为其进行定制化转换，使得数据格式统一，方便后续对其解析提取。转换后得到的时序数据，根据动态下发的至少一条指标提取规则，按照指标提取规则对时序数据进行时序指标提取，得到时序指标数据，时序指标数据更便于从时间维度进行统计，得到时间维度的统计信息，快速发现时间维度上产生的异常等情况。
35.进一步，时序指标数据的存储与多种不同类型的日志数据相比，存储时可以采用不同的压缩算法等进行存储，大大节省存储空间成本。
36.根据本发明提供的时序指标数据动态提取方法，基于动态下发的指标提取规则进行快速提取，得到时序指标数据，一方面，大大简化数据存储成本，也便于根据时序指标数据进行分析，无需大量服务器硬件支持，降低硬件成本。另一方面，指标提取规则动态下发，可以快速适配不同的日志数据，灵活满足业务需求。
37.实施例二
38.图2示出了根据本发明另一个实施例的时序指标数据动态提取方法的流程示意图，如图2所示，该方法包括如下步骤：
39.步骤s201，读取队列中存储的至少一条日志数据。
40.步骤s202，基于埋点确认是否接收到服务器动态下发的至少一条指标提取规则。
41.以上步骤参照实施例一的步骤s101
‑
s102的描述，在此不再赘述。
42.步骤s203，对至少一条日志数据进行分析转换，得到对应的时序数据。
43.根据日志数据中不同的数据结构，为其创建定制化分析转换规则。日志数据为包含不同数据类型的流式数据，可以根据流式数据中不同的数据结构，指定其转换为对应的结构化数据。时序数据为结构化数据，可以采用如json格式表示。根据定制化分析转换规则，将日志数据转换为指定格式的时序数据。
44.步骤s204，根据至少一条指标提取规则，提取得到时序指标数据。
45.在动态下发指标提取规则后，解析至少一条指标提取规则，可以基于指标提取规则得到对应的时序数据模型，与时序数据模型对应的埋点已经预先在指标提取规则的解析过程进行内置，即埋点中预先设置空函数，解析过程中将时序数据模型内置至埋点，通过下发的指标提取规则，基于埋点内置的时序数据模型，实现动态地将时序数据与指标提取规则进行比对，如利用正则表达式等方式进行比对等，从时序数据中提取出符合指标提取规则的指标数据；若对比结果不符合，则跳过该时序数据，不进行提取。时序数据模型用于定义指定类型的时序指标，包括如统计类型时序指标、状态类型时序指标、范围类型时序指标等，基于以上时序数据模型提取符合指标提取规则的时序数据，得到时序指标数据。
46.动态下发的指标提取规则如下所示：{"rule":"php","order":1,"method":"xx_method","alias":"alias1","domain":"xxx.http","action":"keep","kind":"transaction"}。指标提取规则包括以下至少一个，如指定待执行的方法、指定方法的作用域、记录方式、指定类型转换、排序方式、收敛维度等。rule即规则的名称，order指定排序方式，method指定待执行的方法，method为动态可变的方法，根据实施的需求设置不同的method，来提取时序指标数据。domain指定了method方法的作用域，action即记录方式，如keep即保持原数据进行记录，action还可以根据具体需求设置对应的记录方式，记录相关数据，此处不做展开说明。kind指定数据类型转换，当符合指定类型对其进行转换，alias为数据指定别名，将符合规则的多个不同的时序数据按照需求指定相同别名时，实现对时序数据进行降维收敛，得到低纬时序数据，方便存储以及统计分析。如用户访问的url地址多种多样，以用户注册为例进行说明，不同用户在注册时访问的url地址会因不同用户而不同，如用户1的url地址http://xxxxxxxx.xx.com&useid＝1，用户2的url地址http://xxxxxxxx.xx.com&useid＝2，虽然url地址整体不同，但两者具有部分相同的内容，如useid前的内容，表征两个用户都在进行注册访问，可以利用指定别名的方式，将时序数据均降维收敛至注册访问维度，实现非稀疏数据转换为稀疏数据，方便统计，如统计注册行为发生次数、发生的时间点等。进一步，相同别名的数据可以关联分析，复用时序数据的特征，使得从时序上进行数据的结合，更准确分析。以上为举例说明，具体根据实施情况设置具体的指标提取规则，此处不做限定。
47.时序指标数据包括如累加指标、计数指标、分布指标等，根据具体实施情况可以设置不同的时序指标数据，用于统计时间点内发生的事件、事件在不同时间点的波动等。
48.步骤s205，将转换得到的时序数据存储至列存储数据库。
49.对于转换得到的时序数据可以将其存储至列存储数据库中，时序数据为结构化数据，如以json格式表示，任一json字段对应的时序数据的字段与列存储数据库的宽表一一对应。列存储数据库可以采用如clickhouse数据库等。时序数据为日志数据转换后得到的数据，与日志数据对应，方便当统计存在异常、数据不对应等情况时，从列存储数据库中查找对应的数据进行复核等。将日志数据转换为时序数据进行存储，可以大大降低数据的存储量，如原日志数据大约几百亿条数据，转换后得到的时序数据为几万或几十万的数据，大大降低占用的数据库的存储空间，也方便根据时序数据进行分析，降低分析所需的硬件成本等。
50.在一个可选的实施例中，将转换得到的时序数据进行压缩存储，降低存储空间。压缩存储可以采用如基于bitmap模型进行压缩，bit作为数据存储的最小单位，可以大大降低
存储空间，通过压缩存储，可以将非稀疏数据变为稀疏数据，便于压缩存储和后续的按照维度查询统计。
51.在一个可选的实施例中，还可以基于bitmap以时间维度创建索引，方便在列存储数据库中查找数据。具体的，列存储数据库中的数据可以通过映射算法将指定范围的数字类型进行映射，如func(data)＝>int，具体映射规则可以根据实际情况设置，此处不做限定。锁定时间维度建立索引，如以天为单位创建索引，如索引名称yyyy
‑
mm
‑
dd
‑
indexname，每一分钟生成一个索引的值，一天一共1440分钟，bitmap长度共计1440，以bitmap的个数为func(data)映射的个数，即确定int的取值范围，方便以时间作为索引，查询到列存储数据库中的映射对应的数据，加速查找速度。
52.进一步，bitmap模型还可以采用双维度数据进行运算，如以时间维度作为一个维度，不同数据类型作为另一个对应维度，两个维度相交点的取值为0或1，其中，0、1用于标记在指定时间范围是否出现该类型数据，还可以基于双维度数据进行不同计算，如或运算、与运算、交集运算、差集运算、取余运算等，可以快速地得到计算结果，进行统计等。以0、1方式进行运算符合计算机计算原理，可以在内存中进行计算，降低计算复杂度，使得计算更快速高效。
53.步骤s206，使用基数统计算法，对所述时序数据按照指定维度进行去重处理，以便根据去重后的时序数据提取得到时序指标数据。
54.本步骤为可选步骤。当需要对时序数据进行统计，确定统计次数时，当数据量较大时，允许在指定误差范围内对其进行统计，可以考虑使用基数统计算法，对时序数据进行去重处理。如当需要提取访问用户统计时序指标数据时，当用户基数较大时，对于同一用户在不同时间点进行的多次访问请求，需要对同一用户的多次访问请求进行去重处理时，可以利用基数统计算法，如hyperloglog，进行快速去重，减少内存资源占用，统计速度较快，实现动态统计。hyperloglog是一种近似统计大量去重元素数量的算法，其内部维护了多个桶如16384个桶，来记录各自桶的元素数量，当获取到一个元素(相当于待去重的数据)时，将其散列到其中一个桶。对于每一个元素，通过hash算法将这个元素散列到其中的一个小集合存储，同样的元素总是会被散列到同样的小集合，总的计数就是所有小集合大小的总和。使用hyperloglog精确计数除了可以增加元素外，还可以减少元素。这样，一个hyperloglog实际占用的空间大约是16384*6bit/8＝12k字节。但是，在计数比较小的时候，大多数桶的计数值都是零，因此如果12k字节里面大多的字节都是零时，占用空间还可以适当节约。
55.进一步地，如redis在计数值比较小的情况下可以采用稀疏存储，稀疏存储的空间占用远远小于12k字节。当计数变大后，采用相对于稀疏存储的密集存储，密集存储会恒定占用12k字节，保障内存资源占用较少。
56.具体使用时，根据时序数据、时序指标数据的具体业务，对按照指定维度进行去重处理，此处不做限定。
57.步骤s207，周期性地将时序指标数据发送并存储至时序数据库，使得时序数据库能够被可视化引擎调用以显示相应的可视化分析结果。
58.将提取得到的时序指标数据周期性地发送至时序数据库中，如按分钟或按小时维度发送给时序数据库，方便对时序指标数据进行统计分析。统计分析以时间维度进行统计，可以以发送时间作为时间维度。
59.统计分析时序指标数据，可以得到业务执行正常或异常信息，当业务异常时，可以根据时序指标数据，分析异常开始时间、结束时间、异常占比、异常错误类型等，实现时序维度的异常运维监控、管理。
60.为方便管理用户(如运维人员、业务人员等)更清晰直观地了解到时序数据，可以基于时序数据实现可视化展示，通过查询时序数据库，按照指定维度(例如，数量维度、状态维度等等)获取数据，将其展示在可视化面板中，方便直观地查看可视化结果，如以柱状图等方式展示。
61.通过本实施例，将流数据转时序数据，实时采集数据并实时计算时序指标，计算完成后再做周期性归并，能降低可视化部署成本，快速实现数据可视化并能够解决大多数(例如，80％以上)的指标提取规则。
62.根据本发明提供的时序指标数据动态提取方法，快速地对流式数据进行分析，转换为时序数据，简化了存储成本，还可以基于时序数据进行压缩存储，利用较小的数据量就可以实现海量数据的分析。动态快速地下发指标提取规则，可以快速应对业务模型的多变性，减少新统计分析需求的开发周期，提升处理效率。进一步，基于时间维度进行统计分析，提供可视化面板，可以帮助管理用户直观快速地发现时间维度上的波动异常，及时进行维护管理。
63.实施例三
64.本技术实施例三提供了一种非易失性计算机存储介质，计算机存储介质存储有至少一可执行指令，该计算机可执行指令可执行上述任意方法实施例中的时序指标数据动态提取方法。
65.可执行指令具体可以用于使得处理器执行以下操作：读取队列中存储的至少一条日志数据，其中，对至少一条日志数据预设埋点；基于埋点确认是否接收到服务器动态下发的至少一条指标提取规则；若是，根据至少一条指标提取规则，对至少一条日志数据进行转换并提取得到时序指标数据。
66.在一种可选的实施方式中，至少一条指标提取规则由服务器下发存储至指定数据库中；可执行指令进一步使处理器执行以下操作：基于埋点确定指定数据库是否接收到服务器动态下发的至少一条指标提取规则。
67.在一种可选的实施方式中，可执行指令进一步使处理器执行以下操作：对至少一条日志数据进行分析转换，得到对应的时序数据；解析至少一条指标提取规则，并在埋点中内置至少一条指标提取规则对应的时序数据模型；时序数据模型用于定义指定类型的时序指标；根据时序数据模型，按照至少一条指标提取规则，对时序数据进行提取，得到时序指标数据；指标提取规则包含以下至少一个：指定待执行的方法、指定方法的作用域、记录方式、指定类型转换、排序方式、收敛维度。
68.在一种可选的实施方式中，可执行指令进一步使处理器执行以下操作：根据日志数据的数据结构，创建定制化分析转换规则；根据定制化分析转换规则，将日志数据转换为指定格式的时序数据；其中，时序数据为结构化数据，以json格式表示。
69.在一种可选的实施方式中，可执行指令进一步使处理器执行以下操作：将转换得到的时序数据存储至列存储数据库；其中，时序数据的字段与列存储数据库的宽表一一对应。
70.在一种可选的实施方式中，可执行指令进一步使处理器执行以下操作：基于bitmap模型，将转换得到的时序数据进行压缩；其中，bitmap模型以时间维度创建索引；将压缩后的时序数据存储至列存储数据库。
71.在一种可选的实施方式中，可执行指令进一步使处理器执行以下操作：使用基数统计算法，对时序数据按照指定维度进行去重处理，以便根据去重后的时序数据提取得到时序指标数据。
72.在一种可选的实施方式中，可执行指令进一步使处理器执行以下操作：周期性地将时序指标数据发送并存储至时序数据库，使得时序数据库能够被可视化引擎调用以显示相应的可视化分析结果。
73.在一种可选的实施方式中，可执行指令进一步使处理器执行以下操作：将至少一个数据库中包含的日志数据收敛到对应的队列中；日志数据为包含多个不同类型的流式数据。
74.实施例四
75.图3示出了根据本发明实施例四的一种电子设备的结构示意图，本发明具体实施例并不对电子设备的具体实现做限定。
76.如图3所示，该电子设备可以包括：处理器(processor)302、通信接口(communications interface)304、存储器(memory)306、以及通信总线308。
77.其中：
78.处理器302、通信接口304、以及存储器306通过通信总线308完成相互间的通信。
79.通信接口304，用于与其它设备比如客户端或其它服务器等的网元通信。
80.处理器302，用于执行程序310，具体可以执行上述时序指标数据动态提取方法实施例中的相关步骤。
81.具体地，程序310可以包括程序代码，该程序代码包括计算机操作指令。
82.处理器302可能是中央处理器cpu，或者是特定集成电路asic(application specific integrated circuit)，或者是被配置成实施本发明实施例的一个或多个集成电路。服务器包括的一个或多个处理器，可以是同一类型的处理器，如一个或多个cpu；也可以是不同类型的处理器，如一个或多个cpu以及一个或多个asic。
83.存储器306，用于存放程序310。存储器306可能包含高速ram存储器，也可能还包括非易失性存储器(non
‑
volatile memory)，例如至少一个磁盘存储器。
84.程序310具体可以用于使得处理器302执行以下操作：读取队列中存储的至少一条日志数据，其中，对至少一条日志数据预设埋点；基于埋点确认是否接收到服务器动态下发的至少一条指标提取规则；若是，根据至少一条指标提取规则，对至少一条日志数据进行转换并提取得到时序指标数据。
85.在一种可选的实施方式中，至少一条指标提取规则由服务器下发存储至指定数据库中；程序310用于使得处理器302基于埋点确定指定数据库是否接收到服务器动态下发的至少一条指标提取规则。
86.在一种可选的实施方式中，程序310用于使得处理器302对至少一条日志数据进行分析转换，得到对应的时序数据；解析至少一条指标提取规则，并在埋点中内置至少一条指标提取规则对应的时序数据模型；时序数据模型用于定义指定类型的时序指标；根据时序
数据模型，按照至少一条指标提取规则，对时序数据进行提取，得到时序指标数据；指标提取规则包含以下至少一个：指定待执行的方法、指定方法的作用域、记录方式、指定类型转换、排序方式、收敛维度。
87.在一种可选的实施方式中，程序310用于使得处理器302根据日志数据的数据结构，创建定制化分析转换规则；根据定制化分析转换规则，将日志数据转换为指定格式的时序数据；其中，时序数据为结构化数据，以json格式表示。
88.在一种可选的实施方式中，程序310用于使得处理器302将转换得到的时序数据存储至列存储数据库；其中，时序数据的字段与列存储数据库的宽表一一对应。
89.在一种可选的实施方式中，程序310用于使得处理器302基于bitmap模型，将转换得到的时序数据进行压缩；其中，bitmap模型以时间维度创建索引；将压缩后的时序数据存储至列存储数据库。
90.在一种可选的实施方式中，程序310用于使得处理器302使用基数统计算法，对时序数据按照指定维度进行去重处理，以便根据去重后的时序数据提取得到时序指标数据。
91.在一种可选的实施方式中，程序310用于使得处理器302周期性地将时序指标数据发送并存储至时序数据库，使得时序数据库能够被可视化引擎调用以显示相应的可视化分析结果。
92.在一种可选的实施方式中，程序310用于使得处理器302将至少一个数据库中包含的日志数据收敛到对应的队列中；日志数据为包含多个不同类型的流式数据。
93.程序310中各步骤的具体实现可以参见上述时序指标数据动态提取实施例中的相应步骤中对应的描述，在此不赘述。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的设备和模块的具体工作过程，可以参考前述方法实施例中的对应过程描述，在此不再赘述。
94.通过本实施例提供的方案，基于动态下发的指标提取规则进行快速提取，得到时序指标数据，一方面，大大简化数据存储成本，也便于根据时序指标数据进行分析，无需大量服务器硬件支持，降低硬件成本。另一方面，指标提取规则动态下发，可以快速适配不同的日志数据，灵活满足业务需求。
95.在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
96.类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。
97.本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或
子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
98.此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
99.应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
100.本发明公开了：a1.一种时序指标数据动态提取方法，包括：
101.读取队列中存储的至少一条日志数据，其中，对所述至少一条日志数据预设埋点；
102.基于埋点确认是否接收到服务器动态下发的至少一条指标提取规则；
103.若是，根据所述至少一条指标提取规则，对所述至少一条日志数据进行转换并提取得到时序指标数据。
104.a2.根据a1所述的方法，其中，所述至少一条指标提取规则由服务器下发存储至指定数据库中；
105.基于埋点确认是否接收到服务器动态下发的至少一条指标提取规则具体为：基于埋点确定所述指定数据库是否接收到服务器动态下发的至少一条指标提取规则。
106.a3.根据a1所述的方法，其中，所述根据所述至少一条指标提取规则，对所述至少一条日志数据进行转换并提取得到时序指标数据进一步包括：
107.对所述至少一条日志数据进行分析转换，得到对应的时序数据；
108.解析所述至少一条指标提取规则，并在所述埋点中内置所述至少一条指标提取规则对应的时序数据模型；所述时序数据模型用于定义指定类型的时序指标；
109.根据所述时序数据模型，按照所述至少一条指标提取规则，对所述时序数据进行提取，得到时序指标数据；所述指标提取规则包含以下至少一个：指定待执行的方法、指定方法的作用域、记录方式、指定类型转换、排序方式、收敛维度。
110.a4.根据a3所述的方法，其中，所述对所述至少一条日志数据进行分析转换，得到对应的时序数据进一步包括：
111.根据日志数据的数据结构，创建定制化分析转换规则；
112.根据所述定制化分析转换规则，将所述日志数据转换为指定格式的时序数据；其中，所述时序数据为结构化数据，以json格式表示。
113.a5.根据a3所述的方法，其中，所述方法还包括：
114.将转换得到的所述时序数据存储至列存储数据库；其中，时序数据的字段与所述
列存储数据库的宽表一一对应。
115.a6.根据a5所述的方法，其中，所述将转换得到的时序数据存储至列存储数据库进一步包括：
116.基于bitmap模型，将转换得到的时序数据进行压缩；其中，所述bitmap模型以时间维度创建索引；
117.将压缩后的时序数据存储至列存储数据库。
118.a7.根据a3
‑
a6中任一项所述的方法，其中，所述根据所述至少一条指标提取规则，对所述至少一条日志数据进行转换并提取得到时序指标数据进一步包括：
119.使用基数统计算法，对所述时序数据按照指定维度进行去重处理，以便根据去重后的时序数据提取得到时序指标数据。
120.a8.根据a1
‑
a7中任一项所述的方法，其中，在所述根据所述至少一条指标提取规则，对所述至少一条日志数据进行转换并提取得到时序指标数据后，方法还包括：
121.周期性地将所述时序指标数据发送并存储至时序数据库，使得所述时序数据库能够被可视化引擎调用以显示相应的可视化分析结果。
122.a9.根据a1所述的方法，其中，所述方法还包括：
123.将至少一个数据库中包含的日志数据收敛到对应的队列中；所述日志数据为包含多个不同类型的流式数据。
124.本发明还公开了：b10.一种电子设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；
125.所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行以下操作：
126.读取队列中存储的至少一条日志数据，其中，对所述至少一条日志数据预设埋点；
127.基于埋点确认是否接收到服务器动态下发的至少一条指标提取规则；
128.若是，根据所述至少一条指标提取规则，对所述至少一条日志数据进行转换并提取得到时序指标数据。
129.b11.根据b10所述的电子设备，所述至少一条指标提取规则由服务器下发存储至指定数据库中；
130.所述可执行指令进一步使所述处理器执行以下操作：
131.基于埋点确定所述指定数据库是否接收到服务器动态下发的至少一条指标提取规则。
132.b12.根据b10所述的电子设备，所述可执行指令进一步使所述处理器执行以下操作：
133.对所述至少一条日志数据进行分析转换，得到对应的时序数据；
134.解析所述至少一条指标提取规则，并在所述埋点中内置所述至少一条指标提取规则对应的时序数据模型；所述时序数据模型用于定义指定类型的时序指标；
135.根据所述时序数据模型，按照所述至少一条指标提取规则，对所述时序数据进行提取，得到时序指标数据；所述指标提取规则包含以下至少一个：指定待执行的电子设备、指定电子设备的作用域、记录方式、指定类型转换、排序方式、收敛维度。
136.b13.根据b12所述的电子设备，所述可执行指令进一步使所述处理器执行以下操
作：
137.根据日志数据的数据结构，创建定制化分析转换规则；
138.根据所述定制化分析转换规则，将所述日志数据转换为指定格式的时序数据；其中，所述时序数据为结构化数据，以json格式表示。
139.b14.根据b12所述的电子设备，所述可执行指令进一步使所述处理器执行以下操作：
140.将转换得到的所述时序数据存储至列存储数据库；其中，时序数据的字段与所述列存储数据库的宽表一一对应。
141.b15.根据b14所述的电子设备，所述可执行指令进一步使所述处理器执行以下操作：
142.基于bitmap模型，将转换得到的时序数据进行压缩；其中，所述bitmap模型以时间维度创建索引；
143.将压缩后的时序数据存储至列存储数据库。
144.b16.根据b12
‑
b15中任一项所述的电子设备，所述可执行指令进一步使所述处理器执行以下操作：
145.使用基数统计算法，对所述时序数据按照指定维度进行去重处理，以便根据去重后的时序数据提取得到时序指标数据。
146.b17.根据b10
‑
b16中任一项所述的电子设备，所述可执行指令进一步使所述处理器执行以下操作：
147.周期性地将所述时序指标数据发送并存储至时序数据库，使得所述时序数据库能够被可视化引擎调用以显示相应的可视化分析结果。
148.b18.根据b10所述的电子设备，所述可执行指令进一步使所述处理器执行以下操作：
149.将至少一个数据库中包含的日志数据收敛到对应的队列中；所述日志数据为包含多个不同类型的流式数据。
150.本发明还公开了：c19.一种计算机存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令使处理器执行如a1
‑
a9中任一项所述的时序指标数据动态提取方法对应的操作。