时序指标数据动态提取方法、电子设备及存储介质与流程

技术特征：
1.一种时序指标数据动态提取方法，包括：读取队列中存储的至少一条日志数据，其中，对所述至少一条日志数据预设埋点；基于埋点确认是否接收到服务器动态下发的至少一条指标提取规则；若是，根据所述至少一条指标提取规则，对所述至少一条日志数据进行转换并提取得到时序指标数据。2.根据权利要求1所述的方法，其中，所述至少一条指标提取规则由服务器下发存储至指定数据库中；基于埋点确认是否接收到服务器动态下发的至少一条指标提取规则具体为：基于埋点确定所述指定数据库是否接收到服务器动态下发的至少一条指标提取规则。3.根据权利要求1所述的方法，其中，所述根据所述至少一条指标提取规则，对所述至少一条日志数据进行转换并提取得到时序指标数据进一步包括：对所述至少一条日志数据进行分析转换，得到对应的时序数据；解析所述至少一条指标提取规则，并在所述埋点中内置所述至少一条指标提取规则对应的时序数据模型；所述时序数据模型用于定义指定类型的时序指标；根据所述时序数据模型，按照所述至少一条指标提取规则，对所述时序数据进行提取，得到时序指标数据；所述指标提取规则包含以下至少一个：指定待执行的方法、指定方法的作用域、记录方式、指定类型转换、排序方式、收敛维度。4.根据权利要求3所述的方法，其中，所述对所述至少一条日志数据进行分析转换，得到对应的时序数据进一步包括：根据日志数据的数据结构，创建定制化分析转换规则；根据所述定制化分析转换规则，将所述日志数据转换为指定格式的时序数据；其中，所述时序数据为结构化数据，以json格式表示。5.根据权利要求3所述的方法，其中，所述方法还包括：将转换得到的所述时序数据存储至列存储数据库；其中，时序数据的字段与所述列存储数据库的宽表一一对应。6.根据权利要求5所述的方法，其中，所述将转换得到的时序数据存储至列存储数据库进一步包括：基于bitmap模型，将转换得到的时序数据进行压缩；其中，所述bitmap模型以时间维度创建索引；将压缩后的时序数据存储至列存储数据库。7.根据权利要求3
‑
6中任一项所述的方法，其中，所述根据所述至少一条指标提取规则，对所述至少一条日志数据进行转换并提取得到时序指标数据进一步包括：使用基数统计算法，对所述时序数据按照指定维度进行去重处理，以便根据去重后的时序数据提取得到时序指标数据。8.根据权利要求1
‑
7中任一项所述的方法，其中，在所述根据所述至少一条指标提取规则，对所述至少一条日志数据进行转换并提取得到时序指标数据后，方法还包括：周期性地将所述时序指标数据发送并存储至时序数据库，使得所述时序数据库能够被可视化引擎调用以显示相应的可视化分析结果。9.一种电子设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储
器和所述通信接口通过所述通信总线完成相互间的通信；所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行以下操作：读取队列中存储的至少一条日志数据，其中，对所述至少一条日志数据预设埋点；基于埋点确认是否接收到服务器动态下发的至少一条指标提取规则；若是，根据所述至少一条指标提取规则，对所述至少一条日志数据进行转换并提取得到时序指标数据。10.一种计算机存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令使处理器执行如权利要求1
‑
8中任一项所述的时序指标数据动态提取方法对应的操作。

技术总结
本发明公开了一种时序指标数据动态提取方法、电子设备及存储介质，方法包括：读取队列中存储的至少一条日志数据，其中，对至少一条日志数据预设埋点；基于埋点确认是否接收到服务器动态下发的至少一条指标提取规则；若是，根据至少一条指标提取规则，对至少一条日志数据进行转换并提取得到时序指标数据。基于动态下发的指标提取规则进行快速提取，得到时序指标数据，一方面，大大简化数据存储成本，也便于根据时序指标数据进行分析，无需大量服务器硬件支持，降低硬件成本。另一方面，指标提取规则动态下发，可以快速适配不同的日志数据，灵活满足业务需求。满足业务需求。满足业务需求。


技术研发人员：王利超 杨明 赵伟杰
受保护的技术使用者：掌阅科技股份有限公司
技术研发日：2021.07.29
技术公布日：2021/10/29