日志数据处理方法、装置、设备及存储介质与流程

技术特征：
1.一种日志数据处理方法，其特征在于，应用于包括多个数据节点的日志存储系统的任一数据节点上，所述数据节点包括第一存储单元和第二存储单元，所述方法包括：接收网关根据路由信息发送的多条待存储日志，所述待存储日志携带标签信息以及时间戳信息；其中所述路由信息为所述网关根据所述待存储日志的标签信息以及时间戳信息确定；根据所述标签信息以及所述时间戳信息对所述多条待存储日志按照时序写入到所述第一存储单元中，并根据所述多条待存储日志的标签信息生成倒排索引文件，所述倒排索引文件用于在查询日志阶段根据所述倒排索引文件和时间信息定位所需查询的目标日志；将所述第一存储单元中经排序的多条待存储日志以数据块形式迁移到所述第二存储单元中；其中所述第二存储单元中各数据块按照时序存储。2.根据权利要求1所述的方法，其特征在于，所述第一存储单元按照标签信息划分为不同的序列，每一序列按照时间划分为多个层级的存储单元，其中下一层级存储单元是对上一层级存储单元进行更细时间粒度划分得到的；所述根据所述标签信息以及所述时间戳信息对所述多条待存储日志按照时序写入到所述第一存储单元中，包括：针对任一条待存储日志，根据所述待存储日志的标签信息确定目标序列；对所述待存储日志的时间戳信息进行取整和取余处理，确定所述时间戳在最小时间粒度中所处的时间区间，根据所述时间区间确定对应的最低层级的存储单元；通过有序链表将所述待存储日志存储于所述目标序列的该最低层级的存储单元中。3.根据权利要求2所述的方法，其特征在于，所述将所述第一存储单元中经排序的多条待存储日志以数据块形式迁移到所述第二存储单元中，包括：按照预定时间区间，将所述第一存储单元中经排序的所述多条待存储日志划分为至少一个待迁移数据块；判断所述第二存储单元中是否存在与所述待迁移数据块处于相同时间区间的已存储数据块；若存在，则将所述待迁移数据块与处于相同时间区间的已存储数据块进行合并，将合并后的数据块存储在所述第二存储单元中，且与其他已存储数据块按照时序排序；若不存在，则将所述待迁移数据块存储在所述第二存储单元中，且与其他已存储数据块按照时序排序。4.根据权利要求3所述的方法，其特征在于，所述将所述待迁移数据块与处于相同时间区间的已存储数据块进行合并，包括：采用游标迭代器读取所述待迁移数据块的各条待存储日志、以及相同时间区间的已存储数据块中的各条已存储日志；按照该些日志的时间戳信息重新进行排序，得到所述合并后的数据块。5.根据权利要求1
‑
4任一项所述的方法，其特征在于，所述将所述第一存储单元中经排序的多条待存储日志以数据块形式迁移到所述第二存储单元中，包括：每间隔预定时间，将所述第一存储单元中经排序的多条待存储日志以数据块形式迁移到所述第二存储单元中；和/或若所述第一存储单元中经排序的多条待存储日志占用存储空间超过预设阈值时，将所
述第一存储单元中经排序的多条待存储日志以数据块形式迁移到所述第二存储单元中。6.根据权利要求2
‑
4任一项所述的方法，其特征在于，所述数据块中包括多个层级的子数据块，分别与所述第一存储单元的多个层级的存储单元相对应；和/或所述根据所述多条待存储日志的标签信息生成倒排索引文件，包括：根据所述第一存储单元中多个层级的存储单元中包括的多条待存储日志的标签信息生成倒排索引文件。7.一种日志数据处理方法，其特征在于，应用于网关，所述方法包括：接收日志存储请求，所述日志存储请求包括待存储日志，所述待存储日志携带标签信息以及时间戳信息；根据所述待存储日志的标签信息以及时间戳信息，确定所述待存储日志的路由信息；将所述待存储日志根据所述路由信息发送至对应的目标数据节点。8.根据权利要求7所述的方法，其特征在于，所述根据所述待存储日志的标签信息以及时间戳信息，确定所述待存储日志的路由信息，包括：根据所述时间戳信息获取所述时间戳信息对应时刻的数据节点列表，所述数据节点列表包括多个数据节点的路由信息；根据所述待存储日志的标签信息获取哈希值；将所述哈希值对所述数据节点列表中数据节点数量进行取模，根据取模结果以及所述数据节点列表确定所述待存储日志的路由信息。9.根据权利要求8所述的方法，其特征在于，所述确定所述待存储日志的路由信息后，还包括：根据所述待存储日志的路由信息确定所述待存储日志将要存储至的目标数据节点；从所述网关本地预存的各数据节点信息中，获取所述目标数据节点信息；或者若所述网关本地预存的各数据节点信息中不存在所述目标数据节点信息，则从预定数据库集群中获取所述目标数据节点信息，其中所述预定数据库集群中存储有各数据节点的周期性注册信息，所述周期性注册信息中包括各数据节点信息。10.根据权利要求7
‑
9任一项所述的方法，其特征在于，所述将所述待存储日志根据所述路由信息发送至对应的目标数据节点，包括：从线程池中选择空闲的写数据线程，通过所述写数据线程将所述待存储日志根据所述路由信息发送至对应的目标数据节点。11.一种日志数据处理方法，其特征在于，应用于包括多个数据节点的日志存储系统的任一数据节点上，所述数据节点包括第二存储单元，所述第二存储单元中以数据块形式存储多条日志，其中各数据块按照时序排序，每一数据块中多条日志按标签信息和时序排序，所述方法包括：接收网关根据路由信息发送的日志查询请求，所述日志查询请求包括待查询日志的标签信息、关键词、以及时间信息；根据所述待查询日志的时间信息从所述第二存储单元中确定对应的目标数据块；根据所述待查询日志的标签信息和关键词，以及所述目标数据块的倒排索引文件，查找目标日志；其中所述倒排索引文件为预先根据所述目标数据块中包括的多条日志的标签信息生成的；
将所述目标日志发送给所述网关。12.根据权利要求11所述的方法，其特征在于，所述根据所述待查询日志的标签信息和关键词，以及所述目标数据块的倒排索引文件，查找目标日志，包括：根据所述目标数据块的倒排索引文件查找与所述待查询日志的标签信息匹配的至少一条候选日志；在所述至少一条候选日志对所述待查询日志的关键词进行检索，查找包括所述关键词的候选日志，确定为所述目标日志。13.一种日志数据处理方法，其特征在于，应用于网关，所述方法包括：接收日志查询请求，所述日志查询请求包括待查询日志的标签信息、关键词、以及时间信息；根据所述待查询日志的标签信息，确定所述待查询日志的路由信息；将所述日志查询请求根据所述路由信息发送至对应的目标数据节点。14.根据权利要求13所述的方法，其特征在于，所述将所述日志查询请求根据所述路由信息发送至对应的目标数据节点，包括：从线程池中选择空闲的读数据线程，通过所述读数据线程将所述日志查询请求根据所述路由信息发送至对应的目标数据节点。15.一种日志数据处理装置，其特征在于，应用于包括多个数据节点的日志存储系统的任一数据节点上，所述数据节点包括第一存储单元和第二存储单元，所述装置包括：接收模块，用于接收网关根据路由信息发送的多条待存储日志，所述待存储日志携带标签信息以及时间戳信息；其中所述路由信息为所述网关根据所述待存储日志的标签信息以及时间戳信息确定；第一存储模块，用于根据所述标签信息以及所述时间戳信息对所述多条待存储日志按照时序写入到所述第一存储单元中；索引模块，用于根据所述多条待存储日志的标签信息生成倒排索引文件，所述倒排索引文件用于在查询日志阶段根据所述倒排索引文件和时间信息定位所需查询的目标日志；第二存储模块，用于将所述第一存储单元中经排序的多条待存储日志以数据块形式迁移到所述第二存储单元中；其中所述第二存储单元中各数据块按照时序存储。16.一种日志数据处理装置，其特征在于，应用于网关，所述装置包括：接收模块，用于接收日志存储请求，所述日志存储请求包括待存储日志，所述待存储日志携带标签信息以及时间戳信息；路由模块，用于根据所述待存储日志的标签信息以及时间戳信息，确定所述待存储日志的路由信息；发送模块，用于将所述待存储日志根据所述路由信息发送至对应的目标数据节点。17.一种日志数据处理装置，其特征在于，应用于包括多个数据节点的日志存储系统的任一数据节点上，所述数据节点包括第二存储单元，所述第二存储单元中以数据块形式存储多条日志，其中各数据块按照时序排序，每一数据块中多条日志按标签信息和时序排序，所述装置包括：接收模块，用于接收网关根据路由信息发送的日志查询请求，所述日志查询请求包括待查询日志的标签信息、关键词、以及时间信息；
查询模块，用于根据所述待查询日志的时间信息从所述第二存储单元中确定对应的目标数据块；根据所述待查询日志的标签信息和关键词，以及所述目标数据块的倒排索引文件，查找目标日志；其中所述倒排索引文件为预先根据所述目标数据块中包括的多条日志的标签信息生成的；发送模块，用于将所述目标日志发送给所述网关。18.一种日志数据处理装置，其特征在于，应用于网关，所述装置包括：接收模块，用于接收日志查询请求，所述日志查询请求包括待查询日志的标签信息、关键词、以及时间信息；路由模块，用于根据所述待查询日志的标签信息，确定所述待查询日志的路由信息；发送模块，用于将所述日志查询请求根据所述路由信息发送至对应的目标数据节点。19.一种数据节点，其特征在于，包括：至少一个处理器；以及存储器，所述存储器包括：第一存储单元和第二存储单元；所述存储器还存储计算机执行指令；所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如权利要求1
‑
6任一项所述的方法、或者如权利要求11或12所述的方法。20.一种网关，其特征在于，包括：至少一个处理器；以及存储器，所述存储器存储计算机执行指令；所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如权利要求7
‑
10任一项所述的方法、或者如权利要求13或14任一项所述的方法。21.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如权利要求1
‑
6任一项所述的方法、或者如权利要求11或12所述的方法。22.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如权利要求7
‑
10任一项所述的方法、或者如权利要求13或14任一项所述的方法。

技术总结
本发明实施例提供一种日志数据处理方法、装置、设备及存储介质，通过网关将携带标签信息及时间戳信息的待存储日志根据路由信息发送至日志存储系统的目标数据节点，目标数据节点根据待存储日志携带的标签信息及时间戳信息对多条待存储日志按照时序写入目标数据节点的第一存储单元，并根据多条待存储日志的标签信息生成倒排索引文件，用于在查询日志阶段根据倒排索引文件和时间信息定位所需查询的目标日志；再将第一存储单元中经排序的多条待存储日志以数据块形式迁移到第二存储单元，第二存储单元中各数据块按照时序存储。本发明减少日志存储过程处理量，保证日志数据存储和查询的性能，且降低成本，提高处理效率，适用于海量日志数据处理过程。量日志数据处理过程。量日志数据处理过程。


技术研发人员：梁秋实 王行行 桂创华
受保护的技术使用者：北京京东世纪贸易有限公司
技术研发日：2021.01.28
技术公布日：2021/12/6