一种基于分布式存储的日志检索方法、装置及存储介质与流程

技术特征：
1.一种基于分布式存储的日志检索方法，其特征在于，包括：将日志按照自定义类别划分条件进行分类，并按照设定时间维度拆分为对应各个类别的日志块；针对各个日志块进行存储并建立日志块索引；接收目标日志检索信息，通过日志块索引信息检索目标日志所对应的目标日志块，并发针对目标日志块进行全文检索得到目标日志的检索结果信息。2.根据权利要求1所述的一种基于分布式存储的日志检索方法，其特征在于，所述将日志按照自定义类别划分条件进行分类，并按照设定时间维度拆分为对应各个类别的日志块包括：自定义同一类别日志的划分条件包括：是否为同一个机器产生的日志，和/或是否同属于同一个模块的日志，和/或是否为同一种类型的日志，或者是否为同一个日志级别。3.根据权利要求2所述的一种基于分布式存储的海量日志检索方法，其特征在于，分别在各个机器上部署日志采集代理，日志采集代理获取所部署机器的日志信息，并在上传日志信息时附带所属机器名称标签、和/或所属模块名称标签、和/或日志类型标签、和/或日志级别标签；可选地，所述模块名称包括部署在机器上的各个服务名称；可选地，所述日志类型包括业务访问日志(access.log)、和/或数据库访问日志(sql.log)、和/或业务日志(server.log)；同时所述日志类型也支持业务自定义，所述日志采集代理会将日志类型附带在日志信息里用于在检索时选择对应的日志类型；可选地，所述的日志级别包括：debug指出细粒度信息事件对调试应用程序是非常有帮助的；info表明消息在粗粒度级别上突出强调应用程序的运行过程；warn表明会出现潜在错误的情形；error指出虽然发生错误事件，但仍然不影响系统的继续运行；fatal指出每个严重的错误事件将会导致应用程序的退出。4.根据权利要求2所述的一种基于分布式存储的日志检索方法，其特征在于，包括：针对全部类别的日志块设定统一的时间维度，将采集的所有日志缓存至设定的统一的时间维度后，拆分成对应类别的日志块。5.根据权利要求1所述的一种基于分布式存储的日志检索方法，其特征在于，所述针对各个日志块进行存储并建立日志块索引包括：按照系统预设时间条件针对各日志块进行多级存储；将满足第一预设时间条件的日志块存储在本地磁盘上，将满足第二预设时间条件的日志块压缩后上传至远程存储上，将满足第三预设时间条件的冷日志块数据从远程存储转移至归档存储中保存。6.根据权利要求1所述的一种基于分布式存储的日志检索方法，其特征在于，所述针对各个日志块进行存储并建立日志块索引包括：按照系统预设存储量条件针对各日志块进行多级存储；将小于第一预设存储量条件的日志块存储在本地磁盘上，当本地磁盘上存储的日志块超过第一预设存储量条件时，将本地磁盘上存储时间超过第一设定值的日志块压缩后上传
至远程存储上进行存储；当远程存储上存储的日志块超过第二预设存储量条件时，将远程存储上存储时间超过第二设定值的冷日志块数据从远程存储转移至归档存储中保存。7.根据权利要求5或6所述的一种基于分布式存储的日志检索方法，其特征在于，所述针对各个日志块建立日志块索引包括：针对各个日志块建立索引，所述的索引内容包括：时间、日志块元信息及日志块存储位置；其中，所述的日志块元信息包括日志块所属的机器信息和/或模块信息和/或类型信息和/或级别信息。8.根据权利要求7所述的一种基于分布式存储的日志检索方法，其特征在于，所述在进行目标日志检索时，通过日志块索引信息检索目标日志所对应的目标日志块，并发针对目标日志块进行全文检索得到目标日志的检索结果信息包括：在进行目标日志检索时，提取获取的目标日志中与日志块分类类别对应的关键信息；以获取的关键信息在日志块索引信息检索出目标日志块以及目标日志块所存储的位置；将存储在远程存储上或者归档存储上的目标日志块下载至本地磁盘中，再以目标日志的检索信息为检索条件在各个日志块中进行全文检索，汇总排序得到检索结果信息。9.一种基于分布式存储的日志检索装置，其特征在于，包括：日志块分类模块，将日志按照自定义类别划分条件进行分类，并按照设定时间维度拆分为对应各个类别的日志块；日志块存储模块，针对各个日志块进行存储；以及日志块检索模块，针对存储的日志块建立日志块索引，所述日志块检索模块接收目标日志检索信息，通过日志块索引信息检索目标日志所对应的目标日志块，并发针对目标日志块进行全文检索得到目标日志的检索结果信息。10.一种存储介质，其特征在于，存储有计算机可执行程序，所述计算机可执行程序被执行时，实现如权利要求1-8中任意一项所述的一种基于分布式存储的海量日志检索方法。

技术总结
本发明公开了一种基于分布式存储的日志检索方法、装置及存储介质，所述的日志检索方法，包括：将日志按照自定义类别划分条件进行分类，并按照设定时间维度拆分为对应各个类别的日志块；针对各个日志块进行存储并建立日志块索引；接收目标日志检索信息，通过日志块索引信息检索目标日志所对应的目标日志块，并发针对目标日志块进行全文检索得到目标日志的检索结果信息。本发明针对日志块做索引，而非每条日志，所以整体的索引数据量会减少千倍以上，在写入日志时也不再需要去更新索引，这就节省了大量的CPU；与之相应的，在进行日志检索时先检索出目标检索日志对应所属的日志块，再在日志块中进行全文检索，极大的提升了检索的效率。效率。效率。


技术研发人员：莫仁鹏 吕亚霖 董晓聪
受保护的技术使用者：作业帮教育科技（北京）有限公司
技术研发日：2021.11.05
技术公布日：2022/2/8