一种设备日志压缩方法、设备、介质及产品与流程

本发明涉及大数据和数据压缩，可用于金融科技领域，尤其涉及一种设备日志压缩方法、设备、介质及产品。

背景技术：

1、随着云计算、分布式服务、数据库与网络设备大规模部署，系统运行、业务交互、设备运维过程中会持续产生海量日志数据，日志承载系统运行状态、故障信息、操作行为等关键内容，是线上故障排查、系统监控、安全审计的核心依据。日志文本具备极强的结构化冗余特征，大量日志行共享固定模板语句，仅时间戳、进程编号、业务变量等少量字段存在差异，若直接存储原始日志将占用海量磁盘空间，大幅提升存储硬件成本，同时增大日志传输带宽开销。

2、当前行业普遍采用 gzip、lz4、zstandard 等通用无损压缩算法对日志整体压缩，该类通用算法仅基于滑动窗口挖掘局部字符重复关系，无法识别日志全局统一模板结构，难以充分消除日志中大规模模板冗余，压缩倍率偏低；现有面向日志的专用压缩方案多依赖离线日志解析、人工配置模板或复杂聚类提取固定模板，实时日志流场景下解析开销大、压缩吞吐不足，且模板库更新滞后易造成压缩失效，同时压缩后日志检索需全量解压，查询延迟高，难以兼顾压缩效率、压缩速率与检索性能，因此亟需一种适配实时日志流、充分利用日志模板冗余、兼顾压缩速度与查询效率的日志压缩方案。

技术实现思路

1、本发明提供了一种设备日志压缩方法、设备、介质及产品，以提高日志压缩效率。

2、根据本发明的一方面，提供了一种设备日志压缩方法，该方法包括：

3、在到达预设压缩时间时，检查当前系统的io负载量；

4、在识别到所述io负载量达到安全阈值的情况下，分别对至少一个待压缩日志文件进行识别和分类，得到目标日志类型；

5、根据所述目标日志类型对应的压缩方式，对所述待压缩日志进行初步压缩，得到初步压缩日志；

6、基于加密算法，对所述初步压缩日志进行加密，得到目标压缩日志。

7、根据本发明的另一方面，提供了一种设备日志压缩装置，该装置包括：

8、负载量检查模块，用于在到达预设压缩时间时，检查当前系统的io负载量；

9、日志类型确定模块，用于在识别到所述io负载量达到安全阈值的情况下，分别对至少一个待压缩日志文件进行识别和分类，得到目标日志类型；

10、日志初步压缩模块，用于根据所述目标日志类型对应的压缩方式，对所述待压缩日志进行初步压缩，得到初步压缩日志；

11、日志加密模块，用于基于加密算法，对所述初步压缩日志进行加密，得到目标压缩日志。

12、根据本发明的另一方面，提供了一种电子设备，所述电子设备包括：

13、至少一个处理器；以及

14、与所述至少一个处理器通信连接的存储器；其中，

15、所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例所述的设备日志压缩方法。

16、根据本发明的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本发明任一实施例所述的设备日志压缩方法。

17、根据本发明的另一方面，提供了一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序在被处理器执行时实现根据本发明任一实施例所述的设备日志压缩方法。

18、本发明实施例的技术方案，通过在到达预设压缩时间时，检查当前系统的io负载量；在识别到io负载量达到安全阈值的情况下，分别对至少一个待压缩日志文件进行识别和分类，得到目标日志类型；根据目标日志类型对应的压缩方式，对待压缩日志进行初步压缩，得到初步压缩日志；基于加密算法，对初步压缩日志进行加密，得到目标压缩日志。上述技术方案，通过对系统io负载量进行实时检查，能够将压缩任务分布到系统空闲时段，有效避免io负载尖峰，确保数字证书设备在业务高峰期的性能稳定性和响应速度；同时对待压缩日志进行分类并针对性压缩，提高压缩效率。

19、应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。

1.一种设备日志压缩方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，根据所述目标日志类型对应的压缩方式，对所述待压缩日志进行初步压缩，得到初步压缩日志，包括：

3.根据权利要求2所述的方法，其特征在于，基于解析器树的模板话压缩引擎对所述待压缩日志文件进行压缩，得到初步压缩日志，包括：

4.根据权利要求3所述的方法，其特征在于，还包括：

5.根据权利要求2所述的方法，其特征在于，若所述目标日志类型为业务日志文件，则基于特征选择的深度压缩引擎对所述待压缩日志文件进行压缩，得到初步压缩日志，包括：

6.根据权利要求1所述的方法，其特征在于，对待压缩日志文件进行识别和分类，得到目标日志类型，包括：

7.根据权利要求1所述的方法，其特征在于，分别对至少一个待压缩日志文件进行识别和分类，得到目标日志类型，包括：

8.一种电子设备，其特征在于，所述电子设备包括：

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现权利要求1-7中任一项所述的设备日志压缩方法。

10.一种计算机程序产品，其特征在于，所述计算机程序产品包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-7中任一项所述的设备日志压缩方法。