日志处理方法、系统及可读存储介质与流程

摘要: 本申请涉及车辆,尤其涉及一种日志处理方法、系统及可读存储介质。背景技术:1、随着汽车智能网联技术的快速发展,车辆联网的数量激增,车端(如车载终端、传感器、控制系...
日志处理方法、系统及可读存储介质与流程

本申请涉及车辆,尤其涉及一种日志处理方法、系统及可读存储介质。

背景技术:

1、随着汽车智能网联技术的快速发展,车辆联网的数量激增,车端(如车载终端、传感器、控制系统等)会产生海量的车辆运行日志数据。这些日志对于故障诊断、性能优化、用户体验提升及安全监控至关重要。现有常见的日志处理方式包括elk stack(elasticsearch, logstash, kibana)或其演进版elastic stack,二者基于其各自构建的日志分析平台进行日志处理。但是,elk stack和elastic stack这两种解决方式存在明显的缺陷:在日志传输环节虽然会使用消息队列作为缓冲,但是日志生产端向消息队列发送数据的速率往往是静态配置的,会存在处理效率受限的问题。可以理解,日志生产端速度过慢时,导致下游资源闲置,那么整体吞吐量低下,在日志数量激增,日志生产端速度过快时,其速度超过下游消费能力,则造成消息队列中消息积压,甚至内存溢出,由此导致处理效率受限的问题,影响系统稳定性。

技术实现思路

1、为克服相关技术中存在的问题,本说明书提供了日志处理方法、系统及可读存储介质。

2、第一方面,提供一种日志处理方法,所述方法包括:

3、获取日志文件,并从所述日志文件中读取日志事件;

4、根据消息队列的消费滞后量的变化,动态调整发送所述日志事件的发送速率,其中,所述消息队列是用于接收所述日志事件,所述消费滞后量由所述消息队列中未被消费端消费的日志事件的数量确定,所述消费滞后量与所述发送速率呈负相关;

5、按照动态调整后的所述发送速率,将所述日志事件发送至所述消息队列,以供与所述消息队列关联的消费端消费所述日志事件。

6、根据本申请提供的一种日志处理方法,所述发送速率由批次大小和/或最大等待时间确定,所述按照动态调整后的所述发送速率,将所述日志事件发送至所述消息队列,包括:

7、将所述日志事件封装为消息队列中的消息,并将所述消息加入消息缓存区;

8、当所述消息缓存区缓存的消息数量达到预设的批次大小,和/或从上一次发送一批次消息的时间到当前时间之间的时长达到预设的最大等待时间,将所述消息缓存区当前缓存的所有消息作为一个批次发送至所述消息队列。

9、根据本申请提供的一种日志处理方法,所述根据消息队列的消费滞后量的变化,动态调整发送所述日志事件的发送速率,包括:

10、根据所述消费滞后量的变化,动态调整所述批次大小和/或所述最大等待时间,其中,所述消费滞后量与所述批次大小呈负相关,与所述最大等待时间呈正相关。

11、根据本申请提供的一种日志处理方法,所述获取日志文件,并从所述日志文件中读取日志事件,包括:

12、获取日志文件,所述日志文件中包含非结构化的日志文本;

13、逐行读取所述日志文本,对于读取到的每一行,执行以下步骤:

14、若所述时间戳信息中原始时间戳的起算时刻与预设的基准时刻不一致,则确定所述起算时刻相对于所述基准时刻的绝对时间;

15、根据所述绝对时间,将所述原始时间戳转换为从所述基准时刻起算的绝对时间戳,得到携带所述绝对时间戳的日志事件。

16、根据本申请提供的一种日志处理方法,所述逐行读取所述日志文本,对于读取到的每一行,还包括执行以下步骤:

17、根据预设的合并规则判断当前行是否为上一行的延续行;

18、若是,则将当前行与上一行合并为一个完整的日志事件,否则将当前行作为新的日志事件的起始行。

19、根据本申请提供的一种日志处理方法,所述根据预设的合并规则判断当前行是否为上一行的延续行,包括:

20、检测当前行的行首是否匹配预设的时间戳格式,若不匹配则判定为上一行的延续行;或,

21、检测当前行的行首是否为空格或制表符,若是则判定为上一行的延续行;或,

22、检测当前行是否以预设的关键词开头,若是则判定为上一行的延续行。

23、根据本申请提供的一种日志处理方法,所述按照动态调整后的所述发送速率,将所述日志事件发送至所述消息队列之后,所述方法还包括:

24、在所述消息队列中消费所述日志事件;

25、对于已被所述消费端消费的每条日志事件,根据所述日志事件的类型匹配预设的正则表达式;

26、调用匹配到的所述正则表达式对所述日志事件中的非结构化文本进行解析,得到结构化数据;

27、将所述结构化数据存入搜索引擎。

28、根据本申请提供的一种日志处理方法,所述将所述结构化数据存入搜索引擎,包括:

29、将所述结构化数据按照预设的批量大小进行积累;

30、当积累的结构化数据的数量达到所述批量大小时,通过所述搜索引擎的应用程序接口,将积累的所有结构化数据批量写入所述搜索引擎中指定的索引。

31、第二方面,提供一种电子设备,所述设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如上述任一种所述日志处理方法。

32、第三方面,提供一种计算机可读存储介质,所述计算机可读存储介质上存储有日志处理程序,所述日志处理程序执行时实现如上所述的任一种日志处理方法的步骤。

33、本申请还提供一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现如上述任一中所述的日志处理方法。

34、本申请提供一种日志处理方法、系统及可读存储介质,与当前日志处理效率低相比,具有以下有益效果:

35、获取日志文件,在将日志文件发送至消息队列的过程中,基于消费滞后量与发送速率负相关的关系,通过实时获取消费滞后量并动态调整发送速率,使生产端的发送行为自动适应消费端的实时处理能力,无需人工干预或静态配置。这意味着,基于调整后的发送速率将日志事件发送给消息队列过程,在消费端处理能力波动时,发送速率随之平滑调整,避免了因速率不匹配导致的队列堆积或资源浪费,从而维持系统在动态环境下的稳定运行,提升系统稳定性。与此同时,通过该自适应调整的日志事件发送机制,能够在相同硬件资源下实现更高的数据处理吞吐量,从而提高日志处理效率。

36、应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本说明书。

1.一种日志处理方法,其特征在于,所述方法包括:

2.如权利要求1所述的日志处理方法,其特征在于,所述发送速率由批次大小和/或最大等待时间确定,所述按照动态调整后的所述发送速率,将所述日志事件发送至所述消息队列,包括:

3.如权利要求2所述的日志处理方法,其特征在于,所述根据消息队列的消费滞后量的变化,动态调整发送所述日志事件的发送速率,包括:

4.如权利要求1所述的日志处理方法,其特征在于,所述获取日志文件,并从所述日志文件中读取日志事件,包括:

5.如权利要求4所述的日志处理方法,其特征在于,所述逐行读取所述日志文本,对于读取到的每一行,还包括执行以下步骤:

6.如权利要求5所述的日志处理方法,其特征在于,所述根据预设的合并规则判断当前行是否为上一行的延续行,包括:

7.如权利要求1所述的日志处理方法,其特征在于,所述按照动态调整后的所述发送速率,将所述日志事件发送至所述消息队列之后,所述方法还包括:

8.如权利要求7所述的日志处理方法,其特征在于,所述将所述结构化数据存入搜索引擎,包括:

9.一种电子设备,其特征在于,包括存储器,处理器及存储在所述存储器上并可在所述处理器上运行的日志处理程序,所述处理器执行所述日志处理程序时实现如权利要求1至8中任一项所述的日志处理方法的步骤。

10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有日志处理程序,所述日志处理程序执行时实现如权利要求1至8中任一项所述的日志处理方法的步骤。