一种日志缓存淘汰方法、系统及路由器与流程

本发明涉及网络通信，具体涉及一种日志缓存淘汰方法、系统及路由器，尤其涉及一种面向环形缓冲区日志管理场景、结合日志分级、动态权重修正、综合评估与规则化筛选的本地日志缓存淘汰方案。

背景技术：

1、路由器在运行过程中会持续产生大量系统日志、链路日志、接口日志、会话日志以及安全告警日志。这些日志在设备运行维护、故障定位、性能分析以及安全审计中具有重要作用。目前，支持系统日志管理功能的路由器已经普遍应用，用户可以通过查看系统日志监视路由器系统中发生的各类系统事件。

2、由于路由器本地存储空间有限，现有设备通常采用环形缓冲区方式缓存日志，路由器的内部存储器中用于记录系统日志的容量通常仅为数kb，当系统日志的体积大于该容量时，路由器会按照预先设定的规则清除已存储的系统日志，以释放内部存储器的缓存容量。例如，cisco路由器的日志缓存机制中，系统日志存储在路由器的内存缓冲区中，缓存容量较小，一条记录的保存时间一般只有几分钟，缓存器以先进先出的队列模式处理日志记录，最早的记录将被刷新，一些重要的日志记录有可能被覆盖。hpe flexnetwork路由器同样默认采用先进先出方式，当日志缓冲区满时，新日志自动覆盖最旧的日志。此外，开源项目libosmocore中也实现了一种专用于日志记录的环形缓冲区，该实现为有损环形缓冲区，仅保留最多n条最新消息，较旧的消息随新消息的进入而被覆盖。

3、然而，上述传统先进先出覆盖方式主要基于日志写入先后顺序进行淘汰，无法区分不同日志的重要程度。当设备发生异常重启、链路抖动、流量突增、网络攻击或配置异常等关键事件时，与该事件相关的日志通常对后续排障及分析具有较高价值，但仍可能被后续大量普通运行日志覆盖，导致关键日志丢失。

4、针对上述问题，公开号cn106547677a的专利申请公开了一种日志处理方法和装置，通过对获取的日志进行评分来确定日志分数，并根据日志分数对日志进行发送，避免当日志吞吐量较高时重要的日志无法及时传输。然而，该方案关注的是日志发送过程中的优先级处理，而非缓存空间不足时的淘汰决策，其评分主要基于日志发送端的重要程度，未涉及存储时间衰减、日志关联性等维度，且不涉及根据网络运行状态实时修正权重的机制。当缓存空间紧张时，该方案仍无法有效保护与关键事件相关的高价值日志。

5、因此，提供一种能够对日志进行分级评估、根据网络运行状态动态调整保留优先级并结合日志关联关系进行差异化淘汰的路由器本地日志缓存智能淘汰方法，成为本领域亟需解决的技术问题。

技术实现思路

1、针对现有技术中路由器本地日志缓存采用环形缓冲区先进先出淘汰机制所存在的上述缺陷，本发明提供一种日志缓存淘汰方法、系统及路由器。该方法、系统及路由器结合日志属性信息、网络运行状态、存储时间以及日志关联性，对缓存中的日志进行综合价值评估，并在缓存空间不足时优先淘汰低价值日志，以提高关键日志的保留概率。

2、为实现上述目的，本发明提供如下技术方案：

3、方案1：本发明提供一种日志缓存淘汰方法，包括如下步骤：

4、获取待写入日志的基础权重，所述基础权重根据日志的属性信息确定；

5、根据网络运行状态信息对所述日志的动态权重进行修正；

6、在缓存空间不足时，根据所述日志的当前权重信息、存储时间信息和关联性信息计算所述日志的综合评估值；

7、根据所述综合评估值生成淘汰候选集；

8、根据所述淘汰候选集执行日志淘汰操作。

9、在一种优选方案中，所述日志的属性信息包括日志级别和日志类型；所述日志级别包括第一级别、第二级别和第三级别，所述第一级别日志的基础权重大于所述第二级别日志的基础权重，所述第二级别日志的基础权重大于所述第三级别日志的基础权重。

10、在一种优选方案中，根据网络运行状态信息对所述日志的动态权重进行修正，包括：当检测到第一类型异常事件时，将相关日志的动态权重提高至第一预设倍数；当检测到第二类型异常事件时，将相关日志的动态权重提高至第二预设倍数；其中，所述第一预设倍数大于所述第二预设倍数。

11、在一种优选方案中，所述综合评估值根据动态权重归一化值、存储时间衰减值和日志关联性值加权计算获得；所述动态权重归一化值、所述存储时间衰减值和所述日志关联性值的权重系数根据缓存使用率动态调整。

12、在一种优选方案中，根据所述综合评估值生成淘汰候选集，包括：根据所述综合评估值对日志进行排序，并对排序后的日志执行规则化筛选，生成所述淘汰候选集；所述规则化筛选至少包括以下之一：将第一级别日志排除于淘汰候选集之外；将第二级别日志在满足预设条件时纳入淘汰候选集。

13、在一种优选方案中，所述方法还包括：当缓存使用率超过预设阈值且日志数量超过预设数量时，对所述淘汰候选集执行优化处理；所述优化处理包括根据所述综合评估值将日志划分为多个价值组，并优先从低价值组中筛选日志。

14、方案2：本发明提供一种日志缓存淘汰系统，包括：

15、获取模块，用于获取日志的基础权重，所述基础权重根据日志的属性信息确定；

16、修正模块，用于根据网络运行状态信息对所述日志的动态权重进行修正；

17、评估模块，用于在缓存空间不足时，根据所述日志的当前权重信息、存储时间信息和关联性信息计算所述日志的综合评估值；

18、筛选模块，用于根据所述综合评估值生成淘汰候选集；

19、淘汰模块，用于根据所述淘汰候选集执行日志淘汰操作；

20、缓存管理模块，用于管理环形缓冲区并判断缓存空间是否充足。

21、在一种优选方案中，所述日志的属性信息包括日志级别和日志类型；所述日志级别包括第一级别、第二级别和第三级别，所述第一级别日志的基础权重大于所述第二级别日志的基础权重，所述第二级别日志的基础权重大于所述第三级别日志的基础权重。

22、在一种优选方案中，所述修正模块根据网络运行状态信息对所述日志的动态权重进行修正，包括：当检测到第一类型异常事件时，将与所述异常事件相关联的日志的动态权重提高至第一预设倍数；当检测到第二类型异常事件时，将与所述异常事件相关联的日志的动态权重提高至第二预设倍数；其中，所述第一预设倍数大于所述第二预设倍数。

23、在一种优选方案中，所述评估模块计算所述综合评估值时，所述综合评估值根据动态权重归一化值、存储时间衰减值和日志关联性值加权计算获得；所述动态权重归一化值、所述存储时间衰减值和所述日志关联性值的权重系数根据缓存使用率动态调整。

24、在一种优选方案中，所述筛选模块根据所述综合评估值生成淘汰候选集，包括：根据所述综合评估值对日志进行排序，并对排序后的日志执行规则化筛选，生成所述淘汰候选集；所述规则化筛选至少包括以下之一：将所述第一级别日志排除于淘汰候选集之外；将所述第二级别日志在满足预设条件时纳入淘汰候选集。

25、方案3：本发明提供一种路由器，包括处理器和存储器，所述存储器中存储有计算机程序，所述计算机程序在所述处理器上运行时，使所述处理器执行如下步骤：

26、获取待写入日志的基础权重，所述基础权重根据日志的属性信息确定；

27、根据网络运行状态信息对所述日志的动态权重进行修正；

28、在缓存空间不足时，根据所述日志的当前权重信息、存储时间信息和关联性信息计算所述日志的综合评估值；

29、根据所述综合评估值生成淘汰候选集；

30、根据所述淘汰候选集执行日志淘汰操作。

31、在一种优选方案中，所述日志的属性信息包括日志级别和日志类型；所述日志级别包括第一级别、第二级别和第三级别，所述第一级别日志的基础权重大于所述第二级别日志的基础权重，所述第二级别日志的基础权重大于所述第三级别日志的基础权重。

32、在一种优选方案中，所述处理器根据网络运行状态信息对所述日志的动态权重进行修正，包括：当检测到第一类型异常事件时，将与所述异常事件相关联的日志的动态权重提高至第一预设倍数；当检测到第二类型异常事件时，将与所述异常事件相关联的日志的动态权重提高至第二预设倍数；其中，所述第一预设倍数大于所述第二预设倍数。

33、在一种优选方案中，所述综合评估值根据动态权重归一化值、存储时间衰减值和日志关联性值加权计算获得；所述动态权重归一化值、所述存储时间衰减值和所述日志关联性值的权重系数根据缓存使用率动态调整。

34、在一种优选方案中，所述处理器根据所述综合评估值生成淘汰候选集，包括：根据所述综合评估值对日志进行排序，并对排序后的日志执行规则化筛选，生成所述淘汰候选集；所述规则化筛选至少包括以下之一：将所述第一级别日志排除于淘汰候选集之外；将所述第二级别日志在满足预设条件时纳入淘汰候选集。

35、在一种优选方案中，所述处理器还执行如下步骤：当缓存使用率超过预设阈值且日志数量超过预设数量时，对所述淘汰候选集执行优化处理；所述优化处理包括根据所述综合评估值将日志划分为多个价值组，并优先从低价值组中筛选日志。

36、本发明与现有技术相比，具有以下有益效果：

37、第一，本发明构建了基础权重与动态权重相结合的双层权重体系，基础权重根据日志的属性信息静态设定，动态权重根据网络运行状态实时修正，两者结合既保证了日志分级的基本框架，又实现了对关键事件相关日志的动态保护。

38、第二，本发明引入多维综合评估机制，综合当前权重信息、存储时间信息和关联性信息三个维度计算综合评估值，且各维度权重系数随缓存使用率自适应调整，实现了淘汰策略的动态优化。

39、第三，本发明设计了两级筛选机制，先通过规则化筛选生成初步候选集，再通过优化处理进行二次筛选，确保淘汰决策的精准性和关键日志的有效保护。

40、第四，本发明将所述方法应用于路由器，建立了智能淘汰与先进先出降级的联动保障机制，在智能淘汰释放空间不足时自动降级采用先进先出方式完成写入，确保路由器在极端情况下的可靠性和可用性。