一种系统日志采集动态调控方法、系统及设备与流程

摘要: 本发明实施例涉及数据处理,具体涉及一种系统日志采集动态调控方法、系统及设备。背景技术:1、现有的日志处理技术普遍聚焦于已生成日志的存储优化、分级管理或基于单一事...
一种系统日志采集动态调控方法、系统及设备与流程

本发明实施例涉及数据处理,具体涉及一种系统日志采集动态调控方法、系统及设备。

背景技术:

1、现有的日志处理技术普遍聚焦于已生成日志的存储优化、分级管理或基于单一事件的响应式处理,导致计算机系统稳定性与日志完整性之间存在根本矛盾。

2、例如:

3、现有日志处理技术的核心在于已生成日志数据的存储压缩、覆盖策略优化或离线分析,属于被动响应式处理;这种事后处理模式无法在日志采集过程中实时感知并缓释其对cpu占用率、内存带宽、磁盘i/o等计算机系统资源造成的负载压力。当计算机系统处于高负载运行状态时,持续的日志采集操作可能成为触发计算机系统性能劣化的关键诱因,导致计算机系统抖动、响应延迟甚至崩溃。

4、再例如:

5、部分现有日志处理技术能够根据特定程序状态或异常事件数量等单一或少数维度的事件指标来调整日志级别。然而,现代计算机系统的性能瓶颈具有多元性,可能由cpu、内存、磁盘i/o、内部数据队列等任一环节引发。仅凭单一指标进行调控决策容易产生误判,无法精准应对复杂的计算机系统资源压力。当计算机系统内存使用率濒临耗尽但cpu处于空闲状态时,若仍基于cpu指标盲目降低日志采样率,将无法精准解决核心资源(内存)压力问题,难以实现全面的资源保障。

6、再例如:

7、为释放存储空间,在切换日志文件时会出现短暂的写入窗口关闭期,进而导致日志数据丢失。另一方面,为保障日志数据零丢失而设计的复杂机制,在计算机系统高负载时段会进一步加剧资源争用,反向影响计算机系统性能。

8、而现有日志处理技术难以在保障日志数据零丢失的同时,又不额外加重计算机系统负担,形成了保计算机系统性能则丢日志数据,保日志数据则损计算机系统性能的两难局面。

技术实现思路

1、本发明实施例为了解决现有技术中的日志处理技术存在管理滞后、缺乏源头调控能力,决策片面、无法应对复杂瓶颈以及计算机系统性能与日志数据完整性难以兼得等问题,提供了一种系统日志采集动态调控方法、系统及设备。

2、根据本发明实施例的一个目的,提供了一种系统日志采集动态调控方法,包括以下步骤:

3、通过预设采样频率实时采集系统的多项资源指标并进行存储;

4、对采集的多项所述资源指标进行预处理,得到标准资源指标;

5、对所述标准资源指标进行加权融合处理,得到所述系统的资源压力评分;

6、对所述标准资源指标的历史资源压力评分进行预测,得到预设时间内的所述系统的负载趋势预测信号;

7、按照预设优先级的分层策略,对所述资源压力评分、所述负载趋势预测信号以及所述资源指标匹配对应优先级层级;

8、执行所述优先级层级对应的调控动作,以调整采样频率;

9、将多项所述资源指标和所述调控动作的执行结果进行存储;

10、其中,所述资源指标包括cpu使用率、内存使用率、磁盘空间使用率和内部数据队列深度。

11、在一些可选的实现方式中,对所述标准资源指标进行加权融合处理,得到所述系统的资源压力评分,具体包括:

12、基于各所述资源指标对所述系统稳定性的不同影响程度和紧迫性确定各所述资源指标的权重;

13、通过多指标加权融合决策算法对各所述资源指标的权重进行加权求和,得到所述系统的资源压力评分。

14、在一些可选的实现方式中,对所述标准资源指标的历史资源压力评分进行预测,得到预设时间内的所述系统的负载趋势预测信号,具体包括:

15、将固定时长的历史资源压力评分序列作为滑动窗口;

16、通过趋势预测算法对所述滑动窗口内的所述历史资源压力评分序列进行拟合,得到预设时间内的所述系统的负载趋势预测信号;

17、其中,所述负载趋势预测信号包括上升、维持和下降。

18、在一些可选的实现方式中,所述预设优先级的分层策略包括:最高优先级的紧急保护层、核心调控层的性能优化层、辅助优化层的资源感知层以及数据完整性层的服务质量保障层。

19、在一些可选的实现方式中,对所述资源压力评分、所述负载趋势预测信号以及所述资源指标匹配对应优先级层级,具体包括:

20、判断所述cpu使用率和/或内存使用率的实时瞬时值是否超过第一预设阈值,若是,系统触发最高优先级的紧急保护层;

21、当判定系统未触发紧急保护层时,核心调控层的性能优化层持续运行;

22、判断所述内存使用率和/或磁盘空间使用率是否超过第二预设阈值,且持续预设时间,若是,系统触发辅助优化层的资源感知层;

23、判断所述内部数据队列的堆积量是否超过第三预设阈值,若是,系统触发数据完整性层的服务质量保障层。

24、在一些可选的实现方式中,执行所述优先级层级对应的调控动作,具体包括:

25、当系统触发最高优先级的紧急保护层,将所述采样率降至预设最低阈值、临时关闭日志压缩功能和/或暂停非核心资源指标项采集;

26、当系统持续运行核心调控层的性能优化层时,基于所述资源压力评分和所述负载趋势预测信号动态平滑调整所述采集频率和/或动态调整缓冲区大小;

27、当系统触发辅助优化层的资源感知层时,生成预警信息并输出针对性优化建议;

28、当系统触发数据完整性层的服务质量保障层时,提升系统调度优先级、动态分配额外处理线程和/或临时启用备用缓冲区。

29、在一些可选的实现方式中,将通过预设采样频率实时采集系统的多项资源指标进行存储,具体包括:

30、设置实时接收缓冲区和轮转备用缓冲区;

31、当系统正常运行时,将实时采集的所述多项资源指标写入所述实时接收缓冲区,所述轮转备用缓冲区处于空闲待命状态。

32、在一些可选的实现方式中,还包括:

33、当需要进行日志文件切换触发轮转时,通过原子指针替换指令,切换写入目标,将实时采集的所述多项资源指标写入所述轮转备用缓冲区;

34、写入目标切换后,将所述实时接收缓冲区内的残留缓存数据完整写入当前旧日志文件;

35、将所述轮转备用缓冲区中的缓存数据完整写入创建的新日志文件;

36、通过原子指针替换指令,切换写入目标,将实时采集的所述多项资源指标写入所述实时接收缓冲区。

37、根据本发明实施例的另一个目的,提供了一种系统日志采集动态调控系统,采用上述任意一项所述的一种系统日志采集动态调控方法动态调控日志数据采用频率,所述系统包括:多维度资源监控与融合决策模块、分层资源反馈控制模块以及数据存储模块;

38、所述多维度资源监控与融合决策模块用于通过预设采样频率实时采集系统的多项资源指标,并对对采集的多项所述资源指标进行预处理,得到标准资源指标,对所述标准资源指标进行加权融合处理,得到所述系统的资源压力评分,以及对所述标准资源指标的历史资源压力评分进行预测,得到预设时间内的所述系统的负载趋势预测信号;

39、所述分层资源反馈控制模块用于按照预设优先级的分层策略,对所述资源压力评分、所述负载趋势预测信号以及所述资源指标匹配对应优先级层级,并执行所述优先级层级对应的调控动作;

40、所述数据存储模块用于将通过预设采样频率实时采集系统的多项资源指标进行存储;

41、其中,所述资源指标包括cpu使用率、内存使用率、磁盘空间使用率和内部数据队列深度。

42、根据本发明实施例的又一个目的,提供了一种计算机设备,包括:处理器、存储器、通信接口和通信总线,处理器、存储器和通信接口通过通信总线完成相互间的通信;

43、存储器用于存放至少一可执行指令,可执行指令使处理器执行如上述任意一项所述的一种系统日志采集动态调控方法的操作。

44、与现有技术相比,本发明具有以下优点:

45、本发明提供的一种系统日志采集动态调控方法,通过实时监控系统的多项资源指标,以使系统能够实时、全面地感知cpu使用率、内存使用率、磁盘空间使用率和内部数据队列深度等核心资源状态;根据资源压力评分和负载趋势预测信号实时调整资源指标的采样频率,使得调控决策不再依赖于单一事件或事后分析,而是能够在日志数据采集过程中,主动、前瞻性地评估系统负载,从源头上预防因日志采集行为本身引发的系统过载风险,提升系统的稳定性和运行可靠性。

46、上述说明仅是本发明实施例技术方案的概述,为了能够更清楚了解本发明实施例的技术手段,而可依照说明书的内容予以实施,并且为了让本发明实施例的上述和其它目的、特征和优点能够更明显易懂,以下特举本发明的具体实施方式。