一种基于聚类和大语言模型的轻量化混合日志解析方法
本发明涉及系统运维,尤其是一种基于聚类和大语言模型的轻量化混合日志解析方法。
背景技术:
1、随着云计算、微服务、容器化部署以及分布式系统的广泛应用,软件系统在运行过程中会持续产生海量日志数据。日志是反映系统运行状态、故障演化过程以及安全事件的重要信息载体,在系统监控、故障诊断、异常检测、根因分析和安全审计等任务中具有重要作用。为了支撑后续自动化分析,通常需要首先对原始日志进行解析,将非结构化或半结构化日志转换为可计算、可检索的结构化日志模板。
2、现有日志解析方法大多依赖规则匹配、启发式解析或者聚类分析等技术手段。这些方法在结构较稳定、格式较规范的日志场景中具有一定效果,但在实际生产环境中,日志来源复杂、格式多样、变量字段丰富,且不同系统生成的日志往往存在显著异质性,导致传统方法在面对复杂混合日志时容易出现模板泛化能力不足、解析精度下降以及适应性较弱的问题。
3、近年来,大语言模型凭借较强的语义理解能力和上下文推理能力,为复杂日志解析提供了新的解决思路。利用大语言模型可以更好地识别日志中的固定模式部分与变量部分,从而提升复杂日志、未知日志以及异构日志的解析能力。然而,现有基于大语言模型的日志解析方法在实际应用中仍存在较多局限。首先,大语言模型推理通常具有较高的时间开销和计算成本,若对每条日志逐条调用大语言模型进行解析,难以满足生产环境中高吞吐、低时延的在线处理需求。其次,在面对多行日志时,现有方法通常将多行日志拆分为若干单行分别处理,容易破坏多行日志原有的整体语义结构,造成模板碎片化,进而影响解析一致性以及后续异常检测、根因分析等任务的准确性。再次,复杂生产环境中的日志往往具有较强的时间局部性和重复性,如果不能有效复用已解析模板,则会导致重复推理次数过多,进一步加重系统资源消耗。
技术实现思路
1、为了解决上述问题,本发明提供一种基于聚类和大语言模型的轻量化混合日志解析方法,能够在保持混合日志解析准确性的同时,降低大语言模型调用次数,减少解析延迟与计算成本,避免多行日志逐行拆分造成的语义破坏。
2、为了实现上述目的,本发明采用的技术方案为:
3、一种基于聚类和大语言模型的轻量化混合日志解析方法,包括下述步骤:
4、s1. 获取原始日志流,对所述原始日志流中的日志进行预处理,提取关键特征序列;
5、s2. 基于所述关键特征序列,计算所述日志之间的相似度,且通过滑动窗口及分层聚类机制对日志流进行聚类处理;
6、s3. 在各聚类中选取代表日志,通过固定深度前缀树缓存对所述代表日志进行模板匹配;
7、s4. 当所述代表日志在所述固定深度前缀树缓存中匹配成功时,输出对应的日志模板;当匹配失败时,调用大语言模型对所述代表日志进行解析以生成新的日志模板;
8、s5. 将生成的新的日志模板写入所述固定深度前缀树缓存,且将所述代表日志对应的日志模板复用于同一聚类中的其余日志。
9、进一步地,在步骤s1中,所述预处理包括下述步骤:
10、s1.1 对原始日志中的变量字段进行抽象替换,将可变内容替换为预设通配符;
11、s1.2 对替换后的日志文本依次进行符号清理、token标准化、停用词过滤;
12、s1.3 对过滤后日志文本的相邻占位符进行合并处理,以提取所述关键特征序列,且所述关键特征序列为用于相似度计算及缓存检索的关键token序列。
13、3. 根据权利要求1所述的一种基于聚类和大语言模型的轻量化混合日志解析方法,其特征在于:在步骤s2中,通过构建面向单行日志及多行日志的层次化混合相似度度量,以计算获得所述日志之间的相似度;
14、对于所述向单行日志,基于token集合的jaccard相似度进行计算;
15、对于所述多行日志,通过层次化混合相似度度量方式进行计算,所述层次化混合相似度度量方式采用两阶段计算策略,先通过日志类型匹配进行粗筛选,再在结构层面进行精细度量,且所述结构层面的精细度量综合了行数相似度、前k行相似度及后续行内容相似度。
16、进一步地,在步骤s2中,所述向单行日志之间的相似度计算为:
17、
18、其中,及分别为日志和日志经过预处理后的token集合;
19、所述多行日志之间的相似度计算为:
20、
21、其中,为日志和日志之间的最终相似度;为指示函数,表示日志类型的匹配度,使相同类型的日志进行聚类; δ∈[0, 1],且用于控制类型匹配与结构相似度之间的相对权重;为结构相似度,且结构相似度的计算方法为:
22、
23、其中,为行数相似度;为前k行相似度;为后续行相似度;、、 为三个维度的权重系数,满足约束 =1 ,且≥0,。
24、进一步地,在步骤s2中,所述权重系数的最优值计算方法为:
25、
26、其中,为各个权重系数的最优值;为标注日志对集合,{0,1}为人工标注的相似性标签;
27、所述行数相似度计算方法为:
28、
29、其中,与为代表两条日志的总行数;
30、所述前k行相似度通过jaccard 相似度计算;
31、所述后续行相似度基于哈希值进行快速比较,其计算方法为:
32、
33、其中,表示 md5 哈希函数;、为日志和日志的后续部分。
34、进一步地,在步骤s2中,通过滑动窗口对连续日志流进行分段处理,且在每个窗口内执行分层聚类;所述分层聚类包括所述分层聚类包括第一层快速分组和第二层精细聚类,所述第一层快速分组根据日志类型及token数量区间进行分组;所述第二层精细聚类在各分组内通过基于密度的聚类算法进行聚类,且将噪声点作为独立簇处理;
35、在所述精细聚类过程中,基于日志的token数量比值或行数比值进行预过滤,当所述比值低于预设阈值时,判定对应日志不参与相似聚类计算,且在相邻窗口之间,将前一窗口解析得到的日志模板写入固定深度前缀树缓存,以供后一窗口进行模板匹配和复用。
36、进一步地,在步骤s3中,基于所述固定深度前缀树构建全局缓冲的固定深度前缀树缓存,通过token级前缀树并以token长度为索引,将不同长度的日志路由至对应的前缀树中进行模板匹配,且所述固定深度前缀树分别维护用于所述单行日志及所述多行日志的独立缓存结构;
37、对于所述单行日志,以对应的token序列作为前缀树路径;
38、对于所述多行日志,以首行对应的token序列作为前缀树主路径,且将后续行内容的哈希值作为附加路径节点,以区分首行结构相同但后续内容不同的多行日志。
39、进一步地,在步骤s4中,当缓存命中时输出对应日志模板时,匹配成功,以输出对应日志模板;当缓存未命中日志模板时,匹配失败,调用大语言模型对所述代表日志进行解析以生成新的日志模板,且新的日志模板生成过程中,结合示例检索机制与结构化提示词设计,对大语言模型进行引导解析。
40、进一步地,在步骤s4中,所述示例检索机制包括:在固定深度前缀树缓存或预标注样本中构建候选示例集;基于所述层次化混合相似度度量选取及待解析日志最相关的示例,且结合相似度阈值及多样性约束对所选示例进行过滤;
41、所述结构化提示词包括角色定位、任务约束、逐步推理指令及示例输入输出内容,所述结构化提示词用于引导大语言模型依次完成日志类型分析、常量与变量识别、占位符类型标注及日志模板构建,以生成对应的日志模板。
42、进一步地,在步骤s5中,在将新生成的日志模板写入所述固定深度前缀树缓存时,先根据日志类型及token长度定位对应的前缀树根节点; 若对应节点不存在时,则创建新的前缀树节点;再沿所述日志对应的路径逐层插入节点,且在叶子节点处存储对应的日志模板。
43、本发明的有益效果是:
44、通过滑动窗口与分层聚类机制对日志流进行预处理,仅选取各聚类中的代表性日志调用大语言模型进行解析,该策略将大语言模型的调用粒度从逐条日志转变为聚类代表,在保证解析覆盖度的前提下,大幅减少了模型推理次数,有效降低了日志解析的时间开销与计算成本,使其能够满足生产环境中高吞吐、低时延的在线处理需求。构建了固定深度前缀树作为模板缓存结构,能够对已解析的日志模板进行级快速检索与复用,针对生产环境中日志具有强时间局部性和重复性的特点,该机制显著提高了重复日志及相似日志的模板命中率,有效规避了对相同模式的重复推理,增强了系统在连续日志流场景下的增量解析能力与资源利用效率。对单行日志与多行日志分别设计了差异化的相似度度量方法,特别是对于多行日志,采用层次化混合相似度度量策略,在聚类过程中充分保留了多行日志的整体语义结构与上下文关联,该方法从根本上克服了现有技术在处理多行日志时因逐行拆分而导致的语义破坏和模板碎片化问题,显著提升了解析结果的一致性及后续下游分析任务的准确性。将大语言模型的语义理解与推理能力作为兜底解析手段,在缓存未命中时自动触发对复杂日志、未知日志及新型日志模式的模板生成,这种缓存优先与模型兜底相互配合的协同机制,既保证了常规日志的高效处理,又赋予了系统对异质日志和动态演化日志的强大泛化解析能力,有效解决了传统方法在面对复杂混合日志时适应性差、精度低的瓶颈问题。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com