用于在日志分析系统中实现日志解析器的方法和系统与流程

技术特征：
1.一种方法，包括：存储分别与多个日志类型相关联的多个日志解析器；从日志获得日志数据；在所述日志数据内识别：(a)多个日志类型中的至少一个日志类型所共有的第一组字段名称，以及(b)包括由所述第一组字段名称表示的字段的字段值的第一组可变部分；通过从所述日志数据中移除所述第一组可变部分，生成经过滤的日志数据，其中所述经过滤的日志数据包括所述第一组字段名称并且不包括由所述第一组字段名称表示的字段的字段值；生成向量，所述向量(a)基于所述经过滤的日志数据中的所述第一组字段名称，并且(b)不基于包括字段值的被移除的第一组可变部分；至少通过将所述向量应用于一个或多个分类器，获得将所述日志分类为特定类型的最终分类结果；以及基于所述最终分类结果，使用与所述特定日志类型相关联的日志解析器来解析所述日志；其中，所述方法由包括硬件处理器的至少一个设备执行。2.如权利要求1所述的方法，还包括：将经过滤的日志数据应用于分布分类器以获得第一分类结果，其中所述分布分类器使用分布模型对经过滤的日志数据进行分类，该分布模型包括分别与所述多个日志类型相关联的第一多个质心，其中将经过滤的日志数据应用于分布分类器包括(a)基于经过滤的日志数据内的一个或多个字符的一个或多个频率生成分布向量，以及(b)基于所述分布向量和所述第一多个质心中的第一质心之间的第一距离生成第一分类结果；将经过滤的日志数据应用于令牌分类器以获得第二分类结果，其中所述令牌分类器使用令牌模型对经过滤的日志数据进行分类，该令牌模型包括分别与所述多个日志类型相关联的第二多个质心；为第一分类结果赋予第一权重，以获得与分布分类器对应的第一加权分类结果；为第二分类结果赋予第二权重，以获得与令牌分类器对应的第二加权分类结果；以及至少组合(a)与分布分类器对应的第一加权分类结果和(b)与令牌分类器对应的第二加权分类结果，以获得最终分类结果。3.如权利要求2所述的方法，还包括：将经过滤的日志数据应用于令牌分类器包括(a)基于经过滤的日志数据内的一个或多个令牌生成令牌向量，以及(b)基于所述令牌向量和所述第二多个质心中的第二质心之间的第二距离生成第二分类结果。4.如权利要求2所述的方法，还包括：将经过滤的日志数据应用于正则表达式分类器，以获得第三分类结果；以及为第三分类结果赋予第三权重，以获得与正则表达式分类器对应的第三加权分类结果；其中，为了获得最终分类结果，进一步将与正则表达式分类器对应的第三加权分类结果和与分布分类器对应的第一加权分类结果、与令牌分类器对应的第二加权分类结果进行组合。
5.如权利要求2所述的方法，还包括：将经过滤的日志数据应用于模式签名分类器，以获得第四分类结果；以及为第四分类结果赋予第四权重，以获得与模式签名分类器对应的第四加权分类结果；其中，为了获得最终分类结果，进一步将与模式签名分类器对应的第四加权分类结果和与分布分类器对应的第一加权分类结果、与令牌分类器对应的第二加权分类结果进行组合。6.如权利要求2所述的方法，其中，基于第一加权和第二加权，第一分类结果对最终分类结果贡献第一百分比，并且第二分类结果对最终分类结果贡献第二百分比。7.如权利要求2所述的方法，其中，将经过滤的日志数据应用于分布分类器包括将经过滤的日志数据内的字符的分布应用于分布分类器。8.如权利要求2所述的方法，其中，将经过滤的日志数据应用于令牌分类器包括：识别经过滤的日志数据内的一个或多个令牌；以及将经过滤的日志数据内的一个或多个令牌应用于令牌分类器。9.如权利要求1所述的方法，还包括：基于经过滤的日志数据为日志，确定一组最高概率候选日志类型，所述一组最高概率候选日志类型包括最终分类结果和至少一个其他候选分类结果；以及生成显示所述一组最高概率候选日志类型的用户界面。10.如权利要求1所述的方法，其中：所述日志数据包括一个或多个日志条目；从日志获取日志数据包括从位于分布式主机环境中的一个或多个日志收集器接收一个或多个日志条目。11.如权利要求1所述的方法，还包括：基于所述日志数据识别第一组字段规则部分，其中所述第一组字段规则部分在移除第一组可变部分之后保留在经过滤的日志数据中。12.如权利要求1所述的方法，还包括：其中，基于日志条目元数据定义所述第一组字段名称中的至少一个。13.如权利要求1所述的方法，还包括：将经过滤的日志数据应用于正则表达式(re)分类器以获得第一分类结果；将经过滤的日志数据应用于非re分类器以获得第二分类结果；为第一分类结果赋予第一加权，以获得与re分类器对应的第一加权分类结果；为第二分类结果赋予第二加权，以获得与非re分类器对应的第二加权分类结果；以及至少组合(a)与re分类器对应的第一加权分类结果和(b)与非re分类器对应的第二加权分类结果以获得最终分类结果。14.一种或多种存储指令的非暂时性机器可读介质，所述指令当由一个或多个硬件处理器执行时导致执行如权利要求1-13所述的任一种方法。15.一种系统，包括：包括硬件处理器的至少一个设备；以及被配置为执行如权利要求1-13所述的任一种方法的系统。

技术总结
本发明涉及用于在日志分析系统中实现日志解析器的方法和系统。公开了用于实现日志分析方法和系统的系统、方法和计算机程序产品，该日志分析方法和系统可以以高效的方式来配置、收集和分析日志记录。已经描述了通过分析日志的行内容来自动生成日志解析器的改进方法。此外，已经描述了从日志内容中提取键-值内容的高效方法。容的高效方法。容的高效方法。


技术研发人员：G
受保护的技术使用者：甲骨文国际公司
技术研发日：2016.04.01
技术公布日：2022/3/8