用于日志告警数据的解析处理的模型识别处理方法与系统与流程

本发明属于数据分析，尤其涉及一种用于日志告警数据的解析处理的模型识别处理方法与系统。

背景技术：

1、在大型分布式系统中，各类服务器、中间件、数据库、容器、应用程序持续产生海量日志数据，其中包含大量的告警信息。这些告警信息来自不同的系统组件、使用不同的日志格式、采用不同的告警级别定义、分布在不同的采集节点。运维人员需要从海量异构日志中快速识别出真正的故障告警，并判断其严重程度、影响范围和根因。

2、现有技术方案中采用无监督学习（如孤立森林、自编码器）或监督学习（如随机森林、梯度提升树）对日志进行异常检测和分类，该方案可发现日志中的异常模式，提升日志异常的识别处理的可靠程度，但是却存在以下技术问题：

3、在进行告警数据的解析分析处理时，可能存在某些告警信号类型具有较大的误告警风险，从而可能会导致模型对故障类型的识别准确性难以满足要求，因此这就使得如何基于误告警风险，进行不同的故障事件中的模型识别处理方法以及模型更新处理后的识别处理方法的确定，从而提升故障事件的解析处理结果的识别准确性成为亟待解决的技术问题。

4、具体的，本申请提供涉及一种用于日志告警数据的解析处理的模型识别处理方法与系统。

技术实现思路

1、一种用于日志告警数据的解析处理的模型识别处理方法，具体包括：

2、s1以日志告警数据的解析结果，确定不同的告警信号类型下的误告警数据，基于所述误告警数据确定所述告警信号类型的误告警风险类型，以在不同的告警信号类型的误告警风险类型以及不同日期中的告警事件数据，确定所述模型在告警事件中的告警分析处理方法；

3、s2利用所述告警分析处理方法确定在不同的告警事件中，添加不同的误告警风险类型的告警信号类型下的故障类型的识别分析处理结果的偏差程度，并结合所述告警信号类型的误告警风险类型，确定所述告警信号类型中的风险信号类型的更新策略，并在所有的告警事件中对所述风险信号类型的告警信号进行识别处理，从而进行误告警信号的排除处理；

4、s3以所述风险信号类型的更新策略，确定所述风险信号类型的更新处理结果，并结合不同的告警事件中的风险信号类型的更新处理结果，确定所述模型的更新识别处理方法。

5、本发明的有益效果在于：

6、以在不同的告警信号类型的误告警风险类型以及不同日期中的告警事件数据，确定模型在告警事件中的告警分析处理方法，实现了从告警事件数据以及告警信号类型的误告警风险，进行告警信号类型出现误告警时的影响程度的评估，并以告警信号类型出现误告警时的影响程度，确定模型在告警事件中的告警分析处理方法，从而在降低解析处理难度的基础上，同时也为实现不同的告警信号类型的干扰风险的可靠识别奠定了基础。

7、以风险信号类型的更新策略以及不同的告警事件的风险信号类型的更新处理结果，确定在当前的告警事件的识别处理时，由于排除风险信号类型导致的故障原因的识别延时风险，根据在当前的告警事件的识别处理时，由于排除风险信号类型导致的故障原因的识别延时风险，确定模型的更新识别处理方法，从而实现了模型在不同的告警信号类型中的干扰风险的识别可靠性的动态更新，进而为利用干扰风险的识别可靠性进行风险信号类型的动态更新，并提升告警事件的识别处理的效率奠定了基础。

8、进一步的，所述日志告警数据的解析结果根据日志的运行数据的监测数据进行确定。

9、进一步的，所述告警信号类型下的误告警数据包括在所述告警信号类型下的误告警时段的数量。

10、进一步的，所述告警信号类型的误告警风险类型根据所述告警信号类型下的误告警时段的数量对应的预设风险类型进行确定。

11、进一步的，所述误告警风险类型包括一类风险类型，二类风险类型以及三类风险类型，其中一类风险类型大于二类风险类型，二类风险类型大于三类风险类型，其中误告警时段的数量越多，则所述误告警风险类型越严重。

12、进一步的，所述模型在告警事件中的告警分析处理方法的确定的方法为：

13、s21以在不同日期中的告警事件数据为基础，确定不同日期中的告警事件的日均数量；

14、s22根据不同的告警信号类型的误告警风险类型，确定所述告警信号类型的告警风险权重值；

15、s23以在不同日期中的告警事件的日均数量以及不同的告警信号类型的告警风险权重值，确定所述模型在告警事件中的告警分析处理方法。

16、进一步的，所述告警信号类型中的风险信号类型的更新策略的确定的方法为：

17、s31以所述偏差程度为基础，确定所述告警事件中的识别分析处理结果存在偏差时，添加的告警信号类型，并将其作为影响信号类型，以在告警事件中的影响信号类型与预设数量的比值，确定所述告警事件的干扰风险权重系数；

18、s32利用所述告警事件中的影响信号类型的误告警风险类型，确定所述告警事件中的影响信号类型的告警风险权重值的和，将所述告警事件中的影响信号类型的告警风险权重值的和作为影响权重值；

19、s33以在不同的告警事件的干扰风险权重系数以及影响权重值，确定所述告警信号类型中的风险信号类型的更新策略。

20、第二方面，本发明提供了一种计算机系统，包括：通信连接的存储器和处理器，以及存储在所述存储器上并能够在所述处理器上运行的计算机程序，所述处理器运行所述计算机程序时执行上述的一种用于日志告警数据的解析处理的模型识别处理方法。

21、其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书以及附图中所特别指出的结构来实现和获得。

22、为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

1.一种用于日志告警数据的解析处理的模型识别处理方法，其特征在于，具体包括：

2.如权利要求1所述的用于日志告警数据的解析处理的模型识别处理方法，其特征在于，所述日志告警数据的解析结果根据日志的运行数据的监测数据进行确定。

3.如权利要求1所述的用于日志告警数据的解析处理的模型识别处理方法，其特征在于，所述告警信号类型下的误告警数据包括在所述告警信号类型下的误告警时段的数量。

4.如权利要求1所述的用于日志告警数据的解析处理的模型识别处理方法，其特征在于，所述告警信号类型的误告警风险类型根据所述告警信号类型下的误告警时段的数量对应的预设风险类型进行确定。

5.如权利要求4所述的用于日志告警数据的解析处理的模型识别处理方法，其特征在于，所述误告警风险类型包括一类风险类型，二类风险类型以及三类风险类型。

6.如权利要求1所述的用于日志告警数据的解析处理的模型识别处理方法，其特征在于，所述模型在告警事件中的告警分析处理方法的确定的方法为：

7.如权利要求6所述的用于日志告警数据的解析处理的模型识别处理方法，其特征在于，当在不同日期中的告警事件的日均数量大于预设事件数量阈值时，确定所述模型在告警事件中的告警分析处理方法为仅需要考虑告警事件中发生告警的告警信号。

8.如权利要求6述的用于日志告警数据的解析处理的模型识别处理方法，其特征在于，以在不同日期中的告警事件的日均数量以及不同的告警信号类型的告警风险权重值，确定所述模型在告警事件中的告警分析处理方法，具体包括：

9.如权利要求1所述的用于日志告警数据的解析处理的模型识别处理方法，其特征在于，所述模型的更新识别处理方法的确定的方法为：

10.一种计算机系统，包括：通信连接的存储器和处理器，以及存储在所述存储器上并能够在所述处理器上运行的计算机程序，其特征在于，所述处理器运行所述计算机程序时执行权利要求1-9任一项所述的一种用于日志告警数据的解析处理的模型识别处理方法。