一种日志分析报警方法、装置、设备及存储介质与流程

本发明涉及数据处理，尤其是涉及一种日志分析报警方法、装置、设备及存储介质。

背景技术：

1、随着云计算、物联网和分布式系统的广泛应用，系统日志逐渐成为保障信息系统安全与稳定运行的重要数据来源。日志记录了系统的运行状态、服务组件的交互过程以及潜在的故障和攻击迹象，因此在运维安全与智能监测中具有不可替代的作用，然而，日志通常表现出数量庞大、格式多样、语义复杂和时序交织等特点，导致对日志的有效分析与告警仍然面临重大挑战。

2、在现有技术中，日志分析报警方法大多基于规则建模，通过对日志内容进行模板化，可以初步捕捉系统的调用模式与结构关系，这类方法在一定程度上提高了检测效率，但存在严重依赖人工模板的问题，一旦系统功能更新或日志结构发生漂移，原有模板往往失效，需要频繁维护，实用性不足；同时，传统方法主要着眼于日志的形式化模式，无法有效识别语义层面的异常，进而无法准确告警。

技术实现思路

1、本发明提供一种日志分析报警方法、装置、设备及存储介质，以解决传统基于规则的日志分析方法严重依赖人工模板、难以适应系统更新与日志漂移、且无法有效挖掘日志语义信息的局限性的技术问题，通过时序因果图建模与因果路径异常检测，自适应学习系统行为模式、提升异常检测准确性并降低人工维护成本的效果。

2、为了解决上述技术问题，本发明提供了一种日志分析报警方法，方法包括：

3、获取目标系统的若干日志正文数据和与所述日志正文数据对应的时间戳数据、主机标识数据和进程标识数据；

4、对若干所述日志正文数据进行编码处理，基于得到的日志向量，构造同事务正样本与跨事务负样本，得到候选边；

5、根据对所述候选边进行时序因果图构建处理，得到时序因果图，其中，所述时序因果图构建处理过程被配置为利用候选关系识别技术对所述时间戳数据和所述进程标识数据进行识别处理，得到候选因果关系数据；对所述时间戳数据和所述主机标识数据进行属性处理，得到时延属性数据；对所述候选边进行存在性概率建模处理，得到边存在概率；基于所述候选因果关系数据、所述时延属性数据和所述边存在概率，得到所述时序因果图；

6、对所述时序因果图进行因果路径异常检测处理，得到所述目标系统的因果路径异常集合；

7、基于所述因果路径异常集合，计算报警结果。

8、作为其中一种优选方案，所述日志向量的得到过程包括：

9、利用预训练语言模型对若干所述日志正文数据进行语义编码，得到若干语义向量；

10、将若干所述语义向量与对应的所述时间戳数据、所述主机标识数据和所述进程标识数据进行映射拼接处理，得到所述日志向量。

11、作为其中一种优选方案，所述利用候选关系识别技术对所述时间戳数据和所述进程标识数据进行识别处理，得到候选因果关系数据，包括：

12、对所述时间戳数据和所述进程标识数据进行约束处理，得到候选日志对集合；

13、利用候选关系识别技术对所述候选日志对集合进行事务标识结合验证处理，得到所述候选因果关系数据。

14、作为其中一种优选方案，所述对所述时间戳数据和所述主机标识数据进行属性处理，得到时延属性数据，包括：

15、利用候选关系识别技术对所述时间戳数据和所述主机标识数据进行属性处理，得到候选边集合；

16、对所述候选边集合依次进行时延计算与阈值过滤处理，得到所述时延属性数据。

17、作为其中一种优选方案，所述对所述候选边进行存在性概率建模处理，得到边存在概率，包括：

18、利用条件概率模型技术对所述候选边进行特征拼接处理，得到拼接特征向量；

19、对所述拼接特征向量进行函数激活处理，得到所述边存在概率。

20、作为其中一种优选方案，所述基于所述候选因果关系数据、所述时延属性数据和所述边存在概率，得到所述时序因果图，包括：

21、将所述候选因果关系数据、所述时延属性数据和所述边存在概率输入到由所述日志向量构建的边特征整合模型中，得到边特征集合；

22、对所述边特征集合进行整合处理，得到所述时序因果图。

23、作为其中一种优选方案，所述对所述时序因果图进行因果路径异常检测处理，得到所述目标系统的因果路径异常集合，包括：

24、对所述时序因果图进行路径搜索处理，得到路径集合；

25、将所述路径集合输入到构建好的路径评分函数中进行处理，得到所述路径集合中若干路径的分值；

26、将所述分值与预设阈值进行比较，得到所述目标系统的因果路径异常集合。

27、本发明另提供了一种日志分析报警装置，包括：

28、获取模块，用于获取目标系统的若干日志正文数据和与所述日志正文数据对应的时间戳数据、主机标识数据和进程标识数据；

29、编码模块，用于对若干所述日志正文数据进行编码处理，基于得到的日志向量，构造同事务正样本与跨事务负样本，得到候选边；

30、构建模块，用于根据对所述候选边进行时序因果图构建处理，得到时序因果图，其中，所述时序因果图构建处理过程被配置为利用候选关系识别技术对所述时间戳数据和所述进程标识数据进行识别处理，得到候选因果关系数据；对所述时间戳数据和所述主机标识数据进行属性处理，得到时延属性数据；对所述候选边进行存在性概率建模处理，得到边存在概率；基于所述候选因果关系数据、所述时延属性数据和所述边存在概率，得到所述时序因果图；

31、检测模块，用于对所述时序因果图进行因果路径异常检测处理，得到所述目标系统的因果路径异常集合；

32、处理模块，用于基于所述因果路径异常集合，计算报警结果。

33、本发明又提供了一种日志分析报警设备，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如上所述的日志分析报警方法。

34、本发明再提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其中，所述计算机可读存储介质所在设备执行所述计算机程序时，实现如上所述的日志分析报警方法。

35、相比于现有技术，本发明的有益效果在于以下所述中的至少一点：

36、本发明通过获取目标系统的若干日志正文数据和与所述日志正文数据对应的时间戳数据、主机标识数据和进程标识数据；对若干所述日志正文数据进行编码处理，基于得到的日志向量，构造同事务正样本与跨事务负样本，得到候选边；根据对所述候选边进行时序因果图构建处理，得到时序因果图，其中，所述时序因果图构建处理过程被配置为利用候选关系识别技术对所述时间戳数据和所述进程标识数据进行识别处理，得到候选因果关系数据；对所述时间戳数据和所述主机标识数据进行属性处理，得到时延属性数据；对所述候选边进行存在性概率建模处理，得到边存在概率；基于所述候选因果关系数据、所述时延属性数据和所述边存在概率，得到所述时序因果图；对所述时序因果图进行因果路径异常检测处理，得到所述目标系统的因果路径异常集合；基于所述因果路径异常集合，计算报警结果。

37、与现有技术相比，本发明首先对日志正文进行语义编码生成日志向量，自动捕捉文本的深层语义，避免人工定义模板的局限；其次，基于时间戳、主机和进程标识构建时序因果图，通过候选关系识别、时延属性分析和边存在概率建模，动态学习日志间的时序与因果关系，从而适应系统更新或日志漂移，无需频繁维护；最后，在因果图上进行路径异常检测，从整体行为模式中识别语义和结构层面的偏差，提升告警准确性。