日志分析方法、装置、服务器和计算机可读存储介质与流程

本申请涉及数据处理，具体而言，涉及一种日志分析方法、装置、服务器和计算机可读存储介质。

背景技术：

1、在当今大规模分布式系统和微服务架构广泛应用的背景下，一个典型的应用系统往往由数十甚至上百个独立部署的服务单元组成，这些服务单元通过网络进行通信并协同完成业务逻辑。这种架构虽然提升了系统的可扩展性与容错能力，但也显著加剧了运行时问题的隐蔽性和复杂性——故障可能起源于任意一个服务节点，并沿着调用链路快速传播，导致级联失效。因此，日志分析就成为保障系统稳定性与可观测性的核心手段之一。

2、当前主流的日志分析技术，普遍依托集中式日志平台来实现，例如通过关键词匹配的方式或者静态阈值告警的方式进行异常事件识别，但由于各服务节点的日志往往呈现高度碎片化的孤立存在，且数据量较大，因此，相关技术中在识别异常数据时往往存在效率较低且精确度也较低的问题。此外，相关技术中在识别到异常事件后，往往需要由工程师手动排查异常原因，不仅耗费大量人力，还存在异常原因定位效率较低、精度较差的问题。

技术实现思路

1、有鉴于此，本申请的目的在于提供一种日志分析方法、装置、服务器和计算机可读存储介质，以提高异常事件分析和异常原因分析的效率和精度，减少人力压力。

2、为了实现上述目的，本申请实施例采用的技术方案如下：

3、第一方面，本申请提供一种日志分析方法，所述方法包括：

4、获取各服务节点的日志数据；

5、根据各所述日志数据对应的调用链id和调用链数据，构建各所述服务节点之间的调用依赖拓扑图，对各所述日志数据进行语义密度聚类和筛选，获得至少一个目标日志聚类簇；其中，每个所述目标日志聚类簇中包括多个目标日志数据，且所述多个目标日志数据对应相同的异常事件；

6、按照所述目标日志数据的时间戳信息，将各个目标日志数据映射至所述调用依赖拓扑图中的服务节点上，获得目标调用依赖拓扑图；

7、基于所述目标调用依赖拓扑图进行因果分析，并根据因果分析结果确定所述异常事件的源头事件和源头节点。

8、在可选的实施方式中，所述对各所述日志数据进行语义密度聚类和筛选，获得至少一个目标日志聚类簇，包括：

9、根据预设的白名单规则库对所述日志数据进行筛选，获得候选日志数据；

10、对所述候选日志数据进行语义特征提取，并根据所述候选日志数据的语义特征，对所述候选日志数据进行密度聚类，获得多个日志聚类簇；

11、通过预设的过滤算法对各所述日志聚类簇进行过滤，获得至少一个目标日志聚类簇。

12、在可选的实施方式中，所述过滤算法包括噪声过滤、语义重要性过滤和预设规则过滤中的至少一种。

13、在可选的实施方式中，所述方法还包括：

14、获取所述目标日志聚类簇中各个目标日志数据对应的资源监控数据；所述资源监控数据表征所述目标日志数据生成时的系统运行性能；

15、将所述目标日志数据对应的资源监控数据映射至所述调用依赖拓扑图中。

16、在可选的实施方式中，所述目标调用依赖拓扑图中包括多个目标服务节点，所述目标服务节点处映射有所述目标日志数据和所述目标日志数据对应的资源监控数据；

17、所述基于所述目标调用依赖拓扑图进行因果分析，并根据因果分析结果确定所述异常事件的源头事件和源头节点，包括：

18、分别针对各个所述目标服务节点，计算所述目标服务节点对应的所述资源监控数据与所述目标日志数据之间的节点内因果得分，以及计算所述目标服务节点的上游服务节点对所述目标服务节点的节点间因果得分；

19、对所述节点内因果得分和所述节点间因果得分进行有效性校验，获得有效因果得分，根据所述有效因果得分对所述目标调用依赖拓扑图进行反向追踪，确定所述异常事件的源头事件和源头节点。

20、在可选的实施方式中，所述方法还包括：

21、将所述日志数据输入预先训练得到的预测模型中进行处理，获得异常预测结果；

22、若所述异常预测结果表征预设时长内存在异常风险，则发出预警信息。

23、在可选的实施方式中，所述方法还包括：

24、获取用户针对所述日志数据的提问信息；

25、通过大语言模型对所述用户的提问信息进行处理，输出应答信息。

26、第二方面，本申请提供一种日志分析装置，所述装置包括：

27、获取模块，用于获取各服务节点的日志数据；

28、分析模块，用于根据各所述日志数据对应的调用链id和调用链数据，构建各所述服务节点之间的调用依赖拓扑图，对各所述日志数据进行语义密度聚类和筛选，获得至少一个目标日志聚类簇；其中，每个所述目标日志聚类簇中包括多个目标日志数据，且所述多个目标日志数据对应相同的异常事件；

29、所述分析模块，还用于按照所述目标日志数据的时间戳信息，将各个目标日志数据映射至所述调用依赖拓扑图中的服务节点上，获得目标调用依赖拓扑图；

30、所述分析模块，还用于基于所述目标调用依赖拓扑图进行因果分析，并根据因果分析结果确定所述异常事件的源头事件和源头节点。

31、第三方面，本申请提供一种服务器，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的计算机程序，所述处理器可执行所述计算机程序以实现前述实施方式任一项所述的方法。

32、第四方面，本申请提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现前述实施方式任一项所述的方法。

33、本申请实施例提供的日志分析方法、装置、服务器和计算机可读存储介质，服务器可根据各日志数据对应的调用链id和调用链数据，构建各服务节点之间的调用依赖拓扑图，对各日志数据进行语义密度聚类和筛选，获得至少一个异常事件对应的目标日志聚类簇，该目标日志聚类簇中包括多个目标日志数据，则服务器可按照目标日志数据的时间戳信息，将各个目标日志数据映射至所述调用依赖拓扑图中的服务节点上，获得目标调用依赖拓扑图，之后基于所述目标调用依赖拓扑图进行因果分析，并根据因果分析结果确定所述异常事件的源头事件和源头节点。这样，可通过对日志数据进行语义密度聚类和筛选，将孤立的日志数据通过语义信息进行整合，并从海量的日志数据中筛选出有效的日志数据进行分析，从而精确识别异常事件，同时提高异常事件识别效率。此外，还可通过将表征异常事件的目标日志聚类簇中的各个目标日志数据映射到调用依赖拓扑图中进行因果分析，以通过调用依赖关系和日志数据分析异常事件的根因，从而提高异常原因分析的效率和精确性，降低人力压力。

34、为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

1.一种日志分析方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述对各所述日志数据进行语义密度聚类和筛选，获得至少一个目标日志聚类簇，包括：

3.根据权利要求2所述的方法，其特征在于，所述过滤算法包括噪声过滤、语义重要性过滤和预设规则过滤中的至少一种。

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：

5.根据权利要求4所述的方法，其特征在于，所述目标调用依赖拓扑图中包括多个目标服务节点，所述目标服务节点处映射有所述目标日志数据和所述目标日志数据对应的资源监控数据；

6.根据权利要求1所述的方法，其特征在于，所述方法还包括：

7.根据权利要求1所述的方法，其特征在于，所述方法还包括：

8.一种日志分析装置，其特征在于，所述装置包括：

9.一种服务器，其特征在于，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的计算机程序，所述处理器可执行所述计算机程序以实现权利要求1-7任一项所述的方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-7任一项所述的方法。