基于大模型的日志降噪方法、装置、设备及介质与流程

摘要: 本发明属于数据处理,适用于金融领域和医疗领域,尤其涉及一种基于大模型的日志降噪方法、装置、设备及介质。背景技术:1、在金融和医疗领域,分布式系统和微服务架构的广...
基于大模型的日志降噪方法、装置、设备及介质与流程

本发明属于数据处理,适用于金融领域和医疗领域,尤其涉及一种基于大模型的日志降噪方法、装置、设备及介质。

背景技术:

1、在金融和医疗领域,分布式系统和微服务架构的广泛应用使得系统每天产生海量的日志数据。例如,一个中等规模的互联网医疗平台在业务高峰期,每分钟可能产生数十万条日志,涵盖预约挂号日志、在线问诊日志、处方流转日志、支付结算日志等多种类型;又如,一个线上金融平台在处理用户贷款申请、保险理赔等业务时,交易链路涉及身份认证、风险评估、电子签约等多个环节,任一环节的系统异常都可能引发连锁反应,在短时间内集中输出大量日志。运维人员需要通过日志监控及时发现系统异常、定位故障根源并进行处置。

2、然而,当前日志治理系统普遍采用基于规则的逐条检测机制。当某个底层服务出现异常时,依赖该服务的上游业务模块会在短时间内集中输出大量内容相似的日志,并逐条触发告警通知。这意味着一个单独的故障点可能在数分钟内触发成千上万条告警。例如,医疗平台中一个问诊信息同步接口出现超时,可能导致挂号系统、医生工作站、药房系统等多个关联模块同时输出告警;金融平台中一个支付回调接口异常,可能引发订单系统、清算系统、对账系统等集中告警。运维人员面对告警风暴难以快速甄别出真正需要关注的问题,关键风险信息容易被重复告警所淹没。

3、鉴于此,如何在面对海量日志数据时有效地减少告警数量,是一个亟待解决的技术问题。

技术实现思路

1、本发明提供一种基于大模型的日志降噪方法、装置、设备及介质,用以解决如何在面对海量日志数据时有效地减少告警数量的技术问题。

2、第一方面,本发明提供了一种基于大模型的日志降噪方法,包括:

3、获取第一待分析日志,以及所述第一待分析日志对应的日志元数据,通过实时流处理引擎对所述第一待分析日志进行规则检测,得到命中规则的第二待分析日志;

4、将所述第二待分析日志发送至预训练的大模型中进行上下文语义分析,并提取所述第二待分析日志的日志特征;

5、将所述第二待分析日志的日志特征与所述日志元数据进行融合,并基于融合后的信息构建日志指纹;

6、基于所述日志指纹对预设时间窗口内生成的第二待分析日志进行聚类,并对同一聚类下的第二待分析日志进行去重,将去重后保留的日志指纹作为对应聚类的一条告警信息,推送至日志安全管理平台。

7、第二方面,本发明提供了一种基于大模型的日志降噪装置,包括:

8、获取模块,用于获取第一待分析日志,以及所述第一待分析日志对应的日志元数据,通过实时流处理引擎对所述第一待分析日志进行规则检测,得到命中规则的第二待分析日志;

9、分析模块,用于将所述第二待分析日志发送至预训练的大模型中进行上下文语义分析,并提取所述第二待分析日志的日志特征;

10、构建模块,用于将所述第二待分析日志的日志特征与所述日志元数据进行融合,并基于融合后的信息构建日志指纹;

11、聚类模块,用于基于所述日志指纹对预设时间窗口内生成的第二待分析日志进行聚类,并对同一聚类下的第二待分析日志进行去重,将去重后保留的日志指纹作为对应聚类的一条告警信息,推送至日志安全管理平台。

12、第三方面,本发明提供了一种计算机设备,包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序,处理器执行计算机程序时实现上述基于大模型的日志降噪方法的步骤。

13、第四方面,本发明提供了一种计算机可读存储介质,计算机可读存储介质存储有计算机程序,计算机程序被处理器执行时实现上述基于大模型的日志降噪方法的步骤。

14、上述基于大模型的日志降噪方法、装置、设备及介质,所实现的方案中,可以通过客户端获取第一待分析日志,以及所述第一待分析日志对应的日志元数据,通过实时流处理引擎对所述第一待分析日志进行规则检测,得到命中规则的第二待分析日志;将所述第二待分析日志发送至预训练的大模型中进行上下文语义分析,并提取所述第二待分析日志的日志特征;将所述第二待分析日志的日志特征与所述日志元数据进行融合,并基于融合后的信息构建日志指纹;基于所述日志指纹对预设时间窗口内生成的第二待分析日志进行聚类,并对同一聚类下的第二待分析日志进行去重,将去重后保留的日志指纹作为对应聚类的一条告警信息,推送至日志安全管理平台。在本发明中,通过预训练的大模型对日志进行上下文语义分析并提取日志特征,能够从语义复杂的日志中准确识别业务关键信息,提高了特征提取的准确率。同时,将提取的日志特征与部署环境等日志元数据相融合,构建出既包含语义异常描述又包含技术上下文的日志指纹,可精准区分不同环境下的同类异常,为聚类降噪提供了可靠依据,有效地减少了海量日志数据的告警数量。

1.一种基于大模型的日志降噪方法,其特征在于,包括:

2.根据权利要求1所述的基于大模型的日志降噪方法,其特征在于,所述获取第一待分析日志,以及所述第一待分析日志对应的日志元数据,通过实时流处理引擎对所述第一待分析日志进行规则检测,得到命中规则的第二待分析日志,包括:

3.根据权利要求1所述的基于大模型的日志降噪方法,其特征在于,所述将所述第二待分析日志发送至预训练的大模型中进行上下文语义分析,并提取所述第二待分析日志的日志特征,包括:

4.根据权利要求3所述的基于大模型的日志降噪方法,其特征在于,所述将所述第二待分析日志的日志特征与所述日志元数据进行融合,并基于融合后的信息构建日志指纹,包括:

5.根据权利要求4所述的基于大模型的日志降噪方法,其特征在于,所述通过局部敏感哈希算法对所述日志融合向量进行哈希编码,生成所述第二待分析日志的哈希指纹,包括:

6.根据权利要求1所述的基于大模型的日志降噪方法,其特征在于,所述基于所述日志指纹对预设时间窗口内生成的第二待分析日志进行聚类,并对同一聚类下的第二待分析日志进行去重,将去重后保留的日志指纹作为对应聚类的一条告警信息,推送至日志安全管理平台,包括:

7.根据权利要求1所述的基于大模型的日志降噪方法,其特征在于,所述基于所述日志指纹对预设时间窗口内生成的第二待分析日志进行聚类,并对同一聚类下的第二待分析日志进行去重,将去重后保留的日志指纹作为对应聚类的一条告警信息,推送至日志安全管理平台之后,所述方法还包括:

8.一种基于大模型的日志降噪装置,其特征在于,包括:

9.一种计算机设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的基于大模型的日志降噪方法的步骤。

10.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的基于大模型的日志降噪方法的步骤。