告警日志智能处理方法、装置、电子设备及存储介质与流程

摘要: 本技术涉及网络安全与人工智能,尤其涉及一种告警日志智能处理方法、装置、电子设备及存储介质。背景技术:1、在网络安全威胁检测中,解析安全设备告警日志是研判攻击、识...
告警日志智能处理方法、装置、电子设备及存储介质与流程

本技术涉及网络安全与人工智能,尤其涉及一种告警日志智能处理方法、装置、电子设备及存储介质。

背景技术:

1、在网络安全威胁检测中,解析安全设备告警日志是研判攻击、识别资产风险的重要手段,但不同厂商、不同类型安全设备输出的告警日志格式、结构差异大,形成多源异构日志数据。

2、相关技术中,基于正则规则的处理方法泛化且自适应能力差、规则维护成本高;传统nlp模型需要依赖大量标注数据,对长文本复杂语义解析效果不佳;若直接将携带大量噪声冗余的原始日志送入通用大模型推理,又会带来算力开销增大、语义理解偏差的问题,对网络攻击特征、安全日志语义的理解专业性不足,易受日志噪声干扰,导致威胁研判误报率、漏报率偏高,无法为下游威胁分析、情报生成、安全研判业务提供高质量的数据支撑。

3、所以,如何实现多源异构告警日志的自适应分流、分层解析及智能降噪。低算力消耗是目标有待解决的技术问题。

技术实现思路

1、本技术提供一种告警日志智能处理方法、装置、电子设备及存储介质,以至少解决相关技术中由于告警日志处理过程中,算力开销增大、语义理解偏差、易受日志噪声干扰,导致威胁研判误报率、漏报率偏高的问题。本技术的技术方案如下:

2、根据本技术实施例的第一方面,提供一种告警日志智能处理方法,包括:

3、获取多源异构告警日志;

4、对所述多源异构告警日志进行预处理;

5、将预处理后的告警日志输入训练好的智能路由分类模型进行路由分类;

6、根据路由分类结果自适应选择对应的处理引擎;

7、利用选择的处理引擎,对对应格式的日志进行特征提取;

8、对提取得到的特征进行特征优化处理,生成统一标准的结构化安全事件。

9、可选的,所述根据路由分类结果自适应选择对应的处理引擎,包括:

10、在路由分类结果为已知格式日志时,选择正则处理引擎;

11、在路由分类结果为未知格式日志或非结构化日志时,选择安全大模型处理引擎。

12、可选的,所述利用选择的处理引擎,对对应格式的日志进行特征提取,包括:

13、在选择正则处理引擎后,通过所述正则处理引擎调用预设正则特征库,对已知格式日志提取标准化安全特征;

14、在选择安全大模型处理引擎后,通过所述安全大模型处理引擎调用专项安全大模型,对未知格式日志或非结构化日志执行多维度解析,通过多阶段提示词工程完成日志设备类型识别以及威胁置信度评分,提取得到多维安全特征,所述专项安全大模型是经过安全垂域特征数据微调的专项大语言模型llm。

15、可选的,所述方法包括:预先按照下述方式对专项安全大模型进行训练:

16、选取支持超长上下文窗口的通用基座大模型;

17、构建包括多源异构安全日志样本、漏洞样本的安全特征数据集;

18、基于所述安全特征数据集,利用低秩适配器lora对所述通用基座大模型进行安全垂域微调,经多轮迭代微调及安全研判,得到所述专项安全大模型。

19、可选的,所述对提取得到的特征进行特征优化处理,生成统一标准的结构化安全事件,包括:

20、对提取得到的特征进行冗余剔除、降噪、去重、动态语义压缩与字段归一化的特征优化处理;

21、将处理后的特征规整为统一标准字段的结构化安全事件。

22、可选的,所述将预处理后的告警日志输入训练好的智能路由分类模型进行路由分类,包括:

23、对预处理后的告警日志进行输入格式适配;

24、将格式适配后的告警日志输入到训练好的智能路由分类模型,以便所述智能路由分类模型进行前向推理,基于日志特征判别日志格式类型,并根据所述日志格式类型确定并输出路由分类结果。

25、可选的,所述方法还包括:预先按照下述方式对智能路由分类模型进行训练,得到训练好的智能路由分类模型:

26、获取多类安全设备的历史日志样本;

27、对所述历史日志样本进行数据预处理,提取日志内容指纹;

28、基于所述日志内容指纹构建带有日志类别标签的日志分类训练集;

29、基于所述日志分类训练集,对选取的轻量级文本分类模型进行微调训练,得到训练好的智能路由分类模型。

30、可选的,所述方法还包括:将生成统一标准的所述结构化安全事件发送至下游威胁研判大模型,以便用来威胁研判与攻击溯源分析。

31、根据本技术实施例的第二方面,提供一种告警日志智能处理装置,包括:

32、获取模块,用于获取多源异构告警日志;

33、预处理模块,用于对所述多源异构告警日志进行预处理;

34、分类模块,用于将预处理后的告警日志输入训练好的智能路由分类模型进行路由分类;

35、选择模块,用于根据路由分类结果自适应选择对应的处理引擎;

36、提取模块,用于利用选择的处理引擎,对对应格式的日志进行特征提取;

37、处理模块,用于对提取得到的特征进行特征优化处理,生成统一标准的结构化安全事件。

38、可选的,所述选择模块,包括:

39、第一选择模块,用于在路由分类结果为已知格式日志时,选择正则处理引擎;

40、第二选择模块,用于在路由分类结果为未知格式日志或非结构化日志时,选择安全大模型处理引擎。

41、可选的,所述提取模块,包括:

42、安全特征提取模块,用于在选择正则处理引擎后,通过所述正则处理引擎调用预设正则特征库,对已知格式日志提取标准化安全特征;

43、多维特征提取模块,用于在选择安全大模型处理引擎后,通过所述安全大模型处理引擎调用专项安全大模型,对未知格式日志或非结构化日志执行多维度解析,通过多阶段提示词工程完成日志设备类型识别以及威胁置信度评分,提取得到多维安全特征,所述专项安全大模型是经过安全垂域特征数据微调的专项大语言模型llm。

44、可选的,所述装置包括:第一训练模块,用于预先对专项安全大模型进行训练。

45、可选的,所述第一训练模块,包括:

46、选取模块,用于选取支持超长上下文窗口的通用基座大模型;

47、构建模块,用于构建包括多源异构安全日志样本、漏洞样本的安全特征数据集;

48、专项模型训练模块,用于基于所述安全特征数据集,利用低秩适配器lora对所述通用基座大模型进行安全垂域微调,经多轮迭代微调及安全研判,得到所述专项安全大模型。

49、可选的,所述处理模块包括:

50、归一化处理模块,用于对提取得到的特征进行冗余剔除、降噪、去重、动态语义压缩与字段归一化的特征优化处理;

51、标准处理模块,用于将处理后的特征规整为统一标准字段的结构化安全事件。

52、可选的,所述分类模块,包括:

53、格式处理模块,用于对预处理后的告警日志进行输入格式适配;

54、路由分类模块,用于将格式适配后的告警日志输入到训练好的智能路由分类模型,以便所述智能路由分类模型进行前向推理,基于日志特征判别日志格式类型,并根据所述日志格式类型输出路由分类结果。

55、可选的,所述装置还包括:第二训练模块,用于预先对智能路由分类模型进行训练,得到训练好的智能路由分类模型。

56、可选的,第二训练模块包括:

57、样本获取模块,用于获取多类安全设备的历史日志样本;

58、内容提取模块,用于对所述历史日志样本进行数据预处理,提取日志内容指纹;

59、训练集构建模块,用于基于所述日志内容指纹构建带有日志类别标签的日志分类训练集;

60、微调训练模块,用于基于所述日志分类训练集,对选取的轻量级文本分类模型进行微调训练,得到训练好的智能路由分类模型。

61、可选的,所述装置还包括:发送模块,用于将生成统一标准的所述结构化安全事件发送至下游威胁研判大模型,以便用来威胁研判与攻击溯源分析。

62、根据本技术实施例的第三方面,提供一种电子设备,包括:

63、包括处理器,存储器;以及存储在所述存储器上并可在所述处理器上运行的程序或指令,所述程序或指令被所述处理器执行时实现如上所述的告警日志智能处理方法的步骤。

64、根据本技术实施例的第四方面,提供一种可读存储介质,所述可读存储介质上存储程序或指令,所述程序或指令被电子设备的处理器执行时实现如上所述的告警日志智能处理方法的步骤。

65、根据本技术实施例的第五方面,提供一种计算机程序产品,包括计算机程序或指令,所述计算机程序或指令被电子设备的处理器执行时实现如上所述的告警日志智能处理方法的步骤。

66、本技术的实施例提供的技术方案至少带来以下有益效果:

67、本技术实施例中,获取多源异构告警日志;对所述多源异构告警日志进行预处理;将预处理后的告警日志输入训练好的智能路由分类模型进行路由分类;根据路由分类结果自适应选择对应的日志处理引擎;利用选择的处理引擎,对对应格式的日志进行特征提取;对提取得到的特征进行特征优化处理,生成统一标准的结构化安全事件。也就是说,本技术实施例实现了多源异构告警日志的智能分流差异化解析,兼顾已知格式日志的高效处理与未知、非结构化日志的深度语义挖掘,有效降低了人工规则维护成本,同时通过统一的特征优化规整输出标准化安全事件,为下游威胁研判、攻击溯源及态势分析提供规范可靠的数据支撑,具备较强的自适应扩展能力。

68、应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本技术。