一种基于多尺度1D-CNN增强RNN时序上下文聚类的告警收敛方法

摘要: 本发明涉及网络安全监测,特别涉及一种基于多尺度1d-cnn增强rnn时序上下文聚类的告警收敛方法。背景技术:1、随着信息系统规模不断扩大,监控平台、日志平台、业...
一种基于多尺度1D-CNN增强RNN时序上下文聚类的告警收敛方法

本发明涉及网络安全监测,特别涉及一种基于多尺度1d-cnn增强rnn时序上下文聚类的告警收敛方法。

背景技术:

1、随着信息系统规模不断扩大,监控平台、日志平台、业务系统和安全设备会持续产生大量告警信息。同一故障根因可能在短时间内触发多条重复或高度相似的告警,不同设备之间也可能因链路依赖产生连锁告警。若全部告警直接推送给运维人员或安全分析人员,容易造成告警风暴、重复派单、人工研判负担加重和关键异常遗漏。

2、现有告警处理方法多依赖静态规则、人工配置阈值或简单字段匹配。当告警模板发生变化、告警频率随业务负载波动、设备关系复杂或新告警类型不断出现时,固定规则难以及时适配。同时,单条告警文本本身往往不足以判断是否需要升级处理,必须结合该告警之前的上下文序列、设备维度、时间间隔和历史相似行为进行综合分析。

技术实现思路

1、鉴于此,本发明提出一种基于多尺度1d-cnn增强rnn时序上下文聚类的告警收敛方法,可以克服大规模告警数据中重复告警识别难、相似告警归并难、规则阈值泛化能力不足以及人工研判压力大的技术问题。

2、本发明的技术方案是这样实现的:

3、一种基于多尺度1d-cnn增强rnn时序上下文聚类的告警收敛方法,基于包含数据准备模块、上下文构建模块、聚类解释模块、收敛决策模块以及实时推理模块的告警收敛算法模型实现,所述告警收敛方法包括以下步骤:

4、步骤s1、数据准备模块获取多源告警数据,对多源告警数据进行预处理后构造时序增强告警事件,并按照时间顺序生成告警上下文序列;

5、步骤s2、上下文构建模块对告警上下文序列进行局部告警模式增强和时序关联建模,生成目标告警的预测置信度、注意力权重和注意力上下文向量;

6、步骤s3、聚类解释模块根据注意力权重对时序增强告警事件进行向量化表示,获得聚类解释向量,并聚类形成相似告警簇;

7、步骤s4、收敛决策模块接收相似告警簇,为各相似告警簇配置簇评分策略,并确定簇评分与收敛动作的映射关系;

8、步骤s5、实时推理模块根据实时告警生成的聚类解释向量与历史相似告警簇做近邻检索匹配,并输出收敛动作。

9、优选的,所述步骤s1的具体步骤为:

10、数据准备模块获取来自监控平台、日志平台、安全设备、业务系统和工单系统的多源告警数据;

11、对多源告警数据进行字段统一、清洗去重、异常值处理、标签整理和时间顺序校准;

12、对于同一告警所属设备或业务对象,按照时间戳对告警数据进行排序,并计算当前告警数据与上一条告警数据之间的时间差:

13、

14、其中为相邻告警时间差,和分别表示第条和第条告警数据的发生时间;

15、将相邻告警时间差离散为时间桶特征,并将告警事件模板与时间桶特征组合为时序增强告警事件:

16、

17、其中为第条告警数据对应的时序增强告警事件,为第个告警事件模板,为第条告警数据对应的时间桶特征,为拼接操作;

18、预设上下文窗口长度n,为每条目标告警提取其前n条历史时序增强告警事件作为上下文,并构建告警上下文序列:

19、

20、其中为第条目标告警的告警上下文序列,和分别为第条和条历史时序增强告警事件。

21、优选的,所述上下文构建模块包括离散嵌入层、多尺度一维卷积增强层、残差融合层、lstm编码器、注意力解码器和事件预测层,所述步骤s2的具体步骤为:

22、离散嵌入层将告警上下文序列映射为嵌入表示,并通过维度转换得到适配一维卷积的输入张量:

23、

24、

25、其中为第条目标告警的告警上下文序列的嵌入表示,为第条目标告警的告警上下文序列,表示嵌入层,为维度转换后的输入张量,表示维度转换操作;

26、多尺度一维卷积增强层通过并行一维卷积分支对输入张量提取短期、中期和长期告警依赖,并对一维卷积分支输出进行融合降维,获得多尺度融合特征;

27、将多尺度融合特征经正则化以及维度转换后,与原始嵌入表示进行残差相加,得到增强嵌入:

28、

29、其中为第条目标告警的告警上下文序列的增强嵌入,表示随机失活正则化操作;

30、lstm编码器对增强嵌入进行递归编码,获得上下文隐藏状态:

31、

32、其中为第条目标告警的告警上下文序列中第条历史告警数据的上下文隐藏状态,为lstm编码器参数;

33、注意力解码器根据上下文隐藏状态和第条目标告警数据对应的当前解码状态计算注意力权重,并根据注意力权重对各时刻上下文隐藏状态进行加权求和,得到注意力上下文向量:

34、

35、

36、其中为第条历史告警数据对第条目标告警数据的注意力权重,为第条目标告警数据对应的当前解码状态,、、为可学习参数,为第条目标告警数据对应的注意力上下文向量;

37、事件预测层根据注意力上下文向量输出目标告警属于各事件类型的预测置信度:

38、

39、其中为第条目标告警属于各事件类型的预测置信度,和分别为事件预测层的权重矩阵和偏置项。

40、优选的,所述多尺度一维卷积增强层的具体执行步骤为:

41、多尺度一维卷积增强层分别采用卷积核大小为3、5和7并行一维卷积分支,对输入张量提取短期、中期和长期告警依赖:

42、

43、

44、

45、其中、和分别表示针对第条目标告警、卷积核k大小为3、5和7的一维卷积分支输出,表示非线性激活函数,表示一维卷积操作;

46、将三路一维卷积分支输出沿通道维度拼接,并通过1×1一维卷积进行融合降维:

47、

48、其中为针对第条目标告警的多尺度融合特征,为拼接操作。

49、优选的,所述步骤s3的具体步骤为:

50、所述聚类解释模块根据注意力权重对时序增强告警事件进行向量化表示,获得聚类解释向量:

51、

52、其中为第条目标告警数据对应的聚类解释向量,为第条历史告警数据对第条目标告警数据的注意力权重,表示独热编码函数,为第条目标告警数据之前第个历史告警数据对应的时序增强告警事件;

53、在相同目标事件类型下执行密度聚类,生成相似告警簇:

54、

55、其中为第个相似告警簇,为第个相似告警簇的中心向量,为聚类半径,为形成相似告警簇所需的最小样本数量。

56、优选的,所述s4的具体步骤为:

57、收敛决策模块为每个相似告警簇配置簇评分策略,所述簇评分策略包括最大值策略、最小值策略或平均值策略;

58、当簇评分表示正常或低风险时,配置新告警的收敛动作为合并或丢弃;当簇评分表示异常或高风险时,配置新告警的收敛动作为保留或升级;

59、当告警收敛算法模型返回置信度不足、新事件未见过或最近簇距离超过聚类半径时,新告警被标记为待审核样本。

60、优选的,所述s5的具体步骤为:

61、实时告警经数据准备模块、上下文构建模块以及聚类解释模块生成对应的聚类解释向量后,输入到实时推理模块中;

62、实时推理模块通过近邻检索计算实时告警对应的聚类解释向量与历史相似告警簇之间的距离:

63、

64、其中为与实时告警最匹配的历史相似告警簇编号,为实时告警对应的聚类解释向量,为第个相似告警簇的中心向量;

65、基于匹配结果从收敛决策模块中确定收敛动作:

66、

67、其中为针对实时告警输出的收敛动作,为合并,为丢弃,为保留,为升级。

68、优选的,所述告警收敛算法模型还包括模型整理迭代模块,所述模型整理迭代模块包括告警可视化、收敛报表生成、预测明细输出、异常样本整理、误判样本回流、模型权重保存、聚类解释器保存和模型版本管理。

69、优选的,所述模型整理迭代模块在进行告警可视化时,对收敛准确率、召回率以及有效合并比例进行可视化展示,所述收敛准确率、召回率以及有效合并比例的计算公式分别为:

70、

71、

72、

73、其中为收敛准确率,为召回率,为有效合并比例,为正确保留或正确升级的正样本数量,为正确合并或正确丢弃的负样本数量,为被错误保留或错误升级的负样本数量,为被错误合并或错误丢弃的正样本数量,为被有效合并的相似告警数量,为待处理告警总数量。

74、与现有技术相比,本发明的有益效果是:

75、本发明的一种基于多尺度1d-cnn增强rnn时序上下文聚类的告警收敛方法,基于告警收敛算法模型来实现,其中数据准备模块可以对多源告警数据进行预处理,并结合事件模板、设备标识和相邻告警时间差构造时序增强告警事件,而上下文构建模块引入多尺度一维卷积增强层,通过不同尺度的一维卷积分支提取短期、中期和长期告警依赖,再由lstm学习历史告警之间的时序关联关系,并通过注意力机制生成目标告警的上下文表示,聚类解释模块将注意力上下文向量输入密度聚类和近邻检索机制,形成相似告警簇,并根据簇策略输出合并、丢弃、保留或升级等收敛动作,在实时推理阶段时,可以对实时告警进行实时或准实时匹配分析,实现重复告警、相似告警和低价值告警的自动收敛,本发明能够有效解决现有告警处理方法依赖静态规则、重复告警难以过滤、相似事件难以归并以及人工研判压力大的问题,适用于分布式系统、云平台、服务器集群、工业系统和安全运营中心的大规模告警智能分析与收敛处理。