一种能融合电力系统网络威胁数据多维特征的动态更新双阶段异常检测方法、系统、设备和存储介质与流程

摘要: 本发明涉及电力系统网络安全领域,尤其是一种能融合电力系统网络威胁数据多维特征的动态更新双阶段异常检测方法、系统、设备和存储介质。背景技术:1、目前,针对电力系统...
一种能融合电力系统网络威胁数据多维特征的动态更新双阶段异常检测方法、系统、设备和存储介质与流程

本发明涉及电力系统网络安全领域,尤其是一种能融合电力系统网络威胁数据多维特征的动态更新双阶段异常检测方法、系统、设备和存储介质。

背景技术:

1、目前,针对电力系统网络异常行为与安全威胁的检测技术主要集中于对网络流量数据、设备运行日志及安全告警信息的分析处理。现有技术通常依赖规则匹配、统计分析或传统机器学习模型,对异常行为进行识别与判定,在一定程度上能够满足单一数据源或静态运行环境下的安全监测需求。然而,随着电力系统信息化、智能化水平的不断提升,其网络结构与业务形态日益复杂,现有异常检测技术在多源异构数据处理、动态威胁识别及模型持续适应能力等方面逐渐暴露出明显不足。

2、在多源异构数据处理方面,现有电力系统网络异常检测技术在数据层面主要对具有统一结构和相对稳定的网络威胁数据进行分析,大多停留在简单拼接或独立分析层面,缺乏统一的事件抽象与多维特征融合机制,难以同时刻画威胁行为在时间维度上的演化过程以及在空间维度上的设备关联、网络拓扑与业务耦合关系,尤其对于电力系统中具有明显阶段性和跨节点特征的异常行为传统方法难以形成完整、连续的特征表达,导致异常检测结果碎片化、上下文缺失,严重影响检测准确性与可解释性。

3、在动态威胁识别方面,现有异常检测方法仍采用基于固定阈值或静态模型参数的检测策略,通过预设规则或经验阈值对异常行为进行判定,但在电力系统这种长期运行且处于不同运行阶段、负载波动明显、业务行为周期性变化显著的环境中,采用固定阈值容易将正常业务波动误判为异常,从而产生大量误报。此外,部分现有技术虽引入深度学习模型进行异常检测,但多采用单阶段判别结构,缺乏对异常样本的分层筛选与精细化分析机制,导致模型在隐蔽性强、变化缓慢或逐步演化的异常行为场景下判别能力不足,难以兼顾检测效率与检测精度。

4、在模型持续适应能力方面,现有技术中的多数模型在训练完成后参数固定,依赖离线重训练方式进行性能更新,且部分现有技术尝试通过周期性全量重训练来缓解该问题,不仅增加了系统运维成本,而且在模型更新期间可能影响实时检测能力。此外,传统重训练方式难以针对新增威胁特征进行有针对性的学习,容易造成已有知识遗忘,降低模型对既有异常模式的识别能力。因此,缺乏能够在保证电力系统连续运行的前提下,实现模型快速、自适应动态更新的有效机制。

5、综上,现有电力系统网络异常检测技术多从单一算法或局部功能出发,缺乏对“多源异构数据融合—动态异常检测—模型持续更新”这一完整技术链路的系统性设计。因此,亟需一种能同时兼顾多维特征表达能力、动态检测精度以及长期运行适应性的电力系统网络异常检测技术。

技术实现思路

1、本发明所要解决的技术问题在于:解决电力系统中难以同时刻画多源异构网络威胁数据多维度特征、对异常威胁行为无法实现分阶段精细化判别以及无法自适应动态更新异常检测模型的问题。

2、上述技术问题通过如下技术方案进行解决:本发明提出了一种能融合电力系统网络威胁数据多维特征的动态更新双阶段异常检测方法、系统、设备和存储介质,其包括一种能融合电力系统网络威胁数据多维特征的动态更新双阶段异常检测方法,一种能融合电力系统网络威胁数据多维特征的动态更新双阶段异常检测系统,一种计算机设备,一种计算机可读存储介质。

3、第一方面,本发明提出了一种能融合电力系统网络威胁数据多维特征的动态更新双阶段异常检测方法,包括如下步骤,

4、s1.采集电力系统中不同来源的网络威胁数据,对其进行统一威胁事件化建模,在此基础上从多维度提取融合威胁事件的特征,得到每一个威胁事件对应的多维时空融合特征向量集合;

5、s2.构建基于历史特征分布与深度残差网络的双阶段异常检测模型,先构建基于历史特征分布的第一阶段异常检测模型并对多维时空融合特征向量集合执行基于历史特征分布的第一阶段异常检测,得到异常候选威胁事件集合及其对应的异常度量值;

6、s3.再构建基于深度残差网络的第二阶段多因子联合异常判别模型并对异常候选威胁事件集合执行基于深度残差网络的第二阶段多因子联合异常判别检测,得到第二阶段最终判别结果,进而得到最终异常威胁事件集合;

7、s4.确定双阶段异常检测模型更新触发条件,若触发模型更新,利用增量学习机制对双阶段异常检测模型参数进行更新并构建多约束联合稳定性约束机制约束模型的稳定性。

8、作为本发明所述能融合电力系统网络威胁数据多维特征的动态更新双阶段异常检测方法的优选方案:所述网络威胁数据具有结构异构、时间粒度不一致以及空间关联关系复杂的特征;所述多维度包括时间维度、空间维度以及行为语义维度。

9、作为本发明所述能融合电力系统网络威胁数据多维特征的动态更新双阶段异常检测方法的优选方案:所述步骤s1具体包括如下步骤,

10、s1.1多源异构网络威胁数据采集:

11、采集用于刻画网络层面交互特征的网络通信数据,包括网络连接记录、通信会话统计信息以及通信元数据,并进行时间格式规范化和数据完整性校验;

12、采集用于刻画主机层面行为特征的主机与终端行为数据,包括操作系统日志、用户登录记录、进程启动以及文件访问记录数据,并进行时间格式规范化和数据完整性校验;

13、采集用于刻画已被安全设备关注异常行为线索的安全防护设备告警数据,包括防火墙、入侵检测系统以及入侵防御系统产生的告警信息数据,并进行时间格式规范化和数据完整性校验;

14、采集用于刻画网络行为与电力业务行为之间关联关系的电力业务相关数据,包括调度操作日志、控制指令下发记录以及运维操作记录数据,并进行时间格式规范化和数据完整性校验;

15、使用统一数据采集接口汇集各采集后的数据;

16、s1.2原始数据字段标准化与语义对齐:

17、按照预先定义的字段映射规则,将每一条采集后的原始数据记录拆解为用于统一描述该条数据记录发生时间点的时间信息、用于标识该条数据记录涉及设备、主机或网络节点的对象信息、用于描述该条数据记录所对应网络或业务行为类型的行为信息以及用于描述行为具体细节参数的属性信息四类基础字段;

18、对每一条采集后的原始数据记录中不存在但在后续统一威胁事件化建模结构中必须保留的字段,使用固定占位标识进行填充,并同步记录字段缺失标记;

19、s1.3统一威胁事件化建模:

20、将每一条经原始数据字段标准化与语义对齐处理后的数据记录统一抽象为威胁事件,使用统一威胁事件结构表示每一条威胁事件来描述一次完整、可分析的网络或业务行为,统一威胁事件结构定义为如下公式,

21、 (1)

22、其中,表示第个威胁事件,表示该威胁事件发生的时间戳,用于后续时间序列建模,表示与该威胁事件关联的对象集合,用于标识参与威胁事件的设备、主机或网络节点,表示威胁事件对应的行为类型,用于区分不同类别的网络或业务行为,表示威胁事件的属性特征向量,用于承载行为的具体参数信息;

23、s1.4威胁事件序列构建:

24、按照威胁事件发生的时间对所有威胁事件进行排序,构建用于描述电力系统网络行为在时间维度上连续变化过程的威胁事件序列,威胁事件序列定义为如下公式,

25、 (2)

26、其中,表示威胁事件序列,表示每个威胁事件;

27、s1.5多维度时空特征提取:

28、将威胁事件序列作为输入,按照预设时间窗口长度对威胁事件序列进行划分,每一个时间窗口内包含在该时间区间内发生的所有威胁事件,分别提取每一个时间窗口内用于描述行为发生时间逻辑的威胁事件出现先后顺序特征、用于刻画行为节奏变化的威胁事件发生时间间隔特征以及用于反映行为强度变化的不同行为类型在窗口内出现频次特征,再由提取出的威胁事件出现先后顺序特征、威胁事件发生时间间隔特征以及不同行为类型在窗口内出现频次特征共同确定威胁事件的时间维度特征;

29、基于威胁事件中包含的对象信息,构建用于描述不同威胁事件之间在设备、主机或网络节点层面关联情况的对象关联关系,将存在共同对象或存在直接通信关系的威胁事件视为具有空间关联关系,分别提取用于区分不同设备或节点的威胁事件涉及对象唯一标识特征、用于表示威胁事件是否发生在相同或相邻对象上的威胁事件之间关联关系标记特征以及用于刻画异常行为传播路径的威胁事件在网络拓扑中相对位置特征,再由提取出的威胁事件涉及对象唯一标识特征、威胁事件之间关联关系标记特征以及威胁事件在网络拓扑中相对位置特征共同确定威胁事件的空间维度特征;

30、分别提取用于区分不同类型网络或业务行为的行为类型标识特征、用于描述行为具体参数信息的行为属性特征以及用于刻画异常行为对业务系统潜在影响的行为与电力业务操作之间对应关系特征,再由提取出的行为类型标识特征、行为属性特征以及行为与电力业务操作之间对应关系特征共同确定威胁事件的行为语义特征;

31、s1.6多维度时空特征融合

32、将威胁事件的时间维度特征、空间维度特征以及行为语义特征进行融合处理得到统一的多维时空融合特征向量,进而得到多维时空融合特征向量集合,多维时空融合特征向量定义为如下公式,

33、 (3)

34、其中,表示威胁事件的多维时空融合特征向量,表示威胁事件的时间维度特征向量,表示威胁事件的空间维度特征向量,表示威胁事件的行为语义特征向量,表示将不同维度特征向量融合为统一特征向量的拼接操作。

35、作为本发明所述能融合电力系统网络威胁数据多维特征的动态更新双阶段异常检测方法的优选方案:所述先构建基于历史特征分布的第一阶段异常检测模型并对多维时空融合特征向量集合执行基于历史特征分布的第一阶段异常检测,得到异常候选威胁事件集合及其对应的异常度量值具体包括如下步骤,

36、s2.1异常度量值计算:

37、在当前检测周期内,对每一个威胁事件对应的多维时空融合特征向量进行异常度量值计算,异常度量值定义为如下公式,

38、  (4)

39、其中,表示威胁事件的异常度量值,表示威胁事件的多维时空融合特征向量,表示历史正常行为特征的中心向量,用于刻画电力系统在当前运行状态下的正常行为特征分布,表示向量的欧氏范数,用于度量特征偏离程度;

40、s2.2基于历史特征分布的异常初筛阈值计算:

41、在当前检测周期内,根据正常行为特征的统计特性动态计算异常初筛阈值,即基于历史正常行为样本对应的异常度量值集合,计算其均值和标准差,并据此确定异常初筛阈值,异常初筛阈值定义为如下公式,

42、  (5)

43、其中,表示当前检测周期内的异常初筛阈值,表示历史正常行为样本对应异常度量值的均值,表示历史正常行为样本对应异常度量值的标准差,表示异常初筛阈值调节系数,用于控制异常判别的敏感程度;

44、s2.3执行第一阶段异常判别筛选异常候选威胁事件集合:

45、将计算得到的威胁事件异常度量值和异常初筛阈值进行比较,执行如下第一阶段异常判别,

46、①当时,该威胁事件为异常候选威胁事件,进而得到异常候选威胁事件集合;

47、②当时,该威胁事件为正常事件,进而得到正常事件集合,用于更新正常行为特征的统计特性。

48、作为本发明所述能融合电力系统网络威胁数据多维特征的动态更新双阶段异常检测方法的优选方案:所述步骤s3具体包括如下步骤,

49、s3.1构建基于深度残差网络的多因子联合异常判别规则并计算多因子联合异常判别得分:

50、构建基于深度残差网络的多因子联合异常判别规则并计算多因子联合异常判别得分,首先构建异常候选威胁事件的异常分类概率,异常分类概率的计算过程定义为如下公式,

51、  (6)

52、  (7)

53、其中,表示多维时空融合特征向量,表示深度残差网络的特征映射部分,表示网络参数,表示隐层特征,表示分类层权重,表示偏置,表示sigmoid激活函数,表示异常分类概率();

54、其次构建异常候选威胁事件相对于历史正常行为原型的特征偏离度,历史正常行为特征偏离度的计算过程定义为如下公式,

55、 (8)

56、 (9)

57、 (10)

58、 (11)

59、其中,表示历史正常事件在深度残差网络中的隐层特征集合,表示历史正常行为原型中心,表示用于避免协方差矩阵不可逆的正则化项,表示协方差矩阵,表示历史正常行为特征偏离度(越大,表明异常候选威胁事件在深层特征空间中越偏离历史正常行为模式,其异常可能性越高);

60、再次构建时间窗口累积异常度,时间窗口累积异常度的计算过程定义为如下公式,

61、 (12)

62、 (13)

63、其中,和分别表示异常候选威胁事件和的发生时间,表示时间衰减系数,表示时间衰减权重,表示异常候选威胁事件所处时间窗口内的事件集合,和均表示权重系数,表示归一化后的历史正常行为特征偏离度,表示时间窗口累积异常度;

64、再次构建空间拓扑传播风险度,空间拓扑传播风险度的计算过程定义为如下公式,

65、 (14)

66、 (15)

67、 (16)

68、其中,表示设备、主机或业务节点集合,表示节点之间的通信关系、控制关系或业务依赖关系,表示电力系统的网络拓扑,表示节点间通信频率,表示业务依赖强度,表示节点间拓扑距离,、、分别表示权重系数,表示异常候选威胁事件的关联节点,表示异常候选威胁事件的关联节点的邻接节点集合,表示节点在最近时间窗口内的异常风险水平,表示节点与邻接节点之间的关联强度,表示空间拓扑传播风险度;

69、最后构建多因子联合异常判别规则并计算多因子联合异常判别得分,多因子联合异常判别规则定义为如下公式,

70、 (17)

71、其中,表示归一化后的历史正常行为特征偏离度,表示归一化后的时间窗口累积异常度,表示归一化后的空间拓扑传播风险度,、、、分别表示联合判别权重(),表示多因子联合异常判别得分;

72、s3.2构建并执行基于滑动窗口分位数和中位数绝对偏差的自适应阈值判别规则得到最终异常事件集合:

73、构建并执行基于滑动窗口分位数和中位数绝对偏差的自适应阈值判别规则,基于滑动窗口分位数和中位数绝对偏差的自适应阈值判别规则定义为如下公式,

74、 (18)

75、 (19)

76、 (20)

77、其中,表示最近个低风险事件或正常事件的多因子联合异常判别得分集合,表示分位数函数(可取0.95或0.99),表示中位数绝对偏差,表示阈值调节系数,表示当前时刻的动态异常判别阈值,表示第二阶段最终判别结果,

78、①当时,表示该异常候选威胁事件为由真实异常行为引起的真实威胁事件,进而得到最终异常威胁事件集合;

79、②当时,表示该异常候选威胁事件为由正常波动、运行状态切换等因素引起的伪异常威胁事件,即正常事件。

80、作为本发明所述能融合电力系统网络威胁数据多维特征的动态更新双阶段异常检测方法的优选方案:所述深度残差网络由多层残差单元串联构成,每一残差单元均对所述多维时空融合特征向量进行非线性变换并叠加原始输入以实现特征的逐层精炼。

81、作为本发明所述能融合电力系统网络威胁数据多维特征的动态更新双阶段异常检测方法的优选方案:所述步骤s4具体包括如下步骤,

82、s4.1双阶段异常检测模型更新触发条件确定:

83、当满足如下至少一项条件时,触发双阶段异常检测模型的更新,

84、①第二阶段异常检测结果中出现新的异常行为模式,且该模式在双阶段异常检测历史模型中未被充分学习;

85、②异常判别得分的统计分布发生持续偏移;

86、③系统运行阶段发生切换;

87、s4.2构建增量学习样本集合:

88、若触发模型更新,利用增量学习机制对双阶段异常检测模型参数进行更新,构建增量学习样本集合,增量学习样本集合定义为如下公式,

89、 (21)

90、 (22)

91、其中,表示当前检测周期采集到的新增异常威胁事件样本集合,表示从历史正常事件样本集合、历史异常威胁事件样本集合和边界事件样本集合中选取的少量代表性事件样本集合而组成的历史代表事件样本缓存集合;

92、s4.3利用增量学习机制局部调整双阶段异常检测模型参数并构建多约束联合稳定性约束机制对模型更新过程进行约束:

93、利用增量学习机制局部调整双阶段异常检测模型参数;

94、构建多约束联合稳定性约束机制对双阶段异常检测模型参数更新过程进行约束,首先构建并执行参数信任域约束,进行参数更新,参数信任域约束过程和参数更新过程定义为如下公式,

95、 (23)

96、 (24)

97、 (25)

98、 (26)

99、 (27)

100、其中,表示双阶段异常检测模型的基础增量学习损失,表示增量更新前的双阶段异常检测模型参数,表示新增异常威胁事件样本训练得到的候选双阶段异常检测模型参数,表示允许的最大参数更新半径,表示限制模型在单次增量更新过程中参数变化幅度的参数信任域约束,表示梯度更新得到的参数变化量,表示裁剪后的参数更新量,表示最终更新的参数;

101、其次构建并执行历史知识保持约束,历史知识保持约束过程定义为如下公式,

102、 (28)

103、 (29)

104、其中,表示第个双阶段异常检测模型参数的重要性系数,表示历史知识保持约束;

105、再次构建并执行输出结果一致性约束,输出结果一致性约束过程定义为如下公式,

106、 (30)

107、 (31)

108、 (32)

109、其中,表示更新前双阶段异常检测模型的输出,表示更新后候选双阶段异常检测模型的输出,表示散度,表示输出结果一致性约束;

110、再次构建并执行原型空间保持约束,原型空间保持约束过程定义为如下公式,

111、 (33)

112、其中,表示更新前历史正常行为原型中心,表示更新前异常行为原型中心,表示更新后历史正常行为原型中心,表示更新后异常行为原型中心,表示原型空间保持约束;

113、最后构建并执行增量更新联合优化目标函数,增量更新联合优化目标函数定义为如下公式,

114、 (34)

115、其中,表示参数信任域约束的权重系数,表示历史知识保持约束的权重系数,表示输出结果一致性约束的权重系数,表示原型空间保持约束的权重系数,表示增量更新联合优化目标函数;

116、s4.4更新结果应用:

117、待双阶段异常检测模型完成更新后,将更新后的双阶段异常检测模型重新投入运行,用于后续威胁事件的异常检测过程。

118、第二方面,本发明提出了一种能融合电力系统网络威胁数据多维特征的动态更新双阶段异常检测系统,包括,

119、多维时空特征提取融合模块,用于采集电力系统中不同来源的网络威胁数据,对其进行统一威胁事件化建模,在此基础上从多维度提取融合威胁事件的特征,得到每一个威胁事件对应的多维时空融合特征向量集合;

120、双阶段异常检测模块,用于先构建基于历史特征分布的第一阶段异常检测模型并对多维时空融合特征向量集合执行基于历史特征分布的第一阶段异常检测,得到异常候选威胁事件集合及其对应的异常度量值,再构建基于深度残差网络的第二阶段多因子联合异常判别模型并对异常候选威胁事件集合执行基于深度残差网络的第二阶段多因子联合异常判别检测,得到第二阶段最终判别结果,进而得到最终异常威胁事件集合;

121、双阶段异常检测模型动态更新模块,用于确定双阶段异常检测模型更新触发条件,若触发模型更新,利用增量学习机制对双阶段异常检测模型参数进行更新并构建多约束联合稳定性约束机制约束模型的稳定性。

122、第三方面,本发明提出了一种计算机设备,包括存储器、处理器及存储在存储器上的计算机可执行指令,所述处理器用于执行计算机可执行指令以实现所述能融合电力系统网络威胁数据多维特征的动态更新双阶段异常检测方法的步骤。

123、第四方面,本发明提出了一种计算机可读存储介质,其上存储有程序,该程序被处理器执行时实现所述能融合电力系统网络威胁数据多维特征的动态更新双阶段异常检测方法的步骤。

124、本发明的有益效果在于:通过构建电力系统中多源异构网络威胁数据的多维时空特征提取融合机制,能够对来源于网络流量、主机与安全设备日志以及调度与控制行为记录等不同数据源的信息进行统一建模与协同融合,同时刻画了异常威胁行为在时间维度上的演化过程以及在空间维度上的设备关联和网络拓扑关系,有效解决了异常威胁行为特征表达碎片化和上下文缺失的问题;通过构建并执行基于历史特征分布的第一阶段异常检测模型与基于深度残差网络的第二阶段多因子联合异常判别模型,能够在第一阶段对显著异常威胁行为进行快速筛选,在第二阶段对候选异常威胁行为样本进行深层特征学习与精细化判别,有效降低了因系统负载波动或运行状态变化引起的误报,同时增强了对隐蔽性强、渐进式及复杂组合型异常威胁行为的识别能力,使异常检测结果更加稳定、可靠;通过利用增量学习机制对双阶段异常检测模型参数进行更新并构建多约束联合稳定性约束机制约束模型的稳定性,能使双阶段异常检测模型在不依赖大规模历史数据重训练、且不影响系统连续运行的前提下,对新出现的威胁特征和运行环境变化进行快速适应并持续保持对新型异常威胁行为的检测能力,能使模型参数较少发生漂移,能使模型较少遗忘历史异常威胁知识,有效避免了模型性能的退化,显著降低了模型维护成本和计算资源消耗,提升了电力系统在长期运行场景下的稳定性与实用性。