基于大数据分析的网络安全动态预警方法及系统与流程

本发明涉及网络安全，尤其涉及基于大数据分析的网络安全动态预警方法及系统。

背景技术：

1、近年来，随着云计算、大数据、物联网以及移动互联网的广泛应用，网络规模不断扩大、业务形态日益复杂，网络边界趋于模糊，各类网络攻击手段呈现出隐蔽化、持续化、链路化的发展趋势。例如针对关键业务的攻击往往并非以单一事件形式出现，而是以扫描探测、凭据尝试、权限获取、横向移动、数据窃取等多个阶段连续发生，并且会同时在网络流量、访问行为、认证行为以及设备运行状态等多个数据源中留下分散痕迹。在此背景下，如何在海量异构运行数据中及时发现风险活动的连续性与演进趋势，并在风险扩散之前实现动态预警，成为网络安全防护中的重要技术问题。

2、目前，公开号为cn119603076a的中国发明专利申请公开了基于大数据的网络安全预警的方法及系统，该方法通过采集多类数据，包括网络流量、用户行为、系统日志和硬件状态数据，然后分别基于这些数据进行指标计算，网络攻击风险指标、用户数据异常风险指标、系统安全风险指标和硬件故障风险指标，并进一步综合计算出网络安全综合风险指标，最后预设网络安全预警阈值，将综合指标与之比较，根据比较结果判断是否触发预警机制，生成相应的预警信息。但是相关技术中没有充分考虑多源安全数据在时间维度上的连续关联关系，通常将不同来源的异常表现为独立指标或孤立告警进行汇总对比，难以将相邻事件之间的连续活动归并为能够表征过程的风险单元，也难以在监测周期维度上对风险活动的延续性进行递推累积，从而对持续性、间歇性、多阶段的风险演进缺乏有效刻画。此外，相关技术多采用固定阈值对综合指标进行触发判断，预警结果偏向静态判别，难以输出风险随时间增长、回落、波动或转折等变化特征，也难以形成风险在来源、对象与行为维度上的传播链路，导致预警信息在解释性、定位性以及对处置决策的支撑能力方面存在不足。与此同时，在大规模数据持续产生的场景下，若缺少可递推的增量更新机制，往往需要对历史数据重复计算，容易造成计算开销大、预警时效性降低。

技术实现思路

1、本发明解决的技术问题是：现有技术难以在大数据场景下对目标网络产生的多源异构运行数据进行统一结构化与时序化关联分析，难以识别相邻安全事件之间的连续关系并将碎片化事件归并为能够表征连续风险活动过程的风险单元，难以基于风险单元在监测周期维度上的延续关系进行递推累积以形成态势演进序列并识别增长、回落、平稳及持续增长、持续回落、波动变化、转折变化等态势变化特征，同时难以基于风险单元之间的衔接关系构建风险传播链并结合态势变化识别结果输出具有时序趋势意义的预警序列，且缺乏面向下一监测周期的递推更新机制，导致预警的实时性、连续性和可解释性不足。

2、为解决上述技术问题，本发明提供如下技术方案：第一方面，基于大数据分析的网络安全动态预警方法，包括如下步骤：

3、步骤s1，获取目标网络在各监测周期内产生的运行数据，对运行数据进行结构统一处理，并按照发生时刻生成安全事件序列；

4、步骤s2，基于安全事件序列中相邻安全事件之间的连续关系进行归并处理，生成风险单元序列；

5、步骤s3，基于风险单元序列在各监测周期内的延续关系进行累积处理，生成态势演进序列，并对态势演进序列进行变化识别，得到变化识别结果；

6、步骤s4，基于风险单元序列之间的衔接关系生成风险传播链序列，并结合变化识别结果输出预警序列；

7、步骤s5，接收下一监测周期的运行数据，对安全事件序列、风险单元序列、态势演进序列、风险传播链序列和预警序列进行递推更新，得到更新后的安全事件序列、更新后的风险单元序列、更新后的态势演进序列、更新后的风险传播链序列和更新后的预警序列。

8、作为本发明所述的基于大数据分析的网络安全动态预警方法的一种优选方案，其中，步骤s1具体包括：

9、步骤s11，获取目标网络在当前监测周期内产生的运行数据；

10、所述运行数据包括流量记录、访问记录、认证记录和设备记录；

11、步骤s12，对流量记录、访问记录、认证记录和设备记录进行字段解析，提取来源标识、行为标识、对象标识、发生时刻和状态标识；

12、步骤s13，按照预设字段结构对来源标识、行为标识、对象标识、发生时刻和状态标识进行位置映射，生成统一记录单元，并基于各统一记录单元生成对应安全事件；

13、步骤s14，按照发生时刻对各安全事件进行先后排序，并将排序后的安全事件依次组织为安全事件序列。

14、作为本发明所述的基于大数据分析的网络安全动态预警方法的一种优选方案，其中，步骤s12的处理逻辑为：

15、读取流量记录、访问记录、认证记录和设备记录中的字段信息，并基于预设字段映射规则，将字段信息解析为来源标识、对象标识、行为标识、发生时刻和状态标识；

16、预设字段映射规则的处理逻辑为：

17、读取流量记录中的通信地址字段、通信端口字段、协议字段和传输时间字段，并将通信地址字段中的发起地址解析为来源标识，将通信地址字段中的接收地址解析为对象标识，将协议字段与通信端口字段组合解析为行为标识，将传输时间字段解析为发生时刻；

18、读取访问记录中的访问主体字段、访问目标字段、访问动作字段和访问时间字段，并将访问主体字段解析为来源标识，将访问目标字段解析为对象标识，将访问动作字段解析为行为标识，将访问时间字段解析为发生时刻；

19、读取认证记录中的认证主体字段、认证对象字段、认证结果字段和认证时间字段，并将认证主体字段解析为来源标识，将认证对象字段解析为对象标识，将认证结果字段解析为状态标识，将认证时间字段解析为发生时刻，并将认证动作类别解析为行为标识；

20、读取设备记录中的设备编号字段、运行对象字段、运行状态字段和记录时间字段，并将设备编号字段解析为来源标识，将运行对象字段解析为对象标识，将运行状态字段解析为状态标识，将记录时间字段解析为发生时刻，并将设备动作字段解析为行为标识；

21、对解析得到的来源标识、行为标识、对象标识、发生时刻和状态标识进行字段位置对应。

22、作为本发明所述的基于大数据分析的网络安全动态预警方法的一种优选方案，其中，步骤s2具体包括：

23、步骤s21，按照排列顺序读取安全事件序列中的当前安全事件和后一安全事件；

24、步骤s22，提取当前安全事件的来源标识、行为标识、对象标识和发生时刻，并提取后一安全事件的来源标识、行为标识、对象标识和发生时刻；

25、步骤s23，判断当前安全事件与后一安全事件之间是否满足连续关系；

26、所述连续关系包括来源连续关系、对象连续关系、行为衔接关系和时间邻接关系；

27、步骤s24，当当前安全事件与后一安全事件满足连续关系时，将当前安全事件与后一安全事件归入同一事件组，并继续读取后一安全事件之后的下一安全事件，重复执行步骤s22至步骤s24，直至不满足连续关系；

28、步骤s25，对事件组内各安全事件的发生顺序、持续跨度和涉及对象进行顺序整合，生成对应风险单元；

29、步骤s26，按照安全事件序列的读取顺序重复执行步骤s21至步骤s25，将各风险单元按照生成顺序组织为风险单元序列。

30、作为本发明所述的基于大数据分析的网络安全动态预警方法的一种优选方案，其中，步骤s3具体包括：

31、步骤s31，按照监测周期顺序读取风险单元序列中属于当前监测周期的当前风险单元；

32、步骤s32，在当前监测周期之前的预设回溯范围内，查找与当前风险单元满足延续关系的前序风险单元，并读取前序风险单元对应的前序态势值；

33、预设回溯范围为当前监测周期的前4个监测周期；

34、所述延续关系包括来源标识连续关系、对象标识连续关系和行为轨迹衔接关系；

35、步骤s33，将当前风险单元的当前单元值与前序风险单元的前序态势值进行递推累积计算，生成当前监测周期对应的当前态势值；

36、步骤s34，按照监测周期顺序将各当前态势值组织为态势演进序列；

37、步骤s35，读取态势演进序列中相邻监测周期对应的前一态势值和后一态势值，计算态势变化量；

38、步骤s36，按照监测周期顺序读取连续的态势变化量，识别变化方向和变化连续状态，生成变化识别结果；

39、所述变化识别结果包括增长变化标识、回落变化标识、平稳变化标识、持续增长标识、持续回落标识、波动变化标识和转折变化标识。

40、作为本发明所述的基于大数据分析的网络安全动态预警方法的一种优选方案，其中，步骤s33的处理逻辑为：

41、步骤s331，读取当前监测周期内当前风险单元对应的事件数量、持续跨度、对象数量和状态变化次数，并基于事件数量、持续跨度、对象数量和状态变化次数计算当前单元值；

42、步骤s332，读取前一监测周期内与当前风险单元满足延续关系的前序风险单元对应的前序态势值；

43、步骤s333，判断前序风险单元是否存在；

44、当前序风险单元存在时，执行步骤s334；

45、当前序风险单元不存在时，将当前单元值确定为当前态势值；

46、步骤s334，读取前序风险单元与当前风险单元之间的间隔周期数，并基于间隔周期数生成递减系数；

47、步骤s335，将当前单元值与前序态势值按照递减系数进行递推累积计算，生成当前态势值；

48、步骤s336，将当前态势值写入与当前监测周期对应的态势演进序列位置。

49、作为本发明所述的基于大数据分析的网络安全动态预警方法的一种优选方案，其中，步骤s4具体包括：

50、步骤s41，按照排列顺序读取风险单元序列中的当前风险单元和后一风险单元；

51、步骤s42，提取当前风险单元的来源标识、对象标识、行为轨迹和结束时刻，并提取后一风险单元的来源标识、对象标识、行为轨迹和开始时刻；

52、步骤s43，判断当前风险单元与后一风险单元之间是否满足衔接关系；

53、所述衔接关系包括来源衔接关系、对象衔接关系、行为衔接关系和时间衔接关系；

54、步骤s44，当当前风险单元与后一风险单元满足衔接关系时，将当前风险单元与后一风险单元连接至同一传播链组，并继续读取后一风险单元之后的下一风险单元，重复执行步骤s42至步骤s44，直至不满足衔接关系；

55、步骤s45，对传播链组内各风险单元按照衔接顺序进行链路排列，生成对应风险传播链；

56、步骤s46，按照风险单元序列的读取顺序重复执行步骤s41至步骤s45，将生成的各风险传播链依次写入风险传播链序列；

57、步骤s47，读取各风险传播链对应的变化识别结果，按照风险传播链的排列顺序生成对应预警标识，并将各预警标识按照生成顺序组织为预警序列。

58、作为本发明所述的基于大数据分析的网络安全动态预警方法的一种优选方案，其中，步骤s47的处理逻辑为：

59、步骤s471，按照风险传播链序列的排列顺序读取当前风险传播链对应的变化识别结果；

60、步骤s472，当变化识别结果包括持续增长标识时，生成第一预警标识；

61、步骤s473，当变化识别结果同时包括增长变化标识和波动变化标识或者仅包括增长变化标识且不包含波动变化标识时，生成第二预警标识；

62、步骤s474，当变化识别结果包括平稳变化标识时，生成第三预警标识；

63、步骤s475，当变化识别结果包括回落变化标识、持续回落标识或转折变化标识时，生成第四预警标识；

64、步骤s476，将第一预警标识、第二预警标识、第三预警标识或第四预警标识写入与当前风险传播链对应的预警序列位置；

65、步骤s477，继续读取后一风险传播链对应的变化识别结果，重复执行步骤s472至步骤s476，直至风险传播链序列读取结束。

66、作为本发明所述的基于大数据分析的网络安全动态预警方法的一种优选方案，其中，步骤s5具体包括：

67、步骤s51，接收下一监测周期的运行数据，并对运行数据进行结构统一处理，生成新增安全事件；

68、步骤s52，将新增安全事件按照发生时刻依次写入安全事件序列末端，得到更新后的安全事件序列；

69、步骤s53，从更新后的安全事件序列末端开始读取新增安全事件，并基于连续关系执行归并处理，得到新增风险单元，将新增风险单元依次写入风险单元序列末端，得到更新后的风险单元序列；

70、步骤s54，从更新后的风险单元序列末端开始读取新增风险单元，并基于延续关系执行递推累积和变化识别处理，得到新增态势值和新增变化识别结果，将新增态势值依次写入态势演进序列末端，得到更新后的态势演进序列；

71、步骤s55，从更新后的风险单元序列末端开始读取新增风险单元，基于衔接关系执行连接处理，得到新增风险传播链和新增预警标识，将新增风险传播链依次写入风险传播链序列末端，并将新增预警标识依次写入预警序列末端，得到更新后的风险传播链序列和更新后的预警序列。

72、基于大数据分析的网络安全动态预警系统，包括数据处理模块、单元生成模块、态势识别模块、链路预警模块和递推更新模块；

73、所述数据处理模块用于获取目标网络在各监测周期内产生的运行数据，对运行数据进行结构统一处理，并按照发生时刻生成安全事件序列；

74、所述单元生成模块用于基于安全事件序列中相邻安全事件之间的连续关系进行归并处理，生成风险单元序列；

75、所述态势识别模块用于基于风险单元序列在各监测周期内的延续关系进行累积处理，生成态势演进序列，并对态势演进序列进行变化识别，得到变化识别结果；

76、所述链路预警模块用于基于风险单元序列之间的衔接关系生成风险传播链序列，并结合变化识别结果输出预警序列；

77、所述递推更新模块用于接收下一监测周期的运行数据，对安全事件序列、风险单元序列、态势演进序列、风险传播链序列和预警序列进行递推更新，得到更新后的安全事件序列、更新后的风险单元序列、更新后的态势演进序列、更新后的风险传播链序列和更新后的预警序列。

78、本发明的有益效果：本发明通过将流量记录、访问记录、认证记录和设备记录统一解析为具有来源标识、行为标识、对象标识、发生时刻和状态标识的安全事件序列，使不同数据源在同一语义结构下可直接进行时序关联；进一步基于相邻安全事件的连续关系归并生成风险单元序列，将大量重复、零散的告警信息压缩为具备时间边界与行为轨迹的连续风险活动单元，便于在实战中快速识别扫描—爆破—登录—横向等连续行为；再基于风险单元在监测周期维度的延续关系进行递推累积形成态势演进序列并输出变化识别结果，使预警不再依赖单点阈值触发，而能够直接反映风险在增长、回落、平稳及持续增长/持续回落、波动、转折等趋势特征，从而实现更早、更连续的动态预警；同时基于风险单元之间的衔接关系生成风险传播链序列并结合变化识别结果输出预警序列，使预警结果能够对应到具体的传播链路与演进阶段，提升告警定位与处置指向性；此外，通过对各序列进行末端递推更新实现下一监测周期的增量处理，避免全量重算，显著提高大数据场景下网络安全动态预警的实时性与持续运行能力。