一种基于大数据处理的网络安全漏洞检测方法与流程

本发明涉及网络安全，尤其涉及一种基于大数据处理的网络安全漏洞检测方法。

背景技术：

1、随着网络规模扩大，网络环境中的服务器、终端设备、网络设备、应用服务和访问主体数量不断增加，网络流量、运行日志、资产配置、安全事件、访问行为及历史漏洞记录形成了规模庞大、来源复杂、关联密集的网络安全数据。如何从上述数据中准确识别漏洞位置、漏洞类型、风险等级和影响范围，已成为网络安全防护中的重要问题。

2、现有网络安全漏洞检测方法主要包括基于漏洞规则库的扫描方法、基于特征匹配的识别方法和基于异常检测的分析方法。上述方法通常能够对已知漏洞或明显异常行为进行检测，但在面对多源异构数据、复杂资产关系和动态风险传播场景时，仍存在一定局限。

3、一方面，现有方法通常将网络流量、日志、配置和访问行为作为独立数据进行处理，缺少对网络资产、安全事件和访问行为之间关系的统一建模，难以形成清晰的网络安全关联图，导致漏洞证据分散、关联不足和漏检问题。另一方面，现有方法对网络关系中的噪声关联和低可信关联缺少有效校正，容易将偶发访问、错误日志或异常干扰误判为漏洞证据，影响异常节点识别准确性。

4、此外，网络安全漏洞通常具有时序演化和传播扩散特征，现有方法多依赖单点特征、固定阈值或静态规则进行判断，难以结合节点状态变化、邻域关联关系和时间窗口分布变化对异常节点进行动态识别。同时，现有检测结果多停留在漏洞存在性、漏洞名称或风险等级层面，缺少对漏洞来源路径、风险传播路径和影响范围的追踪分析，导致检测结果的可解释性和处置指导性不足。

5、因此，如何提供一种基于大数据处理的网络安全漏洞检测方法是本领域技术人员亟需解决的问题。

技术实现思路

1、本发明的一个目的在于提出一种基于大数据处理的网络安全漏洞检测方法，本发明充分利用了大数据处理、图结构分析、时序状态建模和异常检测技术，对目标网络中的网络安全数据进行预处理、实体识别、关系抽取和关联图构建，并通过改进型dg-mamba模型、rulsif算法和yen算法实现节点异常识别、漏洞来源追踪、风险传播分析和漏洞风险分级，能够生成包含漏洞位置、漏洞类型、风险等级与影响范围的网络安全漏洞检测结果，具备漏洞识别准确性高、风险追踪能力强、检测结果可解释性好和安全处置效率高的优点。

2、根据本发明实施例的一种基于大数据处理的网络安全漏洞检测方法，包括如下步骤：

3、s1、获取目标网络的网络安全数据，并进行预处理，构建安全数据序列；

4、s2、对安全数据序列执行实体识别与关系抽取操作，构建关联图结构，采用改进型dg-mamba模型对关联图结构执行关系可信度校正与核化消息传递处理，生成网络安全关联图与各节点对应的节点状态；

5、s3、在改进型dg-mamba模型中，对网络安全关联图执行选择性扫描与时序状态更新处理，并采用rulsif算法对状态更新结果执行相对密度比估计与分布变化评分操作，识别异常节点；

6、s4、沿网络安全关联图，对各异常节点进行双向递归搜索处理，采用yen算法对递归搜索结果执行无环候选路径排序与筛选操作，提取对应的漏洞来源路径与风险传播路径，并绑定对应的节点状态，生成漏洞证据链；

7、s5、根据漏洞证据链对异常节点执行可信度计算、影响范围分析与风险分级处理，生成漏洞风险序列；

8、s6、根据漏洞风险序列，确定各异常节点对应的漏洞位置、漏洞类型、风险等级与影响范围，生成网络安全漏洞检测结果。

9、可选的，所述目标网络表示执行网络安全漏洞检测的网络环境，所述网络安全数据表示从目标网络中采集的用于表征网络运行状态、安全状态与访问行为的数据，所述预处理包括数据清洗、格式统一、时间对齐与数据关联处理。

10、可选的，所述s2具体包括：

11、s21、对安全数据序列执行实体识别处理，得到网络资产实体、安全事件实体与访问行为实体，并提取各实体之间的关联关系；

12、s22、将各实体映射为节点，将各关联关系映射为连接边，构建关联图结构；

13、s23、引用改进型dg-mamba模型，该模型中包含关系校正单元、核化传递单元与时序更新单元；

14、s24、在关系校正单元中，对关联图结构执行关系可信度计算，并根据计算结果对关联图结构进行关系校正处理，得到校正图结构；

15、s25、将校正图结构输入核化传递单元执行邻域信息聚合处理，并对聚合结果执行核化映射处理，生成网络安全关联图与各节点对应的节点状态。

16、可选的，所述s24具体包括：

17、s241、在关系校正单元中，对关联图结构中的各节点执行随机游走路径采样处理，根据节点之间的连接边构建节点关系序列；

18、s242、采用node2vec算法对节点关系序列执行向量表示学习处理，通过节点邻域采样与节点上下文关联分析，获取各节点对应的结构特征表示；

19、s243、对相邻节点的结构特征表示执行关系匹配处理，计算节点之间的结构关联值，并结合对应连接边的关联关系确定关系可信度；

20、s244、根据关系可信度对关联图结构中的连接边进行可信校正处理，更新各节点之间的关联关系，得到校正图结构。

21、可选的，所述s25具体包括：

22、s251、在核化传递单元中，获取校正图结构中的各节点、连接边与连接边对应的关系可信度，并根据节点对应的实体类型生成初始节点标签；

23、s252、基于连接边提取各节点对应的相邻节点，并将相邻节点的初始节点标签、连接边对应的关联关系与关系可信度进行组合，生成各节点对应的邻域标签集合；

24、s253、采用weisfeiler-lehman算法，对初始节点标签与邻域标签集合执行迭代重标记操作，将各节点的初始节点标签与邻域标签集合进行标签压缩映射处理，生成各节点对应的核化节点标签；

25、s254、根据核化节点标签对相邻节点的信息进行分组聚合，并按照关系可信度对同组相邻节点的信息进行加权处理，得到各节点对应的邻域信息聚合结果；

26、s255、对邻域信息聚合结果执行核化映射处理，将核化节点标签与邻域信息聚合结果进行关联编码，生成各节点对应的核化关联特征；

27、s256、基于核化关联特征对各节点执行状态编码处理，生成各节点对应的节点状态，并将节点状态与校正图结构中的节点和连接边进行关联，生成网络安全关联图。

28、可选的，所述s3具体包括：

29、s31、将网络安全关联图与各节点对应的节点状态输入改进型dg-mamba模型的时序更新单元，并按照时间顺序对各节点状态进行时间窗口划分处理，生成节点时序状态集；

30、s32、根据网络安全关联图中的连接边、节点状态与关系可信度，对节点时序状态集执行选择性扫描操作，提取各节点在连续时间窗口内的状态变化特征与邻域关联特征；

31、s33、基于状态变化特征与邻域关联特征，对各节点执行时序状态更新处理：

32、在当前时间窗口存在历史时间窗口时，将历史时间窗口对应的节点状态与当前时间窗口对应的节点状态进行递推融合，得到当前时间窗口内各节点对应的状态更新结果；

33、在当前时间窗口为首个时间窗口时，将预设初始节点状态与首个时间窗口对应的节点状态进行递推融合，得到首个时间窗口内各节点对应的状态更新结果；

34、所述历史时间窗口表示位于当前时间窗口之前的时间窗口；

35、s34、采用rulsif算法对状态更新结果进行时间窗口分组处理，分别提取相邻时间窗口内各节点对应的状态分布特征；

36、s35、对相邻时间窗口内的状态分布特征执行相对密度比估计操作，生成各节点对应的相对密度比结果；

37、s36、依据相对密度比结果对各节点执行分布变化评分操作，计算各节点的分布变化评分值，并根据分布变化评分值对各节点执行异常判定处理，将分布变化评分值满足预设异常判定条件的节点作为异常节点。

38、可选的，所述s32具体包括：

39、s321、在改进型dg-mamba模型的时序更新单元中，按照时间窗口顺序读取节点时序状态集中各节点对应的节点状态，并根据网络安全关联图中的连接边与关系可信度确定各节点对应的可信邻接关系；

40、s322、基于可信邻接关系，对各节点在连续时间窗口内的节点状态执行选择性扫描操作，提取各节点对应的状态扫描序列；

41、s323、采用pcmci+算法对状态扫描序列执行滞后关联发现与同期关联发现处理，确定各节点与相邻节点之间的时序因果关系；

42、s324、根据时序因果关系对状态扫描序列执行关联筛选处理，生成因果约束扫描结果；

43、s325、基于因果约束扫描结果，提取各节点在连续时间窗口内的状态突变位置、状态持续变化区间与状态恢复位置，构建状态变化特征；

44、s326、根据因果约束扫描结果、可信邻接关系与关系可信度，提取各节点与相邻节点之间的滞后影响关系、同期联动关系与可信传播关系，生成邻域关联特征。

45、可选的，所述s4具体包括：

46、s41、将异常节点设为双向递归搜索操作的搜索起点；

47、s42、沿网络安全关联图中指向搜索起点的方向，对各搜索起点执行反向递归搜索处理，提取与搜索起点存在来源关联的上游节点与上游连接边，生成来源搜索结果；

48、s43、沿网络安全关联图中由搜索起点指向非当前搜索起点的方向，对各搜索起点执行正向递归搜索处理，提取与搜索起点存在传播关联的下游节点与下游连接边，生成传播搜索结果；

49、s44、对来源搜索结果与传播搜索结果执行路径合并处理，构建无环候选路径集合；

50、s45、采用yen算法对无环候选路径集合执行路径代价计算、排序与筛选操作，得到漏洞来源路径与风险传播路径，具体包括：

51、根据来源搜索结果与传播搜索结果，对无环候选路径集合中的各无环候选路径执行方向判定处理，将对应来源搜索结果的无环候选路径标记为来源方向，将对应传播搜索结果的无环候选路径标记为传播方向；

52、分析各无环候选路径中的节点状态变化程度与路径连续性，并结合对应的连接边数量与关系可信度，计算各无环候选路径的路径代价；

53、采用yen算法对标记为来源方向的无环候选路径执行路径代价排序与筛选操作，将筛选得到的无环候选路径作为漏洞来源路径；

54、对标记为传播方向的无环候选路径执行路径代价排序与筛选操作，将筛选得到的无环候选路径作为风险传播路径；

55、s46、将漏洞来源路径、风险传播路径、异常节点与对应节点状态进行绑定，生成各异常节点对应的漏洞证据链。

56、可选的，所述s5具体包括：

57、s51、读取漏洞证据链中的异常节点、漏洞来源路径、风险传播路径与对应节点状态，将属于同一异常节点的漏洞来源路径、风险传播路径与对应节点状态进行关联；

58、s52、以漏洞来源路径中的节点状态变化程度、路径连续性与关系可信度为可信度计算依据，计算异常节点对应的节点可信度；

59、s53、由风险传播路径确定异常节点关联的下游节点、下游连接边与对应节点状态，并将下游节点和下游连接边作为异常节点对应的影响范围；

60、s54、结合异常节点对应的节点可信度、影响范围、漏洞来源路径、风险传播路径与对应节点状态，对异常节点进行风险分级处理，确定异常节点对应的风险等级；

61、s55、汇总异常节点对应的节点可信度、影响范围、风险等级、漏洞来源路径、风险传播路径与对应节点状态，生成漏洞风险序列。

62、可选的，所述s6具体包括：

63、s61、读取漏洞风险序列，将同一异常节点对应的漏洞证据链、节点状态、风险等级与影响范围进行对应；

64、s62、由异常节点在网络安全关联图中对应的位置和节点状态确定漏洞位置；

65、s63、由漏洞证据链中的节点状态、漏洞来源路径与风险传播路径确定异常节点对应的漏洞类型；

66、s64、汇总同一异常节点对应的漏洞位置、漏洞类型、风险等级与影响范围，生成网络安全漏洞检测结果。

67、本发明的有益效果是：

68、首先，本发明通过预处理、实体识别和关系抽取，将分散的网络安全数据构建为关联图结构，并采用改进型dg-mamba模型进行关系可信度校正与核化消息传递处理，能够降低噪声关系干扰，提高数据融合分析准确性。

69、其次，本发明基于网络安全关联图进行选择性扫描与时序状态更新，并采用rulsif算法识别节点状态分布变化，能够提高对隐蔽性漏洞和动态风险变化的识别能力。

70、最后，本发明通过双向递归搜索和yen算法提取漏洞来源路径与风险传播路径，并结合漏洞证据链进行可信度计算、影响范围分析和风险分级，使检测结果具备更好的可解释性和处置指导价值。