一种基于动态原型网络的持续单分类异常流量检测方法与流程

本发明涉及网络安全与人工智能交叉，具体涉及一种基于动态原型网络的持续单分类异常流量检测方法。

背景技术：

1、随着网络技术的快速发展和数字化转型的深入推进，网络安全威胁日趋复杂化和多样化。网络攻击手段不断演进，零日攻击、高级持续性威胁（apt）等新型攻击方式层出不穷，对网络安全防御体系提出了严峻挑战。异常流量检测作为网络安全防御的关键环节，旨在识别网络流量中偏离正常模式的可疑行为，是入侵检测系统（ids）的核心技术之一。

2、现有的异常流量检测技术主要分为三类：基于规则匹配的方法、基于有监督学习的方法和基于无监督/单分类学习的方法。基于规则匹配的方法依赖专家知识构建规则库，对已知攻击有效但无法检测未知攻击。基于有监督学习的方法需要大量标注的攻击样本进行训练，存在标注成本高、无法覆盖零日攻击等问题。基于单分类学习的方法仅使用正常流量数据训练模型，通过检测偏离正常模式的流量来识别异常，天然适合零日攻击检测场景。

3、然而，现有的单分类异常流量检测方法存在以下技术问题：

4、（1）静态训练模式：大多数方法采用离线一次性训练，模型参数和结构在部署后固定不变，无法适应网络流量分布的动态变化，即概念漂移问题。

5、（2）灾难性遗忘：当模型需要适应新的流量模式时，在新数据上微调会导致对旧模式的遗忘，检测性能退化。

6、（3）特征表示局限：多数方法仅关注流量的统计特征或时序特征之一，缺乏对流量时空特征的联合建模，特征表示能力有限。

7、（4）阈值固定：异常检测阈值通常基于训练集预设固定，无法根据运行环境的变化自适应调整，导致误报率和漏报率波动。

8、近年来，持续学习（continual learning）和新奇性检测（novelty detection）的交叉研究为解决上述问题提供了新思路。acorn-ids提出了持续新奇性检测框架，通过聚类伪标签和度量学习实现特征嵌入的持续优化。然而，该方案采用固定的pca重构模块进行异常评分，表达能力有限；伪标签质量受k-means聚类算法影响较大；缺乏对流量时空特征的联合建模机制。

技术实现思路

1、为了解决现有技术中存在的上述问题，本发明提出一种基于动态原型网络的持续单分类异常流量检测方法。本发明仅使用正常流量数据训练，无需标注的攻击样本，能够持续适应网络流量分布的动态变化，有效检测零日攻击和未知威胁，具有检测精度高、遗忘率低、推理开销小的优点。

2、本发明采用的技术方案为：

3、一种基于动态原型网络的持续单分类异常流量检测方法，包括以下步骤：

4、步骤1：通过抓取数据包的方式获取网络流量数据，对所述网络流量数据进行预处理，提取多维时空特征向量；

5、步骤2：构建基于注意力机制的时空联合编码器，通过时空联合编码器将所述多维时空特征向量映射至低维特征空间，得到流量特征嵌入向量；

6、步骤3：构建动态原型记忆库，通过动态原型记忆库存储并持续更新正常流量的代表性原型；利用三元组对比度量学习目标对所述时空联合编码器进行持续训练；

7、步骤4：基于所述动态原型记忆库，计算待测流量样本与最近邻原型之间的归一化距离，获得待测流量样本的异常得分，结合基于贝叶斯优化的自适应阈值机制判断所述待测流量样本是否为异常流量。

8、进一步地，步骤1中，提取多维时空特征向量的具体方式为：

9、对数据包进行源ip、目的ip、源端口、目的端口、协议类型的五元组解析，提取流量元数据特征；

10、按照预设时间窗口对网络流量数据进行切分，计算每个时间窗口内的统计特征，包括包数量均值、字节数均值、包到达间隔的均值和方差、流持续时间；

11、提取流量的侧信道特征，包括包长度序列的傅里叶变换系数和包到达时间间隔的自相关系数；

12、将所述流量元数据特征、统计特征和侧信道特征拼接为单时间窗口的多维时空特征向量。

13、进一步地，所述时空联合编码器的输入为由连续多个窗口的多维时空特征向量堆叠形成的时序特征序列；时空联合编码器包括：

14、时间注意力模块，用于对时序特征序列进行自注意力计算，捕获流量模式的时序依赖关系；

15、空间注意力模块，用于对单窗口内的流量元数据特征与统计特征、侧信道特征进行交叉注意力计算，捕获网络实体属性与流量行为模式之间的关联；

16、特征融合层，用于将时间注意力模块和空间注意力模块的输出进行加权融合，通过多层全连接网络映射至低维特征空间，得到流量特征嵌入向量。

17、进一步地，步骤3中，通过动态原型记忆库存储并持续更新正常流量的代表性原型的具体方式为：

18、初始化阶段：在正常流量数据上运行k-means聚类算法，得到k个聚类中心作为初始原型，存储于动态原型记忆库中；

19、更新阶段：对于新到达的正常流量样本，计算其流量特征嵌入向量与当前所有原型的距离，若最近距离超过预设更新阈值，则将该样本作为新原型加入记忆库；若最近距离小于预设合并阈值，则将该样本合并至最近原型，更新原型为两者的加权平均；若最近距离处于合并阈值与更新阈值之间，则不修改原型，仅更新对应原型的匹配频次与最近更新时间戳；

20、淘汰阶段：当动态原型记忆库中的原型数量超过预设容量上限时，移除最近更新时间戳最久远且被匹配频次最低的原型。

21、进一步地，步骤3中，利用三元组对比度量学习目标对所述时空联合编码器进行持续训练的具体方式为：

22、对于每个训练样本，将其自身作为锚样本，选择其聚类伪标签对应的原型作为正样本，随机选择其他聚类的原型作为负样本，构建由锚样本、正样本、负样本组成的三元组；

23、构建总损失函数，对时空联合编码器进行持续训练；总损失函数为：

24、

25、其中，和为权重系数，为重构损失函数，为三元组损失函数，计算方式为：

26、

27、式中，为欧氏距离，为预设边界值，为锚样本，为正样本，为负样本，表示取最大值。

28、进一步地，步骤4中，所述基于贝叶斯优化的自适应阈值机制包括：

29、在初始阶段，基于正常流量验证集的异常得分分布，通过贝叶斯优化搜索最优初始阈值，使得在正常流量上的假正率不超过预设目标假正率；

30、在部署阶段，维护一个滑动窗口记录最近多个被判定为正常流量的样本的异常得分，当窗口内异常得分的均值或标准差的变化超过变化阈值时，触发阈值更新；

31、阈值更新采用贝叶斯优化方法，在当前阈值的邻域内搜索新的最优阈值，使得滑动窗口内正常样本的异常得分分布保持稳定。

32、进一步地，步骤3中，对时空联合编码器进行持续训练时，采用基于课程学习的渐进式正常性建模策略，具体方式为：

33、将正常流量训练样本按照异常得分从低到高排序，使用得分最低的训练样本进行初始训练；

34、随着训练轮次的增加，引入更高得分的正常样本，使时空联合编码器逐步学习更复杂的正常模式；

35、采用线性递增函数进行课程难度调度，控制每个训练阶段引入的样本难度上限。

36、进一步地，所述时空联合编码器还包括重构解码器，所述重构解码器用于将低维特征嵌入向量重构回原始特征空间，计算重构误差作为辅助异常评分指标；

37、所述步骤4中，异常得分为归一化距离和重构误差的加权融合。

38、本发明与现有技术相比，取得的有益效果为：

39、1、本发明仅使用正常流量数据训练，无需标注的攻击样本，天然适合零日攻击检测。

40、2、本发明通过动态原型记忆库和持续学习机制，能够适应网络流量分布的动态变化，具有近零遗忘特性.

41、3、本发明的时空联合编码器能够同时捕获流量的时序模式和空间关联，特征表示能力强。

42、4、本发明的自适应阈值机制能够根据环境变化动态调整检测阈值，保持稳定的检测性能。

43、5、本发明的推理开销小，适合实时部署。