基于机器学习的网络技术服务异常流量智能检测系统的制作方法

本发明涉及网络安全，具体为基于机器学习的网络技术服务异常流量智能检测系统。

背景技术：

1、网络异常流量检测是保障网络技术服务安全运行的重要手段，早期检测方案主要采用深度包检测技术，通过解析数据包载荷内容并与已知攻击特征库进行匹配来识别异常流量，该类方案依赖对载荷的明文解析，难以适应加密协议全面普及的网络环境，随着机器学习技术的发展，基于统计特征结合监督学习分类器的检测方法被广泛采用，其一般流程包括采集流量数据、人工标注正常与异常样本、提取统计特征、训练分类模型、部署检测，近年来，图神经网络因能够刻画主机间的拓扑交互关系而被引入流量检测领域，用于建模主机通信图并识别异常连接模式；

2、与本发明最接近的现有技术为基于图神经网络的加密流量异常检测方法，该方法在网络网关处采集数据包的五元组及基础统计特征，以主机为节点、以通信关系为边构建静态通信图，利用图卷积网络或图注意力网络对通信图进行编码，将编码结果输入预先采用大量已标注样本训练得到的分类器进行异常判定，模型部署后长期采用固定参数进行推理；

3、现有技术普遍采用模型部署后固定参数长期推理、性能衰退后依赖人工全量重新标注与离线重训练的技术路径，本发明突破该技术偏见，通过在隐空间维护包括正常原型和异常原型的原型集合，仅在异常打分超过预设漂移阈值且缓冲区样本达到预设批量规模时，采用指数移动平均方式更新对应原型向量并仅对预训练图编码器末层参数进行小步长梯度微调，不更新深层骨干参数，从而在无需对历史全量数据重新标注、无需离线重训练深层网络的前提下实现对概念漂移的在线自适应；

4、上述现有技术存在以下不足：图编码与分类模型均依赖大规模已标注样本进行监督训练，在加密流量无法获取明文标签且攻击类型未知的场景下难以获得有效监督信号，导致对新型未知攻击的检测能力不足，模型部署后采用固定参数推理，无法跟踪流量分布随时间的持续变化，只能依靠人工重新采集、标注并离线重训练恢复性能，运维成本较高，深度学习模型决策过程未被结构化解析，检测结果缺乏可审计的因果依据，难以满足安全运营对告警可追溯性的要求，为此，我们提出基于机器学习的网络技术服务异常流量智能检测系统。

技术实现思路

1、本发明的目的在于提供基于机器学习的网络技术服务异常流量智能检测系统。

2、本发明要解决的技术问题是：现有基于图神经网络的加密流量异常检测方案依赖大规模已标注样本进行监督训练，在零先验知识、无法解密的场景下难以获得有效监督信号，导致对未知加密恶意流量的检测能力不足，模型部署后采用固定参数进行推理，无法适应流量分布的持续演化，只能依赖人工重新采集、标注并离线重训练来恢复检测性能，导致检测失效窗口期较长、运维成本较高，此外，深度学习模型的决策过程缺乏结构化解析，检测结果缺乏可审计的因果依据，难以满足安全运营对告警可追溯性的要求。

3、为解决上述技术问题，本发明提供一种基于机器学习的网络技术服务异常流量智能检测系统，该系统包括流量元数据采集模块、时空流量交互图构建与自监督预训练模块、动态原型对比持续学习模块、神经符号因果溯源模块及告警输出模块。

4、流量元数据采集模块在网络网关处采用旁路捕获方式获取数据包的时间戳、载荷长度、传输方向以及通信双方的地址端口标识，不解析数据包的载荷内容，从而在无需解密的前提下获得可用于建模的元数据。

5、时空流量交互图构建与自监督预训练模块以通信端点作为节点、以预设时间窗口内发生的数据包交互作为边，根据所述时间戳、载荷长度、传输方向构建时空流量交互图，并通过随机遮蔽该图中部分边、利用图注意力编码器根据剩余边结构重建被遮蔽边存在概率的自监督训练方式对图注意力编码器进行预训练，使编码器在无标签条件下学习流量拓扑的内在规律，得到预训练图编码器。

6、动态原型对比持续学习模块在隐空间中维护包括正常原型和异常原型的原型集合，利用预训练图编码器对实时流量会话对应的局部子图进行编码得到样本嵌入，计算样本嵌入至各原型的欧氏距离并取其中最近距离作为异常打分，在异常打分超过预设漂移阈值时将对应样本暂存至待更新样本缓冲区，并在缓冲区中同一类别样本数量达到预设批量规模时，采用指数移动平均方式更新对应原型向量，同时基于当前批样本计算对比损失，仅对预训练图编码器的末层参数及原型集合进行微调，不更新编码器的深层骨干参数，从而以极低的标注与算力成本实现对概念漂移的在线自适应。

7、神经符号因果溯源模块针对被判定为异常的样本，提取预训练图编码器在编码过程中产生的注意力权重以及样本嵌入相对最近异常原型的各维度距离贡献，将贡献程度排序位于预设名次范围内的维度特征依据预设特征物理含义映射表转换为可读网络指标，并结合预设数值阈值将该可读网络指标符号化为若干条件与判定结论对应的因果规则，按历史统计计算每条因果规则的置信度，剔除置信度低于预设置信度阈值的因果规则，为异常检测结果提供可审计的因果解释链条。

8、告警输出模块将保留的因果规则与对应的异常判定结果、可读网络指标封装为结构化告警信息并输出至安全运营人员或对接的安全信息和事件管理系统。

9、采用上述技术方案，与现有技术相比，本发明的有益效果在于：

10、1.本发明仅基于数据包时间戳、载荷长度、传输方向构建时空流量交互图并结合自监督掩码边缘预测机制进行预训练，使系统在不解密、无标签的条件下即可具备对未知加密流量拓扑特征的自主学习能力，提升对未知攻击的检测能力；

11、2.本发明通过仅对原型及编码器末层参数进行小步长在线微调、不更新深层骨干参数的方式，相较于对全量历史数据重新标注并离线重训练的现有技术方式，减少了标注工作量与参数更新计算量，缩短了因流量分布变化导致的检测能力恢复周期；

12、3.本发明通过将注意力权重与原型距离贡献转换为附带历史置信度的结构化因果规则，使每条告警均附带可追溯的判定依据，便于安全运营人员核验告警来源。

1.基于机器学习的网络技术服务异常流量智能检测系统，其特征在于，包括：

2.根据权利要求1所述的基于机器学习的网络技术服务异常流量智能检测系统，其特征在于：所述时空流量交互图构建与自监督预训练模块中，节点的初始特征向量由该节点在所述时间窗口内的包长均值、包长方差、到达时间间隔均值及连接数经多层感知机映射得到，边的特征向量由该边所连接两节点间数据包交互的时间间隔、载荷长度差值及传输方向指示量组成。

3.根据权利要求1所述的基于机器学习的网络技术服务异常流量智能检测系统，其特征在于：所述时空流量交互图构建与自监督预训练模块按预设比例对所述时空流量交互图的边集合进行随机采样得到掩码边集合，并通过负采样方式生成与所述掩码边集合数量相等的不存在边样本作为负例，利用所述图注意力编码器输出的节点末层嵌入计算被遮蔽边及所述负例对应边的存在概率，并根据所述存在概率与对应边是否真实存在的标签计算掩码边缘预测损失，通过反向传播依据所述掩码边缘预测损失对所述图注意力编码器的参数进行更新。

4.根据权利要求1所述的基于机器学习的网络技术服务异常流量智能检测系统，其特征在于：所述动态原型对比持续学习模块在所述异常打分超过所述预设漂移阈值且最近原型为正常原型时，判定对应样本为待更新样本。

5.根据权利要求1所述的基于机器学习的网络技术服务异常流量智能检测系统，其特征在于：所述动态原型对比持续学习模块更新后的原型集合及微调后的所述预训练图编码器末层参数被应用于后续实时流量会话的编码与异常打分，与所述神经符号因果溯源模块输出的因果规则共同用于对后续实时流量会话进行持续检测与告警。

6.根据权利要求1所述的基于机器学习的网络技术服务异常流量智能检测系统，其特征在于：所述神经符号因果溯源模块按数值大小对与目标节点相关的注意力权重进行排序，将排序位于预设名次范围内的邻居节点及交互边确定为对判定结果具有主要贡献的邻居节点及交互边，并计算所述样本嵌入与所述最近异常原型在各特征维度上的差值分量，将所述差值分量排序位于预设名次范围内的特征维度确定为主要贡献特征维度，所述因果规则的置信度根据历史样本中满足对应条件的样本总数与满足该条件且被判定为异常的样本数之比计算得到。

7.一种时空流量交互图构建与自监督预训练方法，其特征在于，包括：

8.一种动态原型对比持续学习方法，用于对基于图神经网络的流量异常检测模型进行持续学习，其特征在于，包括：

9.根据权利要求8所述的一种动态原型对比持续学习方法，其特征在于：在所述异常打分超过所述预设漂移阈值且最近原型为正常原型时，判定对应样本为待更新样本。