一种未知网络异常识别方法及装置与流程

摘要: 本技术涉及网络安全与人工智能,具体涉及一种未知网络异常识别方法及装置。背景技术:1、当前网络安全防御体系中,传统的防火墙、入侵检测系统(intrusiondet...
一种未知网络异常识别方法及装置与流程

本技术涉及网络安全与人工智能,具体涉及一种未知网络异常识别方法及装置。

背景技术:

1、当前网络安全防御体系中,传统的防火墙、入侵检测系统(intrusion detectionsystem,ids)和入侵防御系统(intrusion prevention system,ips)等设备,其核心工作机理依赖于对已知攻击特征进行规则匹配。该方法虽然能够高效拦截具有明确签名的威胁,但对于不具备已知特征、伪装性极强的新型网络攻击,例如零日漏洞利用、高级可持续性威胁(advanced persistent threat,apt)、异常的细粒度业务操作等,则难以有效识别,形成显著的安全检测盲区。

2、为弥补上述短板,近年来业界开始探索利用大语言模型(large language model,llm)强大的特征学习与模式识别能力。通过让大模型学习海量正常网络流量数据,可以构建精准的“正常行为基线”,从而识别偏离该基线的异常行为,理论上能够有效发现未知威胁。然而,大模型自身存在参数量巨大、推理计算耗时长、资源开销高的固有缺陷,导致其无法直接应用于需要对全量网络数据进行实时分析的大流量场景。在实际部署中,大模型往往只能处理经过传统设备初步过滤后的少量日志数据,这使得大量可能混杂在正常流量中的隐蔽威胁被提前过滤掉,导致漏检。

3、现有部分改进方案虽然引入了分层检测思路,但仍然未能摆脱对人工预设规则的依赖,且未能有效解决如何将大模型的检测能力“轻量化”并精准迁移至前端设备这一核心工程难题。在知识迁移过程中,检测精度损耗严重,大模型与轻量级检测模块之间缺乏高效的协同机制,最终导致在算力有限的真实网络环境中,难以实现对海量流量中未知异常的高效、精准挖掘。

技术实现思路

1、发明目的:本发明的目的在于解决现有技术中的技术问题,提供一种未知网络异常识别方法及装置。

2、技术方案:

3、第一方面,本技术提供了一种未知网络异常识别方法,包括:

4、获取目标网络环境的纯净正常流量训练集和异常校验集;

5、采用自监督学习,以所述纯净正常流量训练集训练第一教师大模型,得到学习到所述目标网络环境正常行为基线的第二教师大模型;

6、采用知识蒸馏,以所述第二教师大模型和所述异常校验集训练轻量级第一学生模型,得到校验合格的第二学生模型;

7、将所述第二学生模型部署于网络边缘侧对全量流量进行初筛,得到可疑流量,并将所述可疑流量输入部署于后端服务器的所述第二教师大模型进行深度分析,得到未知网络异常识别结果;

8、按照设定周期更新所述第二教师大模型并重新蒸馏更新第二学生模型,以下发替换边缘侧的旧学生模型。

9、优选的,所述获取目标网络环境的纯净正常流量训练集和异常校验集包括:

10、采集目标网络环境中的网络流量,筛选经传统安全设备校验且无告警的正常流量,对所述正常流量进行预处理得到所述纯净正常流量训练集,并准备经确认的异常流量作为所述异常校验集。

11、优选的,筛选正常流量包括:选取连续多日业务低峰期的网络流量,且所述网络流量已经过防火墙、入侵检测系统和入侵防御系统中的至少一种传统安全设备的多重校验,确认无告警或攻击行为;

12、所述连续多日包括7至14天。

13、优选的,所述预处理包括:

14、对筛选出的正常流量进行数据清洗,剔除无关字段和噪声,并对流量特征进行标准化和归一化处理;

15、所述流量特征包括ip地址、端口、包大小和时序特征中的至少一种。

16、优选的,所述采用自监督学习,以所述纯净正常流量训练集训练第一教师大模型包括:

17、将所述纯净正常流量训练集输入所述教师大模型,不提供正常或异常标签,通过预测被掩码的流量部分和/或学习流量序列前后关系,使所述教师大模型自行发现正常流量中的规律、模式和关联。

18、优选的,训练所述第一教师大模型时还包括纯度增强:

19、同步运行离群点检测算法,对所述纯净正常流量训练集进行二次筛查,剔除行为模式明显偏离主体数据的潜在异常点。

20、优选的,采用知识蒸馏,以所述第二教师大模型和所述异常校验集训练轻量级第一学生模型,包括:

21、构建参数量小于所述第二教师大模型的轻量级第一学生模型;

22、将正常流量输入所述第二教师大模型,获得所述第一教师大模型输出的软标签

23、根据所述软标签和所述第一学生模型的输出确定软知识迁移损失 ;

24、将所述异常校验集输入所述学生模型,确定硬异常约束损失;

25、根据所述软知识迁移损失和所述硬异常约束损失 构建联合损失,以所述联合损失训练所述第一学生模型;

26、;

27、;

28、;

29、其中,为第二教师模型在第类上的输出概率,为第一学生模型在第类上的输出概率,为异常校验样本的真实标签,为第一学生模型预测概率,为权重系数且。

30、优选的,得到校验合格的第二学生模型,包括:

31、采用所述异常校验集和保留的正常数据测试所述第一学生模型,若所述学生模型相较于所述教师大模型,正常流量识别准确率下降不超过3%,且对异常可疑流量的召回率达到95%以上,则判定校验合格;

32、其中,;

33、;

34、为第二教师模型的正常流量识别准确率,为第一学生模型的正常流量识别准确率,为第一学生模型对异常可疑流量的召回率。

35、优选的,将所述第二学生模型部署于网络边缘侧对全量流量进行初筛,得到可疑流量,并将所述可疑流量输入部署于后端服务器的所述第二教师大模型进行深度分析,得到未知网络异常识别结果,包括:

36、将所述第二学生模型部署于网关、服务器或专用探针,对全量流量实时分析并计算行为偏差值,将行为偏差值低于阈值的行为正常流量放行,将行为偏差值高于或等于阈值的流量作为可疑流量;所述阈值被设定为使正常流量占比90%以上的流量被直接放行;

37、所述可疑流量以其全量特征或元数据打包上传至所述后端服务器;所述第二教师大模型利用上下文理解、序列建模和关联挖掘中的至少一种能力对所述可疑流量进行深度分析,并生成告警报告。

38、第二方面,本技术还提出 一种未知网络异常识别装置,包括:

39、数据制备模块,用于获取目标网络环境的纯净正常流量训练集和异常校验集;

40、教师模型构建模块,用于采用自监督学习,以所述纯净正常流量训练集训练第一教师大模型,得到学习到所述目标网络环境正常行为基线的第二教师大模型;

41、知识蒸馏模块,用于采用知识蒸馏,以所述第二教师大模型和所述异常校验集训练轻量级第一学生模型,得到校验合格的第二学生模型;

42、分层检测模块,包括边缘检测单元和后端分析单元,所述边缘检测单元用于部署所述学生模型对全量流量进行初筛,得到可疑流量,所述后端分析单元用于部署所述教师大模型对所述可疑流量进行深度分析,得到未知网络异常识别结果;

43、动态更新模块,用于按照设定周期更新所述第二教师大模型并重新蒸馏更新第二学生模型,以下发替换边缘侧的旧学生模型。

44、第三方面,本技术提出一种电子设备,包括存储器和处理器,所述存储器上存储有可在所述处理器上运行的计算机程序,当所述计算机程序被所述处理器执行时,使得所述处理器实现如上述实施例所述的方法。

45、第四方面,本技术提出一种计算机可读存储介质,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时,实现如上述实施例所述的方法。

46、有益效果:

47、检测能力提升:能够发现传统设备漏报的未知、隐蔽性威胁,尤其适用于零日漏洞利用、apt攻击和异常细粒度业务操作等场景。

48、性能与成本优化:通过知识蒸馏获得高精度、轻量化的学生模型,算力需求降低80%以上,实现大流量实时处理。

49、落地性强:优化的蒸馏损失函数解决了知识迁移中的精度退化难题,使方案可直接工程化应用。

50、效率高:分层架构过滤掉90%以上正常流量,极大减轻后端大模型压力,整体系统效率高。

51、自适应进化:通过周期更新和闭环反馈,避免基线漂移,使系统能够适应网络环境变化。