一种基于轨迹引导的专用网络告警分类模型离线更新方法及装置
本发明属于网络安全,特别涉及一种基于轨迹引导的专用网络告警分类模型离线更新方法及装置。
背景技术:
1、专用网络中的流量探针、入侵检测设备、终端安全平台和日志审计系统会持续产生大量网络告警及其关联流量数据。随着业务环境变化、网络协议演进以及攻击手段不断更新,网络流量特征和攻击行为模式可能发生变化,导致已有网络告警分类模型的识别能力逐渐下降。因此,需要定期利用新增告警样本对模型进行更新,以适应不断变化的网络安全环境。
2、现有工程实践中,通常采用离线训练方式完成网络告警分类模型更新。具体而言,通过收集一定周期内产生的新增告警数据,对数据进行整理、标注和质量筛选后,利用更新后的训练集重新训练模型,并经过验证后部署至实际环境。该方式能够降低在线更新带来的安全风险,但随着历史数据和新增数据持续累积,训练数据规模不断扩大,完整重训练过程需要消耗大量计算资源和时间,难以满足高频更新场景下的效率需求。
3、为降低模型更新成本,现有方法通常采用随机采样、固定比例数据筛选等方式构建规模较小的训练集。然而,该类方法主要依据样本数量或随机策略进行选择,难以衡量不同告警样本对模型更新过程的重要程度。部分具有代表性的边界样本、异常通信样本或新型攻击样本可能在整体数据中占比较低,但对模型分类能力提升具有重要作用,简单的数据缩减策略容易造成关键信息丢失。
4、针对上述问题,近年来出现了基于数据选择、数据蒸馏等技术的数据压缩方法,通过构建规模更小的训练集合,使其在模型训练过程中获得接近完整数据集的效果。但现有数据蒸馏方法通常依赖复杂的优化过程,需要多轮迭代训练或合成数据生成过程,计算开销较大。同时,在网络安全场景中,训练样本通常需要满足来源可追溯、过程可审计等要求,部分基于人工构造或优化生成的数据难以直接满足实际应用需求。
5、此外,现有基于教师-学生模型的知识迁移方法主要通过模型输出概率或中间特征进行知识传递,但通常关注模型最终状态的信息,难以充分利用模型在不同训练阶段中的变化特征。当模型面对持续变化的网络告警数据时,仅依赖最终模型状态进行样本筛选,可能导致所选训练数据无法全面覆盖模型更新过程中所需的信息。
6、因此,如何在保证网络告警数据真实性和可审计性的基础上,降低专用网络告警分类模型离线更新过程中的训练成本,并有效选择对模型更新具有重要作用的训练样本,成为当前亟需解决的问题。
技术实现思路
1、针对现有专用网络告警分类模型更新过程中存在的训练数据规模大、更新效率低以及样本选择缺乏有效依据等问题,本公开提供了一种轨迹引导的专用网络告警分类模型离线更新方法。该方法通过分析模型更新过程中的学习变化信息,构建能够反映模型训练行为的轨迹描述,并基于该轨迹指导训练样本筛选与模型更新,从而降低离线更新过程中的数据规模和计算开销。
2、其核心思路是:利用参考模型在训练过程中的阶段性变化信息,构建模型学习轨迹;根据不同样本对模型更新过程的影响程度,选择能够代表模型变化特征的真实告警样本;基于筛选后的紧凑训练集完成候选模型更新,使更新后的模型在较少训练数据条件下保持与完整数据训练接近的分类能力。
3、具体的,本公开提供的基于轨迹引导的专用网络告警分类模型离线更新方法,主要包括以下步骤:
4、s1,采集并冻结候选告警样本;
5、s2,加载起点模型与参考数据,执行受控参考训练并保存阶段检查点,构建模型学习轨迹摘要;
6、s3,对候选告警样本进行跨检查点观测,分析样本与模型更新过程的关联程度,计算样本的轨迹贡献;
7、s4,按照类别预算和轨迹贡献进行告警样本选择,形成紧凑更新训练集;
8、s5,利用所述紧凑更新训练集完成分类模型离线更新。
9、进一步的,所述步骤s2具体包括:
10、加载当前部署模型,或从模型仓库选取与目标网络环境一致的基线模型,作为起点模型;
11、使用参考训练集执行受控更新,并保存阶段检查点,所述阶段检查点的设置方式包括:按预设轮次设置,或者在验证损失出现下降,或学习率变化或重点类别召回率达到阈值时;
12、依据检查点构造参考更新轨迹,所述轨迹包括参数轨迹,即相邻检查点之间的参数变化摘要。
13、进一步的,所述步骤s2中,所述轨迹还包括:输出轨迹、特征轨迹或关系轨迹中的一种或多种,即类别概率、隐藏状态、特征向量、注意力关系或样本损失的阶段性变化中的一种或多种;其中的高维参数采用分层统计、随机投影或低秩表示。
14、进一步的,所述步骤s3具体包括:
15、将候选样本输入一个或多个检查点,提取轨迹观测信号,得到其跨阶段观测序列;
16、根据样本梯度与模型参考更新方向的对齐程度、预测结果随阶段的收敛程度以及特征表示位移,计算轨迹贡献评分;其中,不同观测量先进行尺度校准,再按更新策略组合。
17、进一步的,所述步骤s3中,提取轨迹观测信号的具体方法包括:
18、对于候选样本x,系统在所选检查点上得到类别概率p(t)(x)、隐藏表示h(t)(x)或注意力关系a(t)(x);
19、当目标模型不便暴露中间层时,仅使用软化后的类别概率和样本损失;当训练环境允许读取中间激活时,选取早期层、中间层、后期层或多个层组;
20、所有观测信号均在隔离环境内计算,不将原始告警发送至外部教师服务。
21、进一步的,所述步骤s3中,轨迹贡献的计算方法具体包括:
22、为每个候选样本计算轨迹贡献评分r:
23、r=λ1 a+λ2 e+λ3 v
24、式中,a表示样本梯度与参考模型更新方向的对齐程度,e表示预测从不确定到稳定的演化幅度,v表示特征位移与目标轨迹区段的匹配程度,λ1、λ2和λ3为非负权重;
25、其中,设参考模型在训练阶段t的状态为θ(t),相邻状态的更新方向记为δθ(t)=θ(t+1)-θ(t)。
26、进一步的,所述步骤s4具体包括:
27、按照告警类别、业务域或攻击阶段建立分层预算,对每一非空类别至少保留预设数量的样本,再依据类别规模、重点级别和近期错误率分配剩余名额;
28、在类别内部优先选择轨迹贡献较高的样本,并通过相似度抑制或覆盖约束减少重复样本,由此形成紧凑更新训练集。
29、进一步的,所述步骤s5具体包括:
30、以轨迹起点模型或其轻量副本初始化候选模型,在紧凑更新训练集上执行离线训练;
31、训练目标包括标签监督损失,以及输出轨迹、特征轨迹或关系轨迹的一致性约束。
32、进一步的,所述方法还包括以下步骤:为紧凑更新训练集生成可审计清单,清单包括:样本标识、所属类别、所对应的轨迹区段、贡献评分、互补性调整量和选择原因;训练数据保持为原始真实样本,不以不可追溯的合成告警替代。
33、一种基于轨迹引导的专用网络告警分类模型离线更新装置,主要包括:
34、数据接入模块、参考轨迹生成模块、轨迹观测模块、样本贡献评估模块、分层选择模块、候选模型训练模块、验证部署模块和审计模块,用于完成上述基于轨迹引导的专用网络告警分类模型离线更新方法。
35、与现有技术相比,本公开的有益效果是:
36、①样本选择依据参考模型的阶段性学习行为,能够区分重复样本与真正推动模型更新的样本;②以真实告警构造紧凑训练集,便于审计、复现和标签纠错;③类别预算与相似度抑制共同兼顾少数类别和样本互补性;④轨迹可采用参数摘要、输出序列或中间表示等不同粒度,能够适配不同模型和资源条件;⑤更新失败时可以定位到具体轨迹区段和样本批次,便于回滚与策略修正。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com