一种网络安全异常检测中深度学习模型的更新方法与装置与流程

技术特征：
1.一种网络安全异常检测中深度学习模型的更新方法，其特征在于，包括以下步骤：对不同网络安全场景的样本数据进行特征提取得到高维特征向量；其中，所述不同网络安全场景的样本数据包括不同网络安全数据的当前数据分布的对照集样本和历史数据分布的控制集样本；将所述高维特征向量输入至异常检测模型得到模型输入样本异常度值的原始输出值，对所述原始输出值进行校正并对校正后的原始输出值进行漂移检测得到基于置信度的漂移检测结果；基于所述漂移检测结果得到基于所述对照集样本和所述控制集样本的优化目标函数，通过计算所述优化目标函数得到引起网络安全数据分布发生变化的漂移样本；利用所述漂移样本对所述异常检测模型进行模型重训练，通过计算模型重训练时的损失函数以优化模型参数权重，并基于优化后的模型参数权重以得到训练好的异常检测模型。2.根据权利要求1所述的方法，其特征在于，所述对原始输出值进行校正并对校正后的原始输出值进行漂移检测得到基于置信度的漂移检测结果，包括：基于线性分段拟合方法构建映射函数，并计算每个样本在模型中的原始输出值和理想值；其中，所述异常度值包括分别利用对照集样本和控制集样本在模型中校正后的输出概率分布；利用所述映射函数对多个分段函数进行拟合，迭代所述多个分段函数中断点的位置，根据拟合程度确定断点位置及每段函数的斜率以得到多个分段函数的拟合结果；以及，基于所述拟合结果对所述对照集样本和控制集样本的概率数据进行映射转换，基于映射转换结果对所述输出概率分布进行对比以根据对比结果得到网络安全数据分布是否发生变化的漂移检测结果。3.根据权利要求1所述的方法，其特征在于，所述优化目标函数的表达式为：3.根据权利要求1所述的方法，其特征在于，所述优化目标函数的表达式为：3.根据权利要求1所述的方法，其特征在于，所述优化目标函数的表达式为：3.根据权利要求1所述的方法，其特征在于，所述优化目标函数的表达式为：其中m
c
和m
t
是优化函数的自变量，是在0-1之间的mask参数，分别对应每个对照集样本和控制集样本；为第一类优化目标的准确性指标，评估用m
c
和m
t
生成的分布和真实的新分布之间的距离，为第二类优化目标的标记开销，评估生成分布过程中需要的对照集样本数量，为第三类优化目标的准确性指标，评估m
c
和m
t
的确定性，p
c
和p
t
分别表示每个控制集和对照集样本在异常检测模型中的输出值，
⊙
表示哈达玛积，即对向量中的元素逐项乘积，表示向量拼接操作，表示kl散度，将输入向量转化为直方图中的频率向量，m为分桶数量，表示计算期望，λ1和λ2是超参数，控制三项优化目标之间的权重。4.根据权利要求1所述的方法，其特征在于，所述模型重训练时的损失函数的表达式为：
其中是模型原始的损失函数，f表示异常检测模型，θ表示异常检测模型参数，为给模型不同参数的权重ω
i
，θ
i
和分别表示第i个新的模型参数和旧的模型参数，λ3是超参数，控制两个优化项的比重。5.根据权利要求4所述的方法，其特征在于，所述权重ω
i
的计算方式为：的计算方式为：是第j个控制集样本，通过优化函数计算出的控制集样本mask参数，表示第j个控制集样本输入到模型中得到的模型输出logits，表示对上述logits计算l2-norm后平方，表示上述值对模型参数求偏导数。6.一种网络安全异常检测中深度学习模型的更新装置，其特征在于，包括：特征获取模块，用于对不同网络安全场景的样本数据进行特征提取得到高维特征向量；其中，所述不同网络安全场景的样本数据包括网络安全数据的当前数据分布的对照集样本和历史数据分布的控制集样本；漂移检测模块，用于将所述高维特征向量输入至异常检测模型得到模型输入样本异常度值的原始输出值，对所述原始输出值进行校正并对校正后的原始输出值进行漂移检测得到基于置信度的漂移检测结果；漂移解释模块，用于基于所述漂移检测结果得到基于所述对照集样本和所述控制集样本的优化目标函数，通过计算所述优化目标函数得到引起网络安全数据分布发生变化的漂移样本；参数更新模块，用于利用所述漂移样本对所述异常检测模型进行模型重训练，通过计算模型重训练时的损失函数以优化模型参数权重，并基于优化后的模型参数权重以得到训练好的异常检测模型。7.根据权利要求6所述的装置，其特征在于，所述漂移检测模块，还用于：基于线性分段拟合方法构建映射函数，并计算每个样本在模型中的原始输出值和理想值；其中，所述异常度值包括分别利用对照集样本和控制集样本在模型中校正后的输出概率分布；利用所述映射函数对多个分段函数进行拟合，迭代所述多个分段函数中断点的位置，根据拟合程度确定断点位置及每段函数的斜率以得到多个分段函数的拟合结果；以及，基于所述拟合结果对所述对照集样本和控制集样本的概率数据进行映射转换，基于映射转换结果对所述输出概率分布进行对比以根据对比结果得到网络安全数据分布是否发生变化的漂移检测结果。8.根据权利要求6所述的装置，其特征在于，所述优化目标函数的表达式为：
其中m
c
和m
t
是优化函数的自变量，是在0-1之间的mask参数，分别对应每个对照集样本和控制集样本；为第一类优化目标的准确性指标，评估用m
c
和m
t
生成的分布和真实的新分布之间的距离，为第二类优化目标的标记开销，评估生成分布过程中需要的对照集样本数量，为第三类优化目标的准确性指标，评估
mc
和m
t
的确定性，p
c
和p
t
分别表示每个控制集和对照集样本在异常检测模型中的输出值，
⊙
表示哈达玛积，即对向量中的元素逐项乘积，表示向量拼接操作，表示kl散度，将输入向量转化为直方图中的频率向量，m为分桶数量，表示计算期望，λ1和λ2是超参数，控制三项优化目标之间的权重。9.根据权利要求6所述的装置，其特征在于，所述模型重训练时的损失函数的表达式为：其中是模型原始的损失函数，为给模型不同参数的权重ω
i
。10.根据权利要求9所述的装置，其特征在于，所述权重ω
i
的计算方式为：的计算方式为：是第j个控制集样本，通过优化函数计算出的控制集样本mask参数，表示第j个控制集样本输入到模型中得到的模型输出logits，表示对上述logits计算l2-norm后平方，表示上述值对模型参数求偏导数。11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至5中任一项所述的网络安全异常检测中深度学习模型的更新方法。

技术总结
本发明公开了一种网络安全异常检测中深度学习模型的更新方法与装置，该方法包括：对不同网络安全场景的样本数据进行特征提取得到高维特征向量；输入至异常检测模型得到模型输入样本异常度值的原始输出值，对校正后的原始输出值进行漂移检测得到基于置信度的漂移检测结果；通过计算优化目标函数得到引起网络安全数据分布发生变化的漂移样本；利用漂移样本对异常检测模型进行模型重训练，通过计算模型重训练时的损失函数以优化模型参数权重，并基于优化后的模型参数权重以得到训练好的异常检测模型。本发明能准确的检测出分布的漂移，降低标注样本带来的人力开销，在拟合新环境的代表性样本的同时保证不会遗忘原有模型中的有效知识。中的有效知识。中的有效知识。


技术研发人员：王之梁 韩东岐 金明辉 陈闻起 王凯 蔚睿 王苏 张晗 杨家海 施新刚 尹霞 肖飞 王治华 高峰
受保护的技术使用者：国网上海市电力公司
技术研发日：2022.12.13
技术公布日：2023/4/28