一种基于深度神经网络的网络异常行为识别方法及系统与流程
本发明涉及网络安全领域,具体涉及一种基于深度神经网络的网络异常行为识别方法及系统。
背景技术:
1、随着企业网络、数据中心网络和云边协同环境中业务系统数量不断增加,网络通信关系呈现高并发、多协议、跨区域和动态变化的特点。网络异常行为识别通常用于发现端口扫描、暴力破解、横向移动、命令控制通信、数据外传等安全风险。现有网络异常行为识别方法主要包括基于规则匹配、基于统计特征分析以及基于机器学习或深度神经网络的识别方式。其中,基于规则匹配的方法依赖预设特征库或安全策略,能够对已知攻击行为进行快速匹配;基于统计特征分析的方法通常从流量记录中提取字节数、包数、连接时长、端口分布等统计字段进行异常判断;基于深度神经网络的方法则通过对流量特征进行编码训练,以获得异常行为分类结果。
2、但是,现有基于深度神经网络的网络异常行为识别方法仍多以单条流量记录或单一会话特征作为主要输入,通常侧重于报文字段、会话统计量或流量序列本身的特征表达。对于横向移动、低频扫描、分阶段命令控制通信、慢速数据外传等异常行为而言,其异常性并不一定集中体现在单条流量记录中,而是体现在多个资产之间的通信关系、时间先后关系以及边缘流量之间的关联变化中。若仅依据单条流量的统计特征或序列特征进行判断,容易忽略主机间通信链路中的上下文信息,导致对隐蔽性、连续性较强的异常行为识别不充分。
3、另外,网络安全场景中的异常样本通常数量有限,且不同异常类型之间样本分布不均衡。传统监督训练方式依赖大量已标注异常样本,当新型攻击行为尚未形成稳定标签时,模型容易将未知异常误判为已有类别或正常行为。同时,网络业务流量会随时间、业务部署、访问策略和攻击方式变化而发生分布漂移,固定训练好的识别模型在长期运行过程中容易出现阈值失配、误报增加或漏报增加的问题。现有方法即使能够识别异常类别,通常也缺少对关键流量片段、关键通信边和行为链路的回溯表达,导致识别结果难以与后续审计复核和联动处置形成稳定衔接。
技术实现思路
1、针对现有技术的不足,本发明提供了一种基于深度神经网络的网络异常行为识别方法及系统,以解决现有技术中存在的技术问题。
2、本发明的上述技术目的是通过以下技术方案得以实现的:
3、一种基于深度神经网络的网络异常行为识别方法,包括以下步骤:
4、s1:采集待监测网络的网络流量记录和安全日志数据,并按统一时间基准进行时间对齐,基于滑动时间窗形成时间窗数据集;
5、s2:针对时间窗数据集中的每一条网络流量记录,按时间顺序构建流序列特征,并将流序列特征编码为固定长度的流序列张量;
6、s3:在每一滑动时间窗内,以资产标识为节点、以网络流量记录为有向边构建主机通信时序图,并为有向边配置边属性,边属性包括网络流量记录对应的流序列特征统计量和时间戳;
7、s4:构建深度神经网络模型,深度神经网络模型包括序列编码器、图编码器和融合层,其中:
8、将流序列张量输入序列编码器,输出流嵌入向量;
9、将主机通信时序图输入图编码器,输出与主机通信时序图中的有向边一一对应的图上下文嵌入向量;
10、将流嵌入向量与对应的图上下文嵌入向量输入融合层,输出行为表征向量;
11、s5:在预训练阶段,基于无标注的时间窗数据集对深度神经网络模型进行自监督对比学习训练,自监督对比学习训练包括:
12、对同一条网络流量记录构造序列视图样本和图视图样本,其中序列视图样本由流序列张量经序列增强得到,序列增强至少包括掩码增强和时间抖动增强中的一种,图视图样本由主机通信时序图中对应有向边的邻域子图经邻域增强得到,邻域增强至少包括边采样和时间窗裁剪中的一种;
13、将序列视图样本输入序列编码器得到第一嵌入向量,将图视图样本输入图编码器得到第二嵌入向量,其中同一条网络流量记录对应的第一嵌入向量与第二嵌入向量构成正样本对,不同网络流量记录对应的嵌入向量组合构成负样本对;
14、基于正样本对与负样本对计算对比损失函数,并基于对比损失函数对深度神经网络模型参数执行反向传播更新,以得到预训练模型;
15、s6:在微调阶段,基于已标注的已知异常行为样本对预训练模型进行监督训练,并在融合层的输出端设置分类头,分类头以行为表征向量为输入并输出已知异常行为类型的概率分布,以得到异常行为识别模型;
16、s7:在在线识别阶段,对当前滑动时间窗内的数据调用异常行为识别模型的序列编码器、图编码器和融合层得到当前行为表征向量,并将当前行为表征向量输入分类头,输出识别结果。
17、优选的,所述s1与s2包括:
18、对采集到的网络流量记录按五元组和时间间隔进行会话切分,得到会话级流量序列;
19、从每个会话级流量序列中提取方向位序列、包长序列、到达间隔序列、传输层标志摘要序列和会话阶段序列,其中会话阶段序列包括握手阶段标识、数据阶段标识和终止阶段标识;
20、对包长序列和到达间隔序列进行分桶量化,将量化结果与方向位序列、传输层标志摘要序列和会话阶段序列按时间顺序拼接形成流序列特征;
21、采用截断与补齐将流序列特征编码为固定长度的流序列张量,并对流序列张量执行归一化处理。
22、优选的,所述s3包括:
23、以源资产标识和目的资产标识作为节点构建主机通信时序图,并以每条网络流量记录作为一条有向边;
24、将有向边的边属性设置为包含时间戳、会话持续时长、上行字节数、下行字节数、上行包数、下行包数、重传计数和端口类别编码的边属性向量;
25、在同一滑动时间窗内,对同一对节点之间的多条有向边按时间戳排序形成边序列,并将边序列的相邻边时间差写入边属性向量;
26、当安全日志数据包含域名解析日志时,将域名标识作为辅助节点写入主机通信时序图,并将资产标识到域名标识的解析关系作为解析边写入主机通信时序图,解析边的边属性包括解析时间戳和解析结果类别编码。
27、优选的,所述s4中序列编码器、图编码器和融合层满足:
28、所述序列编码器为包含位置编码的注意力序列网络,针对流序列张量输出逐位置隐藏状态,并通过时间维池化得到流嵌入向量;
29、所述图编码器为时序图神经网络,针对主机通信时序图执行多层邻域消息传递,消息传递中引入时间编码以表征有向边的发生时间,并输出与各有向边一一对应的图上下文嵌入向量;
30、所述融合层采用门控融合方式生成门控系数,门控系数由流嵌入向量与对应的图上下文嵌入向量共同计算得到,并基于门控系数对流嵌入向量与图上下文嵌入向量进行加权融合,输出行为表征向量。
31、优选的,所述s5中的自监督对比学习训练包括:
32、对同一条网络流量记录构造序列视图样本和图视图样本,其中序列视图样本通过对流序列张量执行掩码增强和时间抖动增强得到,图视图样本通过对主机通信时序图中对应有向边的邻域子图执行边采样和时间窗裁剪得到;
33、将序列视图样本输入序列编码器得到第一嵌入向量,将图视图样本输入图编码器得到第二嵌入向量,并将第一嵌入向量与第二嵌入向量构成正样本对;
34、从同一批次内不同网络流量记录对应的嵌入向量构成负样本对,并将历史批次的嵌入向量写入对比队列以作为负样本集合,对比队列为存储历史批次嵌入向量的队列缓存;
35、基于正样本对与负样本对计算包含温度系数的对比损失函数,并基于对比损失函数对深度神经网络模型参数执行反向传播更新;
36、在自监督对比学习训练中,同时执行掩码重建任务,掩码重建任务用于重建被掩码位置对应的包长分桶值和到达间隔分桶值,并将掩码重建损失与对比损失加权求和作为训练损失。
37、优选的,所述s6中的已知异常行为类型包括端口扫描行为、暴力破解行为、横向移动行为、命令控制通信行为和数据外传行为,且微调阶段包括:
38、基于行为表征向量训练分类头输出各已知异常行为类型的概率分布;
39、针对样本类别不均衡,引入类别权重或焦点损失对分类头进行监督训练;
40、对每一已知异常行为类型,将该类型对应的行为表征向量取算术平均得到类别原型,并将类别原型与分类头共同写入异常行为识别模型参数。
41、优选的,所述s7中的在线识别阶段包括未知异常拒识判别,未知异常拒识判别包括:
42、基于分类头输出的概率分布计算熵值作为第一不确定度;
43、计算当前行为表征向量与各类别原型之间的余弦距离,取最小余弦距离作为第二不确定度;
44、当第一不确定度大于第一阈值或第二不确定度大于第二阈值时,将识别结果标记为未知异常并输出待研判标记;
45、其中,第一阈值为验证集中第一不确定度的预设分位点对应数值,第二阈值为验证集中第二不确定度的预设分位点对应数值,预设分位点由预设分位比例确定,分位比例介于零与一之间。
46、优选的,所述方法还包括概念漂移检测与自适应更新,概念漂移检测与自适应更新包括:
47、在每一滑动时间窗内汇聚行为表征向量集合,采用最大均值差异或詹森-香农散度计算行为表征向量集合与历史参考集合之间的分布差异度;
48、历史参考集合通过对历史滑动时间窗内的行为表征向量集合执行指数滑动更新得到;
49、当分布差异度大于第三阈值时触发自适应更新,自适应更新包括从触发漂移的滑动时间窗中筛选置信度大于第四阈值的样本写入回放缓存,并将未知异常样本写入未知样本池;
50、基于回放缓存与未知样本池对异常行为识别模型执行增量训练,增量训练中引入蒸馏约束,蒸馏约束包括以增量训练前模型对历史样本输出的概率分布作为软标签,并以软标签与增量训练中模型输出的差值构造蒸馏损失,将蒸馏损失加入增量训练的训练损失中;
51、同步更新第一阈值与第二阈值。
52、优选的,所述方法还包括证据包生成与联动处置,证据包生成与联动处置包括:
53、基于序列编码器或融合层的注意力权重确定关键序列位置索引,关键序列位置索引为注意力权重最大的前预设数量个位置,预设数量为正整数;
54、基于图编码器对各有向边计算的注意力权重确定关键有向边标识,关键有向边标识为注意力权重最大的前预设数量条有向边,并在主机通信时序图中抽取包含关键有向边的时间有序路径作为行为链证据;
55、将网络流量记录标识、时间窗标识、关键序列位置索引、关键有向边标识、行为链证据、模型版本号和阈值版本号写入证据包,并基于哈希函数计算证据包的哈希校验值并记录;
56、基于识别结果与预设处置策略映射输出联动处置指令,联动处置指令包括限速指令、阻断指令、隔离指令和二次验证指令。
57、一种基于深度神经网络的网络异常行为识别系统,包括:
58、数据采集与对齐模块,用于采集网络流量记录和安全日志数据并进行时间对齐,输出时间窗数据集;
59、流序列编码模块,其输入连接数据采集与对齐模块的输出,用于对时间窗数据集进行会话切分与流序列特征构建并输出流序列张量;
60、时序图构建模块,其输入连接数据采集与对齐模块的输出,用于构建主机通信时序图并输出主机通信时序图;
61、行为表征模块,包括序列编码器、图编码器和融合层,其中序列编码器的输入连接流序列编码模块的输出以输出流嵌入向量,图编码器的输入连接时序图构建模块的输出以输出图上下文嵌入向量,融合层的输入分别连接流嵌入向量与图上下文嵌入向量以输出行为表征向量;
62、训练模块,包括自监督对比学习预训练子模块与监督微调子模块,自监督对比学习预训练子模块用于基于序列视图样本与图视图样本计算对比损失并更新序列编码器、图编码器与融合层的模型参数,监督微调子模块用于在行为表征向量上设置分类头并基于已标注样本训练得到异常行为识别模型;
63、在线识别模块,其输入连接行为表征模块的输出,用于将当前行为表征向量输入异常行为识别模型并输出识别结果。
64、综上所述,本发明主要具有以下有益效果:
65、,本技术将网络流量记录同时构建为流序列张量和主机通信时序图,并通过序列编码器、图编码器及融合层形成行为表征向量,使单条网络流量记录的包长、到达间隔、方向位、传输层标志、会话阶段等时序特征,能够与其在滑动时间窗内对应的资产通信关系、边属性和时序邻接关系共同参与识别。由此,本技术不是单纯依赖单条流量的统计特征或报文字段进行异常判断,而是将流量自身行为与主机间通信上下文建立对应关系,能够更完整地刻画端口扫描、暴力破解、横向移动、命令控制通信和数据外传等具有连续性、隐蔽性和关联性的网络异常行为。
66、本技术在预训练阶段以同一条网络流量记录为对齐基准,分别构造序列视图样本和图视图样本,并将同一网络流量记录对应的两类嵌入向量作为正样本对,将不同网络流量记录对应的嵌入向量作为负样本对进行自监督对比学习训练。该处理方式使模型能够先从无标注网络数据中学习流序列行为与图上下文行为之间的对应关系,再利用少量已标注的已知异常行为样本进行监督微调,从而降低对大量人工标注异常样本的依赖,并缓解异常样本数量少、类别分布不均衡导致的模型表征不稳定问题。
67、本技术在在线识别阶段结合分类头输出的概率分布、行为表征向量与类别原型之间的距离进行未知异常拒识判别,并在检测到行为表征分布发生漂移时,通过回放缓存、未知样本池和蒸馏约束对异常行为识别模型进行自适应更新。该机制能够避免将未见过的新型异常行为强行归入已有类别,同时在网络业务流量、访问模式或攻击方式发生变化时,维持模型对既有异常行为的识别能力并适配新的流量分布。进一步地,本技术生成包含关键序列位置索引、关键有向边标识和行为链证据的证据包,使识别结果能够回溯至对应流量片段和通信路径,便于后续审计、复核和联动处置。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com