基于NetFlow日志的僵尸主机检测方法及系统与流程

摘要: 本发明实施例涉及物联网,特别涉及一种基于netflow日志的僵尸主机检测方法及系统。背景技术:1、随着运营商公网资产、物联网终端接入规模持续增加,僵尸网络攻击模...
基于NetFlow日志的僵尸主机检测方法及系统与流程

本发明实施例涉及物联网,特别涉及一种基于netflow日志的僵尸主机检测方法及系统。

背景技术:

1、随着运营商公网资产、物联网终端接入规模持续增加,僵尸网络攻击模式持续隐蔽化迭代。攻击者摒弃传统高频暴力扫描,普遍采用跨天低频巡航测绘、443端口tls伪装远控心跳、高危端口内网横向渗透等手段,依托境外分散vps、失陷iot设备搭建多层恶意基础设施,形成“外部侦查入侵-主机受控回连c2-主动对外扩散”标准化完整攻击链路。运营商骨干网受存储成本限制,仅轻量化留存netflow流摘要日志,不具备全量报文抓取、深度载荷解析能力。

2、现有流量监测工具分别针对扫描、远控、渗透行为单独告警,只能输出孤立风险线索,难以串联同一主机不同时序、不同流向的多阶段恶意行为;同时传统阈值检测难以捕捉间隔数天的长周期隐蔽探测,溯源环节缺少恶意ip自动聚类能力,海量日志场景下人工研判、批量封禁处置工作量大,现有方案难以支撑省级运营商大网对隐蔽僵尸网络的常态化全域监测。

技术实现思路

1、本发明实施方式的目的在于提供一种基于netflow日志的僵尸主机检测方法及系统,本实施例的方法能够提高僵尸主机检测的准确率和可信度,同时减少对全量主机进行复杂规则校验的计算开销。

2、为解决上述问题,本发明实施例提供了一种基于netflow日志的僵尸主机检测方法,所述方法包括:

3、获取预处理后的全量netflow日志并提取特征字段,以所述特征字段中的同一源ip访问同一目的ip的源-目ip对作为聚合主体,在第一滑动窗口内聚合各所述源-目ip对对应的netflow日志以构建滑动时序样本;将各所述滑动时序样本依次输入预先训练好的风险主机识别模型进行初步检测,基于所述风险主机识别模型输出的识别结果确定风险主机,将所述风险主机对应的初步检测信息存储到第一事件列表中;基于预设校验规则对各所述风险主机进行二次检测,将满足所述预设校验规则的所述风险主机的对应的二次检测信息存储到第二事件列表中;对所述第一事件列表与所述第二事件列表进行联合匹配,在所述风险主机的主机ip在预设重叠时间窗口内同时存在于所述第一事件列表与所述第二事件列表中时,将所述风险主机标记为僵尸主机。

4、另外,如上所述的获取预处理后的骨干网全量netflow日志之前,所述方法还包括:采集骨干网全量初始netflow日志,统一对齐日志时间戳并标准化五元组字段;过滤所述初始netflow日志中的白名单流量,过滤后得到预处理后的所述全量netflow日志;提取所述特征字段的步骤包括:基于所述全量netflow日志提取所述特征字段,所述特征字段至少包括:所述源ip、所述目的ip、访问端口、流开始时间或结束时间、会话间隔、每日访问时段、访问频次。

5、另外,如上所述的预先训练所述风险主机识别模型的步骤,包括:获取历史时序样本集,所述历史时序样本集为基于历史数据按照所述第一滑动窗口构建的,带有正负样本标签的训练数据集;初始化单层lstm网络,将所述历史时序样本集输入初始化后的所述单层lstm网络,采用focal loss作为目标优化函数对所述单层lstm网络进行迭代训练,直至满足预设的收敛条件,停止迭代;将停止迭代后的所述单层lstm网络作为预先训练好的所述风险主机识别模型。

6、另外,如上所述的基于所述风险主机识别模型输出的识别结果确定风险主机,将所述风险主机对应的初步检测信息存储到第一事件列表中,包括:获取所述风险主机识别模型输出的各所述滑动时序样本对应的主机的风险置信度,将所述风险置信度大于置信度阈值的所述滑动时序样本对应的主机作为所述风险主机;基于所述风险主机对应的所述滑动时序样本提取所述初步检测信息;所述初步检测信息包括:访问时间、访问次数、活跃天数、活跃小时数、访问间隔、目标端口数量、高危端口访问比例、不同时间段访问分布。

7、另外,如上所述的预设校验规则包括:疑似受控检查规则与横向渗透检测规则;所述基于预设校验规则对各所述风险主机进行二次检测,将满足所述预设校验规则的所述风险主机的对应的二次检测信息存储到第二事件列表中,包括:分别基于所述疑似受控检查规则与所述横向渗透检测规则对各所述风险主机进行二次检测,在所述风险主机中确定满足所述疑似受控检查规则的第一风险主机与满足所述横向渗透检测规则的第二风险主机;基于所述第一风险主机对应的所述源-目ip对的netflow日志提取第一检测信息,将所述第一检测信息存储到所述第二事件列表的第一子列表中;基于所述第二风险主机对应的所述源-目ip对的netflow日志提取第二检测信息,将所述第二检测信息存储到所述第二事件列表的第二子列表中。

8、另外,如上所述的基于所述疑似受控检查规则对各所述风险主机进行二次检测,包括:以第一预设周期为检测周期,采用第一校验规则对所述风险主机的出站443端口流量特征进行二次检测;所述第一校验规则为:单数据包字节小于第一阈值,报文字节重复率大于第二阈值、所述第二预设周期内每小时均存在外联会话且轮换多个境外c2控制ip建立长连接;所述基于所述第一风险主机对应的所述源-目ip对的netflow日志提取第一检测信息,包括:基于所述第一风险主机对应的所述源-目ip对的netflow日志提取至少包括所述第一风险主机的主机ip、境外c2控制ip、所述外联会话的时间以及所述风险主机的443端口流量特征作为所述第一检测信息。

9、另外,如上所述的基于所述横向渗透检测规则对各所述风险主机进行二次检测,包括:以第二预设周期为统计周期,采用第二校验规则对所述风险主机进行二次检测;所述第二校验规则为:所述风险主机在所述统计周期内作为源主机访问其他目标ip的访问数量大于第三阈值,且访问所述其他目标ip的目标端口为预设的高危端口,且向单一目标端口发起的探测次数小于第四阈值;基于所述第二风险主机对应的所述源-目ip对的netflow日志提取第二检测信息,包括基于所述第二风险主机对应的所述源-目ip对的netflow日志提取至少包括:所述第二风险主机的主机ip、所述其他目标ip列表、所述目标端口列表、当前的所述统计周期的时间窗口、所述访问数量与所述探测次数作为所述第二检测信息。

10、另外,如上所述的方法还包括:将所述僵尸主机的对应的netflow日志进行行为特征提取,构建特征向量矩阵,将所述特征向量矩阵输入k-means无监督聚类模型,并设定收敛目标,得到聚类分析结果;根据聚类分析结果提取攻击行为模式,基于所述攻击行为模式结合预设分级规则对所述僵尸主机进行等级划分;基于所述等级划分结果执行预设的应对策略。

11、本发明实施例还提出了一种基于netflow日志的僵尸主机检测系统,包括:

12、样本构建模块,用于获取预处理后的全量netflow日志并提取特征字段,以所述特征字段中的同一源ip访问同一目的ip的源-目ip对作为聚合主体,在第一滑动窗口内聚合各所述源-目ip对对应的netflow日志以构建滑动时序样本;

13、初步检测模块,用于将各所述滑动时序样本依次输入预先训练好的风险主机识别模型进行初步检测,基于所述风险主机识别模型输出的识别结果确定风险主机,将所述风险主机对应的初步检测信息存储到第一事件列表中;

14、二次检测模块,用于基于预设校验规则对各所述风险主机进行二次检测,将满足所述预设校验规则的所述风险主机的对应的二次检测信息存储到第二事件列表中;

15、联合匹配模块,用于对所述第一事件列表与所述第二事件列表进行联合匹配,在所述风险主机的主机ip在预设重叠时间窗口内同时存在于所述第一事件列表与所述第二事件列表中时,将所述风险主机标记为僵尸主机。

16、本发明实施例还提出了一种电子设备,包括:至少一个处理器;以及,与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行如上所述的基于netflow日志的僵尸主机检测方法。

17、本发明实施例通过源-目ip对聚合和时序特征学习进行初步风险筛查,再通过规则校验进行二次确认,最后通过多事件列表联合匹配进行闭环判定,能够降低单纯依赖单一检测手段导致的误报,提高僵尸主机检测的准确率和可信度,同时减少对全量主机进行复杂规则校验的计算开销。