一种基于XGBoost的RDMA网络LDoS攻击检测方案

摘要: 本发明属于计算机网络安全,具体涉及一种基于xgboost的rdma网络ldos攻击检测方案。背景技术:1、随着云计算、人工智能训练以及分布式计算的发展,数据中心...
一种基于XGBoost的RDMA网络LDoS攻击检测方案

本发明属于计算机网络安全,具体涉及一种基于xgboost的rdma网络ldos攻击检测方案。

背景技术:

1、随着云计算、人工智能训练以及分布式计算的发展,数据中心网络对于高吞吐、低时延通信提出了更高要求。远程直接内存访问(remote direct memory access,rdma)技术由于具有低延迟、高带宽和低cpu占用等特点,被广泛应用于高性能计算和数据中心网络中。

2、基于以太网的rdma网络通常采用优先级流控(priority-based flow control,pfc)机制保证数据传输可靠性。pfc通过交换机队列状态触发暂停帧,对上游数据流进行反压控制。然而,当网络中存在持续拥塞或异常流量时,pfc反压可能沿网络路径扩散,导致队列积压、传输时延增加以及网络性能下降。

3、低速率拒绝服务(low-rate denial of service,ldos)攻击利用rdma网络拥塞控制机制的特点,通过周期性低速率流量脉冲诱导网络产生持续拥塞。由于ldos攻击流量规模较低,在流量特征上与正常业务突发以及合法拥塞状态存在一定相似性,传统基于阈值的方法难以准确识别。

4、现有rdma网络异常检测方法通常采用二分类模型,仅能够判断网络是否异常,无法进一步区分正常业务突发、持续合法拥塞以及ldos攻击等不同状态。同时,传统方法主要依赖有限的流量统计信息,难以充分利用交换机队列状态、pfc流控信息等能够反映网络运行状态的底层特征。

5、带内网络遥测(in-band network telemetry,int)技术能够实时获取网络设备状态信息,为rdma网络异常检测提供了更加丰富的数据来源。然而,如何从大量遥测数据中提取有效特征,并结合机器学习方法实现对多种网络状态的准确分类,仍是目前需要解决的问题。

6、本发明提出了一种基于xgboost的rdma网络ldos攻击检测方案,能够在rdma网络中实现对ldos攻击及多种网络状态的识别。该方案首先利用int采集rdma网络中的数据流状态、pfc流控状态和交换机队列状态等多源信息,从中提取包含基础时序特征与高阶衍生特征在内的多维候选特征,构建候选特征空间;然后采用随机森林对候选特征进行重要性评估与排序,并进一步通过数字剪枝、协议约束与闭环耦合筛选,以准确率、时延、f1-score及漏报率为指标确定胜出特征子集,同时对绝对流量指标进行带宽归一化处理,构建9维核心特征向量;在此基础上,以xgboost为分类引擎,利用正常状态、瞬时突发状态、持续合法拥塞状态及ldos攻击状态四类样本训练多分类模型;最终将训练完成的模型部署于交换机或智能网卡,对实时遥测数据进行在线特征提取与推理,输出当前网络状态的细粒度分类结果。本发明在保证高检测精度的前提下,具有良好的跨带宽泛化能力和实时性,能够有效提升rdma网络对ldos攻击的主动防御能力。

技术实现思路

1、针对现有rdma网络ldos攻击检测方法难以准确区分低速率周期性攻击流量与正常状态、瞬时突发状态、持续合法拥塞状态,以及现有检测方法难以实现多种网络状态细粒度识别的问题,提出一种基于xgboost的rdma网络ldos攻击检测方案。该方案利用int获取rdma网络运行状态信息,通过特征提取与选择方法构建核心特征集合,并结合xgboost多分类模型实现对正常状态、瞬时突发状态、持续合法拥塞状态以及ldos攻击状态的识别,在保证检测准确性的同时,提高rdma网络异常状态检测的有效性和适用性。

2、本发明为实现上述目标所采用的技术方案为,基于xgboost的rdma网络ldos攻击检测方案,主要包括三个步骤:特征提取与选择、多分类模型训练和在线检测。

3、1.特征提取与选择。从int数据中提取多维候选特征并构建9维核心特征向量,具体包括两个步骤:

4、1.1特征提取与重要性评估,从int数据中提取最大序列号max_seq、最小序列号min_seq、正向发送字节数bytes_fwd、正向发送包数pkts_fwd、反向发送字节数bytes_bwd、确认包数量pkts_ack、采样时间间隔duration、队列深度enqdepth、pfc暂停帧数量pkts_pfcpause、节点级pfc权重ip_pfc_weight、流级pfc权重flow_pfc_weight 11维基础时序特征及瞬时吞吐速率bps_fwd、平均包载荷大小avg_pkt_size、瞬时吞吐量波动系数throughput_cv、队列峰均比q_par、瞬时ack响应载荷比ack_load_ratio、瞬时反向载荷比bwd_fwd_ratio 6维高阶衍生特征,构建候选特征集合:

5、,

6、其中,m表示候选特征数量,fi表示第i个网络状态特征;利用随机森林计算各特征的基尼不纯度减少量,以所述基尼不纯度减少量表示相应特征的重要性,其中基尼不纯度表示为:

7、,

8、其中,d表示当前节点样本集合,k表示网络状态类别数量,pk表示第k类样本所占比例。

9、当特征fj用于节点划分时,其基尼不纯度减少量为:

10、,

11、其中,dl和dr分别表示划分后的左右子节点样本集合;利用随机森林计算各特征的基尼不纯度减少量,以所述基尼不纯度减少量表示相应特征的重要性:

12、,

13、其中,t表示随机森林中决策树数量,δgj(t)表示第t棵决策树中第j个特征产生的不纯度减少量;按照特征重要性由高到低进行排序。

14、1.2特征选择与归一化重构,按排序结果依次选取特征,生成多维度候选子集;经数字剪枝、协议约束与闭环耦合筛选,并以准确率、时延、f1-score及漏报率为指标确定胜出特征子集;将数值随链路带宽变化的绝对流量指标经环境因子归一化,转换为相对带宽利用率,首先计算正向瞬时吞吐量:

15、,

16、其中,δbytes_fwd为采样窗口内正向发送字节变化量,δduration为采样时间间隔。进一步计算相对带宽利用率:

17、,

18、其中,link_utilization为相对带宽利用率,cenv为当前网络环境的物理链路容量上限;经过特征筛选和归一化处理后构建9维核心特征向量。

19、2.多分类模型训练。以9项核心特征向量为输入,进行多分类模型的训练,具体包括两个步骤:

20、2.1模型训练,采用xgboost作为多分类判别引擎,以9维核心特征为输入,使用正常状态、瞬时突发状态、持续合法拥塞状态以及发生ldos攻击状态四类样本,生成xgboost模型,其中:正常状态由平稳吞吐量和低链路负载表征;瞬时突发状态由短时队列积压形成的孤立尖峰表征;持续合法拥塞状态由端节点启用数据中心量化拥塞通知时队列深度的受控波动表征;发生ldos攻击状态由周期性低速率脉冲触发pfc反压扩散表征。设训练样本集合为:

21、,

22、其中,xi表示第i个样本的9维核心特征向量,yi表示对应网络状态类别;xgboost通过逐步构建决策树完成分类模型训练,其目标函数表示为:

23、,

24、其中,l表示损失函数,ft表示第t棵决策树,ω(ft)表示正则化约束项,用于限制模型复杂度、降低过拟合风险。

25、2.2模型验证,对训练完成的模型进行盲测与审计,具体包括:标准均衡验证集上的多分类混淆矩阵审计、非均衡全量压力盲测及错误样本机理溯源、10 gbit/s与40 gbit/s跨带宽交叉测试、混入0%~10%线性噪声的鲁棒性压力测试,以及二分类与四分类决策粒度对比审计,综合评估四分类检测性能及推理延迟。

26、3.在线检测。将训练完成的xgboost模型部署于交换机或智能网卡;在所述交换机或智能网卡的数据平面实时采集待检测int数据,按照步骤2中9项核心特征对实时采集的int数据进行特征提取,生成9维核心特征向量;将9维核心特征向量输入所述xgboost模型,输出对应于所述四类网络状态之一的分类结果,包括两个步骤:

27、3.1特征实时提取,按int数据中的源ip地址进行数据流分组,在数据平面开辟滑动时间窗:

28、,

29、其中,t表示当前检测时刻,δt表示滑动时间窗口长度;利用分组差分来实时计算流量与时延指标,并结合当前物理链路容量对绝对速率进行带宽归一化,生成所述9维核心特征向量,完成特征实时提取。所述在线特征向量表示为:

30、,

31、其中,x1至x9分别表示9项核心特征;

32、3.2模型推理与决策,将生成的9维核心特征向量输入已部署的xgboost模型,执行在线推理:

33、,

34、输出正常状态、瞬时突发状态、持续合法拥塞状态以及发生ldos攻击状态四类状态之一的识别结果,实现rdma网络ldos攻击检测。

35、有益效果

36、本发明提出的一种基于xgboost的rdma网络ldos攻击检测方案,在保证较高检测准确性的同时,降低不同链路带宽对特征分布及检测结果的影响,具有较好的泛化能力、实时性和稳定性,能够有效区分正常网络状态、瞬时业务突发状态、持续合法拥塞状态以及ldos攻击状态,实现对rdma网络ldos攻击的准确检测。