一种基于XGBoost的RDMA网络性能异常检测方案
本发明属于计算机网络安全领域,具体涉及一种基于xgboost的rdma网络性能异常检测方案。
背景技术:
1、在云计算、大数据以及人工智能技术快速发展的背景下,远程直接内存访问(remote direct memory access,rdma)技术通过允许网卡绕过操作系统内核直接访问远端主机内存,实现了端到端数据的直接传输,显著降低了通信时延并减少了cpu资源开销。因此,基于融合以太网的rdma(rdma over converged ethernet,roce)技术被广泛部署于现代数据中心网络中,成为支撑分布式机器学习、云存储等高并发应用的核心网络基础设施。
2、然而,rdma在以太网环境中的高性能极度依赖于无损的网络传输环境。由于rdma缺乏完善的丢包恢复机制,一旦发生数据包丢失,往往会导致吞吐性能急剧下降。为避免缓冲区溢出引发丢包,roce网络广泛引入了基于优先级的流控(priority-based flowcontrol,pfc)机制。当交换机某一优先级队列的缓存达到阈值时,会向上游发送pause帧,要求上游在局部范围内快速暂停数据发送。
3、尽管pfc机制在一定程度上构建了近似无损的传输环境,但在复杂网络场景中往往会产生严重的副作用。由于pfc是逐级向上游传播的粗粒度反压机制,在多对一的高强度汇聚拥塞场景下,暂停信号极易沿网络拓扑逐跳传播,引发拥塞扩散与队头阻塞。在更复杂的流量交互场景下,甚至会诱发大范围的pfc风暴或网络死锁,使得大量正常流量无法传输,严重威胁数据中心关键业务的连续性与可用性。
4、目前,数据中心网络的异常检测方案大多依赖固定阈值判定或通用流量统计规则。然而,rdma网络因采用内核旁路与协议卸载技术,使得传统基于操作系统内核的网络监测手段表现出明显的不足。具体而言,rdma的性能瓶颈高度依赖于底层的流控交互,该过程在常规监测视角下具有显著的隐蔽性;脱离了内核缓冲的流量特征呈现出极强的突发性,表现为剧烈的时序波动状态;不同故障机制引发的宏观表象往往高度耦合,使得表现相似的复杂异常难以区分。上述特性使得rdma网络性能异常检测面临三大核心挑战:对流量特征的表示能力不足,对动态场景的检测精度受限,对复杂异常的区分能力较弱。
5、对流量特征的表示能力不足,现有监测特征难以全面刻画rdma底层控制机制。传统网络检测往往依赖数据包数量、吞吐量等宏观流量特征。然而在rdma网络中,性能瓶颈往往由底层的控制帧交互引发。如果缺乏对pfc触发次数、队列反馈(queue feedback,qfb)触发次数等协议级控制层面事件的深度提取与建模,异常检测模型将丢失最核心的判断依据,导致特征空间无法真实反映网络拥塞的演化状态。
6、对动态场景的检测精度受限,现有方法难以适应rdma网络流量的强突发性与强波动性。现代数据中心的业务负载变化极快,网络指标在短时间内会发生剧烈波动。基于静态阈值的规则检测在面对瞬时的突发注入时极易产生大量误报;而常规的轻量级机器学习算法在处理高动态、非线性的网络时序特征时,泛化能力不足,难以在复杂变化的数据流中维持较高的检测准确率。
7、对复杂异常的区分能力较弱,现有模型难以厘清多因素耦合下的异常成因。在rdma网络中,不同机制引发的异常在宏观表象上往往高度相似。例如,链路带宽受限与pfc风暴都会导致网络整体吞吐量下降并伴随排队延迟上升。传统监督学习模型由于缺乏对pfc事件占比等机制级比例特征以及吞吐量差值等时间动态特征的融合分析,往往只能发现网络出现异常,却无法准确归类具体是哪种异常,从而无法为后续的故障定位提供有效指导。
8、本发明提出一种基于xgboost的rdma网络性能异常检测方案。方案分为特征建模、模型学习与状态决策三个阶段,旨在特征层面充分融合rdma流控机制信息,并在算法层面引入具有非线性拟合与多分类能力的机器学习模型,以实现对rdma网络复杂异常的精准识别与分类。首先,特征建模阶段引入时间窗口机制,对连续的网络日志进行离散化处理,构建涵盖绝对计数、相对比例与动态变化的多维特征空间,以突破单类特征表示能力不足的瓶颈。其次,模型学习阶段将构建的多维特征向量输入xgboost多分类模型中进行训练,借助梯度提升树架构强大的非线性拟合优势,有效提升模型在复杂场景下的分类精度。最后,状态决策阶段将学得的决策逻辑部署于网络监测终端,通过对在线日志流的解析与推理,由模型直接输出当前网络所处的运行状态,实现对多种复杂异常的精准分类。
技术实现思路
1、针对目前rdma网络异常检测方案存在的流量特征表示能力不足、动态场景检测精度受限、复杂异常区分能力较弱的问题,本发明提出一种基于xgboost的rdma网络性能异常检测方案。该方案通过时间窗口机制提取多维rdma运行特征,利用xgboost模型进行多分类判定,在保证较高检测精度的同时,实现各类异常场景的精准区分。
2、本发明为实现上述目标所采用的技术方案为,一种基于xgboost的rdma网络性能异常检测方案,主要包括三个步骤:特征建模、模型学习与状态决策。
3、1. 特征建模。在给定的时间窗口 内对rdma网络日志进行统计与聚合,将连续的网络事件转化为结构化数据,并筛选构建维度为12的特征向量 。由于rdma网络事件具有微秒级的突发特性,为在信息完整性与数据稳定性之间取得平衡,本发明选定的作为滑动时间窗口的 值具有以下特征:在此 值附近,模型性能达到相对最优状态,但此后性能提升的速率明显下降,说明在该尺度下,特征信息已经基本能够充分表达异常模式。该步骤具体包括基础特征提取和比例与动态特征构建。
4、1.1 基础特征提取。统计窗口 内流量的基础性能指标与典型事件频次,提取时间窗口标识 、节点编号 、数据包数量 、吞吐量 ,并针对rdma无损网络特性,提取pfc事件次数 、qfb事件次数 以及丢包事件次数 。这些基础事件直接反映了链路的绝对负载与拥塞指示情况。
5、1.2 比例与动态特征构建。为消除不同时间窗口间绝对数据规模差异带来的影响,使模型更加关注事件结构的变化而非绝对数量,计算各类事件在当前窗口内的占比。设第 个时间窗口内节点处理的常规数据包总数为 ,pfc事件次数为 ,qfb事件次数为 ,丢包事件次数为 ,pfc事件占比、qfb事件占比、丢包事件占比的计算公式分别如下:
6、 ,
7、,
8、,
9、进一步地,设定 与 分别为当前窗口 与上一窗口 的吞吐量。由于rdma网络的异常往往表现为随时间演化的剧烈波动,本文通过吞吐量差值和队列压力两个动态特征来捕捉网络状态的演化趋势。具体而言,时间窗口间的吞吐量差值的计算公式如下:
10、,
11、表示拥塞传播与流控行为的队列压力的计算公式如下:
12、。
13、2. 模型学习。为应对rdma异常在时空上的强耦合性与非线性,本发明基于包含正常与多类异常流量的数据集,该数据集通过对仿真拓扑的链路带宽、时延、数据流速率等参数进行随机变异生成,以保证数据分布的多样性。利用提取出的12维特征向量作为训练样本,训练xgboost多分类异常检测模型,该步骤具体包括树提升多分类训练和模型性能量化与收敛。
14、2.1 树提升多分类训练。利用训练集对xgboost模型进行迭代训练。xgboost通过最小化包含正则化项的目标函数来抑制模型复杂度,设 为回归树总数,则训练完成的模型可表示为 ,单棵回归树 根据特征向量 中特征值的二叉树划分边界分配对应叶子节点得分,最终通过softmax等函数将其映射为属于不同网络运行状态的概率分布。
15、2.2 模型性能量化与收敛。利用独立划分的验证集对训练的模型进行验证,通过统计预测结果与真实标签间的一致性关系,计算真正例 、假正例 、假负例 与真负例 。为避免单一指标或类别不平衡带来的评价偏差,计算整体准确率 以及综合精确率与召回率的f1值 。当模型在验证集上的宏平均 达到设定的精度阈值时,停止迭代,完成模型决策边界的学习。
16、3. 状态决策。将步骤2学得的异常检测模型决策逻辑部署至监测端口,实现对rdma网络状态的实时判定,该步骤具体包括特征在线提取和异常类别映射。
17、3.1 特征在线提取。本发明在监测端通过连续滑动窗口解析网络通信日志。为规避复杂的数据包深度检测开销,采用如下规则在原始日志流中进行轻量级模式匹配,并计算产出12维特征向量 :当单条日志中包含"qbb"字段标识时,则判定为发生一次pause帧发送事件,令 ;当包含"qfb="字段标识时,判定为发生一次交换机队列反馈事件,令 ;当同时包含"d"标志位及"nodelist"字段标识时,判定为发生一次链路丢包事件,令。
18、3.2 异常类别映射。将线上的特征向量 输入至部署好的xgboost异常检测模型中,模型计算各决策树叶子节点的权重求和,并通过softmax函数输出一个包含8个维度的概率分布向量,代表当前网络状态属于各类别的置信度。随后,系统采用argmax函数提取概率分布向量中数值最大的类别索引作为最终决策结果。在异常判定逻辑上:若最大概率指向基准状态normal,则判定当前rdma网络无拥塞与丢包干扰,运行正常;若最大概率指向其余7类状态,则判定网络发生性能异常,系统进一步将其映射并告警为具体的异常类别,具体异常类别包括以下7种:多源向单宿聚合发送引发队列积压的汇聚拥塞incast、链路随机丢弃导致重传的丢包异常packet_loss、链路带宽受限引发持续排队的带宽瓶颈bandwidth_bottleneck、传播时延升高导致端到端响应延迟的高时延high_delay、频繁触发导致网络大范围级联阻塞的pfc风暴pfc_storm、数据流循环依赖导致pfc闭环阻塞网络的死锁deadlock、以及短时超高流量突发引发的突发注入burst_injection。
19、有益效果
20、本发明提出的一种基于xgboost的rdma网络性能异常检测方案,充分结合了rdma底层无损网络机制。通过在特征建模中引入pfc事件、qfb事件及丢包事件等机制级特征,该方案弥补了传统流量特征难以刻画控制帧交互行为的缺陷。此外,利用xgboost强大的非线性拟合能力,该方案实现了复杂流量环境下的高准确率异常检测。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com