基于量子遗传算法特征选择的流量异常检测方法及系统与流程
本发明涉及信息安全,尤其涉及一种基于量子遗传算法特征选择的流量异常检测方法及系统。
背景技术:
1、网络流量异常检测是网络安全防御体系中的核心技术手段之一,旨在通过对网络数据流的实时监控与分析,识别出偏离正常行为模式的异常流量,如分布式拒绝服务攻击、端口扫描、蠕虫传播、数据泄露等恶意活动。随着网络带宽的持续增长和攻击手段的不断进步,基于机器学习的流量异常检测方法由于能够自动学习流量数据中的深层统计模式,逐渐成为主流技术路线。基于机器学习的网络流量异常检测通常需要从原始网络流量中提取大量统计特征,以实现对正常流量与攻击流量的准确区分。这些特征涵盖数据包头部字段(如协议类型、源目端口号等)、时间窗口内统计量(如单位时间包数、字节数、连接数等)、连接行为特征(如连接持续时间、往返时延、重传率等)以及载荷内容特征等。在实际系统中,为追求检测覆盖度,往往构建维度高达数十至数百维的原始特征集合。
2、然而,高维特征集合中存在大量冗余特征和与异常判定无关的噪声特征。若将所有特征直接用于模型训练,一方面导致模型计算复杂度随特征维度急剧增长,难以满足高吞吐网络环境下的实时检测需求;另一方面冗余和噪声特征会干扰分类器决策边界的正确学习,降低模型对未知样本的泛化能力。特征选择是解决上述问题的有效途径,其通过从原始高维特征集合中筛选出与分类任务最相关且彼此冗余度最小的最优特征子集,达到降维增效的目的。
3、量子遗传算法(quantum genetic algorithm, qga)作为量子理论与进化算法结合的产物,展现出种群多样性好、全局搜索能力强、收敛速度快的优势,近年来被尝试应用于特征选择。然而,现有方法在流量异常检测场景中仍存在以下局限性:一是适应度评估成本过高,量子遗传算法每代需对种群中全部个体分别构建特征子集并训练分类器以计算适应度值,当特征维度高且种群规模大时累计训练次数较高,计算开销严重制约了种群规模与迭代代数,导致搜索深度不足,难以在高维空间中找到优质特征子集;二是后期种群多样性退化易陷入局部最优,在搜索过程中,种群内各量子比特概率幅逐渐趋于集中,多样性快速丧失,已有方法采用随机重置概率幅的方式进行扰动以尝试跳出局部最优,但该方式缺乏方向性引导,可能破坏已探索到的优良特征组合,进一步拖慢收敛进程。
4、公开于该背景技术部分的信息仅仅旨在加深对本发明的总体背景技术的理解,而不应当被视为承认或以任何形式暗示该信息构成已为本领域技术人员所公知的现有技术。
技术实现思路
1、本发明提供了一种基于量子遗传算法特征选择的流量异常检测方法及系统,从而有效解决背景技术中的问题。
2、为了达到上述目的,本发明所采用的技术方案是:一种基于量子遗传算法特征选择的流量异常检测方法,包括如下步骤:
3、获取网络流量的原始特征矩阵,基于特征重要性度量方法计算各特征的初始重要性分数;
4、根据所述初始重要性分数初始化量子比特概率幅,构建量子种群并通过观测操作将量子染色体坍塌为二进制特征掩码向量;
5、对所述量子种群执行分层适应度评估,基于互信息对全部个体计算预评估价值,选取预评估价值排名靠前的个体作为精英候选并训练分类器计算精确适应度值,非精英个体的适应度值通过其特征掩码向量与精英候选个体的特征掩码向量的相似度加权插值估算;
6、根据种群多样性度量指标判定是否触发定向扰动,当种群多样性低于预设阈值时从历史精英片段记忆库中采样精英片段并对非精英个体实施定向赋值,否则执行量子旋转门更新,迭代至收敛后输出最优特征子集;
7、基于所述最优特征子集训练异常检测分类器,对实时网络流量提取对应特征并输入所述异常检测分类器进行异常判定。
8、进一步地,所述原始特征矩阵的构建方式为:
9、对捕获的网络数据包进行协议解析,按照网络流五元组将数据包聚合为网络流,对每条网络流计算多维统计特征;
10、所述多维统计特征包括数据包数量统计特征、数据包长度统计特征、时间相关特征、连接行为特征和流量载荷内容特征;
11、对所述多维统计特征进行归一化处理得到所述原始特征矩阵。
12、进一步地,所述初始重要性分数的计算方式为:
13、在归一化后的全部特征上训练随机森林分类器,将所述随机森林分类器中各特征作为分裂节点时贡献的基尼系数下降量的平均值作为该特征的初始重要性分数,并对所述初始重要性分数进行缩放处理映射至预设区间。
14、进一步地,所述精确适应度值的计算采用双目标优化规则:
15、以召回率和假阳性率作为评价指标,当当前最优召回率低于预设召回率收敛阈值时,以召回率为首要优化目标计算所述精确适应度值;
16、当当前最优召回率不低于所述召回率收敛阈值时,在保持高召回率基础上最小化假阳性率计算所述精确适应度值。
17、进一步地,所述历史精英片段记忆库的构建方式为:
18、在每一代完成适应度评估后,统计精英候选集合中各特征在特征掩码向量中的出现频率;
19、提取出现频率高于预设频率阈值的特征构成精英片段,将所述精英片段存入所述历史精英片段记忆库并记录其累计出现次数。
20、进一步地,所述定向赋值的实施方式为:
21、从所述历史精英片段记忆库中以正比于片段累计出现次数的权重采样获取精英片段,对当前种群中预设比例的非精英个体实施定向赋值;
22、将所述精英片段对应特征位的量子比特概率幅设置为高选中概率,对非精英片段对应特征位施加小幅随机旋转。
23、进一步地,所述量子旋转门更新的方式为:
24、维护全局最优个体记录,各量子比特概率幅向所述全局最优个体的对应概率幅方向偏转一个基旋转角度;
25、所述基旋转角度的旋转方向根据当前概率幅与所述全局最优个体的概率幅的相位角差异确定;
26、以预设变异概率对部分量子比特执行量子非门操作,交换所述量子比特的概率幅取值。
27、本发明还包括一种基于量子遗传算法特征选择的流量异常检测系统,使用如上述的方法,所述系统包括:
28、特征提取与重要性度量模块,用于获取网络流量的原始特征矩阵,基于特征重要性度量方法计算各特征的初始重要性分数;
29、量子种群初始化模块,用于根据所述初始重要性分数初始化量子比特概率幅,构建量子种群并通过观测操作将量子染色体坍塌为二进制特征掩码向量;
30、分层适应度评估模块,用于对所述量子种群执行分层适应度评估,基于互信息对全部个体计算预评估价值,选取预评估价值排名靠前的个体作为精英候选并训练分类器计算精确适应度值,非精英个体的适应度值通过其特征掩码向量与精英候选个体的特征掩码向量的相似度加权插值估算;
31、量子进化模块,用于根据种群多样性度量指标判定是否触发定向扰动,当种群多样性低于预设阈值时从历史精英片段记忆库中采样精英片段并对非精英个体实施定向赋值,否则执行量子旋转门更新,迭代至收敛后输出最优特征子集;
32、异常检测模块,用于基于所述最优特征子集训练异常检测分类器,对实时网络流量提取对应特征并输入所述异常检测分类器进行异常判定。
33、本发明还包括一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时,实现如上述的方法。
34、本发明还包括一种存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如上述的方法。
35、本发明的有益效果为:通过先验引导初始化、分层适应度评估与定向记忆扰动三种机制的协同,以受控的计算开销实现高质量的网络流量特征选择。在初始化阶段,以特征重要性度量结果直接引导量子比特概率幅的初始取值,使重要性较高的特征在初始种群中具有更高的被选中概率,种群搜索方向在起始阶段即获得先验信息的有效指引,加速收敛进程。在进化过程中,采用基于互信息的预评估策略对所有个体进行快速排序,仅对排序靠前的精英候选个体执行精确适应度评估,其余个体的适应度值通过与精英个体特征选择的相似度进行加权插值估算,从而将每代需精确评估的个体数量控制在远小于种群规模的范围内,在不显著牺牲评估精度的前提下大幅降低计算开销。当种群多样性度量指标低于预设阈值时,从历史精英片段记忆库中采样优良特征组合,对非精英个体实施定向赋值扰动,将搜索扰动方向限定在已验证有效的特征组合范围之内,在保护已探索优良特征结构的前提下引导种群跳出局部最优。在相同计算预算约束下,本发明可比常规全量精确评估方案支持更大的种群规模和更多的迭代代数,从而获得分类性能更优的特征子集,提升后续网络流量异常检测的准确性。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com