一种分层协同的异常流量智能分析方法与流程

摘要: 本发明涉及人工智能网络安全,特别涉及一种分层协同的异常流量智能分析方法,尤其适用于云边协同等分层场景中网络流量的异常检测与可解释分析。背景技术:1、随着工业互联...
一种分层协同的异常流量智能分析方法与流程

本发明涉及人工智能网络安全,特别涉及一种分层协同的异常流量智能分析方法,尤其适用于云边协同等分层场景中网络流量的异常检测与可解释分析。

背景技术:

1、随着工业互联网、政务网络和智慧园区等场景的规模化部署,分层协同架构已成为主流部署范式,网络流量形态愈发多元复杂。在此背景下,当前异常流量检测面临以下技术问题:

2、传统异常流量检测高度依赖明文载荷解析与固定协议字段匹配,面对加密流量时无法提取有效载荷特征,难以甄别隐匿在加密隧道中的恶意攻击行为。边缘节点算力有限,无法承载高精度模型推理;中心节点算力充足但全量流量回传会导致带宽拥塞和时延激增,现有方案缺乏适配分层算力差异的协同检测架构。不同攻击流量特征差异显著,单一模型难以在所有异常类别上保持稳定性能,多类型混合异常场景下检测准确率和召回率波动较大。现有检测模型多为黑盒判定,仅输出异常标签,无法提供判定依据;大语言模型虽然可用于生成解释,但也存在解释缺乏定量事实基础、易产生幻觉等问题。

3、因此,亟需设计一种分层协同的异常流量智能分析方法,以解决分层协同场景下加密流量特征提取困难、算力分布不均、多品类异常适配性差与检测结果不可解释等问题。

技术实现思路

1、本发明的目的是:针对现有异常流量检测方法高度依赖明文载荷解析、分层协同场景下边缘算力与中心延迟矛盾突出、单一模型难以覆盖多类异常、检测结果缺乏可解释性等问题,本发明提出一种分层协同的异常流量智能分析方法,通过边缘多模型融合检测与中心大模型可解释增强的分层协同机制,实现低时延、高精度与结果可解释兼顾的异常流量检测。

2、基于上述目的,本发明采用的技术方案为:

3、一种分层协同的异常流量智能分析方法,包括以下步骤:

4、步骤1,使用至少两个不同类型的机器学习分类器构建异构模型池;

5、步骤2,边缘节点从原始网络流量中提取多维流级特征向量;

6、步骤3,将提取的多维流级特征向量输入异构模型池中的机器学习分类器,获得各机器学习分类器的预测结果及对应的置信度分数,并进行加权融合得到综合检测结果及综合置信度;

7、步骤4,根据所述综合检测结果及综合置信度进行分流决策:

8、当综合置信度不低于第一阈值且综合检测结果为正常时,判定为高置信度正常样本,边缘节点执行全速转发,不上报中心节点;

9、当综合置信度不低于第一阈值且综合检测结果为异常时,判定为高置信度异常样本,边缘节点执行阻断并生成本地告警,将综合检测结果与综合置信度上报至中心节点;

10、当综合置信度低于第一阈值时,判定为低置信度样本,综合检测结果为正常和异常时,边缘节点均执行限速转发,将综合检测结果、综合置信度、多维流级特征向量以及异构模型池中各机器学习分类器的个体预测结果与个体置信度上报至中心节点;

11、步骤5,对于低置信度样本,中心节点接收上报信息后,以多维流级特征向量为输入,以中心节点存储的各机器学习分类器模型副本为被解释对象,分别计算各特征对各机器学习分类器预测结果的贡献度,生成各机器学习分类器的特征贡献向量并进行交叉比对,将同一特征在不同机器学习分类器间贡献方向存在分歧且加权平均贡献度高于第二阈值的特征标记为分歧归因特征;

12、步骤6,对于低置信度样本,中心节点通过大语言模型对分歧归因特征进行综合推理分析,在推理过程中按照分歧归因特征的加权平均贡献度从高到低的顺序逐层展开归因分析,同步输出最终判定结果;若最终判定结果为异常,则一并输出结构化的可解释分析结果;若最终判定结果为正常,则不输出可解释分析结果;

13、步骤7,对于低置信度样本,中心节点将最终判定结果回传至边缘节点,若最终判定结果为正常,则边缘节点将对应流从限速转发恢复为全速转发;若最终判定结果为异常,则边缘节点执行阻断;

14、步骤8,中心节点结合预设的威胁知识库,生成异常检测解释报告:

15、对于高置信度异常样本,大语言模型以上报的综合检测结果与综合置信度为索引,从预设的威胁知识库中匹配对应的摘要解释模板,并将其组织为自然语言的l1摘要解释报告并输出;

16、对于低置信度样本,若最终判定结果为异常,则大语言模型根据步骤6所述可解释分析结果和预设的威胁知识库生成l2标准解释报告或l3深度解释报告;若最终判定结果为正常,则不生成解释报告。

17、进一步的,步骤2中所述多维流级特征向量以单次连接流为基本分析对象,从原始网络流量数据包序列中提取能够反映通信模式的统计特征和行为特征;所述多维流级特征向量为内容无关特征,包括流量规模与包长分布特征、时间尺度特征、方向交互特征、子流行为特征和协议指示特征。

18、进一步的,步骤4中所述第一阈值为可配置参数;所述限速转发的速率上限为可配置参数。

19、进一步的,步骤5中所述各特征对各机器学习分类器预测结果的贡献度基于以下任一种或多种方法计算:模型无关方法包括shapley值分解方法、局部可解释模型无关解释方法和置换重要性分析方法;神经网络专用方法包括积分梯度方法和逐层相关性传播方法。

20、进一步的,步骤5中所述分歧归因特征的标记方式为:

21、对于第个特征,计算其在所有机器学习分类器上贡献方向的离散度以及该特征在所有机器学习分类器上的加权平均贡献度:

22、;

23、;

24、;

25、其中,为机器学习分类器总数,为符号函数,为第个特征对第个机器学习分类器预测结果的贡献度,为第个机器学习分类器的权重;

26、当离散度的绝对值低于第三阈值,且加权平均贡献度高于第二阈值时,将第个特征标记为分歧归因特征,第二阈值和第三阈值均为可配置参数。

27、进一步的,步骤6中所述大语言模型采用贡献度优先级驱动的推理路径约束:将分歧归因特征按加权平均贡献度从高到低排序,通过结构化提示词强制大语言模型按照该顺序逐层展开归因分析;所述结构化提示词包含四个部分:第一部分为任务身份设定,用于限定大语言模型仅基于输入的特征贡献数据与威胁知识库进行分析;第二部分为调用规范,用于规定大语言模型调用外部威胁情报数据库时必须输出的检索关键词与结构化指令;第三部分为推理路径约束,用于强制大语言模型按分歧归因特征的加权平均贡献度从高到低依次分析,不得跳过高贡献特征直接输出结论;第四部分为输出格式规范,用于规定大语言模型最终输出的检测结论、特征贡献说明与异常行为描述的字段格式。

28、进一步的,步骤8所述l1摘要解释报告输出异常检测结论与风险等级提示;l2标准解释报告输出top-k个特征贡献表及大语言模型生成的异常行为场景描述;l3深度解释报告在l2基础上增加大语言模型完整推理链以及多机器学习分类器分歧的解释对比分析;其中k为可配置参数。

29、进一步的,步骤8所述中心节点生成异常检测解释报告时,中心节点动态查询外部威胁情报数据库,获取与当前异常特征关联的威胁知识,用于辅助大语言模型生成解释报告。

30、进一步的,所述步骤6之后,还包括:

31、中心节点将低置信度样本的可解释分析结果及对应的最终判定结果存入低置信度样本记忆库,经人工校验确认最终判定结果有效性后,用于对各机器学习分类器模型副本进行增量训练或微调;将训练完成后的更新模型参数下发至边缘节点,用于更新异构模型池中的对应机器学习分类器。

32、本发明与现有技术相比,取得的有益效果为:

33、(1)本发明提出了一种分层协同的异常流量智能分析方法,通过边缘多模型融合筛查与中心大模型深度解释的分层协同架构,对不同置信度水平的不同类型样本采用差异化的处置策略,在保障检测精度的同时有效降低了带宽消耗和中心处理负载,兼顾了检测低时延与高精度。

34、(2)本发明通过特征分歧归因为大语言模型提供用于解释分析的定量事实依据,有效抑制了大模型幻觉,使检测结果具备可追溯、可验证的解释依据。同时,不依赖特定的特征归因方法,具有良好的通用性和可扩展性。

35、(3)本发明支持不同层次的解释输出,适配实时运维、日常分析和深度审计等不同场景,满足不同角色的差异化解释需求。