一种规则协同大模型的弱监督多视角变换器分类方法

摘要: 本发明涉及网络流量分类与人工智能,更具体的说是涉及一种规则协同大模型的弱监督多视角变换器分类方法。背景技术:1、随着传输层安全协议、虚拟专用网络和物联网加密通信...
一种规则协同大模型的弱监督多视角变换器分类方法

本发明涉及网络流量分类与人工智能,更具体的说是涉及一种规则协同大模型的弱监督多视角变换器分类方法。

背景技术:

1、随着传输层安全协议、虚拟专用网络和物联网加密通信的普及,传统依赖明文载荷的深度包检测方法在许多场景中难以直接应用,网络管理与安全分析转而更多地利用包长、包间到达时间、方向序列、连接持续时间和流级统计量等在加密条件下仍可获取的侧信道信息。这些信息分布在不同时间尺度和特征空间中,包序列描述局部交互过程,流级统计量反映整体连接行为,协议和连接元数据提供额外上下文。

2、早期加密流量分类主要依赖人工设计的统计特征,并结合随机森林、支持向量机或梯度提升模型完成分类。这类方法实现简单、特征含义明确,但结果容易受特征选择和数据分布变化的影响,当协议实现、应用行为或网络环境发生变化时,固定特征与原有决策边界可能不再适用。随后,卷积神经网络与transformer等深度模型被用于直接学习包序列或流序列表示,并进一步出现了采用上下文预训练、掩码建模和流片段表示的方法。这些方法提高了序列信息的利用程度,但多数仍需要人工标注数据,且输入通常集中于包、字节或流片段序列;当任务同时依赖统计边界、协议上下文和时序行为时,仅使用单一表示方式难以覆盖全部判别信息。

3、在标注方面,网络流量的类别判断往往需要结合协议知识、安全日志和场景信息,逐样本标注成本较高,限制了训练数据规模。弱监督方法可利用规则或启发式信息生成近似标签,但规则覆盖范围有限,同一样本可能同时触发多条相互冲突的规则,单独依赖规则容易产生未覆盖样本和冲突标签。大语言模型虽具备指令跟随与结构化提示能力,可根据流量摘要、规则结果和候选类别提供辅助判断,但其输出受提示方式和输入信息影响,不能直接等同于真实标签。

4、在特征组织方面,包长、时间和方向具有序列属性,流级统计量属于固定维度结构化特征,协议/连接上下文提供上下文信息,若直接将这些特征拼接为一个向量,模型难以明确区分各类特征的来源,容易使占主导地位的统计模式掩盖较弱的时间或方向关系。在类别边界方面,虚拟专用网络流量与部分普通加密流量可能具有相近的持续时间、包长分布和传输节奏,多种拒绝服务类攻击在较短观察窗口内也可能表现出类似的连接频率和突发速率;transformer主要处理序列和跨视角关系,而树模型更适合处理统计特征中的非线性阈值和特征交互,单一模型难以同时兼顾序列依赖与结构化决策边界。因此,如何在不访问明文载荷的前提下组织多源可观测信息、减少对人工标签的依赖并修正相似类别间的边界混淆,成为加密流量细粒度分类中需要解决的技术问题。

5、因此,如何提供一种规则协同大模型的弱监督多视角变换器分类方法,在不访问明文载荷的前提下组织多源可观测信息、减少对人工标签的依赖并修正相似类别间的边界混淆是本领域技术人员亟需解决的问题。

技术实现思路

1、有鉴于此,本发明提供了一种规则协同大模型的弱监督多视角变换器分类方法,旨在解决在不访问明文有效载荷且人工标签不足的条件下,如何可靠地生成训练用弱标签、如何保留不同类型流量信息之间的结构差异并学习跨视角关联,以及如何利用结构化决策信息修正相似类别之间的边界混淆,从而提高加密流量细粒度分类的准确性的技术问题。

2、为了实现上述目的,本发明采用如下技术方案:

3、一种规则协同大模型的弱监督多视角变换器分类方法,包括以下步骤:

4、s1、在不访问明文有效载荷的条件下,从加密流量样本中提取包长序列、包间到达时间序列、流向序列、流级统计量以及协议/连接上下文信息五类可观测特征;

5、s2、由规则系统根据所述可观测特征输出候选类别及对应置信度,对于规则结果明确且最大规则置信度不低于预设阈值的样本,直接保留规则侧类别概率分布;对于规则冲突、规则未覆盖或最大规则置信度低于所述预设阈值的样本,将由流量统计摘要、协议元数据、规则匹配结果和候选类别集合组成的结构化描述输入大语言模型,使所述大语言模型在所述候选类别集合限定的类别空间内输出辅助类别判断,并按照规则侧的可靠程度融合规则系统与大语言模型的输出,得到各训练样本的弱标签及样本置信度;

6、s3、将所述包长序列、包间到达时间序列和流向序列分别经独立的嵌入层编码,将所述流级统计量和协议/连接上下文信息分别经投影层变换,并为各编码结果加入位置编码和视角类型编码,再与分类标记组合为具有来源标识的分组token序列;

7、s4、将所述分组token序列输入transformer学生模型,经多层自注意力学习同一视角内部的顺序依赖以及不同视角之间的跨视角关联,从编码结果中获得各视角对应的聚合表示,根据当前样本的表示动态计算各视角权重并加权融合得到融合表示,经分类头输出学生类别概率分布;

8、s5、以所述流级统计量和在线推理阶段可获得的结构化元数据为输入训练基于catboost或lightgbm的结构化教师模型,由其输出教师类别概率分布,并以所述弱标签为监督、以所述样本置信度对损失贡献加权,同时以所述教师类别概率分布为软目标通过知识蒸馏约束所述transformer学生模型,联合优化所述transformer学生模型的参数;

9、s6、对待分类的新加密流量执行与训练阶段一致的特征提取和分组token构建,由所述transformer学生模型和所述结构化教师模型分别输出类别概率分布,按照验证集确定的融合系数对两者进行概率融合得到最终类别概率并确定预测类别,在线推理阶段不调用大语言模型且不执行规则匹配。

10、进一步的,当规则匹配结果稳定且最大规则置信度不低于预设阈值时,不调用大语言模型,直接采用规则系统输出;当规则发生冲突、规则未覆盖或最大规则置信度低于所述预设阈值时,调用大语言模型,并按照规则侧可靠程度确定规则系统输出与大语言模型输出在弱标签分布中的融合权重;对于低置信度样本不予删除,而在参数更新中降低其损失贡献。

11、进一步的,所述流级统计量包括连接持续时间、数据包数量、总字节数、平均包长、包长离散程度、上下行比例以及活跃时间和空闲时间;所述协议/连接上下文信息包括在线推理阶段可获得的协议类型、端口类别、其他在线可获取的连接元数据;真实类别、攻击名称、文件名、样本编号以及测试集统计量不作为模型输入。

12、进一步的,对不同长度的包长序列、包间到达时间序列和流向序列采用截断和填充获得统一输入长度,并使用掩码区分真实位置和填充位置;对持续时间、字节数及长尾统计特征进行标准化或对数变换,所述标准化或对数变换的参数仅由训练集估计并应用于验证集和测试集。

13、进一步的,包长序列、包间到达时间序列和流向序列的编码结果保留各自的局部序列关系,流级统计量和协议/连接上下文信息的编码结果形成相对独立的结构化token组,使不同来源的信息在输入transformer学生模型之前保持结构边界,使transformer学生模型基于视角类型编码区分各视角内部关系,并通过自注意力机制建立不同视角之间的关联。

14、进一步的,所述根据当前样本的表示动态计算各视角权重并加权融合,包括通过可学习评分函数对各视角的聚合表示进行评分,依据当前样本的表示计算各视角权重,使不同流量样本形成不同的视角信息组合。

15、进一步的,所述结构化教师模型与所述transformer学生模型处理不同的表示空间,所述transformer学生模型处理分组多视角token并建模序列关系与跨视角依赖,所述结构化教师模型在结构化特征空间中建立非线性决策边界;所述结构化教师模型的输入不包含真实类别名称、文件名、样本编号及能够直接暴露样本来源的信息。

16、进一步的,所述联合优化的目标包括以所述弱标签为目标、以所述样本置信度加权的交叉熵分类损失,以及约束教师类别概率分布与学生类别概率分布之间差异的kullback-leibler散度蒸馏损失,并加入正则化项,所述蒸馏损失项的贡献由权重系数控制。

17、进一步的,所述概率融合是在统一类别空间内对transformer学生模型和结构化教师模型的软预测结果进行加权组合;所述融合系数依据验证集结果确定,测试集仅用于最终性能计算。

18、进一步的,所述弱标签及样本置信度仅用于离线训练阶段,验证集使用数据集提供的标准标签进行模型选择,测试集使用所述标准标签进行最终性能评价;规则系统与大语言模型仅参与离线训练数据构建,在线推理阶段仅执行特征提取、多视角token构建、transformer学生模型预测、结构化教师模型预测及概率融合。

19、相较于现有技术,本发明的有益效果为:

20、规则系统与大语言模型分工协同,规则结果明确且置信度达到预设阈值的样本直接采用规则输出,大语言模型在候选类别约束下仅辅助处理规则冲突、规则未覆盖或最大规则置信度低于所述阈值的样本,并以样本置信度控制低可靠标签对训练的影响,在减少人工标注依赖的同时降低了错误标签的干扰。

21、将包长、包间到达时间、流向、流级统计量和协议/连接上下文分别组织为分组token,保留了各类输入的结构边界,使transformer能够区分视角内部关系并建立跨视角关联,并通过样本级自适应权重融合不同视角信息,避免了异构特征被过早混合。

22、结构化教师模型在统计特征空间建立非线性决策边界,通过知识蒸馏和概率融合补充transformer学生模型在结构化边界上的不足,且教师与学生处理不同表示空间而非简单重复预测。

23、规则系统与大语言模型仅参与离线训练数据构建,在线推理仅保留特征提取、学生预测、教师预测和概率融合,不增加逐样本大语言模型调用成本。