基于提示词的恶意流量分类模型的训练方法、分类方法及系统

摘要: 本发明涉及网络安全,尤其涉及一种基于提示词的恶意流量分类模型的训练方法、分类方法及系统。背景技术:1、网络流量分类是维护互联网服务安全性与可信度的核心技术手段。...
基于提示词的恶意流量分类模型的训练方法、分类方法及系统

本发明涉及网络安全,尤其涉及一种基于提示词的恶意流量分类模型的训练方法、分类方法及系统。

背景技术:

1、网络流量分类是维护互联网服务安全性与可信度的核心技术手段。随着网络攻击手段日益复杂多样,部署能够精准识别各类恶意流量的检测系统至关重要。

2、现有恶意流量检测方法主要沿着两条技术路径展开。其一是基于深度学习的方案,将流量特征转化为图像或序列形式,利用卷积神经网络(cnn)完成端到端的流量识别;其二是基于预训练模型的方法,通过预训练架构学习流量报文的上下文表征,或采用提示词微调大语言模型(llm)以进一步提升检测精度与泛化能力。

3、然而,现有技术仍存在显著缺陷。网络流量数据与自然语言文本存在模态鸿沟,直接采用原始字节序列缺乏语义结构,采用纯统计特征向量则无法刻画流级与报文级属性间的上下文关联,导致缺乏大语言模型可理解的标准化流量语义表示。与此同时,现有微调方案普遍缺乏面向流量分类任务的提示工程策略,难以激活大语言模型的领域知识并建立任务导向的特征学习机制,致使模型难以捕获良性与恶意流量间的关键判别模式,跨场景泛化能力较弱。此外,真实网络环境中的类别不平衡问题尤为突出,恶意流量样本数量远少于良性流量,模型易过拟合于多数类样本的表层特征,对少数类攻击变种及未知威胁的决策边界稳定性不足,难以满足动态对抗环境下的稳健检测需求。另外,现有微调方案通常需更新大语言模型的全部参数,并针对每个应用场景保存完整的模型副本,训练与存储开销大,难以满足多场景低成本部署与灵活切换的需求。

技术实现思路

1、鉴于此,本发明实施例提供了一种基于提示词的恶意流量分类模型的训练方法、分类方法及系统,以消除或改善现有技术中存在的一个或更多个缺陷,解决网络流量数据难以转换为大语言模型可理解的文本形式、模型缺乏面向流量分类任务的提示引导而难以准确区分良性与恶意流量、恶意流量样本稀少导致少数类攻击易被漏检、以及面向多应用场景的模型微调训练与存储开销大且难以灵活适配的问题。

2、本发明的一个方面提供一种基于提示词的恶意流量分类模型的训练方法,该方法包括以下步骤:

3、获取原始网络流量数据及其流量类型标签,并从所述原始网络流量数据中提取流级五元组特征和报文级三通道特征;所述流级五元组特征包括源地址、目的地址、源端口、目的端口和传输层协议,所述报文级三通道特征包括报文字节特征、报文长度特征和报文到达间隔时间特征;

4、将所述流级五元组特征和所述报文级三通道特征转换为自然语言格式的标准化语义描述,并根据预设提示模板、所述标准化语义描述以及所述流量类型标签构造初始训练数据,所述预设提示模板为描述恶意流量分类任务的提示文本;

5、将所述初始训练数据中各流量类型标签的样本中样本数量低于预设数量阈值的样本作为少数类样本,将所述少数类样本映射为特征空间中的融合特征向量,并通过在相邻的融合特征向量之间进行插值生成合成特征向量;其中,所述融合特征向量包含所述少数类样本的文本语义信息与数值信息;

6、根据与所述合成特征向量相邻的融合特征向量对应的标准化语义描述,将所述合成特征向量还原为所述自然语言格式的标准化语义描述,得到增强训练样本,并将所述增强训练样本与所述初始训练数据合并来得到平衡训练集;所述平衡训练集中的每个样本对应一条网络流量,包含所述提示文本、所述标准化语义描述和所述流量类型标签;

7、采用所述平衡训练集训练包含预训练大语言模型基座和场景适配器的初始恶意流量分类模型,在训练过程中冻结所述预训练大语言模型基座的主干参数,基于所述预训练大语言模型基座输出的样本预测标签与所述流量类型标签的偏差构建损失函数并最小化,以更新所述场景适配器的参数;将所述预训练大语言模型基座与训练后的所述场景适配器组合,得到所述恶意流量分类模型,其中,所述场景适配器为叠加于所述预训练大语言模型基座的低秩矩阵。

8、在本发明的一些实施例中,从所述原始网络流量数据中提取所述报文级三通道特征,包括:

9、对每个报文的前六十四字节进行匿名化处理;将匿名化处理后的所述前六十四字节逐字节转换为六十四个数值,得到所述报文字节特征;记录每个报文的报文序号以及每个报文所在流的总报文数;所述报文到达间隔时间特征以毫秒为单位并保留三位小数;在所述标准化语义描述中,所述报文字节特征以十六进制文本表示。

10、在本发明的一些实施例中,所述提示文本包括任务指令、攻击类型候选列表和输出格式约束;所述攻击类型候选列表为可配置的攻击类型集合;所述输出格式约束限定所述预训练大语言模型基座仅以固定句式输出所述样本预测标签且不附加解释性内容,所述固定句式包含流量判定结论和攻击类型结论。

11、在本发明的一些实施例中,基于流量领域语料,采用字节对编码算法训练得到流量领域专用的字节对编码分词器;所述预训练大语言模型基座以所述提示文本和所述标准化语义描述为输入,包括:

12、采用所述字节对编码分词器对所述标准化语义描述进行分词,并将分词后的所述标准化语义描述输入所述预训练大语言模型基座。

13、在本发明的一些实施例中,将所述少数类样本映射为特征空间中的融合特征向量,包括:

14、通过预训练文本嵌入模型将所述少数类样本对应的所述标准化语义描述编码为文本嵌入向量,以所述文本嵌入向量作为所述文本语义信息;提取所述少数类样本的数值特征构成数值特征向量,以所述数值特征向量作为所述数值信息,所述数值特征包括所述报文字节特征、所述报文长度特征、所述报文到达间隔时间特征、报文序号、报文所在流的总报文数和流中的平均报文长度;拼接所述文本嵌入向量与所述数值特征向量,得到所述融合特征向量。

15、在本发明的一些实施例中,所述预设数量阈值为各所述流量类型标签的样本数量的中位数;在相邻的所述融合特征向量之间进行插值,生成合成特征向量,包括:

16、对于每个所述少数类样本对应的所述融合特征向量,在所述特征空间中选取与其相邻的所述融合特征向量,选取数量的计算式为:

17、;

18、其中,k表示所述选取数量;c表示所述流量类型标签的数量;

19、在所述少数类样本对应的所述融合特征向量与选取的所述融合特征向量之间进行线性插值,生成所述合成特征向量,所述线性插值的插值系数为大于0且小于1的随机数。

20、在本发明的一些实施例中,所述根据与所述合成特征向量相邻的融合特征向量对应的标准化语义描述,将所述合成特征向量还原为所述自然语言格式的标准化语义描述,得到增强训练样本,包括:

21、在各所述融合特征向量中搜索与所述合成特征向量距离最近的融合特征向量;以搜索到的所述融合特征向量对应的标准化语义描述为参考模板;将所述合成特征向量中的数值特征取整后更新至所述参考模板的相应字段,并将更新至所述参考模板中的字节数值转换为十六进制文本,得到所述增强训练样本的所述标准化语义描述。

22、在本发明的一些实施例中,所述低秩矩阵的秩为预设数值;基于所述样本预测标签与所述流量类型标签的偏差构建损失函数并最小化,包括:

23、所述损失函数为交叉熵损失函数;各所述流量类型标签的损失权重的计算式为:

24、;

25、其中,表示流量类型标签对应的所述损失权重;表示所述平衡训练集的样本总数;表示所述流量类型标签的数量;表示流量类型标签的样本数量;

26、对输入所述预训练大语言模型基座的文本进行掩码处理,仅根据所述样本预测标签部分的输出计算所述损失函数;每间隔预设步数在验证集上执行一次验证,当当前次验证的验证损失相较三次验证前的验证损失的下降量小于千分之一时,停止训练,并保存验证损失最优的模型检查点。

27、另一方面,本发明还提供一种基于提示词的恶意流量分类方法,该方法包括以下步骤:

28、获取待分类网络流量以及所述待分类网络流量所属应用场景的场景指示信息;从所述待分类网络流量中提取流级五元组特征和报文级三通道特征;将所述流级五元组特征和所述报文级三通道特征转换为自然语言格式的标准化语义描述;根据预设提示模板和所述标准化语义描述构造待分类数据,所述预设提示模板为描述恶意流量分类任务的提示文本;

29、根据预定义的场景适配器映射关系和所述场景指示信息,从多个场景适配器中匹配与所述应用场景对应的目标场景适配器,所述场景适配器为叠加于预训练大语言模型基座的低秩矩阵;

30、将所述目标场景适配器的低秩矩阵参数加载至所述预训练大语言模型基座,得到与所述应用场景对应的恶意流量分类模型,所述恶意流量分类模型由上述任一项所述的基于提示词的恶意流量分类模型的训练方法训练得到,所述训练方法针对多个应用场景分别训练得到所述多个场景适配器;

31、将所述待分类数据输入所述恶意流量分类模型,得到所述待分类网络流量的恶意流量分类结果。

32、另一方面,本发明还提供一种基于提示词的恶意流量分类系统,该系统包括:

33、流量特征提取与格式化模块,获取待分类网络流量以及所述待分类网络流量所属应用场景的场景指示信息,从所述待分类网络流量中提取流级五元组特征和报文级三通道特征,将所述流级五元组特征和所述报文级三通道特征转换为自然语言格式的标准化语义描述,并根据预设提示模板和所述标准化语义描述构造待分类数据,所述预设提示模板为描述恶意流量分类任务的提示文本;

34、适配器调度与组装模块,存储多个场景适配器,根据预定义的场景适配器映射关系和所述场景指示信息,从所述多个场景适配器中匹配与所述应用场景对应的目标场景适配器,所述场景适配器为叠加于预训练大语言模型基座的低秩矩阵,并将所述目标场景适配器的低秩矩阵参数加载至所述预训练大语言模型基座,得到与所述应用场景对应的恶意流量分类模型,所述恶意流量分类模型由上述任一项所述的基于提示词的恶意流量分类模型的训练方法训练得到;

35、推理分类模块,将所述待分类数据输入所述恶意流量分类模型,得到所述待分类网络流量的恶意流量分类结果。

36、本发明提供一种基于提示词的恶意流量分类模型的训练方法、分类方法及系统,通过提取流级五元组特征和报文级三通道特征并转换为标准化语义描述,解决流量结构异构、大模型难以理解的问题;结合预设提示模板构造初始训练数据,降低大模型的流量理解难度;将少数类样本映射为融合特征向量并插值还原,缓解流量类别不平衡,使数据分布贴近真实流量;将低秩矩阵场景适配器叠加于预训练大语言模型基座,冻结主干参数仅训练场景适配器,保持大模型通用能力的同时降低训练与存储开销;分场景训练并组合,避免存储完整模型副本,得到恶意流量分类模型;进而按场景指示信息匹配并加载目标场景适配器,无需重新训练即可适配差异化场景,规范化输出分类结果,提高分类精度与效率;流量特征提取与格式化、适配器调度与组装、推理分类三模块协同执行训练与分类过程,支撑一体化平台与轻量化部署。

37、进一步的,本发明还采用流量领域语料训练的字节对编码分词器进行分词,避免流量专业词汇被错误切分,保持流量语义完整;以仅含流量判定结论和攻击类型结论的固定句式约束输出,使分类结果便于解析与评估;以类别权重构建损失并对输入文本掩码,仅计算输出部分损失,防止模型偏向多数类样本。

38、本发明的附加优点、目的,以及特征将在下面的描述中将部分地加以阐述,且将对于本领域普通技术人员在研究下文后部分地变得明显,或者可以根据本发明的实践而获知。本发明的目的和其它优点可以通过在说明书以及附图中具体指出的结构实现到并获得。

39、本领域技术人员将会理解的是,能够用本发明实现的目的和优点不限于以上具体所述,并且根据以下详细说明将更清楚地理解本发明能够实现的上述和其他目的。