基于脉冲图像编码与时序卷积网络的轻量级加密流量识别方法

摘要: 本发明属于网络安全,具体而言,涉及基于脉冲图像编码与时序卷积网络的轻量级加密流量识别方法。背景技术:1、随着tls1.3、quic等加密协议的广泛应用,网络数据...
基于脉冲图像编码与时序卷积网络的轻量级加密流量识别方法

本发明属于网络安全,具体而言,涉及基于脉冲图像编码与时序卷积网络的轻量级加密流量识别方法。

背景技术:

1、随着tls 1.3、quic等加密协议的广泛应用,网络数据传输的私密性与完整性得到有效保障,但也使得传统依赖深度包检测(dpi)的会话流量识别技术面临严峻挑战。在此背景下,基于会话流量统计特征的加密流量识别方法已经成为了研究热点,其核心在于不解析数据包载荷内容,而是利用通信过程中产生的元数据进行识别。当前,基于深度学习的加密流量识别方法虽取得一定进展,但在实际部署中仍存在若干关键技术瓶颈,制约了其在资源受限场景下的有效应用,主要表现在以下几个方面:

2、(1)模型结构复杂,计算与存储开销大

3、现有方法为提升识别精度,常采用参数规模大、计算复杂度高的深度学习模型。例如,基于循环神经网络(如lstm)的方法因依赖序列顺序处理,难以实现并行计算,导致推理效率低下;而基于transformer架构(如et-bert)的模型虽具备较强序列建模能力,但其自注意力机制的计算复杂度随序列长度呈二次增长,在处理长会话流量序列时资源消耗显著。此外,图神经网络(如graphdapp)等方法还需额外构建会话流量图结构,进一步增加预处理负担。尽管已有研究尝试设计轻量级模型(如fs-net),通过简化网络结构降低计算负担,但其特征提取能力往往受限,难以在保持轻量化的同时实现高精度识别,导致在准确性与效率的平衡上面临挑战。上述模型均难以适配路由器、边缘网关等存储和算力有限的嵌入式设备,限制了实时会话流量分析的可实施性。

4、(2)特征表征能力有限,关键信息未能充分提取

5、现有方法在会话流量特征表示上存在明显不足。部分基于卷积神经网络(cnn)的方法将会话流量序列简单映射为一维或二维向量,为统一输入尺寸常引入大量填充值,造成信息冗余。更重要的是,此类方法通常未能有效区分客户端至服务器(c2s)与服务器至客户端(s2c)的双向会话流量交互特征,削弱了对通信行为方向性的建模能力。同时,数据包时间间隔作为反映应用行为模式的重要特征,多数方法仅作线性处理或作为辅助特征输入,未能有效刻画其多尺度、非线性的动态规律(如突发传输、心跳周期等)。即便是fs-net等注重效率的模型,在时间特征的非线性编码和双向会话流交互模式的深层表征方面仍有不足,限制了模型对复杂会话流量模式的辨识能力。

6、(3)对长尾类别适应能力差,模型泛化性能不足

7、真实网络环境中会话流量类别分布极不均衡,大量罕见应用或新型威胁的样本稀缺,形成典型的长尾分布。现有cnn、lstm等模型易对多数类样本过拟合,而对尾部类别识别效果不佳。尽管不平衡学习已有较多研究,但现有加密流量识别方法(包括fs-net等轻量模型)中往往缺乏内置的、针对会话流量数据特性的数据增强或类别平衡机制,导致模型在应对样本分布偏斜时泛化能力较弱,难以满足安全监测等场景对少数类高召回率的业务需求。

8、综上所述,现有加密流量识别方法(包括fs-net等轻量模型)在模型轻量化、特征表征有效性以及不平衡数据适应能力等方面仍存在明显不足,难以在边缘计算、嵌入式网络设备等资源受限环境下同时实现高效率与高精度的实时识别。

9、基于此,本发明提出基于脉冲图像编码与时序卷积网络的轻量级加密流量识别方法,以解决上述现有技术存在的问题。

技术实现思路

1、有鉴于此,本发明的主要目的在于提供基于脉冲图像编码与时序卷积网络的轻量级加密流量识别方法,旨在解决现有加密流量识别方法在模型轻量化、特征表征有效性以及不平衡数据适应能力等方面仍存在明显不足,难以在边缘计算、嵌入式网络设备等资源受限环境下同时实现高效率与高精度的实时识别等问题。

2、本发明技术方案是这样实现的:

3、基于脉冲图像编码与时序卷积网络的轻量级加密流量识别方法,包括步骤:

4、步骤1:从pcap原始会话流量文件中提取会话流,为每个会话流生成带方向符号的包长序列与绝对时间戳序列;

5、步骤2:计算每个会话流自首包起的累计相对时间序列,将简化后的会话流数据按类别聚合为json格式并持久化存储;

6、步骤3:初始化高度为2、宽度为n的二维数字画布,设定包长归一化上界、背景像素值及时间间隔对数分级编码参数;

7、步骤4:将会话流的数据包长度映射为画布像素的灰度值;

8、步骤5:将会话流的数据包时间间隔按预设的对数等级直接映射为画布像素的列间空隙;

9、步骤6:根据步骤4和步骤5得到的每个会话流的特征值生成(2,n)的灰度脉冲图像,并以npy格式高效存储;

10、步骤7:识别样本量稀少的少数类,对其信息量丰富的长会话流进行等长切片,独立生成新的脉冲图像以扩充训练样本;

11、步骤8:对完整数据集按标签进行分层划分并对加载数据执行归一化处理;

12、步骤9:构建轻量级tcn模型,通过堆叠具有递增膨胀率的卷积块来扩大时间感受野;

13、步骤10:采用含不平衡处理的综合策略对tcn模型进行训练;

14、步骤11:使用tcn模型对测试集进行推理并全面评估其性能;

15、步骤12:对tcn模型进行部署与资源配置。

16、在本发明的一个优选实施方式中,步骤1从pcap原始会话流量文件中提取会话流的过程包括:

17、步骤1.1:对加密会话流量数据集,采用会话流量提取工具进行处理,根据网络协议中的五元组对数据包进行分组,从而重建传输控制协议或用户数据报协议会话流;

18、步骤1.2:对每个重建的会话流,提取会话流的包长序列和时间戳序列;

19、步骤1.3:利用包数量长度过滤机制丢弃那些包数量过少的会话流。

20、在本发明的一个优选实施方式中,步骤2计算每个会话流自首包起的累计相对时间序列,将简化后的会话流数据按类别聚合为json格式并持久化存储的过程包括:

21、步骤2.1:针对每个会话流的时间戳序列,进行时间上的相对化处理,计算累计时间增量序列;

22、步骤2.2:步骤2.1完成处理后,将每个类别下的所有会话流数据聚合,并存储为一个单独的json文件,文件名与类别名对应;

23、在json文件中,每个会话流为一个独立的对象,该对象至少包含packet_length和arrive_time_delta两个关键字段。

24、在本发明的一个优选实施方式中,步骤3初始化高度为2、宽度为n的二维数字画布,设定包长归一化上界、背景像素值及时间间隔对数分级编码参数的过程包括:

25、步骤3.1:画布尺寸设定;

26、创建一个二维数字画布,高度固定为2像素,宽度为可配置的参数image_width,其中第0行固定用于表示c2s方向的会话流量,第1行固定用于表示s2c方向的会话流量;

27、步骤3.2:归一化与背景参数;

28、(1)设最大传输单元mtu作为包长到灰度映射的归一化上界,任何大于mtu的包在计算灰度时将被视为mtu;

29、(2)定义背景像素值为255,在一个8位灰度空间(0-255)中,255代表纯白色,用于填充画布上没有数据包信息的区域;

30、步骤3.3:设定时间间隔对数分级参数:

31、(1)min_time_interval:最小时间间隔阈值;

32、(2)max_time_interval:最大时间间隔阈值

33、(3)num_time_levels:时间间隔的离散等级数量;

34、基于以上参数,在微秒精度上预计算一个等比边界数组,该数组用于将任意时间间隔快速映射到一个整数等级,其具体构造方法位:

35、第0级覆盖区间[0,min),第num_time_levels-1级覆盖区间 [max, +∞);其他级别,通过以下公式计算:

36、r = (max / min) 1 / (num_time_levels - 2);

37、各级边界点为min * rk,k∈[1,num_time_levels-2],最终生成包含 num_time_levels + 1个边界值的数组,用于步骤5中进行快速查表。

38、在本发明的一个优选实施方式中,步骤4将会话流的数据包长度映射为画布像素的灰度值的过程包括:

39、步骤4.1:对于给定的会话流包长size,取步骤2中 packet_length序列中每个包长的绝对值,将该绝对值限制在[0, mtu]范围内,通过如下线性映射公式计算其灰度值为:

40、color_value = 254 - (size / mtu) * 254;

41、步骤4.2:对于会话流中的每一个数据包,根据其原始packet_length的符号,在画布的当前列指针位置、对应的行上填充该灰度值。

42、在本发明的一个优选实施方式中,步骤5将会话流的数据包时间间隔按预设的对数等级直接映射为画布像素的列间空隙的过程包括:

43、步骤5.1:间隔计算;

44、对于会话流中任意两个连续的数据包i和i+1,计算它们之间的时间间隔如下:

45、δt = arrive_time_delta[i+1] - arrive_time_delta[i];

46、步骤5.2:对数分级查找;

47、使用步骤3中预计算的等比边界数组,对δt进行查表,确定其所属的整数等级level;

48、步骤5.3:等级到像素空隙的直接映射;

49、将查找到的整数等级level直接用作像素空隙pixel_gap,即pixel_gap = level;

50、步骤5.4:列指针更新与截断;

51、在步骤4中绘制完一个数据包后,用于指示下一绘制位置的列指针将向前移动1+pixel_gap个单位;若更新后的列指针位置超出了画布宽度n,则该会话流的后续所有数据包将被舍弃,图像生成过程提前终止,实现对超长会话流的截断。

52、在本发明的一个优选实施方式中,步骤6根据步骤4和步骤5得到的每个会话流的特征值生成(2,n)的灰度脉冲图像,并以npy格式高效存储的过程包括:

53、步骤6.1:图像生成与填充;

54、对于每个会话流,执行步骤4和步骤5的循环过程,最终生成numpy数组,其形状为(2,n),数据类型为uint8;如会话流的编码过程在列指针到达n之前就结束了,那么画布上剩余未被写入的列将自动保留步骤3中初始化的背景值255,构成对短会话流的尾部填充;

55、步骤6.2:类别聚合;

56、将一个类别下所有会话流生成的(2,n) 数组在第0维进行堆叠,形成更大的三维numpy数组;

57、步骤6.3:高效存储;

58、将这个三维数组保存为二进制的*.npy文件,最终得到的数组形状为 (num_flows, 2, n);

59、其中num_flows是该类别的会话流的总数,*.npy文件格式支持内存映射读取。

60、在本发明的一个优选实施方式中,步骤8对完整数据集按标签进行分层划分并对加载数据执行归一化处理的过程包括:

61、步骤8.1:数据集划分;

62、首先,收集步骤7处理完毕后所有类别的全部样本及其对应的类别标签;

63、然后,按照预设的比例将数据集分割;

64、其中,在划分过程使用一个固定的随机种子,划分完成后,将三个子集的脉冲图像数据和标签数据分别保存为独立的*.npy文件,同时生成一个元数据json文件,记录此次划分的配置信息;

65、步骤8.2:加载与归一化;

66、在模型训练或推理阶段,数据加载器从上述*.npy文件中读取数据;

67、在将数据送入模型前,执行一个重要的预处理步骤:

68、归一化,将脉冲图像的像素值存储类型从uint8转换为浮点数并缩放到模型更适应的 [0,1] 区间;随后,数据被组织成批量形式,张量形状为 (b,2,n);

69、其中,b是批量大小。

70、在本发明的一个优选实施方式中,步骤9构建轻量级tcn模型,通过堆叠具有递增膨胀率的卷积块来扩大时间感受野的过程包括:

71、步骤9.1:构建输入层;

72、模型接收形状为 (b,2,n) 的输入张量,输入首先通过一个stem层;该stem层包括一个conv1d卷积、一个batchnorm1d和一个gelu激活函数;

73、步骤9.2:构建模型主体;

74、模型的主体由多个串联的bottlenecktcnblock构成,每个块内部遵循“扩展-深度卷积-投影”的三步结构:

75、步骤9.3:构建尾部与输出;

76、在经过所有tcn块后,得到的特征图在时间维度上进行全局平均池化,将其从 (b,c_final, n) 压缩为 (b, c_final);最后,这个固定长度的向量被送入一个标准的全连接分类头,输出未经激活的原始得分logits,其维度为 num_classes。

77、在本发明的一个优选实施方式中,步骤10采用含不平衡处理的综合策略对tcn模型进行训练的过程包括:

78、步骤10.1:优化器;

79、选用adamw优化器;

80、步骤10.2:学习率调度;

81、采用结合预热和余弦退火的动态学习率策略;在训练开始的若干个epoch内,学习率从一个很小的值线性增长到预设的初始学习率;预热结束后,学习率遵循余弦函数曲线平滑地衰减至一个接近零的最小值;

82、步骤10.3:损失函数;

83、标准选项是带标签平滑的交叉熵损失;选用focal loss,focal loss通过引入调制因子(1-p_t)γ,降低了易于分类样本对损失的贡献,使模型更专注于学习难以区分的样本;

84、其中,γ是一个可调超参数;

85、步骤10.4:类不平衡处理;

86、(1)类权重:在计算交叉熵损失时,为每个类别赋予一个权重;

87、(2)加权随机采样器:在构建数据加载器时,为训练集中的每个样本分配一个采样权重,权重同样与该样本所属类别的频率成反比;

88、步骤10.5:正则化与稳定性;

89、(1)模型块内部使用dropout来随机失活神经元,防止过拟合;

90、(2)采用梯度裁剪,在反向传播后、优化器更新前,将梯度的范数限制在一个阈值内,以防止梯度爆炸;

91、(3)早停:监控验证集上的关键性能指标,若该指标连续多个epoch没有提升,则提前终止训练,并保存迄今为止性能最佳的模型。

92、与现有技术相比,本发明提供了基于脉冲图像编码与时序卷积网络的轻量级加密流量识别方法,具备以下有益效果:

93、1.在特征表征方面,本发明构建了一种鲁棒的时空脉冲图像,极大提升了特征的判别力。具体操作上,将双向网络会话流拆分成两行脉冲序列,用包长度映射像素灰度,直观保留负载规模信息。同时,采用首包时间对齐及对数等比分级策略,把时间增量映射为图像列间距,有效克服了网络抖动和多尺度延时变化的影响,形成了对会话流量行为模式稳定且表达力强的特征表示。

94、2.本发明设计了一套轻量化且高吞吐的端到端识别架构,高度适配资源受限环境。该架构把脉冲图像当作一维时序信号输入轻量化时序卷积网络(tcn),利用扩张卷积与bottlenecktcn模块(该模块集成了1×1 卷积、扩张深度可分离卷积与残差连接),使模型在参数量极低的情况下捕获长程依赖。再结合全局平均池化替代全连接层,显著优化了计算复杂度与推理速度,完美契合高并发边缘部署场景。

95、3.针对实际网络中普遍存在的类别不均衡问题,本发明引入少数类长会话流分段增广机制。当检测到类别分布严重偏斜时,该机制自动触发,通过切分长会话流生成多幅脉冲图像来扩充尾部样本。此机制可与focal loss等策略协同使用,系统性提升模型对稀疏类别样本的识别能力,有效改善了宏平均f1分数等关键指标。

96、4.本方法具备内在的隐私安全性与广泛的协议泛化能力。其处理过程仅依赖数据包层元数据,无需解密或深度包解析,从根本上避免了隐私合规风险。而且,这种与协议无关的特性使其能无缝适用于tls、quic等现有及未来的加密环境,展现出优秀的前向兼容性。

97、5.广泛的实验验证了本发明的综合优势。在多个公开数据集上的测试结果显示,相较于主会话流基线模型,本发明在宏 f1 指标上均有提升,尤其在尾部类别识别上表现突出。这充分证明了本发明在特征设计、模型轻量化与不平衡学习方面取得了显著进步,为加密流量识别提供了一种精准、高效且易于部署的新途径。

98、解决了现有加密流量识别方法在模型轻量化、特征表征有效性以及不平衡数据适应能力等方面仍存在明显不足,难以在边缘计算、嵌入式网络设备等资源受限环境下同时实现高效率与高精度的实时识别等问题。