资源约束下的加密流量早期分类方法及系统

本发明涉及网络流量识别，具体涉及一种资源约束下的加密流量早期分类方法及系统。

背景技术：

1、随着https、tls、quic和虚拟专用网络等加密通信方式的普及，网络数据包中的应用层载荷通常以密文形式传输，传统依赖明文关键字、协议字段或者内容特征的深度包检测方法难以直接获得应用层信息。基于数据包长度、到达时间间隔、传输方向和交互结构等包头可观测信息的加密流量分类方法，无需解密通信载荷即可识别流量类别，因而被广泛用于恶意流量检测、应用识别、访问控制、带宽管理和服务质量保障等场景。

2、在安全拦截、服务质量调度和网络资源预留等应用中，分类结果需要在流量连接建立后的较短时间内产生。若必须等待完整流量或者较长的数据包序列后再执行分类，则即使最终分类结果准确，也可能已经错过恶意连接阻断、带宽分配或业务优先级调整的有效时机。因此，加密流量分类不仅需要保证分类可靠性，还需要尽可能减少作出分类决策所需的数据包数量和处理时间，即在获得足够识别信息后及时停止继续接收用于分类的数据包。

3、消费电子网关、智能家居网关和物联网边缘节点通常同时承担协议转发、无线接入、安全防护、设备控制和数据处理等任务，其处理器算力、可用内存和能量预算均受到限制，并且设备资源占用会随着并发连接数量、无线链路状态以及其他业务负载动态变化。若始终采用复杂度较高的分类器，虽然可能提高疑难流量的识别能力，但在高负载阶段容易造成分类队列积压、处理超时和设备资源竞争；若始终采用轻量分类器，则在资源充足时也无法对识别难度较高的流量进行进一步分析，可能降低分类可靠性。因此，需要根据设备实时资源状态和当前流量的识别难度，在不同计算复杂度的分类层级之间进行选择。

4、为兼顾分类速度和分类精度，现有技术提出了固定前若干数据包分类、置信度早停以及快模型—慢模型切换等方法。固定数据包数量的方法在接收到预设数量的数据包后统一作出分类，但不同流量达到稳定识别所需的数据包数量并不相同。对于特征明显的流量，继续等待至固定包数会增加不必要的时延；对于特征不明显的流量，固定数量的数据包又可能不足以支持可靠分类。

5、基于置信度的早停方法通常在每次接收到新数据包后计算分类概率，当最大预测概率达到固定阈值时停止分类。该方法能够减少部分流量的等待时间，但固定置信度阈值通常没有考虑设备当前的计算负载、可用内存、排队时延和剩余处理时限。即使当前分类结果尚未达到阈值，设备也可能已经没有足够资源继续运行更复杂的模型；反之，在资源充足且继续接收少量数据包能够明显降低分类错误风险时，单纯达到固定置信度阈值又可能过早终止分类。此外，分类模型输出的最大概率并不必然等同于实际分类正确率，未经校准的预测概率难以准确反映继续观察数据包的实际收益。

6、现有的多粒度分类或者快模型—慢模型切换方法，通常先调用轻量分类器，在分类置信度不足时再调用复杂分类器。该类方法能够针对不同识别难度的流量使用不同计算量，但各分类器通常作为相互独立的完整模型运行。当由轻量分类器切换至复杂分类器时，往往需要重新处理已经接收的数据包、重新生成特征表示并重新执行完整模型推理，导致先前已完成的计算结果无法利用。对于算力和内存受限的边缘设备，上述重复计算会进一步增加模型切换时延和资源占用。

7、同时，部分现有方法通过准确率、延迟和资源消耗的加权效用函数选择分类器或数据包数量，但不同指标之间的权重难以统一确定。加权结果较优的分类配置不一定能够在设备当前剩余计算量、可用内存和分类时限内实际完成。另有部分方法采用在线分类准确率作为调度反馈，但实际部署的网关通常无法在分类完成后立即获得流量的真实类别，因此难以实时计算分类是否正确，在线更新过程缺少可直接获得的反馈信息。

8、综上，现有技术至少存在以下不足：一是分类器选择与设备当前可用资源之间缺少明确的可执行约束，可能选择无法在规定时限内完成的分类配置；二是不同复杂度分类器之间缺少计算结果复用机制，分类层级提高时存在重复特征处理和重复推理；三是早停判断主要依赖固定包数或固定预测概率，不能同时考虑当前分类结果的实际错误风险、继续观察数据包所能带来的风险降低以及新增资源和等待代价；四是部分在线调度方法依赖难以及时获得的真实分类标签，实际部署时难以形成闭环。

技术实现思路

1、本发明所要解决的技术问题是：在不解析加密载荷的条件下，使资源受限网关能够根据实时计算、内存和时限条件选择当前实际可完成的分类层级和数据包预算；在提高分类层级时避免重复执行已完成的推理；并在满足最低分类可靠性要求的前提下，停止对收益不足的后续数据包进行等待和计算。

2、为了解决上述问题，本发明采用如下技术方案：

3、一种资源约束下的加密流量早期分类方法，包括以下步骤：

4、在资源受限设备上按照流标识聚合加密流量数据包，基于加密流量数据包的包头可观测信息逐包更新固定维度的共享流状态，且不解析加密载荷；

5、在当前分类决策检查点获取所述资源受限设备的资源可用向量，至少包括计算可用量、内存可用量和分类剩余时限；获取各候选分类配置各自的资源需求向量，每一候选分类配置包括残差分类层级和从当前分类决策检查点开始的剩余数据包预算；将资源需求向量中各分量均不超过所述资源可用向量中对应分量的候选分类配置确定为可行分类配置，并从可行分类配置中选择目标分类配置；

6、基于所述共享流状态执行嵌套式分类器，所述嵌套式分类器包括基础分类分支和至少一个残差修正分支；缓存所述嵌套式分类器生成的分类得分；当在同一分类决策检查点将残差分类层级提高时，保持所述共享流状态和已生成的分类得分不变，仅执行尚未执行的新增残差修正分支，并将新增残差修正分支的输出与已生成的分类得分合并，得到合并后的分类得分；

7、根据合并后的分类得分确定当前校准分类风险；基于预先建立的风险变化关系确定继续接收至少一个数据包所对应的预计风险下降量；根据继续接收至少一个数据包所需的增量资源量和资源可用向量确定归一化增量资源代价；

8、在当前校准分类风险不高于预设风险上限、预计风险下降量不大于根据所述归一化增量资源代价确定的继续处理阈值时，停止接收用于当前流分类的数据包并输出分类结果；否则，在目标分类配置的剩余数据包预算内继续接收数据包、更新所述共享流状态并执行分类。

9、优选地，所述共享流状态包括包长度均值、包长度样本方差、到达时间间隔均值、到达时间间隔样本方差、两个方向的数据包数量、两个方向的累计字节数和方向切换次数；

10、其中，包长度均值和到达时间间隔均值均采用单遍增量更新方式计算，包长度样本方差和到达时间间隔样本方差均利用相应的累计平方离差增量更新，方向切换次数根据相邻数据包的方向变化进行更新。

11、优选地，所述资源可用向量按照以下方式确定：

12、计算可用量为资源控制窗口长度与处理器当前有效计算速率以及第一系数的乘积，所述第一系数为1减去当前处理器利用率；

13、内存可用量为当前空闲内存减去预留给操作系统和其他任务的内存保护量；

14、分类剩余时限为允许的最大分类时延减去当前流已消耗时间以及当前分类队列的预计等待时间。

15、优选地，每一候选分类配置的资源需求向量包括计算需求、峰值内存需求和完成时间需求；

16、所述资源需求向量中各分量为该候选分类配置在目标资源受限设备上多次测量的高分位值；

17、所述从可行分类配置中选择目标分类配置，包括：先确定各可行分类配置的预计分类风险，并形成预计分类风险与最小预计分类风险之差不超过允许风险差值的近似最优集合；再从所述近似最优集合中选择归一化资源需求最小的候选分类配置作为目标分类配置；

18、所述归一化资源需求为计算需求与计算可用量之比、峰值内存需求与内存可用量之比、完成时间需求与分类剩余时限之比中的最大值。

19、优选地，所述嵌套式分类器中：

20、基础分类分支根据共享流状态生成基础分类得分；

21、第l个残差修正分支根据所述共享流状态生成残差修正量；

22、第l个残差分类层级的分类得分为第l-1个残差分类层级的分类得分与第l个残差修正分支输出的残差修正量之和；

23、所述基础分类分支和各残差修正分支具有相同的分类标签空间。

24、优选地，所述当前校准分类风险和所述预计风险下降量通过离线建立的校准风险表和风险变化表确定；

25、所述校准风险表按照残差分类层级、已接收数据包数量和预测概率区间统计分类错误率；

26、所述风险变化表统计在同一残差分类层级、已接收数据包数量和预测概率区间下，继续接收一个数据包后的平均校准分类风险，并根据继续接收一个数据包前后的校准分类风险差值得到预计风险下降量；当所述校准分类风险差值为负时，将预计风险下降量置为0。

27、优选地，所述归一化增量资源代价为继续接收至少一个数据包所需增量计算需求与计算可用量之比、增量内存需求与内存可用量之比、增量处理时间与分类剩余时限之比中的最大值；

28、所述继续处理阈值由所述归一化增量资源代价与风险资源换算系数的乘积确定；

29、所述方法还包括：当达到所述目标分类配置的剩余数据包预算后，若所述当前校准分类风险仍高于预设风险上限，则输出待定标识或将当前流加入延迟复核队列。

30、同时，本发明提出一种资源约束下的加密流量早期分类系统，包括：

31、共享流状态更新模块，用于按照流标识聚合加密流量数据包，并基于所述加密流量数据包的包头可观测信息逐包更新固定维度的共享流状态；

32、资源可行配置模块，用于获取资源受限设备的资源可用向量以及多个候选分类配置的资源需求向量，将资源需求向量中各分量均不超过资源可用向量中对应分量的候选分类配置确定为可行分类配置，并从可行分类配置中选择目标分类配置，其中，每一候选分类配置包括残差分类层级和剩余数据包预算；

33、可复用残差分类模块，包括基础分类分支和至少一个残差修正分支，用于缓存已生成的分类得分，并在同一分类决策检查点提高残差分类层级时，仅执行新增残差修正分支，将新增残差修正分支的输出与已生成的分类得分合并；

34、风险—资源早停模块，用于获得当前校准分类风险、继续接收至少一个数据包对应的预计风险下降量和归一化增量资源代价，并在所述当前校准分类风险不高于预设风险上限且所述预计风险下降量不大于根据所述归一化增量资源代价确定的继续处理阈值时输出分类结果。

35、此外，本发明提出一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明所述的方法。

36、同时，本发明提出一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被执行时，实现本发明所述方法。

37、本发明采用上述技术方案，具有以下有益效果：

38、（1）本发明以计算可用量、内存可用量和分类剩余时限构成资源硬约束，先排除当前无法完成的分类配置，再选择分类层级和数据包预算，能够降低分类队列持续积压、内存保护量被侵占或者超过业务响应时限的风险。

39、（2）本发明采用基础分类分支和残差修正分支构成的嵌套式分类器，各层级使用同一共享流状态和同一标签空间。在同一决策检查点提高分类层级时，仅增加尚未执行的残差计算，避免在多个独立模型之间切换时重复执行特征编码和基础推理。

40、（3）本发明不把未经校准的最大预测概率直接作为唯一停止依据，而是先保证当前校准分类风险不超过风险上限，再比较继续观察的预计风险下降与实时增量资源代价，使资源状态能够以明确、可计算的方式影响是否继续等待数据包。

41、（4）本发明的资源需求表、分类风险表和风险变化表均可通过离线测量和校准获得，在线阶段主要执行固定维度统计更新、向量比较、查表和少量残差计算，不依赖即时真实标签，适合部署在资源受限设备上。