一种基于邻域迁移学习的网络隐蔽通信检测方法及系统与流程

本发明涉及一种基于邻域迁移学习的网络隐蔽通信检测方法，同时也涉及相应的网络隐蔽通信检测系统，属于网络安全通信。

背景技术：

1、网络隐蔽通信已成为当前网络攻击、涉密窃密及非法网络活动的重要逃逸手段。攻击者普遍采用加密混淆、隧道封装、业务流量伪装等技术，将恶意通信流量隐匿于正常网络业务中，可绕过传统防火墙、waf及入侵防御系统的检测拦截。近年来多起实战攻击与护网行动案例表明，不法分子借助视频会议隧道、多层嵌套加密隧道、云函数接口伪装等方式实施隐蔽渗透窃密，传统基于特征字符串匹配的检测手段完全失效，只能依靠人工智能与流量分析技术进行识别。但现有智能检测模型普遍存在强数据依赖问题，训练成型需数千乃至上万条标注流量样本，样本采集、清洗与标注耗时长达数周，难以适配网络威胁快速演变的现状。

2、在网络安全应急响应场景中，业内严格遵循黄金一小时处置原则，要求在一小时内完成隐蔽通信检测能力搭建与上线处置。然而，真实攻防场景下可获取的恶意样本数量极少，通常仅有个位数，现有深度学习、机器学习模型受小样本限制无法有效收敛。同时，主流的迁移学习方案多将网络流量转化为自然语言模态做预训练微调，流量数据与文本语义存在巨大领域鸿沟，仍需数百条样本才能达到合格检测精度，无法满足应急响应小样本、快部署的刚需。

3、在授权公告号为cn110336806b的中国发明专利中，公开了一种结合会话行为和通信关系的隐蔽通信检测方法。该检测方法通过会话流聚合算法，实现了特征提取，使得到的特征向量能够在描述单条会话流特征的同时，能够刻画会话流之间的相似性，从而能从会话行为的角度更好的描述检测目标；通过结合单时间窗口下的通信关系数据和多时间窗口下的通信数据，使评价指标能突破单时间窗口下攻击特征描述的局限性，从而能从通信关系的角度更好的描述检测目标。但是，上述技术方案仍然存在依赖海量标注样本、小样本应急场景精度低，无法满足安全应急响应黄金一小时快速部署的问题。

4、针对现有技术依赖海量标注数据、训练周期长、小样本场景精度低，难以适配安全应急响应时效要求的突出短板，亟需提出一种全新的迁移检测方案，突破数据稀缺瓶颈，实现短时间内高精度识别各类网络隐蔽通信行为。

技术实现思路

1、本发明所要解决的首要技术问题在于提供一种基于邻域迁移学习的网络隐蔽通信检测方法。

2、本发明所要解决的另一技术问题在于提供一种基于邻域迁移学习的网络隐蔽通信检测系统。

3、为实现上述技术目的，本发明采用以下的技术方案：

4、根据本发明实施例的第一方面，提供一种基于邻域迁移学习的网络隐蔽通信检测方法，包括如下步骤：

5、s1：从开源数据集中收集异常流量与正常流量，作为源域预训练数据；所述异常流量用于使预训练模型习得区分异常网络行为与正常网络行为的基础判别能力；

6、s2：对所收集的源域流量进行基于五元组的数据包分组、逐组流量元属性解析以及多属性融合处理，生成统一维度的流量表征向量；

7、s3：利用所述流量表征向量划分训练集、验证集和测试集，构建基于循环神经网络的轻量级预训练模型，并通过网格搜索确定最优超参数，在所述源域数据上完成模型预训练后保存预训练模型及其参数；

8、s4：在目标网络环境中捕获隐蔽通信流量与背景流量，作为目标域微调数据；

9、s5：对所捕获的目标域流量按照与步骤s2相同的处理方式，进行分组、解析与特征提取，生成格式与所述流量表征向量一致的微调用特征向量；

10、s6：加载步骤s3所保存的预训练模型，以所述预训练模型的参数作为目标域模型的初始化参数，利用步骤s5生成的微调用特征向量对所述目标域模型进行小样本微调，并保存微调后的目标域模型及其参数；其中，所述源域与所述目标域均为网络流量二分类任务，且源域为异常检测任务、目标域为隐蔽通信检测任务，两个任务在流量判别特征上具有内在相似性，构成邻域迁移关系；

11、s7：将微调后的目标域模型部署至目标网络环境，对实时流量中的隐蔽通信行为进行检测识别。

12、其中较优地，所述步骤s2包括如下子步骤：

13、s21：基于五元组规则对原始网络流量进行分组预处理，所述五元组包括源ip地址、目的ip地址、源端口、目的端口及传输层协议；

14、s22：以分组为单位，逐组解析并提取流量元属性特征；

15、s23：将所提取的多种流量元属性进行融合，构建标准化的流量表征向量。

16、其中较优地，所述步骤s22中，以分组为单位，提取数据流的包长度、包时间和包方向信息；

17、其中，包长度是指会话中每个数据包负载的长度，用于反映数据传输的负载特征；包时间是指每个数据包的到达时间或相邻数据包之间的时间间隔，用于反映流量的时序特征；包方向是指每个数据包的传输方向，其中从客户端发往服务器取值为上行，从服务器发往客户端取值为下行。

18、其中较优地，所述步骤s23中，设一个会话中共有个数据包，对于第个数据包：令表示第个数据包的负载长度；令表示第个数据包的传输方向，其中表示上行，表示下行；令表示第个数据包的到达时间或与第个数据包的时间间隔，并且；

19、将有符号包长序列定义为：

20、将包时间序列定义为：

21、最终，将有符号包长序列和包时间序列拼接，形成对流量的完整表征向量：

22、

23、其中，为有符号包长序列；为包时间序列；表示向量属于维实数空间。

24、其中较优地，所述步骤s3包括如下子步骤：

25、s31：将步骤s2生成的流量表征向量数据集按比例划分为训练集、验证集和测试集三个互不相交的子集；所述训练集用于模型参数的学习与更新，所述验证集用于超参数的选择及过拟合的监控，所述测试集用于模型性能的无偏评估；

26、s32：基于门控循环单元网络搭建轻量级预训练模型结构，所述预训练模型用于习得异常流量与正常流量的基础判别特征；

27、s33：设定模型预训练过程中所需超参数的搜索空间；

28、s34：在预训练过程中，保存验证集上性能最优的模型及其参数，并输出通用格式文件，以供后续微调阶段加载使用。

29、其中较优地，所述步骤s6包括如下子步骤：

30、s61：将步骤s5生成的微调用特征向量按预设比例划分为训练集和测试集；

31、s62：加载步骤s3所保存的预训练模型及其参数，以所述预训练模型的参数作为目标域模型的初始参数；

32、s63：基于所述预训练模型的超参数，采用交叉熵损失函数对所述目标域模型进行微调；其中，所述源域为异常检测任务，所述目标域为隐蔽通信检测任务，两个任务在流量判别特征上具有内在相似性，构成邻域迁移关系，从而使所述目标域模型在小样本条件下能够快速收敛并防止过拟合；

33、s64：保存微调后的目标域模型及其参数，以及该模型在测试集上的性能指标，用于后续的实际检测部署。

34、其中较优地，所述步骤s63中，微调的目标是优化以下目标函数：

35、

36、其中，为模型微调时的损失函数；为目标域模型参数；为目标域训练样本数量；为目标域模型的预测函数，以为参数，对输入样本进行预测；为第个目标域训练样本的流量表征向量；为第个目标域训练样本的真实标签。

37、根据本发明实施例的第二方面，提供一种基于邻域迁移学习的网络隐蔽通信检测系统，包括处理器和存储器；其中，所述存储器与所述处理器耦接，用于存储计算机程序，当该计算机程序被所述处理器执行时，使处理器实现上述的网络隐蔽通信检测方法。

38、与现有技术相比较，本发明通过首创邻域迁移学习技术，将异常检测领域已积累的知识有效迁移至网络隐蔽通信检测任务，显著降低了对目标域标注样本的数量依赖。基于开源数据集预训练获得的通用异常判别能力，仅需极少量目标隐蔽通信样本进行微调，即可快速构建出具有高检测精度的专用模型，从根本上克服了传统方法因依赖海量训练数据而无法适应小样本应急场景的固有缺陷。同时，由于预训练模型提供了良好的参数初始化，微调过程收敛迅速，从实网流量捕获到模型部署的完整处置流程可在极短时间内完成，完全满足网络安全应急响应“黄金一小时”的实战时效要求，并且在小样本条件下仍能保持高检测精度。