一种结构化响应迁移的跨域网络异常流量检测方法及系统

摘要: 本发明涉及网络异常检测,尤其是指一种结构化响应迁移的跨域网络异常流量检测方法及系统。背景技术:1、网络异常检测(networkintrusiondetectio...
一种结构化响应迁移的跨域网络异常流量检测方法及系统

本发明涉及网络异常检测,尤其是指一种结构化响应迁移的跨域网络异常流量检测方法及系统。

背景技术:

1、网络异常检测(network intrusion detection system,nids)旨在识别网络流量中的恶意活动,例如分布式拒绝服务(distributed denial of service,ddos)攻击、端口扫描和渗透等。面对日益复杂多变的网络攻击行为,如何提升异常识别精度与泛化能力成为目前的研究重点。

2、现有技术中的网络异常检测方法主要依赖网络入侵检测系统和迁移学习,其大致处理流程为:首先采集源域环境下的网络流量数据,提取流量包的报文长度、访问频次、通信端口等流量绝对特征;基于统计分析、深度学习模型或者决策树、支持向量机等传统机器学习算法,利用源域带标签流量样本完成模型训练学习;随后将训练完成的模型迁移部署至目标域网络,提取目标域流量的同类绝对特征,依靠源域习得的模型完成目标域网络流量的异常判别。但是这种基于绝对特征迁移的检测方法存在以下缺陷:1、网络异常多样性难以覆盖,同类攻击行为在不同网络环境中的流量表现形式差异显著,现有方法很难学习稳定的全局异常表征,造成模型对于未知攻击的泛化能力较差;2、域偏移问题较为突出,不同网络场景下正常业务流量的数据分布存在明显区别,现有方法大多仅对流量绝对特征做简单对齐,迁移效果有限,源域训练得到的模型部署到目标域后极易产生较高的误报率;3、标签稀缺问题制约迁移效果,目标域场景下获取高质量异常流量标签代价高昂,现有方法在目标域无标签条件下难以完成类条件对齐,容易引发负迁移现象;4、现有方法侧重学习流量样本表观特征,缺少对异常偏离模式的结构化建模,无法充分利用异常轨迹信息实现高效的跨域迁移。

3、综上所述,现有的网络异常检测方法存在域偏移适配差、无标签场景容易发生负迁移、无法有效挖掘异常轨迹偏离特征,导致跨网络场景下的网络异常检测精度低、检测稳定性差的问题。

技术实现思路

1、为此,本发明所要解决的技术问题在于克服现有技术中的网络异常检测方法存在域偏移适配差、无标签场景容易发生负迁移、无法有效挖掘异常轨迹偏离特征,导致跨网络场景下的网络异常检测精度低、检测稳定性差的问题。

2、为解决上述技术问题,本发明提供了一种结构化响应迁移的跨域网络异常流量检测方法,包括:

3、利用响应映射函数对各个源域流量数据的源域潜空间表示和各个目标域流量数据的目标域潜空间表示进行映射,得到各个源域流量数据的源域结构化响应向量和各个目标域流量数据的目标域结构化响应向量;

4、计算每两个源域结构化响应向量的第一相似度,在第一相似度大于等于相似度阈值的源域结构化响应向量之间建立域内连接边;计算每两个目标域结构化响应向量的第二相似度,在第二相似度大于等于相似度阈值的目标域结构化响应向量之间建立域内连接边;

5、计算每个源域结构化响应向量与每个目标域结构化响应向量的第三相似度,在第三相似度大于等于相似度阈值的结构化响应向量之间建立跨域连接边;

6、基于源域结构化响应向量与目标域结构化响应向量的分布映射差值、具有跨域连接边的目标域结构化响应向量与源域结构化响应向量的域内连接边相似性,计算迁移损失函数的值,从而对目标域结构化响应向量进行响应偏移补偿,直至迁移损失函数的值收敛,得到迁移补偿后的目标域结构化响应向量;

7、利用在源域流量数据上训练好的异常评分函数,对迁移补偿后的目标域结构化响应向量进行异常判定,得到目标域流量数据的网络异常流量检测结果。

8、优选地,各个源域流量数据的源域潜空间表示和各个目标域流量数据的目标域潜空间表示的获取过程包括:

9、获取源域网络环境中的多个源域流量数据以及目标域网络环境中的多个目标域流量数据;

10、对各个源域流量数据和各个目标域流量数据进行预处理,得到各个源域流量数据的源域流量特征向量和各个目标域流量数据的目标域流量特征向量;

11、将各个源域流量特征向量和各个目标域流量特征向量分别输入三个并联的一维卷积分支进行局部特征提取,将三个并联的一维卷积分支的输出拼接得到各个源域流量数据的源域空间特征和各个目标域流量数据的目标域空间特征;

12、将各个源域空间特征和各个目标域空间特征分别输入三级串联的lstm网络,基于最后一级lstm网络的输出得到各个源域流量数据的源域时序特征和各个目标域流量数据的目标域时序特征;

13、将各个源域流量数据的源域时序特征和源域空间特征输入深度编码网络,输出各个源域流量数据的源域潜空间表示;将各个目标域流量数据的目标域时序特征和目标域空间特征输入深度编码网络,输出各个目标域流量数据的目标域潜空间表示。

14、优选地,利用响应映射函数对各个源域流量数据的源域潜空间表示和各个目标域流量数据的目标域潜空间表示进行映射,得到各个源域流量数据的源域结构化响应向量和各个目标域流量数据的目标域结构化响应向量,包括:

15、对于每个源域潜空间表示和每个目标域潜空间表示,利用五个响应映射函数将其映射为异常概率响应特征值、行为偏离响应特征值、协议异常响应特征值、流量突变响应特征值和访问频率异常响应特征值;

16、对每个源域潜空间表示和每个目标域潜空间表示的异常概率响应特征值、行为偏离响应特征值、协议异常响应特征值、流量突变响应特征值、访问频率异常响应特征值以及偏置项加权求和后,利用sigmoid激活函数将加权求和的结果压缩至[0,1]区间,得到综合风险响应特征值;

17、基于各个源域潜空间表示和各个目标域潜空间表示的异常概率响应特征值、行为偏离响应特征值、协议异常响应特征值、流量突变响应特征值、访问频率异常响应特征值、综合风险响应特征值,得到各个源域潜空间表示的源域结构化响应向量和各个目标域潜空间表示的目标域结构化响应向量。

18、优选地,基于源域结构化响应向量与目标域结构化响应向量的分布映射差值、具有跨域连接边的目标域结构化响应向量与源域结构化响应向量的域内连接边相似性,计算迁移损失函数的值,包括:

19、基于所有源域结构化响应向量的均值向量得到源域结构化响应的源域响应分布映射,基于所有目标域结构化响应向量的均值向量得到目标域结构化响应的目标域响应分布映射;

20、基于源域响应分布映射和目标域响应分布映射的差向量的l2范数的平方,得到响应分布对齐损失函数;

21、针对每对具有跨域连接边的目标域结构化响应向量和源域结构化响应向量,计算源域结构化响应向量和与其具有域内连接边的源域结构化响应向量的相似度的第一均值,计算目标域结构化响应向量和与其具有域内连接边的目标域结构化响应向量的相似度的第二均值;基于第一均值和第二均值的差值的平方,得到每对具有跨域连接边的目标域结构化响应向量和源域结构化响应向量的跨域对齐损失函数;

22、基于所有具有跨域连接边的目标域结构化响应向量和源域结构化响应向量的跨域对齐损失函数的均值,得到目标跨域对齐损失函数;

23、对响应分布对齐损失函数和目标跨域对齐损失函数加权求和,得到迁移损失函数的值。

24、优选地,迁移损失函数的计算公式为:

25、,

26、,

27、,

28、,

29、,

30、其中,表示响应分布对齐损失函数;表示目标跨域对齐损失函数;表示所有源域结构化响应向量的均值向量;表示所有目标域结构化响应向量的均值向量;表示l2范数的平方;表示源域结构化响应向量的数量;表示目标域结构化响应向量的数量;表示第i个源域结构化响应向量;表示第j个源域结构化响应向量;表示第p个目标域结构化响应向量;表示第q个目标域结构化响应向量;表示源域与目标域的跨域连接边集合;表示一条跨域连接边,表示源域节点,目标域节点;表示源域节点的域内邻居集合;表示目标域节点的域内邻居集合。

31、优选地,对目标域结构化响应向量进行响应偏移补偿,包括:

32、将所有源域结构化响应向量的均值向量与所有目标域结构化响应向量的均值向量之间的差向量,作为响应偏移量;

33、对响应偏移量与预设补偿系数进行数乘运算,得到目标响应偏移量;

34、针对每个目标域结构化响应向量,将其与目标响应偏移量的差向量,作为响应偏移补偿后的目标域结构化响应向量。

35、优选地,响应偏移补偿后的目标域结构化响应向量为:

36、,

37、,

38、其中,表示响应偏移补偿后的第p个目标域结构化响应向量;表示第p个目标域结构化响应向量;表示预设补偿系数;表示响应偏移量;表示所有目标域结构化响应向量的均值向量;表示所有源域结构化响应向量的均值向量。

39、优选地,利用在源域流量数据上训练好的异常评分函数,对迁移补偿后的目标域结构化响应向量进行异常判定,得到目标域流量数据的网络异常流量检测结果,包括:

40、利用各个响应维度特征值的初始权重,对源域流量数据的源域结构化响应向量中各个响应维度特征值加权求和,对加权求和结果与初始评分函数偏置项求和后输入sigmoid激活函数,输出源域流量数据的异常评分函数值;

41、若源域流量数据的异常评分函数值大于预设异常值,判定源域流量数据为异常流量,若源域流量数据的异常评分函数值小于等于预设异常值,判定源域流量数据为正常流量;

42、当源域流量数据的判定结果与真实标签不一致时,对各个响应维度特征值的初始权重和初始评分函数偏置项进行调整,并基于调整后各个响应维度特征值的权重和评分函数偏置项对新的源域流量数据进行网络异常流量检测,直至连续预设数量的源域流量数据的判定结果均与真实标签一致,得到各个响应维度特征值的目标权重和目标评分函数偏置项;

43、利用各个响应维度特征值的目标权重,对目标域流量数据迁移补偿后的目标域结构化响应向量中各个响应维度特征值加权求和,对加权求和结果与目标评分函数偏置项求和后输入sigmoid激活函数,输出目标域流量数据的异常评分函数值;

44、若目标域流量数据的异常评分函数值大于预设异常值,判定目标域流量数据为异常流量,若目标域流量数据的异常评分函数值小于等于预设异常值,判定目标域流量数据为正常流量。

45、优选地,目标域流量数据的异常评分函数值的计算公式为:

46、,

47、其中,表示第p个目标域流量数据的异常评分函数值;表示异常评分函数;表示sigmoid激活函数;表示响应偏移补偿后的第p个目标域结构化响应向量;表示中的异常概率响应特征值;表示异常概率响应特征值的目标权重;表示中的行为偏离响应特征值;表示行为偏离响应特征值的目标权重;表示中的协议异常响应特征值;表示协议异常响应特征值的目标权重;表示中的流量突变响应特征值;表示流量突变响应特征值的目标权重;表示中的访问频率异常响应特征值;表示访问频率异常响应特征值的目标权重;表示中的综合风险响应特征值;表示综合风险响应特征值的目标权重;表示目标评分函数偏置项。

48、本发明还提供了一种结构化响应迁移的跨域网络异常流量检测系统,包括:

49、结构化响应构建模块,用于利用响应映射函数对各个源域流量数据的源域潜空间表示和各个目标域流量数据的目标域潜空间表示进行映射,得到各个源域流量数据的源域结构化响应向量和各个目标域流量数据的目标域结构化响应向量;

50、域内拓扑构建模块,用于计算每两个源域结构化响应向量的第一相似度,在第一相似度大于等于相似度阈值的源域结构化响应向量之间建立域内连接边;计算每两个目标域结构化响应向量的第二相似度,在第二相似度大于等于相似度阈值的目标域结构化响应向量之间建立域内连接边;

51、跨域拓扑构建模块,用于计算每个源域结构化响应向量与每个目标域结构化响应向量的第三相似度,在第三相似度大于等于相似度阈值的结构化响应向量之间建立跨域连接边;

52、迁移损失与补偿模块,用于基于源域结构化响应向量与目标域结构化响应向量的分布映射差值、具有跨域连接边的目标域结构化响应向量与源域结构化响应向量的域内连接边相似性,计算迁移损失函数的值,从而对目标域结构化响应向量进行响应偏移补偿,直至迁移损失函数的值收敛,得到迁移补偿后的目标域结构化响应向量;

53、网络异常流量检测模块,用于利用在源域流量数据上训练好的异常评分函数,对迁移补偿后的目标域结构化响应向量进行异常判定,得到目标域流量数据的网络异常流量检测结果。

54、本技术提供的结构化响应迁移的跨域网络异常流量检测方法具有以下有益效果:

55、先利用响应映射函数将各个源域流量数据和各个目标域流量数据映射为结构化响应向量,从多个维度响应特征值实现对流量数据异常行为的多维语义表达,为提高异常检测结果的可解释性与细粒度分析能力提供数据基础;通过计算源域内各个源域结构化响应向量之间的相似度建立源域的域内连接边,计算目标域内各个目标域结构化响应向量之间的相似度建立目标域的域内连接边,再通过计算源域结构化响应向量和目标域结构化响应向量之间的相似度,构建源域和目标域之间的跨域连接边,通过构建域内连接边和跨域连接边构建数据流量之间的结构关系;通过源域和目标域的结构化响应向量的分布差异,以及具有跨域连接关系的源域和目标域结构化响应向量在各自域内的连接关系的相似性,计算迁移损失函数的值,从而引入响应偏移补偿机制,通过对目标域结构化响应进行迁移补偿,减弱跨域迁移过程中的响应漂移问题,降低不同网络环境之间的数据分布差异,从而提高跨域异常检测的泛化能力和稳定性;最后利用在源域流量数据上训练好的异常评分函数对迁移补偿后的目标域结构化响应向量进行异常检测,无需大量目标域标注数据即可完成跨域异常检测,降低了人工标注成本;本技术通过构建不同网络环境流量数据的拓扑结构、构建跨网络环境流量数据的拓扑结构实现跨域结构化响应数据的迁移补偿,提高了域偏移适配性,在无标签场景下也可以准确挖机异常流量数据特征信息,提高跨网络场景下的网络异常检测精度和稳定性。