一种流量采样方法、装置及相关设备与流程

摘要: 本技术涉及网络流量监控,特别涉及一种流量采样方法、装置及相关设备。背景技术:1、在网络流量监控领域,流量采样是平衡监控精度与系统资源消耗的关键实现。现有流量监控...
一种流量采样方法、装置及相关设备与流程

本技术涉及网络流量监控,特别涉及一种流量采样方法、装置及相关设备。

背景技术:

1、在网络流量监控领域,流量采样是平衡监控精度与系统资源消耗的关键实现。现有流量监控系统中,流量监控统计功能通常支持基于源目的ip、应用类型、地址对象组等维度进行新建连接数、并发连接数、流量的实时和历史统计,在一定程度上能反应出设备当前和历史某时段不同统计维度的流量情况。在不考虑设备性能以及硬件时,一定是采样的流量数量、维度越多,监控的数据越精确,但实际上采样的方式确实是多方面平衡考虑。当前主流的流量采样方式主要有两类:

2、1)固定采样率方式:

3、系统预先配置统一的采样率(如1%、10%等),对所有要监控的流量按固定比例进行采样统计。该方式实现简单,但存在明显缺陷:采样率过低时,会遗漏关键异常流量,导致安全事件无法及时发现;采样率过高时,系统资源消耗大,在高流量场景下可能导致设备性能下降。

4、(2)基于单一阈值的动态调整方式:

5、部分现有方案引入了简单的动态调整机制,例如:当cpu使用率超过阈值时降低采样率;当链路带宽超过阈值时调整采样精度;但这类方案仅基于单一维度(如资源水位或链路拥塞)进行调整,无法准确识别需要重点监控的流量。

技术实现思路

1、本技术提供了一种流量采样方法、装置及相关设备。

2、第一方面,本技术提供了一种流量采样方法,所述方法包括:

3、获取各流量的多维度流量特征分值;

4、基于预设的各维度流量特征权重值和所述各维度流量特征分值,加权计算各流量的综合得分;

5、基于各流量的综合得分,调整各流量的采样精度。

6、可选地,所述多维度流量特征至少包括以下任意两项:

7、流量的源/目的ip信誉度,流量所属应用类型,流量的目的地址所属的地址对象组,流量行为和采集设备的资源水位。

8、可选地,获取各流量的多维度流量特征分值的步骤包括:

9、基于各流量的源/目的ip查询ip信誉度数据库,以获取各流量的源/目的ip的信誉度评分,并基于各流量的源/目的ip的信誉度评分,确定各流量的源/目的ip信誉度特征分值;

10、识别各流量所属的应用类型,并基于各流量所属的应用类型,确定各流量的应用类型特征分值;

11、基于各流量的目的地址匹配预设的地址对象组,以确定各流量的目的地址所属的地址对象组,并基于各流量的目的地址所属的地址对象组,确定各流量的地址对象组特征分值;

12、基于各流量在预设历史时长内的各异常行为,确定各流量对应的各异常行为的流量行为特征分值,针对每一流量,将其对应的各异常行为的特征分值中的最大值作为该流量的流量行为特征分值;

13、基于采集设备的cpu,和/或内存,和/或流表的使用率,确定各流量的资源水位特征分值。

14、可选地,周期性获取各流量的多维度流量特征分值;

15、若当前周期获取到的第一流量的当前综合得分不是初始综合得分,则基于各流量的综合得分,调整各流量的采样精度的步骤包括:

16、将所述第一流量的当前综合得分与上一周期的综合得分相比较;

17、若增幅达到第一预设条件,则将所述第一流量的采样精度从当前精度区间调整至高一级的精度区间;

18、若降幅达到第二预设条件,则将所述第一流量的采样精度从当前精度区间调整至低一级的精度区间;

19、否则,保持所述第一流量的当前采样精度不变。

20、可选地,若识别到第二流量为新增流量,则基于各流量的综合得分,调整各流量的采样精度的步骤包括:

21、基于所述第二流量的综合得分查询决策表,确定所述第二流量对应的目标精度区间,其中,所述决策表包括综合得分与精度区间的映射关系;

22、基于所述第二流量的综合得分,从所述目标精度区间内为所述第二流量分配目标采样精度,其中,所述目标采样精度与所述第二流量的初始综合得分正相关。

23、可选地,基于各流量的综合得分,调整各流量的采样精度的步骤包括:

24、基于各流量的综合得分以及采集设备的资源水位调节系数,调整各流量的采样精度,其中,采集设备的资源水位调节系数与采集设备的cpu,和/或内存,和/或流表的使用率负相关。

25、第二方面,本技术实施例提供了一种流量采样装置,所述装置包括:

26、获取单元,用于获取各流量的多维度流量特征分值;

27、计算单元,用于基于预设的各维度流量特征权重值和所述各维度流量特征分值,加权计算各流量的综合得分;

28、调整单元,用于基于各流量的综合得分,调整各流量的采样精度。

29、可选地,所述多维度流量特征至少包括以下任意两项:

30、流量的源/目的ip信誉度,流量所属应用类型,流量的目的地址所属的地址对象组,流量行为和采集设备的资源水位。

31、可选地,获取各流量的多维度流量特征分值时,所述获取单元具体用于:

32、基于各流量的源/目的ip查询ip信誉度数据库,以获取各流量的源/目的ip的信誉度评分,并基于各流量的源/目的ip的信誉度评分,确定各流量的源/目的ip信誉度特征分值;

33、识别各流量所属的应用类型,并基于各流量所属的应用类型,确定各流量的应用类型特征分值;

34、基于各流量的目的地址匹配预设的地址对象组,以确定各流量的目的地址所属的地址对象组,并基于各流量的目的地址所属的地址对象组,确定各流量的地址对象组特征分值;

35、基于各流量在预设历史时长内的各异常行为,确定各流量对应的各异常行为的流量行为特征分值,针对每一流量,将其对应的各异常行为的特征分值中的最大值作为该流量的流量行为特征分值;

36、基于采集设备的cpu,和/或内存,和/或流表的使用率,确定各流量的资源水位特征分值。

37、可选地,所述获取单元周期性获取各流量的多维度流量特征分值;

38、若当前周期获取到的第一流量的当前综合得分不是初始综合得分,则基于各流量的综合得分,调整各流量的采样精度时,所述调整单元具体用于:

39、将所述第一流量的当前综合得分与上一周期的综合得分相比较;

40、若增幅达到第一预设条件,则将所述第一流量的采样精度从当前精度区间调整至高一级的精度区间;

41、若降幅达到第二预设条件,则将所述第一流量的采样精度从当前精度区间调整至低一级的精度区间;

42、否则,保持所述第一流量的当前采样精度不变。

43、可选地,若识别到第二流量为新增流量,则基于各流量的综合得分,调整各流量的采样精度时,所述调整单元具体用于:

44、基于所述第二流量的综合得分查询决策表,确定所述第二流量对应的目标精度区间,其中,所述决策表包括综合得分与精度区间的映射关系;

45、基于所述第二流量的综合得分,从所述目标精度区间内为所述第二流量分配目标采样精度,其中,所述目标采样精度与所述第二流量的初始综合得分正相关。

46、可选地,基于各流量的综合得分,调整各流量的采样精度时,所述调整单元具体用于:

47、基于各流量的综合得分以及采集设备的资源水位调节系数,调整各流量的采样精度,其中,采集设备的资源水位调节系数与采集设备的cpu,和/或内存,和/或流表的使用率负相关。

48、第三方面,本技术实施例提供一种流量采样装置,该流量采样装置包括:

49、存储器,用于存储程序指令;

50、处理器,用于调用所述存储器中存储的程序指令,按照获得的程序指令执行如上述第一方面中任一项所述的方法的步骤。

51、第四方面,本技术实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机可执行指令,所述计算机可执行指令用于使所述计算机执行如上述第一方面中任一项所述方法的步骤。

52、综上可知,本技术实施例提供的流量采样方法,获取各流量的多维度流量特征分值;基于预设的各维度流量特征权重值和所述各维度流量特征分值,加权计算各流量的综合得分;基于各流量的综合得分,调整各流量的采样精度。

53、采用本技术实施例提供的流量采样方法,通过多维特征加权评分,能够准确识别高价值流量并分配高精度采样,对低价值流量采用低精度采样,在相同资源消耗下获得更高的监控价值。基于多特征的综合评分能够在流量异常初期就提升采样精度,相比基于阈值的被动调整,能够更早发现安全事件。

54、进一步地,通过采样设备的资源水位确定全局调节系数,在系统资源紧张时自动降低采样精度,避免流量监控功能影响设备整体性能。