基于流量需求的网络传输控制优化方法与流程

1.本发明属于网络传输中的控制优化技术领域，尤其涉及基于流量需求的网络传输控制优化方法。


背景技术：

2.随着智能化时代的到来，越来越多的工作，以及相关业务等，都能够通过流量以及网络设备等进行相关的获取和处理，同时，网络传输的应用对象，不仅局限于上班族、工厂以及商场，而且应用于生活的各个领域，比如老年人的刷抖音，我们日常的视频聊天等等，均会应用到网络数据的传输，然而，由于时间段以及人群等不同，对于流量的需求有很大的不同，但是却没有相关的技术，针对流量需求进行不同的控制，以实现最优化的传输方式。


技术实现要素：

3.本发明的目的在于提供基于流量需求的网络传输控制优化方法，通过对于网络设备以及链路网络等，进行相关的预测，进而获得大致的流量需求，以针对不同时间段或场景下，针对于流量的不同需求，进行传输控制的优化，以提高效率。
4.为了实现上述技术效果，本发明通过以下技术方案予以实现。
5.基于流量需求的网络传输控制优化方法，其特征在于，包括：
6.网络设备流量预测：借用网络设备的历史流量数据，对网络设备流量预测模型训练，得到训练后的网络设备流量预测模型；
7.链路网络流量：根据统计学的算法，剔除历史数据中，空闲时间段的流量数据，进而得到各链路网络流量的阈值；
8.网络传输的控制：根据预测得到的网络设备流量以及链路网络流量，预测出未来某一时间段内局域网中的流量，在局域网的网络通道超负荷运转时，通过限流和引流的方法，减少超负荷运转的网络通道内的流量；
9.网络传输优化：通过采用对长期超负荷的网络通道的链路进行优化和/或对高宽度需求的场景进行扩容的方式，实现网络传输的优化。
10.所述对长期超负荷的网络通道的链路进行优化具体为：基于历史交换机的符合数据，应用统计分析法对局域网中各个交换机和链路载荷情况进行分析，获取各个链路中的负荷情况，从而为网络优化提供数据。
11.本技术方案中，分别通过对网络设备、链路网络流量以及网络传输等进行了多方面的分析，然后在网络传输异常时，可以根据追溯源头的方式，能够及时获得问题源头，进而实现了源头的问题解决。
12.本技术方案中，由于网络设备以及链路均能够得到一定的预测，尤其是结合历史数据，采用现有的预测模型以及统计方式，能够高准确度、快速的推断出相关的数据，以提高优化的效率。
13.本技术方案中，采用预测短期的进行限流引流控制，而长期的，采用其他控制方式
优化，实现了短期加长期的控制优化方式，以确保能根据预测的流量需求，进行对应的调整。
14.作为本发明的进一步改进，所述链路网络流量步骤中，空闲时间段的流量数据具体为：根据值分布特征和/或统计指标分析，得出空闲时间段的流量数据。
15.本技术方案中，为了避免有些空闲时间段，网络数据流比较低，如果加入预测中，则会造成预测数据中杂质的增多，增大误差，故需要针对性的进行对应的剔除。
16.作为本发明的进一步改进，所述各链路网络流量的阈值通过3sigma准则和/或箱形图进行求解。
17.本技术方案中，利用一种或多种方式进行阈值的求解，进而能够针对性的进行不同的策略的采纳，以实现多种情况的多种处理方式，提高整个的优化效率。
18.作为本发明的进一步改进，所述3sigma准则是通过正态分布得到正常值和异常值，所述正常值的分布区间为(μ
‑
3σ,μ 3σ)。
19.本技术方案中，根据历史数据，结合正态分布，以测量次数充分大为前提的，当测量次数少的情形用准则剔除粗大误差是不够可靠的，进而获得正常值的范围，实现了数据集的处理。
20.作为本发明的进一步改进，所述箱形图通过对链路网络流量的历史数据进行分布特征的比较，进而选出大于上限值或小于下限值的数值，作为空闲时间段的流量数据，进行剔除。
21.本技术方案中，箱形图的绘制依靠实际数据，不需要事先假定数据服从特定的分布形式，没有对数据作任何限制性要求，它只是真实直观地表现数据形状的本来面貌；因此更适合用于历史数据。
22.作为本发明的进一步改进，所述网络传输的控制步骤中，所述预测出未来某一时间段内局域网中的流量具体为：利用基于随机森林算法的网络设备流量，预测模型对未来一段时间内局域网中流量进行预测，得到预测的流量。
23.本技术方案中，通过设置阈值，然后与预测的预测值进行对比，能够直接得到预测的局域网的流量，然后在得到的流量超负载时，进行限流引流，实现疏通。
24.作为本发明的进一步改进，所述限流和引流具体为，当预测流量高于阈值时，通过追溯限流法，实现网络传输的控制。
25.本技术方案中，利用追溯限流法，能直接获得最原始的数据，进而进行最初堵塞的追溯，通过处理此处的堵塞，进而能够使得整个的局域网流量得到顺畅通讯传输。
26.作为本发明的进一步改进，所述追溯限流法具体为：在某一网络通道预测流量高于阈值时，通过对与预测流量高于阈值的网络通道通讯的网络设备及交换机端口进行追溯，分析流量占用较高的ip信息，并按照超过阈值的流量数的2倍对占用较高的ip信息进行限流。
27.本技术方案中，通过具体进行的量化，以提高了限流的具体判断标准，便于进行直接的限流。
28.作为本发明的进一步改进，所述对长期超负荷的网络通道的链路进行优化具体为：基于历史交换机的符合数据，应用统计分析法对局域网中各个交换机和链路载荷情况进行分析，获取各个链路中的负荷情况，从而为网络优化提供数据。
29.本技术方案中，通过对于长期的链路的优化，以实现中长期等长期的预测和优化，相比于短期，其具有更长久的意义。
30.作为本发明的进一步改进，所述网络传输优化步骤中，所述对高宽度需求的场景进行扩容具体为：在对网络速度、带宽和可靠性具有高于正常要求的情况下，通过网络扩容的方式，实现网络传输的优化。
31.本技术方案中，为了适应特殊场景，故增加了扩容这样的优化方式，以提升效率。
附图说明
32.图1为本发明提供的基于流量需求的网络传输控制优化方法的流程图；
33.图2为本发明提供的3sigma准则的示意图；
34.图3为本发明提供的箱形图的示意图。
具体实施方式
35.下面结合附图对本发明的具体实施方式作进一步详细的说明。
36.实施例1
37.本实施例中，主要介绍基于流量需求的网络传输控制优化方法的关键步骤。
38.参照附图1所示，基于流量需求的网络传输控制优化方法，包括：
39.网络设备流量预测：借用网络设备的历史流量数据，对网络设备流量预测模型训练，得到训练后的网络设备流量预测模型；
40.具体地，本步骤中，可以借助机器学习算法或神经网络构建网络设备流量预测模型，并利用网络设备历史流量数据对模型进行训练，从而实现对网络设备流量的实时精准预测。
41.链路网络流量：根据统计学的算法，剔除历史数据中，空闲时间段的流量数据，进而得到各链路网络流量的阈值；
42.网络传输的控制：根据预测得到的网络设备流量以及链路网络流量，预测出未来某一时间段内局域网中的流量，在局域网的网络通道超负荷运转时，通过限流和引流的方法，减少超负荷运转的网络通道内的流量；
43.网络传输优化：通过采用对长期超负荷的网络通道的链路进行优化和/或对高宽度需求的场景进行扩容的方式，实现网络传输的优化。
44.所述对长期超负荷的网络通道的链路进行优化具体为：基于历史交换机的符合数据，应用统计分析法对局域网中各个交换机和链路载荷情况进行分析，获取各个链路中的负荷情况，从而为网络优化提供数据。
45.本实施例中，分别通过对网络设备、链路网络流量以及网络传输等进行了多方面的分析，然后在网络传输异常时，可以根据追溯源头的方式，能够及时获得问题源头，进而实现了源头的问题解决。
46.本实施例中，由于网络设备以及链路均能够得到一定的预测，尤其是结合历史数据，采用现有的预测模型以及统计方式，能够高准确度、快速的推断出相关的数据，以提高优化的效率。
47.本实施例中，采用预测短期的进行限流引流控制，而长期的，采用其他控制方式优
化，实现了短期加长期的控制优化方式，以确保能根据预测的流量需求，进行对应的调整。
48.实施例2
49.本实施例中，主要介绍链路网络流量的获取。
50.进一步地，所述链路网络流量步骤中，空闲时间段的流量数据具体为：根据值分布特征和/或统计指标分析，得出空闲时间段的流量数据。
51.本实施例中，为了避免有些空闲时间段，网络数据流比较低，如果加入预测中，则会造成预测数据中杂质的增多，增大误差，故需要针对性的进行对应的剔除。
52.具体地，所述各链路网络流量的阈值通过3sigma准则和/或箱形图进行求解。
53.本实施例中，利用一种或多种方式进行阈值的求解，进而能够针对性的进行不同的策略的采纳，以实现多种情况的多种处理方式，提高整个的优化效率。
54.参照附图2所示，所述3sigma准则是通过正态分布得到正常值和异常值，所述正常值的分布区间为(μ
‑
3σ,μ 3σ)。
55.参照附图2所示正态分布中，σ为标准差，μ为均值，x＝μ为图像的对称轴，3σ准则为：
56.1)数值分布在(μ
‑
σ,μ σ)中的概率为0.6827；
57.2)数值分布在(μ
‑
2σ,μ 2σ)中的概率为0.9545；
58.3)数值分布在(μ
‑
3σ,μ 3σ)中的概率为0.9973；
59.可以认为，一个正态分布的数据集的取值几乎全部集中在(μ
‑
3σ,μ 3σ)区间内，超出这个范围的可能性仅占不到0.3％。
60.本实施例中，根据历史数据，结合正态分布，以测量次数充分大为前提的，当测量次数少的情形用准则剔除粗大误差是不够可靠的，进而获得正常值的范围，实现了数据集的处理。
61.参照附图3所示，所述箱形图通过对链路网络流量的历史数据进行分布特征的比较，进而选出大于上限值或小于下限值的数值，作为空闲时间段的流量数据，进行剔除。
62.本实施例中，箱形图的绘制依靠实际数据，不需要事先假定数据服从特定的分布形式，没有对数据作任何限制性要求，它只是真实直观地表现数据形状的本来面貌；因此更适合用于历史数据。
63.箱形图(box
‑
plot)又称为盒须图、盒式图或箱线图，是一种用作显示一组数据分散情况资料的统计图，常见于品质管理。它主要用于反映原始数据分布的特征，还可以进行多组数据分布特征的比较。箱形图为我们提供了识别异常值的一个标准：异常值被定义为小于q1
‑
1.5iqr(下界)或大于q3 1.5iqr(上界)的值。该标准来源于经验判断，验证表明它在处理需要特别注意的数据方面表现不错。
64.实施例3
65.进一步地，所述网络传输的控制步骤中，所述预测出未来某一时间段内局域网中的流量具体为：利用基于随机森林算法的网络设备流量，预测模型对未来一段时间内局域网中流量进行预测，得到预测的流量。
66.本实施例中，通过设置阈值，然后与预测的预测值进行对比，能够直接得到预测的局域网的流量，然后在得到的流量超负载时，进行限流引流，实现疏通。
67.具体地，所述限流和引流具体为，当预测流量高于阈值时，通过追溯限流法，实现
网络传输的控制。
68.本实施例中，利用追溯限流法，能直接获得最原始的数据，进而进行最初堵塞的追溯，通过处理此处的堵塞，进而能够使得整个的局域网流量得到顺畅通讯传输。
69.进一步地，所述追溯限流法具体为：在某一网络通道预测流量高于阈值时，通过对与预测流量高于阈值的网络通道通讯的网络设备及交换机端口进行追溯，分析流量占用较高的ip信息，并按照超过阈值的流量数的2倍对占用较高的ip信息进行限流。
70.本实施例中，通过具体进行的量化，以提高了限流的具体判断标准，便于进行直接的限流。
71.具体地，所述对长期超负荷的网络通道的链路进行优化具体为：基于历史交换机的符合数据，应用统计分析法对局域网中各个交换机和链路载荷情况进行分析，获取各个链路中的负荷情况，从而为网络优化提供数据。
72.本实施例中，通过对于长期的链路的优化，以实现中长期等长期的预测和优化，相比于短期，其具有更长久的意义。比如之前的步骤，只能预测1天的，而长期的优化，可能优化的是一个月，一个季度，甚至半年的，避免一些可能出现的问题的存在。
73.进一步地，所述网络传输优化步骤中，所述对高宽度需求的场景进行扩容具体为：在对网络速度、带宽和可靠性具有高于正常要求的情况下，通过网络扩容的方式，实现网络传输的优化。
74.本实施例中，为了适应特殊场景，故增加了扩容这样的优化方式，以提升效率。
75.实施例4
76.本实施例中，主要介绍预警方法中的一些核心步骤。
77.步骤1：网络设备流量预测。
78.借助机器学习算法或神经网络构建网络设备流量预测模型，并利用网络设备历史流量数据对模型进行训练，从而实现对网络设备流量的实时精准预测。
79.步骤2：链路网络流量阈值求解
80.基于链路网络流量历史数据，通过对历史数据进行分析，剔除“空闲”时间段内的数据，从而根据值分布特征或统计指标对其进行分析，从而得到各链路网络流量的阈值。其中，求解阈值的关键方法包括3sigma准则和箱形图，具体如下所述：
81.(1)3sigma准则
82.3σ准则又称为拉依达准则，是指先假设一组检测数据只含有随机误差，对其进行计算处理得到标准偏差，按一定概率确定一个区间，认为凡超过这个区间的误差，就不属于随机误差而是粗大误差(异常值)，含有该误差的数据应予以剔除。这种判别处理原理及方法仅局限于对正态或近似正态分布的样本数据处理，它是以测量次数充分大为前提的，当测量次数少的情形用准则剔除粗大误差是不够可靠的。
83.如上图2所示正态分布中，σ为标准差，μ为均值，x＝μ为图像的对称轴，3σ准则为：
84.1)数值分布在(μ
‑
σ,μ σ)中的概率为0.6827；
85.2)数值分布在(μ
‑
2σ,μ 2σ)中的概率为0.9545；
86.3)数值分布在(μ
‑
3σ,μ 3σ)中的概率为0.9973；
87.可以认为，一个正态分布的数据集的取值几乎全部集中在(μ
‑
3σ,μ 3σ)区间内，超出这个范围的可能性仅占不到0.3％。
88.(2)箱形图法
89.箱形图(box
‑
plot)又称为盒须图、盒式图或箱线图，是一种用作显示一组数据分散情况资料的统计图，常见于品质管理。它主要用于反映原始数据分布的特征，还可以进行多组数据分布特征的比较。箱形图为我们提供了识别异常值的一个标准：异常值被定义为小于q1‑
1.5iqr(下界)或大于q3 1.5iqr(上界)的值。该标准来源于经验判断，验证表明它在处理需要特别注意的数据方面表现不错。箱形图如下图3所示：
90.众所周知，基于正态分布的3σ准则是以假定数据服从正态分布为前提的，但实际数据往往并不严格服从正态分布。它们判断异常值的标准是以计算数据批的均值和标准差为基础的，而均值和标准差的耐抗性极小，异常值本身会对它们产生较大影响，这样产生的异常值个数不会多于总数0.7％。显然，应用这种方法于非正态分布数据中判断异常值，其有效性是有限的。箱形图的绘制依靠实际数据，不需要事先假定数据服从特定的分布形式，没有对数据作任何限制性要求，它只是真实直观地表现数据形状的本来面貌；另一方面，箱形图判断异常值的标准以四分位数和四分位距为基础，四分位数具有一定的耐抗性，多达25％的数据可以变得任意远而不会很大的扰动四分位数，所以异常值不能对这个标准施加影响，箱形图识别异常值的结果比较客观。
91.步骤3：网络传输控制
92.网络传输控制主要是针对网络通道高负荷运转情况下，采用限流和引流的方式对网络通道尽心降压，从而保持网络环境的安全与稳定。对于局域网中网络流量的控制，本项目首先利用基于随机森林算法的网络设备流量预测模型对未来一段时间内局域网中流量进行预测。如果预测流量值高于阈值，则需要对各网络设备及交换机端口进行追溯，分析流量占用较高的ip信息，并按照超过阈值的流量数的2倍对占用较高的ip信息进行限流，从而实现网络传输的控制。
93.步骤4：网络传输优化
94.网络传输优化的目标包括两个方面，其一，对长期高负荷的链路进行负载优化。其二，对于高宽带需求的场景进行扩容。
95.(1)对长期高负荷的链路进行负载优化。基于历史交换机负荷数据，应用数理统计方法对局域网中各个交换机和链路载荷情况进行分析，获取各个链路中的负荷情况，从而为业务人员网络优化提供数据。
96.(2)对于高宽带需求的场景进行扩容。该情况主要是在特殊情况下，对网络速度、带宽和可靠性具有特殊需求的场景。对于该需求的处理，则采用网络扩容的方式进行优化。
97.以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。