一种网络故障定位方法及装置与流程

1.本技术涉及网络管理技术领域，具体涉及一种网络故障定位方法及装置。


背景技术：

2.随着5g网络、大数据和云计算的到来，一个互联网系统或应用每时每刻都面临着海量数据的吞吐，大量用户的各种请求和操作，网络设备时刻都在进行海量数据的交换。此时，仅靠运维人员人工监控整个系统或应用的运行情况逐渐显得力不从心，难以及时、全面的发现系统或应用出现的异常。
3.一方面，在现有的技术手段中，需要运维人员深入掌握计算机领域专业知识，运维人员在巡检时记录各种设备的运行状态，及时排除安全隐患。但在实际情况中，部分运维人员缺乏经验，需要长期的岗前培训，造成其即便上岗也只能处于应急被动抢修的工作状态。另一方面，运维人员需全天候高频率巡检，记录成百上千个机柜的指示灯、设备仪表盘等设备状态，并评估系统运行状态。由于长期工作在高温、高噪音的环境下，不利于身心健康，尤其是夜间工作，容易产生疲劳，导致在数据中心巡检过程中还是会有很多异常信号和隐患会被疏漏。
4.因此，如何高效的为网络运行提供维护保障工作，是目前急需解决的技术问题。


技术实现要素：

5.本技术提供一种网络故障定位方法及装置，对目标网络进行监测，并结合预先根据网络故障数据构建的故障定位模型，对监测运行数据进行分析比对，从而对目标网络的故障情况进行自动定位，高效的为网络运行提供维护保障工作。
6.第一方面，本技术提供了一种网络故障定位方法，所述方法包括以下步骤：
7.实时监控目标网络，获得监测运行数据；
8.根据目标网络的网络类型，从所述监测运行数据中提取对应的关键性能指标数据；
9.根据所述关键性能指标数据，结合预设的故障定位模型，进行网络故障定位；
10.所述方法还包括以下步骤：
11.根据不同网络类型的通信网络的网络故障数据，构建所述故障定位模型，所述故障定位模型记录不同类型的网络故障对应的网络设备以及对应的故障数据，所述故障定位模型用于对所述关键性能指标数据进行比对，判断网络故障类型以及对应的故障设备。
12.具体的，所述故障定位模型包括单项预测模型以及组合预测模型；
13.所述单项预测模型用于当所述关键性能指标数据中存在一项数据出现异常时，进行网络故障定位；
14.所述组合预测模块用于当所述关键性能指标数据中存在至少项数据出现异常时，结合所述关键性能指标数据中不同数据类型的权重值，进行网络故障定位。
15.进一步的，所述方法在实时监控目标网络，获得监测运行数据之后，根据目标网络
的网络类型，从所述监测运行数据中提取对应的关键性能指标数据之前，还包括以下步骤：
16.对所述监测运行数据进行预处理；
17.所述预处理包括根据预设规则对数据缺失值进行填充以及数据归一化处理。
18.具体的，所述关键性能指标数据包括cpu使用率、内存使用率、磁盘io、网卡吞吐率以及网络设备端口门限值。
19.具体的，所述目标网络中的设备包括ptn网络设备、otn网络设备、olt网络设备、onu网络设备、sdh网络设备或服务器。
20.第二方面，本技术提供了一种网络故障定位装置，所述装置包括：
21.运行监测模块，其用于实时监控目标网络，获得监测运行数据；
22.数据提取模块，其用于根据目标网络的网络类型，从所述监测运行数据中提取对应的关键性能指标数据；
23.故障定位模块，其用于根据所述关键性能指标数据，结合预设的故障定位模型，进行网络故障定位；
24.所述装置还包括：
25.模型构建模块，其用于根据不同网络类型的通信网络的网络故障数据，构建所述故障定位模型，所述故障定位模型记录不同类型的网络故障对应的网络设备以及对应的故障数据，所述故障定位模型用于对所述关键性能指标数据进行比对，判断网络故障类型以及对应的故障设备。
26.具体的，所述故障定位模型包括单项预测模型以及组合预测模型；
27.所述单项预测模型用于当所述关键性能指标数据中存在一项数据出现异常时，进行网络故障定位；
28.所述组合预测模块用于当所述关键性能指标数据中存在至少项数据出现异常时，结合所述关键性能指标数据中不同数据类型的权重值，进行网络故障定位。
29.进一步的，所述装置还包括：
30.预处理模块，其用于对所述监测运行数据进行预处理；
31.所述预处理包括根据预设规则对数据缺失值进行填充以及数据归一化处理。
32.具体的，所述关键性能指标数据包括cpu使用率、内存使用率、磁盘io、网卡吞吐率以及网络设备端口门限值。
33.具体的，所述目标网络中的设备包括ptn网络设备、otn网络设备、olt网络设备、onu网络设备、sdh网络设备或服务器。
34.本技术提供的技术方案带来的有益效果包括：
35.本技术对目标网络进行监测，并结合预先根据网络故障数据构建的故障定位模型，对监测运行数据进行分析比对，从而对目标网络的故障情况进行自动定位，高效的为网络运行提供维护保障工作。
附图说明
36.术语解释：
37.cpu：central processing unit，中央处理器；
38.io：in put/out put，输入/输出；
39.ptn：packet transport network，分组传送网；
40.otn：optical transport network，光传送网；
41.olt：optical line terminal，光线路终端；
42.onu：optical network unit，光网络单元；
43.sdh：synchronous digital hierarchy，同步数字体系。
44.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
45.图1为本技术实施例中提供的网络故障定位方法的步骤流程图；
46.图2为本技术实施例中提供的网络故障定位方法中关键性能指标数据的异常检测架构原理图；
47.图3为本技术实施例中提供的网络故障定位装置的结构框图。
具体实施方式
48.为使本技术实施例的目的、技术方案和优点更加清楚，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本技术的一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本技术保护的范围。
49.以下结合附图对本技术的实施例作进一步详细说明。
50.本技术实施例提供一种网络故障定位方法及装置，对目标网络进行监测，并结合预先根据网络故障数据构建的故障定位模型，对监测运行数据进行分析比对，从而对目标网络的故障情况进行自动定位，高效的为网络运行提供维护保障工作。
51.为达到上述技术效果，本技术的总体思路如下：
52.一种网络故障定位方法，该方法包括以下步骤：
53.s1、实时监控目标网络，获得监测运行数据；
54.s2、根据目标网络的网络类型，从监测运行数据中提取对应的关键性能指标数据；
55.s3、根据关键性能指标数据，结合预设的故障定位模型，进行网络故障定位；
56.另外，该方法还包括准备步骤，可记作步骤s0，步骤s0包括：
57.根据不同网络类型的通信网络的网络故障数据，构建故障定位模型，故障定位模型记录不同类型的网络故障对应的网络设备以及对应的故障数据，故障定位模型用于对关键性能指标数据进行比对，判断网络故障类型以及对应的故障设备。
58.以下结合附图对本技术的实施例作进一步详细说明。
59.第一方面，参见图1～2所示，本技术实施例提供一种网络故障定位方法，该方法包括以下步骤：
60.s1、实时监控目标网络，获得监测运行数据；
61.s2、根据目标网络的网络类型，从监测运行数据中提取对应的关键性能指标数据；
62.s3、根据关键性能指标数据，结合预设的故障定位模型，进行网络故障定位；
63.另外，该方法还包括准备步骤，可记作步骤s0，步骤s0包括：
64.根据不同网络类型的通信网络的网络故障数据，构建故障定位模型，故障定位模型记录不同类型的网络故障对应的网络设备以及对应的故障数据，故障定位模型用于对关键性能指标数据进行比对，判断网络故障类型以及对应的故障设备。
65.在具体实施时，该方法的流程包括以下步骤：
66.第一步，对网络数据进行预处理，主要通过专家库系统对包括网络数据缺失值的填充，数据归一化等处理。
67.第二步，如说明书附图的图2所示，针对输入的网络数据不均衡问题采用异常数据过采样，达到数据均衡。
68.第三步，对网络运维数据进行特征提取，例如：在一个滑动窗口内数据的均值，方差，斜率等。再将这些特征整合在一起，构成特征集合。其中关键指标包括cpu使用率，内存使用率，磁盘io，网卡吞吐率等。
69.第四步，采用逻辑回归模型进行训练，然后对各个模型的结果进行加权整合，得到最终的结果。模型根据网络类型进行对应，分为有线网，光纤网，无线网，局域网等，这是因为不同网络类型对应的网络设备也不相同；
70.按照设备类型构建了ptn网络设备、otn网络设备、olt网络设备、onu网络设备、sdh网络设备、服务器等网络设备主题库，每一种网络类型都对应了一组不同权重系数的设备主题库，权重系数介于0
‑
1之间，权重系数可以按照网络中设备所占的比例进行初始值的设置，这样的好处是重要的设备权重高，更能有利于模型训练的准确性，随后通过梯度下降法，结合特征矩阵，通过不断对逻辑回归模型进行训练，实现对结果的分类。
71.在出现问题后，首先对网络类型进行识别，再利用训练好相应的逻辑回归模型进行网络设备故障的判断，最终定位究竟是何种网络设备出现故障。
72.第五步，由于相同网络类型存在组网的差异化，因此还需要考虑到模型评估结果的数据存在不平衡的情况，使用f1
‑
socre(均衡平均数)来评估模型的性能。
73.本技术实施例中，对目标网络进行监测，并结合预先根据网络故障数据构建的故障定位模型，对监测运行数据进行分析比对，从而对目标网络的故障情况进行自动定位，高效的为网络运行提供维护保障工作。
74.需要说明的是，本技术实施例提出了运用基于逻辑回归组合判定的方法，结合运维设备的关键性能指标，如cpu使用率，内存使用率，磁盘io，网卡吞吐率，网络设备端口门限等，将孤岛化的基础数据进行有效的融合关联处理，结合最优权重系数法，综合利用单项故障定位模型的有用信息，提高定位的精度，构建面向5g数据中心的故障定位模型，并不断对模型进行训练，为网络故障的定位判定和维护决策提供多方位、高效率的信息支持。
75.相对于现有技术，本技术实施例的优势在于：
76.基于海量历史数据以及机器学习相结合的方式，研究数据中心基础数据分类，构建设备类型主题库，将不同数据存放到对应分类的设备类型主题库中；
77.研究网络故障的历史数据，结合运维设备的关键性能指标，建立单项故障定位模型；
78.利用单项故障定位模型的有用信息，通过导入网络故障历史数据，结合最优权重系数法，不断调整单项故障定位模型的权重系数，构建面向数据中心的逻辑回归组合的故障判定模型；
79.与运维工单系统结合，为网络故障的维护提供多方位、高效率的信息支持。
80.本技术实施例中，故障定位模型的构建，具体情况如下：
81.研究网络故障的历史数据，通过抽取网络故障事件中共性特征信息，建立关键性能指标数据指标，例如，cpu使用率，内存使用率，磁盘io，网卡吞吐率，网络设备端口门限等，综合利用单项故障定位模型的有用信息，通过导入网络故障历史数据，结合最优权重系数法，不断调整单项故障定位模型的权重系数，构建面向数据中心的逻辑回归组合的故障判定模型。
82.具体的，故障定位模型包括单项预测模型以及组合预测模型；
83.单项预测模型用于当关键性能指标数据中存在一项数据出现异常时，进行网络故障定位；
84.组合预测模块用于当关键性能指标数据中存在至少项数据出现异常时，结合关键性能指标数据中不同数据类型的权重值，进行网络故障定位。
85.具体的，本技术实施例中，假设有m个单项预测模型，单项预测模型：f
i
(x),i＝1,2,...,m；
86.组合预测模型可表示为:
87.其中w为单项预测模型的权重系数，满足
88.由上式可以知道在组合预测模型中，除了单项预测模型的选择，权重的确定也是其中一个重要的研究问题。
89.另外，本技术采用最优权重系数法，最优权重系数法是将按照某种规则确定的目标函数，通过一定的限定条件使其得到最大值或最小值，从而求得权重系数；
90.用数学规划的方法表示最优权重系数法，如下所示：
[0091][0092]
其中，φ(w1,w2,...,w
m
)为目标函数。
[0093]
在研究网络故障的历史数据中，按照设备类型构建了ptn网络设备、otn网络设备、olt网络设备、onu网络设备、sdh网络设备、服务器等网络设备主题库；
[0094]
每一种网络设备主题，即每一种网络类型都对应了一组不同的权重系数。
[0095]
本技术实施例用大量的历史运维数据和不断的机器学习模型训练，构建一套构建综合的故障定位模型，从而规避人为因素的偶然性，使得故障判定更加稳定；
[0096]
通过结合最优权重系数，综合利用单项故障定位模型的有用信息，构建综合的故障定位模型，提升了故障断定的准确性。
[0097]
进一步的，方法在实时监控目标网络，获得监测运行数据之后，根据目标网络的网络类型，从监测运行数据中提取对应的关键性能指标数据之前，还包括以下步骤：
[0098]
对监测运行数据进行预处理；
[0099]
预处理包括根据预设规则对数据缺失值进行填充以及数据归一化处理。
[0100]
具体的，关键性能指标数据包括cpu使用率、内存使用率、磁盘io、网卡吞吐率以及网络设备端口门限值。
[0101]
具体的，目标网络中的设备包括ptn网络设备、otn网络设备、olt网络设备、onu网络设备、sdh网络设备或服务器。
[0102]
第二方面，参见图3所示，本技术实施例提供一种网络故障定位装置，其基于第一方面提及的网络故障定位方法，该装置包括：
[0103]
运行监测模块，其用于实时监控目标网络，获得监测运行数据；
[0104]
数据提取模块，其用于根据目标网络的网络类型，从监测运行数据中提取对应的关键性能指标数据；
[0105]
故障定位模块，其用于根据关键性能指标数据，结合预设的故障定位模型，进行网络故障定位；
[0106]
另外，该装置还包括：
[0107]
模型构建模块，其用于根据不同网络类型的通信网络的网络故障数据，构建故障定位模型，故障定位模型记录不同类型的网络故障对应的网络设备以及对应的故障数据，故障定位模型用于对关键性能指标数据进行比对，判断网络故障类型以及对应的故障设备。
[0108]
本技术实施例中，对目标网络进行监测，并结合预先根据网络故障数据构建的故障定位模型，对监测运行数据进行分析比对，从而对目标网络的故障情况进行自动定位，高效的为网络运行提供维护保障工作。
[0109]
需要说明的是，本技术实施例提出了运用基于逻辑回归组合判定的方法，结合运维设备的关键性能指标，如cpu使用率，内存使用率，磁盘io，网卡吞吐率，网络设备端口门限等，将孤岛化的基础数据进行有效的融合关联处理，结合最优权重系数法，综合利用单项故障定位模型的有用信息，提高定位的精度，构建面向5g数据中心的故障定位模型，并不断对模型进行训练，为网络故障的定位判定和维护决策提供多方位、高效率的信息支持。
[0110]
相对于现有技术，本技术实施例的优势在于：
[0111]
基于海量历史数据以及机器学习相结合的方式，研究数据中心基础数据分类，构建设备类型主题库，将不同数据存放到对应分类的设备类型主题库中；
[0112]
研究网络故障的历史数据，结合运维设备的关键性能指标，建立单项故障定位模型；
[0113]
利用单项故障定位模型的有用信息，通过导入网络故障历史数据，结合最优权重系数法，不断调整单项故障定位模型的权重系数，构建面向数据中心的逻辑回归组合的故障判定模型；
[0114]
与运维工单系统结合，为网络故障的维护提供多方位、高效率的信息支持。
[0115]
本技术实施例中，故障定位模型的构建，具体情况如下：
[0116]
研究网络故障的历史数据，通过抽取网络故障事件中共性特征信息，建立关键性能指标数据指标，例如，cpu使用率，内存使用率，磁盘io，网卡吞吐率，网络设备端口门限等，综合利用单项故障定位模型的有用信息，通过导入网络故障历史数据，结合最优权重系数法，不断调整单项故障定位模型的权重系数，构建面向数据中心的逻辑回归组合的故障
判定模型。
[0117]
具体的，故障定位模型包括单项预测模型以及组合预测模型；
[0118]
单项预测模型用于当关键性能指标数据中存在一项数据出现异常时，进行网络故障定位；
[0119]
组合预测模块用于当关键性能指标数据中存在至少项数据出现异常时，结合关键性能指标数据中不同数据类型的权重值，进行网络故障定位。
[0120]
进一步的，该装置还包括：
[0121]
预处理模块，其用于对监测运行数据进行预处理；
[0122]
预处理包括根据预设规则对数据缺失值进行填充以及数据归一化处理。
[0123]
具体的，关键性能指标数据包括cpu使用率、内存使用率、磁盘io、网卡吞吐率以及网络设备端口门限值。
[0124]
具体的，目标网络中的设备包括ptn网络设备、otn网络设备、olt网络设备、onu网络设备、sdh网络设备或服务器。
[0125]
需要说明的是，在本技术中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0126]
以上仅是本技术的具体实施方式，使本领域技术人员能够理解或实现本技术。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本技术的精神或范围的情况下，在其它实施例中实现。因此，本技术将不会被限制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。