一种通过AI算法定位5G网络虚拟化跨层问题的方法与流程

一种通过ai算法定位5g网络虚拟化跨层问题的方法
技术领域
1.本发明涉及计算机网络技术领域，具体来说，涉及一种通过ai算法定位5g网络虚拟化跨层问题的方法。


背景技术：

2.5g核心网是应用了nfv（网络功能虚拟化）、云化、服务化、多网融合、网络切片等技术的新一代架构。在5g 3gpp架构划分后，5g软件部分基本上都划入到5gc中（少许部分在cu）—— 原有4g epc核心已被拆解为若干5g微服务，并采用nfv架构方式运行在通用服务器上。
3.基于nfv技术的5g分层解耦网络，在如何发现故障，定位故障方面存在如下难题：1）分层解耦后设备多厂家，导致nfv运维复杂化， 跨层定界定位问题困难；2）网元软件化，故障点不明确，亚健康增多，定位困难；3）多网元共享硬件，需要能快速发现甚至预测故障，通过弹性自动扩缩容、故障自愈需要分钟级的快速反应。
4.为了解决能定位5g网络中的vnf（虚拟化网络功能）故障根源，需要借助于5g网络本身提供的大量可分析数据，以及ai大数据发掘技术。5g网络可利用的数据，包括传输层数据（信道、频谱、用户链路）和网络层数据 (各种信令、管理数据），此外，还有各种类型的应用层数据。运营商可以基于这些数据，引入人工智能技术来应对5g网络挑战。引入人工智能技术，实现大数据分析及自适应策略决策，能够进一步优化自动化方案，帮助不断理解和预测用户和网络的需求，实现更好的故障定位定界，更好的资源编排和调度，从而逐渐实现完全的智能自治网络。智能自治网络有助于降低网络建设和运营成本，响应用户和业务的需求，创新商业模式，为运营商带来巨大的新机遇。因此，本发明提出了一种通过ai算法定位5g网络虚拟化跨层问题的方法。


技术实现要素：

5.针对相关技术中的问题，本发明提出一种通过ai算法定位5g网络虚拟化跨层问题的方法，以克服现有相关技术所存在的上述技术问题。
6.为此，本发明采用的具体技术方案如下：一种通过ai算法定位5g网络虚拟化跨层问题的方法，该方法包括以下步骤：s1、告警关联：对海量告警相关数据进行聚类，并结合预设的模型进行告警关联分析，实现对根告警的快速定位；s2、根故障定位：将根告警所属的告警分类、告警描述结合人为经验、机器学习构建的故障原因诊断能力输出导致故障告警发生的最终根因。
7.进一步的，所述s1对海量告警相关数据进行聚类，并结合预设的模型进行告警关联分析，实现对根告警的快速定位包括以下步骤：s11、告警数据收集：收集虚拟资源告警、物理资源告警、vnf业务告警、vnf生命周期相关告名词、业务告警、ns生命周期告警、nfvi重要告警、动环设备告警，并将告警数据进
行格式归一化处理；s12、告警数据清洗：对告警数据中的无用数据、异常数据、错误数据及残缺数据进行过滤处理；s13、告警数据聚类：对网元层、虚拟层及硬件层的告警标签进行分类处理，并将告警数据按虚拟层告警、物理层告警及网元层告警划分类型，再分别根据告警时间、告警位置及节点的维度进行数据聚类；s14、告警关联：利用预设的跨层告警关联模型、跨层资源关联模型、告警事件关联模型实现对告警的自动关联分析；s15、模型训练：计算告警间的支持度、置信度及不同数据集合中告警间的关联度，并采用半监督的方式对根告警进行人工标注；s16、模型构建：建立虚拟层告警关联模型、物理层告警关联模型、网元层告警关联模型，对于nvf架构的设备，增加pim、vim的纵向分析，建立跨层告警关联模型，同时，根据端到端切片设备拓扑关系，建立跨专业告警关联模型。
8.进一步的，所述s13中对网元层、虚拟层及硬件层的告警标签进行分类处理包括以下步骤：对网元层的告警按业务功能模块进行归类聚合；对虚拟层的告警根据包含但不限于来自主机、虚机、主机端口、虚机端口的标签进行归类聚合；对硬件层的告警根据包含但不限于来自存储、交换机、路由器、服务器的标签进行归类聚合。
9.进一步的，所述s13中将告警数据按虚拟层告警、物理层告警及网元层告警划分类型，再分别根据告警时间、告警位置及节点的维度进行数据聚类包括以下步骤：在资源数据中，采集并抽取切片端到端的包含但不限于网元、机房、vim、pim、ip的资源数据及相关的告警数据，划分为数据集合；将告警数据根据包含但不限于时间、位置、资源、层级的维度进行数据聚类，并通过预设的关键词、关键词匹配的相似度阈值，获取遍历后的告警数据集。
10.进一步的，所述告警数据进行数据聚类后主要信息包括：聚类时间信息：包含但不限于聚类开始时间、聚类结束时间、时间窗宽度及滑动步长；网元资源信息：包含但不限于网元名称、网元编码、所属专业、网元类型、网元虚实性、软件版本、网元状态、设备型号及信令点编码；地域信息：包含但不限于省份、地市、区县、地址、所属机房及局站类型；网络层级信息：包含但不限于dc、核心dc、边缘dc、业务网元、vnf网元与虚拟层、物理机。
11.进一步的，所述s15中计算告警间的支持度、置信度及不同数据集合中告警间的关联度，并采用半监督的方式对根告警进行人工标注包括以下步骤：s151、根据时间聚类告警，计算告警发生的频率，并通过决策树fp
‑
growth算法算出告警间的支持度和置信度；s152、计算不同数据集合中告警间的关联度，并从频发告警里面挖掘是否有同链
路，同集合，实现置信度的提高；s153、在没有资源数据的情况下，通过文本相似度来分析告警间数据的关联，并引入资源数据，提高告警间的置信度，定位出根告警；s154、采用半监督的方式，对ai分析出来的根告警进行人工标注，若标注通过则记为一条根告警，若标注不通过则重新分析。
12.进一步的，所述s153中通过文本相似度来分析告警间数据的关联包括基于文本相似度的资源不准告警关联，其中，所述基于文本相似度的资源不准告警关联中包括对动环停电场景下的资源不准的网络设备进行标识。
13.进一步的，所述对动环停电场景下的资源不准的网络设备进行标识包括以下步骤：增加离线告警分析：建立离线分析模块，按时间、区域维度构建告警数据组，对历史告警进行分类、建模、存储；获取相关告警标题：应用离线告警推演能力，提取相关的动环告警，并在关联时间窗内，对该时间、区域维度的设备告警进行关键字提取，获取相关包含但不限于基站退服、小区中断、控制链路断、设备脱网的告警；关键字提取：分析告警的关键信息，根据告警里面的区域信息，初步过滤不符合的设备告警，提取告警信息中包含但不限于机房名称、网元名称、ip地址、设备名称、端口、链路的信息；圈定告警设备范围：利用关键特征权值库，匹配特征的价值权重，通过余弦算法计算关键特征的相似度，得出与机房在同一区域的退服设备；合并重复设备数：对多次发生的动环停电告警的推演分析，合并比较每次机房停电后相同区域重复出现的设备，确定机房关联的设备，并建立相应的机房、设备关联库；实时告警关联：通过历史告警推出的机房、设备关联度，将新发生的机房停电故障与承载的基站、olt的退服告警相关联，合并派单；追加派单：当停电机房已派单时，将未关联上的退服基站进行相似度计算，对未派单的退服告警，追加派单至动环告警。
14.进一步的，所述s2中将根告警所属的告警分类、告警描述结合人为经验、机器学习构建的故障原因诊断能力输出导致故障告警发生的最终根因包括以下步骤：s21、工单数据清洗：解析故障工单的回单意思，去除无意义、重复词及感叹词；s22、回单数据规整：通过识别固定词语，划分故障处理的文本，建立多种处理模型，并进行故障数据规整、故障反馈信息文本分析、灌水式回复分析、重复词文本相似度分析；s23、构建rca模型：通过算法计算根告警与故障间的发生频率，频率高的标记为根故障，通过设置置信度、支持度的阈值，确定告警与故障间的关联关系，构建成rca模型；s24、人工标注：对训练后的rca根因进行人工标注，并进行算法调优；s25、根故障告警定位：根据故障处理及告警经验库定位根本故障原因。
15.进一步的，所述s22中故障处理的文本包括故障发生的位置、故障原因、当前处理进度、预计恢复时间、现场处理人员及电话。
16.本发明的有益效果为：
1）、本发明对基于网络功能虚拟化技术建设的5g网络，具备告警根因定位的能力，能够首先对海量告警相关数据进行合理、高效、精准的聚类，再结合跨层告警关联模型、跨层资源关联模型、告警事件关联模型等多层次、多维度的告警关联分析，实现对根告警的快速定位，最后对根告警所属告警分类、告警描述，结合人为经验、机器学习等构建的故障原因诊断能力，最后输出导致故障告警发生的最终根因。
17.2）、本发明通过综合物理层、虚拟层、网元层、动环等告警数据，有效地增加了数据覆盖的完整性，且本发明具有故障发现时延低、故障定位时延低及基于ai的故障定位准确率高的优点，此外，本发明通过进行故障定位后，不再需要针对每个问题派发需要处理的故障工单，通过针对压缩、故障定位根因问题后派单，可以有效地减少无效派单，从而可以有效地提高故障派单的压缩率。
附图说明
18.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
19.图1是根据本发明实施例的一种通过ai算法定位5g网络虚拟化跨层问题的方法的流程示意图；图2是根据本发明实施例的一种通过ai算法定位5g网络虚拟化跨层问题的方法中活动告警强关联的原理示意图；图3是根据本发明实施例的一种通过ai算法定位5g网络虚拟化跨层问题的方法中的告警根因分析流程示意图。
具体实施方式
20.为进一步说明各实施例，本发明提供有附图，这些附图为本发明揭露内容的一部分，其主要用以说明实施例，并可配合说明书的相关描述来解释实施例的运作原理，配合参考这些内容，本领域普通技术人员应能理解其他可能的实施方式以及本发明的优点，图中的组件并未按比例绘制，而类似的组件符号通常用来表示类似的组件。
21.根据本发明的实施例，提供了一种通过ai算法定位5g网络虚拟化跨层问题的方法。
22.现结合附图和具体实施方式对本发明进一步说明，如图1
‑
3所示，根据本发明实施例的一种通过ai算法定位5g网络虚拟化跨层问题的方法，该方法包括以下步骤：s1、告警关联：对海量告警相关数据进行聚类，并结合预设的模型进行告警关联分析，实现对根告警的快速定位；其中，所述s1包括以下步骤：s11、告警数据收集：收集虚拟资源告警、物理资源告警、vnf（virtualized network function，虚拟网络功能）业务告警、vnf生命周期相关告名词、业务告警、ns生命周期告警、nfvi（network function virtualization infrastructure，网络功能虚拟化基础设施）重要告警、动环设备告警，并将告警数据进行格式归一化处理；
s12、告警数据清洗：对告警数据中的无用数据、异常数据、错误数据及残缺数据进行过滤处理；s13、告警数据聚类：对网元层、虚拟层及硬件层的告警标签进行分类处理，并将告警数据按虚拟层告警、物理层告警及网元层告警划分类型，再分别根据告警时间、告警位置及节点等维度进行数据聚类；具体的，所述s13中分类标签包括：虚拟层告警：告警码、告警标题、告警位置、vim（virtualised infrastructure manager，虚拟化基础设施管理器）标识；物理层告警：告警码、告警标题、告警位置、物理机标识；网元层告警：告警码、告警标题、告警位置、vnf标识。
23.所述s13中对网元层、虚拟层及硬件层的告警标签进行分类处理包括以下步骤：对网元层的告警按业务功能模块进行归类聚合；对虚拟层的告警根据来自主机、虚机、主机端口、虚机端口等标签进行归类聚合；对硬件层的告警根据来自存储、交换机、路由器、服务器等标签进行归类聚合。
24.所述s13中将告警数据按虚拟层告警、物理层告警及网元层告警划分类型，再分别根据告警时间、告警位置及节点的维度进行数据聚类包括以下步骤：数据采集及预处理，在资源数据中，采集并抽取切片端到端的包含但不限于网元、机房、vim、pim、ip的资源数据及相关的告警数据，划分为数据集合，如同网元、同虚拟机、同物理机、同切片子网、具备拓扑关系网元；将大量告警数据根据时间、位置、资源、层级等维度进行数据聚类，从而有效缩短告警关联分析的范围，系统提供告警数据聚类处理后的数据呈现，同时支持对聚类数据进行快速检索，能够通过预设的关键词、关键词匹配的相似度阈值，获取遍历后的告警数据集。告警数据聚类后主要信息包括：聚类时间信息：能够呈现当前告警数据聚类过程涉及的时间窗信息，包括：聚类开始时间、聚类结束时间、时间窗宽度、滑动步长等。按滑动时间窗、场景、数据集合对告警进行分组，时间粒度可设置，如10分、5分、30秒，数据集合如同网元、同机房、同虚拟机；网元资源信息：网元名称、网元编码、所属专业、网元类型、网元虚实性、软件版本、网元状态、设备型号及信令点编码等；地域信息：省份、地市、区县、地址、所属机房及局站类型等；网络层级信息：dc、核心dc、边缘dc、业务网元、vnf网元与虚拟层、物理机等。呈现当前网元所处网络层级信息，支持通过地域层级关系，支持呈现省、市内的5g核心网拓扑，支持5g核心网网元下钻，可呈现5g业务网元、vnf网元与虚拟层、物理机之间的承载关系拓扑。
25.s14、告警关联：在完成告警数据聚类的基础上，利用预设的跨层告警关联模型、跨层资源关联模型、告警事件关联模型实现对告警的自动关联分析，支持调用告警关联分析能力，实现主次告警关联、衍生告警关联、网元内告警关联、网元间告警关联、跨专业告警关联、跨dc告警关联、跨层资源告警关联等的关联分析，具备对告警关联分析结果的直观呈现能力；rca网络拓扑建立：基于域（省/市/机房等空间资源）、dc（中心dc、核心dc、边缘
dc）、物理资源、虚拟资源、业务资源的网络拓扑模型，对其进行水平垂直跨层、水平跨域、水平跨dc的分析处理，通过告警、性能、日志、拔测数据，对网元特性的分析，梳理出发生告警的故障因素来源于虚拟资源、物理资源、业务资源等，建立起切片
‑
dc
‑
vnf
‑
vm
‑
host
‑
逻辑网络
‑
虚拟网络
‑
tor
‑
eor的网络拓扑，支持根因的快速定位。
26.s15、模型训练：计算告警间的支持度、置信度及不同数据集合中告警间的关联度，并采用半监督的方式对根告警进行人工标注；具体的，所述s15中计算告警间的支持度、置信度及不同数据集合中告警间的关联度，并采用半监督的方式对根告警进行人工标注包括以下步骤：s151、根据时间聚类告警，计算告警发生的频率，并通过决策树fp
‑
growth算法算出告警间的支持度和置信度，得出的值越高，说明告警间的关联性越大；s152、计算不同数据集合中告警间的关联度，并从频发告警里面挖掘是否有同链路，同集合，实现置信度的提高；s153、在没有资源数据的情况下，通过文本相似度来分析告警间数据的关联，并引入资源数据，提高告警间的置信度，定位出根告警；基于文本相似度的资源不准告警关联：系统支持动环停电场景下的资源不准的告警关联，并标识不准的资源信息，由人工确认是否派发至资源勘误流程。
27.对于机房出现停电故障，排除传输原因，由于资源不准，未能把设备退服与机房停电进行关联导致多派单的情况，系统支持按关联时间窗的设置，将停电相关的基站、olt退服告警进行关联。并增加文本相似度算法，将停电告警出现时30分钟时间范围的基站退服、olt退服等历史告警推演一并计算，判断资源的准确情况，并将可能存在资源不准的网络设备进行标识：1）增加离线告警分析：建立离线分析模块，按时间、区域维度构建告警数据组，对历史告警进行分类、建模、存储。
28.2）获取相关告警标题：应用离线告警推演能力，如针对机房发生市电停电后，提取相关的动环告警，并在关联时间窗内，对该时间、区域维度的设备告警进行关键字提取，获取相关的基站退服、小区中断、控制链路断、设备脱网等告警。
29.3）关键字提取：分析告警的关键信息，根据告警里面的区域信息，初步过滤不符合的设备告警，提取告警里的机房名称、网元名称、ip地址、设备名称、端口、链路等信息。
30.4）圈定告警设备范围：利用关键特征权值库，匹配特征的价值权重，通过余弦算法计算关键特征的相似度，得出与机房在同一区域的退服设备。
31.5）合并重复设备数：对多次发生的动环停电告警的推演分析，合并比较每次机房停电后相同区域重复出现的设备，确定机房关联的设备，并建立相应的机房、设备关联库。
32.6）实时告警关联：通过历史告警推出的机房、设备关联度，将新发生的机房停电故障与承载的基站、olt的退服告警相关联，合并派单。
33.7）追加派单：当停电机房已派单时，将未关联上的退服基站进行相似度计算，对未派单的退服告警，追加派单至动环告警。
34.s154、采用半监督的方式，对ai分析出来的根告警进行人工标注，若标注通过则记为一条根告警，若标注不通过则重新分析。
35.s16、模型构建：通过上述步骤建立虚拟层告警关联模型、物理层告警关联模型、网元层告警关联模型，对于nvf架构的设备，增加pim、vim的纵向分析，建立跨层告警关联模型，同时，根据端到端切片设备拓扑关系，即无线子网切片、传输子网切片、核心子网切片，建立跨专业告警关联模型。
36.s2、根故障定位：将根告警所属的告警分类、告警描述结合人为经验、机器学习构建的故障原因诊断能力输出导致故障告警发生的最终根因。
37.定位出根告警后，需对根故障的定位才能完成故障的定界定位操作。根故障的定位主要通过对历史故障工单的处理回复、告警经验库等做文本解析，通过故障单号、告警标题、处理方式、工单状态等进行故障与告警的关联分析，具体需要做的步骤是：s21、工单数据清洗：解析故障工单的回单意思，去除无意义、重复词及感叹词，这里涉及到词库的构建；s22、回单数据规整：运营商的故障处理回单都参照一定的规范，在有规范指导下，通过识别固定词语，划分故障处理的文本，如【故障发生的位置】、【故障原因】、【当前处理进度】、【预计恢复时间】、【现场处理人员及电话】等要素，建立多种处理模型。
38.故障数据规整：按专业、区域、工单类型、设备类型分类、初次定位故障反馈信息文本分析：注意提提取关键字如位置、原因、处理进度、恢复时间等。
39.灌水式回复分析、重复词文本相似度分析。
40.s23、构建rca模型：故障根因和处理关联分析通过算法计算根告警与故障间的发生频率，频率高的可标记为根故障，通过设置置信度、支持度的阈值，确定告警与故障间的关联关系，构建成rca模型；s24、人工标注：对训练后的rca根因进行人工标注，并进行算法调优；具体的，rca根因模型的应用和效果如下：模型运用：rca根因模型建成后，需要至少三个月历史告警数据进行训练，输出的强关联告警需要人工进行审核确认，并标注正确的主子告警，反馈给模型，调优参数。最后生成关联规则入库。运用模型时，接入实时告警，匹配关联规则，进行关联。
41.在故障发生过程中，通常会伴随各类告警的产生，同时，针对某类故障，会有相对类似的处理流程。通过大数据分析告警、故障、处理过程之间的关联，形成通用化的根因和处理流程，对故障派单和故障处理进行参考。
42.根据切片的特性，进行跨专业关联和跨层关联两个维度进行告警关联，定位到根告警后，对根告警及根告警所属网元并进行智能诊断及修复。
43.s25、根故障告警定位：根据故障处理及告警经验库定位根本故障原因。
44.如图3所示，为了更好地理解本发明的上述技术方案，以下就本实施例中的告警根因分析流程进行详细说明。
45.一、告警规则挖掘阶段：1、历史告警数据获取：主要通过离线方式获取历史告警数据。
46.2、历史告警数据预处理：将历史告警数据清洗、过滤、资源关联、数据聚类。
47.3、告警关联规则树建立：根据数据聚类结果建立关联矩阵，算出置信度、支持度等，最后形成规则树。
48.4、告警关联规则树入库：将告警关联规则树及其参数存储到关联规则库中。
49.5、关键的参数属性。
50.二、告警根因分析阶段：1、实时告警数据获取：根因分析主要根据已经过过滤、标准化、预处理的告警数据。同时还包含告警相关的资源等数据获取。
51.2、告警数据聚类：将告警数据根据时间、位置、专业、层级等维度进行聚类。
52.3、资源信息关联：依据告警网络拓扑、业务信息、告警层次信息、告警优先级信息、相关网元信息、物理设备信息关联。
53.4、遍历规则树：根据训练好的规则树，将已经聚类的告警数据遍历判断，属于规则树中的哪一个层级。
54.5、定位根源告警：遍历规则树后，若告警数据是顶层告警，即可判断该告警为根源告警，其他为衍生告警。
55.6、故障原因定位：依据故障告警知识图谱，将确定的根源告警进行搜索，寻找故障原因。
56.7、决策建议生成：找到故障原因后，搜索故障处理知识库，找寻历史的解决故障方法，生成决策建议。
57.8、告警派单：将处理分析的结果和决策建议发送给相关人员进行派单。
58.9、告警派单：将处理分析的结果和决策建议发送给相关人员进行派单。
59.综上所述，借助于本发明的上述技术方案，本发明对基于网络功能虚拟化技术建设的5g网络，具备告警根因定位的能力，能够首先对海量告警相关数据进行合理、高效、精准的聚类，再结合跨层告警关联模型、跨层资源关联模型、告警事件关联模型等多层次、多维度的告警关联分析，实现对根告警的快速定位，最后对根告警所属告警分类、告警描述，结合人为经验、机器学习等构建的故障原因诊断能力，最后输出导致故障告警发生的最终根因。
60.此外，本发明通过综合物理层、虚拟层、网元层、动环等告警数据，有效地增加了数据覆盖的完整性，且本发明具有故障发现时延低、故障定位时延低及基于ai的故障定位准确率高的优点，此外，本发明通过进行故障定位后，不再需要针对每个问题派发需要处理的故障工单，通过针对压缩、故障定位根因问题后派单，可以有效地减少无效派单，从而可以有效地提高故障派单压缩率。
61.以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。