一种并行异步高效采集分析方法及其系统与流程

1.本发明涉及大数据处理技术领域，尤其涉及一种并行异步高效采集分析方法以及应用该方法的系统。


背景技术：

2.目前光纤网络运营商的用户数通常达上百万户，网络中的通信设备包括骨干网设备、汇聚层设备、接入网设备等。各业务部门需要实时掌握网络中运行情况和业务健康状态。这时需要对网络的tcp/ip设备进行实时的监控分析，运营支撑平台收到外部系统的请求，会把要分析处理的网络设备管理模块发送相应的get指令。
3.运营商的网络设备数据通常保存在一个数据库中，网管系统通过snmp协议、telnet协议、soap协议、http协议对设备发送指令请求数据，在对这些数据进行请求处理时，网管系统会同步地往其他设备发送请求指令，并阻塞等待，并将结果进行汇总返回。
4.在通信网络中，网管系统负责巡检网络中的设备数据和同步业务数据并进行分析预警，为业务运营提供可靠保障，由于数据规模庞大，全网数据巡检分析的耗时在5分钟以上，这样很难对全网设备和业务系统实现分钟级监控巡检，不能及时预判网络中潜在的网络性能隐患，导致客户降低对通信运营商支撑的满意度。


技术实现要素：

5.本发明的主要目的在于提供一种对全网设备性能数据通过并行异步方式进行高效采集分析，以实现实时网络监控巡检，并行效率高，云应用效率高的并行异步高效采集分析方法。
6.本发明的另一目的在于提供一种应用于上述方法的并行异步高效采集分析系统。
7.为了实现上述的主要目的，本发明提供的一种并行异步高效采集分析方法，该方法包括以下步骤：向智能调度模块下发设备数据的采集分析任务，并采用异步方式下发到任务采集模块；任务采集模块依据预先设置的数据采集规则，将采集分析任务转换为标准化数据采集任务并下发到并行异步采集模块；并行异步采集模块根据采集任务类型将采集到的数据结合于缓存历史数据进行数据整合，并将整合后的数据发送给数据分析模块；数据分析模块基于业务分析模型进行数据分析得出分析结果，并将分析结果推送给用户端。
8.进一步的方案是，通过用户端向智能调度模块下发设备数据的采集分析任务，所述采集分析任务包含有智能调度模块需要采集的设备类型、设备数量、业务分析类型、参数模型。
9.更进一步的方案是，所述设备数量的计数包括：对同一设备的同一监控任务根据设备响应情况进行任务数控制；对同一设备的数据采集完之后，释放对该设备的采集任务，并开始下一待采集设备的采集任务；对全局设备数进行控制。
10.更进一步的方案是，建立业务分析模型包括：定期加载更新业务分析模型；对不同设备类型、外部系统数据进行定时业务分析；根据不同任务对模型参数阈值进行动态设定。
11.更进一步的方案是，建立参数模型包括：定义多种综合分析算法；不同算法在不同时间段定义不同参数模型；根据不同任务加载不同参数模型数据。
12.更进一步的方案是，所述任务采集模块依据预先设置的数据采集规则，将采集分析任务转换为标准化数据采集任务并下发到并行异步采集模块，具体包括：在任务采集模块接收采集分析任务后，通过设备过滤方式，对当前设备进行ping指令延时分析、cpu/内存利用率阈值分析，如设备正常，则进行高效采集模式，并根据不同数据类型，选用不同协议，将采集分析任务转换为通信设备采集任务或北向接口数据采集任务下发到并行异步采集模块；若设备不正常，则进入待采集状态。
13.更进一步的方案是，所述数据分析模块基于业务分析模型进行数据分析得出分析结果，具体包括：在并行异步采集模块将整合数据放入元数据队列后，数据分析模块从元数据队列中取出元数据，根据业务分析模型进行数据分析得出预警数据发送到预警数据队列并将结果推送给用户端，其中，用户端包括用户web端和企业微信端。
14.更进一步的方案是，在数据分析模块将分析结果推送给用户端时，数据分析模块同时将业务状态和指标数据写入状态数据队列，由状态数据队列处理单元不断从任务队列中读取数据进行数据归集，写入数据库。
15.由此可见，本发明提供的方法在大规模的通信网络中，通过并行异步采集模块并行获取采集数据类型和采集计数方式，通过异步方式实时采集数据，通过对tcp连接进行动态配置超时时效；在并行异步采集模块里面，批量并行异步加载多个网元或者外部系统数据并最终进行数据归集。
16.所以，本发明能够实现全网设备性能数据的高效采集分析，实现网络巡检，提前预判网络中潜在的网络性能隐患，避免因设备性能降低导致客户降低对通信运营商支撑的满意度。
17.为了实现上述的另一目的，本发明提供的一种并行异步高效采集分析系统，该系统采用上述的并行异步高效采集分析方法对全网设备性能数据以并行异步方式进行高效采集分析，实现实时网络监控巡检。
18.进一步的方案是，所述系统包括设备层、系统层、显示层，设备层通过snmp协议获取各个设备的硬件支持，为上层系统提供实时数据，并通过tr069协议为上层系统提供onu实时数据；系统层通过snmp协议获取各个设备的实时数据；通过tr069协议获取onu实时数据；通过soap协议实时获取gis系统数据；通过http协议实时获取boss系统、tms系统，通过http协议向工单系统下发实时告警数据；显示层通过http协议、websocket协议实时获取设备指标、告警信息。
19.由此可见，本发明提供一种高效并行架构与方法，通过异步处理的方式极大的降低了通信开销，同时采用参数服务器的并行方案，充分发挥了模块化设计的优势，具有极好的通用性，实现了对网络、计算和存储的高效融合，进而提升了云应用效率。
附图说明
20.图1是本发明一种并行异步高效采集分析方法实施例的流程框图。
21.图2是本发明一种并行异步高效采集分析方法实施例的原理图。
22.图3是本发明一种并行异步高效采集分析系统实施例的原理图。
23.以下结合附图及实施例对本发明作进一步说明。
具体实施方式
24.为使本发明的上述目的、特征和优点能够更加明显易懂，下面将结合附图和具体的实施例对本发明的技术方案进行详细说明。需要指出的是，所描述的实施例子仅仅是本发明一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
25.一种并行异步高效采集分析方法实施例：
26.参见图1与图2，一种并行异步高效采集分析方法，该方法包括以下步骤：
27.步骤s1，向智能调度模块下发设备数据的采集分析任务，并采用异步方式下发到任务采集模块。
28.步骤s2，任务采集模块依据预先设置的数据采集规则，将采集分析任务转换为标准化数据采集任务并下发到并行异步采集模块。
29.步骤s3，并行异步采集模块根据采集任务类型将采集到的数据结合于缓存历史数据进行数据整合，并将整合后的数据发送给数据分析模块。
30.步骤s4，数据分析模块基于业务分析模型进行数据分析得出分析结果，并将分析结果推送给用户端。
31.在上述步骤s1中，通过用户端向智能调度模块下发设备数据的采集分析任务，所述采集分析任务包含有智能调度模块需要采集的设备类型、设备数量、业务分析类型、参数模型。其中，本实施例的用户端为系统web端或者企业微信端，用户通过系统web端或者企业微信端向智能调度模块下发设备数据采集分析任务，该任务指定了智能调度模块需要采集的设备类型、设备数量、业务分析模型、参数模型，并通过异步方式下发到任务采集模块。
32.在本实施例中，设备数量的计数包括：
33.对同一设备的同一监控任务根据设备响应情况进行任务数控制。
34.对同一设备的数据采集完之后，释放对该设备的采集任务，并开始下一待采集设备的采集任务。
35.对全局设备数进行控制。
36.在本实施例中，建立业务分析模型包括：
37.定期加载更新业务分析模型。
38.对不同设备类型、外部系统数据进行定时业务分析。
39.根据不同任务对模型参数阈值进行动态设定。
40.在本实施例中，建立参数模型包括：
41.定义多种综合分析算法。
42.不同算法在不同时间段定义不同参数模型。
43.根据不同任务加载不同参数模型数据。
44.在上述步骤s2中，任务采集模块依据预先设置的数据采集规则，将采集分析任务转换为标准化数据采集任务并下发到并行异步采集模块，具体包括：
45.在任务采集模块接收采集分析任务后，通过设备过滤方式，对当前设备进行ping指令延时分析、cpu/内存利用率阈值分析，如设备正常，则进行高效采集模式，并根据不同
数据类型，选用不同协议，将采集分析任务转换为通信设备采集任务或北向接口数据采集任务下发到并行异步采集模块；若设备不正常，则进入待采集状态。
46.在上述步骤s3中，并行异步采集模块根据采集任务类型将采集到的数据结合缓存历史数据按照业务分析模型整合，并发送给数据分析队列。
47.在上述步骤s4中，数据分析模块基于业务分析模型进行数据分析得出分析结果，具体包括：在并行异步采集模块将整合数据放入元数据队列后，数据分析模块从元数据队列中取出元数据，根据业务分析模型进行数据分析得出预警数据发送到预警数据队列并将结果推送给用户端，其中，用户端包括用户web端和企业微信端。
48.在上述步骤s4中，在数据分析模块将分析结果推送给用户端时，数据分析模块同时将业务状态和指标数据写入状态数据队列，由状态数据队列处理单元不断从任务队列中读取数据进行数据归集，写入数据库。
49.因此，在上述步骤s4中，数据分析模块从元数据队列中取出元数据，根据业务分析模型进行数据分析得出预警数据发送到预警数据队列并将结果推送给用户web端和企业微信端，同时将业务状态和指标数据写入状态数据队列，状态数据队列处理单元不断从任务队列中读取数据进行数据归集，写入数据库。
50.由此可见，本发明提供的方法在大规模的通信网络中，通过并行异步采集模块并行获取采集数据类型和采集计数方式，通过异步方式实时采集数据，通过对tcp连接进行动态配置超时时效；在并行异步采集模块里面，批量并行异步加载多个网元或者外部系统数据并最终进行数据归集。
51.所以，本发明能够实现全网设备性能数据的高效采集分析，实现网络巡检，提前预判网络中潜在的网络性能隐患，避免因设备性能降低导致客户降低对通信运营商支撑的满意度。
52.一种并行异步高效采集分析系统实施例：
53.如图3所示，本发明提供的一种并行异步高效采集分析系统，该系统采用上述的并行异步高效采集分析方法对全网设备性能数据以并行异步方式进行高效采集分析，实现实时网络监控巡检。
54.在本实施例中，本发明系统包括设备层、系统层、显示层，设备层通过snmp协议获取各个设备的硬件支持，为上层系统提供实时数据，并通过tr069协议为上层系统提供onu实时数据；系统层通过snmp协议获取各个设备的实时数据；通过tr069协议获取onu实时数据；通过soap协议实时获取gis系统数据；通过http协议实时获取boss系统、tms系统，通过http协议向工单系统下发实时告警数据；显示层通过http协议、websocket协议实时获取设备指标、告警信息。
55.具体的，设备层用于通过snmp协议获取cmts、olt、光平台、cmc、stb、cm为上层系统提供实时数据，通过tr069协议为上层系统提供onu实时数据。
56.系统层用于通过集中告警平台基于snmp协议获取cmts、olt、光平台、cmc、stb、cm实时数据；通过tr069协议获取onu实时数据；通过soap协议实时获取gis系统数据；通过http协议实时获取boss系统、tms系统、通过http协议向工单系统下发实时告警数据。其中，本发明的控制单元为系统层的集中告警平台，该集中告警平台与gis系统、boss系统、tms系统、工单系统以无线通信方式进行数据传输。
57.显示层用于系统web浏览器、企业微信端通过http协议、websocket协议实时获取设备指标、告警信息。
58.通常，在一个运营商通信网络中包括各种通信设备和外部系统，运营商的网络设备数据通常保存在一个数据库中，网管系统通过snmp协议、telnet协议、sqap协议对设备发送指令请求数据，在对这些数据进行请求处理时，网管系统会同步地往其他设备发送请求指令，并阻塞等待，并将结果进行汇总返回。
59.由此可见，本发明提供一种高效并行架构与方法，通过异步处理的方式极大的降低了通信开销，同时采用参数服务器的并行方案，充分发挥了模块化设计的优势，具有极好的通用性，实现了对网络、计算和存储的高效融合，进而提升了云应用效率。
60.需要说明的是，在本说明书中所谈到的“一个实施例”、“另一个实施例”、“实施例”、“优选实施例”等，指的是结合该实例描述的具体特征、结构或者特点包含在本技术概括描述的至少一个实施例中。在说明书中多个地方出现同种表述不是一定指的是同一个实施例。进一步来说，结合任一实施例描述一个具体特征、结构或者特点时，所要主张的是结合其他实施例来实现这种特征、结构或者特点也落在本发明内。尽管这里参照本发明的多个解释性实例对本发明进行了描述，但是，应该理解，本领域技术人员可以设计出很多其他的修改和实施方式，这些修改和实施方式降落在本技术公开的原则范围和精神之内。更具体地说，在本技术公开、附图和权利要求的范围内，可以对主题结合布局的组成部件和/或布局进行的变形和改进外，对于本领域技术人员来说，其他的用途也将是明显。