光纤网告警重复数据去重方法及装置与流程

1.本发明涉及通信网络数据处理技术领域，尤其涉及一种光纤网告警重复数据去重方法及装置。


背景技术：

2.由于corba北向接口的告警通知接口推送告警的特点是：会推送实时告警，也会重复推送当前告警。适配器采集程序还会定时从接口提取所有当前告警。基于corba北向接口的这一特点和适配器采集规则，使得获取到的数据会重复。随着通信网的迅速发展，通信设备逐渐增多，运行故障时有发生，则会产生大量的告警数据。为确保通信不受影响以及运行安全，首先就是要做好网络数据的维护工作，则需要精简告警数据，对重复数据去重处理。
3.然而现有的重复数据去重工作均由人工来完成，如果采取人工对比的方式，不仅效率低，准确性也低。


技术实现要素：

4.针对现有技术中存在的问题，本发明实施例提供一种光纤网告警重复数据去重方法及装置。
5.第一方面，本发明实施例提供一种光纤网告警重复数据去重方法，包括：
6.接收activemq的告警消息，并调用预设的存储过程；
7.基于所述存储过程进行数据过滤和数据去重；
8.基于所述存储过程进行告警事件解析；
9.基于解析结果根据生成规则判断是否要生成自定义的故障信息存库；
10.若是，则调用预设的存储过程进行存库，并发送告警数据和所述故障信息至前端页面用于实时展示。
11.进一步地，所述activemq的告警消息为通过activemq消息队列点对点传输的通用告警格式的告警信息；所述通用告警格式的告警信息为采集适配器从北向接口提取的光纤网告警事件经过自定义转化得到的所述通用告警格式的告警信息。
12.进一步地，还包括：
13.将所述通用告警格式的告警信息定期从activemq消息队列转存至普通消息队列中，并按时间和告警类型排序。
14.进一步地，基于所述存储过程进行数据过滤和数据去重，具体包括：
15.基于所述存储过程过滤掉非告警事件、过滤掉网管告警及过滤掉与当前告警信息对应的告警事件中已在历史存储库中存在的告警事件。
16.进一步地，所述基于所述存储过程进行告警事件解析，具体包括：
17.基于所述存储过程从告警消息对应的告警事件中解析出告警级别、告警id、告警机架、告警机框、告警机槽、告警子槽、告警板卡、告警端口、告警时隙、告警所在链路、告警发生位置、告警原因及告警描述中的一种或多种。
18.进一步地，所述基于解析结果根据生成规则判断是否要生成自定义的故障信息存库，具体包括：
19.基于解析结果判断告警事件是否重复；
20.若重复，则根据所述告警级别判断是否是清除告警；若是，则将数据库中的告警结束并存入历史表；若否，则确定为重复的告警数据，并更新告警记录时间；
21.若不重复，且所述告警级别不是清除，则要生成自定义的故障信息存库。
22.进一步地，若是，则调用预设的存储过程进行存库，并发送告警数据和所述故障信息至前端页面用于实时展示，具体包括：
23.若是，则调用预设的存储过程进行存库，并通过websocket消息发送告警数据和所述故障信息至前端页面用于实时展示。
24.第二方面，本发明实施例提供了一种光纤网告警重复数据去重装置，包括：
25.接收模块，用于接收activemq的告警消息，并调用预设的存储过程；
26.过滤去重模块，用于基于所述存储过程进行数据过滤和数据去重；
27.解析模块，用于基于所述存储过程进行告警事件解析；
28.存储模块，用于基于解析结果根据生成规则判断是否要生成自定义的故障信息存库；
29.发送模块，用于若是，则调用预设的存储过程进行存库，并发送告警数据和所述故障信息至前端页面用于实时展示。
30.第三方面，本发明实施例还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上第一方面所述的光纤网告警重复数据去重方法的步骤。
31.第四方面，本发明实施例还提供了一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上第一方面所述的光纤网告警重复数据去重方法的步骤。
32.由上述技术方案可知，本发明实施例提供的光纤网告警重复数据去重方法及装置，通过接收activemq的告警消息，并调用预设的存储过程；基于所述存储过程进行数据过滤和数据去重；基于所述存储过程进行告警事件解析；基于解析结果根据生成规则判断是否要生成自定义的故障信息存库；若是，则调用预设的存储过程进行存库，并发送告警数据和所述故障信息至前端页面用于实时展示；能够进行自动去除重复数据，从而实现数据库存储不单一，进而提高数据质量。
附图说明
33.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
34.图1为本发明一实施例提供的光纤网告警重复数据去重方法的流程示意图；
35.图2为本发明一实施例提供的光纤网告警重复数据去重装置的结构示意图；
36.图3为本发明一实施例提供的电子设备的实体结构示意图。
具体实施方式
37.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。下面将通过具体的实施例对本发明提供的光纤网告警重复数据去重方法进行详细解释和说明。
38.图1为本发明一实施例提供的光纤网告警重复数据去重方法的流程示意图；如图1所示，该方法包括：
39.步骤101：接收activemq的告警消息，并调用预设的存储过程。
40.步骤102：基于所述存储过程进行数据过滤和数据去重。
41.步骤103：基于所述存储过程进行告警事件解析。
42.步骤104：基于解析结果根据生成规则判断是否要生成自定义的故障信息存库。
43.步骤105：若是，则调用预设的存储过程进行存库，并发送告警数据和所述故障信息至前端页面用于实时展示。
44.在本实施例中，可以理解的是，activemq的告警消息即与告警事件对应的告警数据，所述activemq的告警消息可以为通过activemq消息队列点对点传输的光纤网告警数据，所述activemq的告警消息还可以为通过activemq消息队列点对点传输的通用告警格式的告警信息；所述通用告警格式的告警信息为采集适配器从北向接口提取的光纤网告警事件经过自定义转化得到的所述通用告警格式的告警信息。
45.在本实施例中，可以理解的是，基于解析结果对应的信息即可以自动根据生成规则判断是否要生成自定义的故障信息存库，如根据生成规则判断是否要生成级别较高的故障信息存库。
46.由上面技术方案可知，本发明实施例提供的光纤网告警重复数据去重方法，通过接收activemq的告警消息，并调用预设的存储过程；基于所述存储过程进行数据过滤和数据去重；基于所述存储过程进行告警事件解析；基于解析结果根据生成规则判断是否要生成自定义的故障信息存库；若是，则调用预设的存储过程进行存库，并发送告警数据和所述故障信息至前端页面用于实时展示；能够进行自动去除重复数据，从而实现数据库存储不单一，进而提高数据质量。
47.在上述实施例的基础上，在本实施例中，所述activemq的告警消息为通过activemq消息队列点对点传输的通用告警格式的告警信息；所述通用告警格式的告警信息为采集适配器从北向接口提取的光纤网告警事件经过自定义转化得到的所述通用告警格式的告警信息。
48.为了更好的理解本发明，下面结合实施例进一步阐述本发明的内容，但本发明不仅仅局限于下面的实施例，举例来说：
49.第一、提取
50.1)采集适配器从北向接口提取光纤网告警数据，转化为通用告警格式。
51.2)通过activemq消息队列将通用告警格式的告警以点对点消息传送模型发送出去
52.第二、去重
53.微服务接收到activemq的告警后，调用存储过程进行数据过滤、去重、解析、存库。
54.第三、解析
55.调用存储过程解析，然后根据生成规则判断是否要生成级别较高的故障信息存库。
56.第四、存储
57.调用存储过程存库。
58.第五、通知
59.以websocket方式发送给前端系统页面。
60.第六、展示
61.浏览器接收到websocket发送过来的数据，在页面上实时展示告警信息。
62.第七、流程结构分为告警采集层，告警业务处理层，告警传输层，告警存储层，告警展示层。
63.第八、采集程序开发语言为java，运用spring框架，quartz定时器，c3p0数据连接池，oracle数据库，activemq消息队列，websocket通信协议。
64.由上面技术方案可知，本发明实施例提供的光纤网告警重复数据去重方法，在光纤网采集适配器提取到重复的告警数据后，转化为通用的告警格式，再通过上述规则将重复数据自动删除，实现了告警重复数据去重。
65.在上述实施例的基础上，在本实施例中，还包括：
66.将所述通用告警格式的告警信息定期从activemq消息队列转存至普通消息队列中，并按时间和告警类型排序。
67.在本实施例中，可以理解的是，举例来说，首先从北向接口获取告警数据，告警事件转化为自定义的通用告警格式；告警事件放到linkedblockingqueue消息队列；再定期将队列中的消息转存至普通消息队列中，并按时间和告警类型排序；然后将告警队列的消息循环通过activemq消息发送出去。
68.由上面技术方案可知，本发明实施例提供的光纤网告警重复数据去重方法，通过将所述通用告警格式的告警信息定期从activemq消息队列转存至普通消息队列中，并按时间和告警类型排序，使得告警消息循环通过activemq消息发送出去。
69.在上述实施例的基础上，在本实施例中，基于所述存储过程进行数据过滤和数据去重，具体包括：
70.基于所述存储过程过滤掉非告警事件、过滤掉网管告警及过滤掉与当前告警信息对应的告警事件中已在历史存储库中存在的告警事件。
71.在本实施例中，可以理解的是，举例来说，中间件接收到告警后调用存储过程，基于所述存储过程进行数据过滤和数据去重，如过滤非告警事件，过滤掉网管告警，过滤掉半个月之前的当前告警(即过滤掉与当前告警信息对应的告警事件中已在历史存储库中存在的告警事件)。
72.在上述实施例的基础上，在本实施例中，所述基于所述存储过程进行告警事件解析，具体包括：
73.基于所述存储过程从告警消息对应的告警事件中解析出告警级别、告警id、告警机架、告警机框、告警机槽、告警子槽、告警板卡、告警端口、告警时隙、告警所在链路、告警
发生位置、告警原因及告警描述中的一种或多种。
74.在本实施例中，可以理解的是，举例来说，从告警事件中解析出告警级别、告警设备id、告警机架、告警机框、告警机槽、告警子槽、告警板卡、告警端口、告警时隙、告警所在链路id、告警描述等字段；从告警事件中解析出告警发生位置和告警原因；需要说明的是，厂家网管的告警数据是没有唯一id的，所以这里采用解析出来的告警发生位置、告警原因作为判断告警是否重复的依据。
75.在上述实施例的基础上，在本实施例中，所述基于解析结果根据生成规则判断是否要生成自定义的故障信息存库，具体包括：
76.基于解析结果判断告警事件是否重复；
77.若重复，则根据所述告警级别判断是否是清除告警；若是，则将数据库中的告警结束并存入历史表；若否，则确定为重复的告警数据，并更新告警记录时间；
78.若不重复，且所述告警级别不是清除，则要生成自定义的故障信息存库。
79.在本实施例中，可以理解的是，基于解析结果判断告警事件是否重复，如果判断告警已经存在(即重复)，再根据告警级别判断是否是清除告警，如果是清除告警则将数据库中的告警结束并存入历史表。如果不是清除告警则代表是重复的告警数据，这里只需要更新告警记录时间；基于解析结果判断告警事件是否重复，如果判断告警不存在数据库中(即不重复)，且告警级别不是清除，则是属于新增告警入库，然后根据生成故障规则判断是否能生成故障，存库。
80.由上面技术方案可知，本发明实施例提供的光纤网告警重复数据去重方法，采用编码的形式去重，主要是采用数据库端编码实现告警重复数据去重。
81.在上述实施例的基础上，在本实施例中，若是，则调用预设的存储过程进行存库，并发送告警数据和所述故障信息至前端页面用于实时展示，具体包括：
82.若是，则调用预设的存储过程进行存库，并通过websocket消息发送告警数据和所述故障信息至前端页面用于实时展示。
83.为了更好的理解本发明，下面结合实施例进一步阐述本发明的内容，但本发明不仅仅局限于下面的实施例。
84.1、从北向接口获取告警数据。
85.2、告警事件转化为自定义的通用告警格式。
86.3、告警事件放到linkedblockingqueue消息队列。
87.4、定期将队列中的消息转存至普通消息队列中，并按时间和告警类型排序。
88.5、将告警队列的消息循环通过activemq消息发送出去。
89.6、中间件接收到告警后调用存储过程。
90.7、过滤非告警事件，过滤掉网管告警，过滤掉半个月之前的当前告警。
91.8、从告警事件中解析出告警级别、告警设备id、告警机架、告警机框、告警机槽、告警子槽、告警板卡、告警端口、告警时隙、告警所在链路id、告警描述等字段。
92.9、厂家网管的告警数据是没有唯一id的，所以这里采用解析出来的告警发生位置、告警原因作为判断告警是否重复的依据。
93.10、如果判断告警已经存在，再根据告警级别判断是否是清除告警，如果是清除告警则将数据库中的告警结束并存入历史表。如果不是清除告警则代表是重复的告警数据，
这里只需要更新告警记录时间。
94.11、如果判断告警不存在数据库中，且告警级别不是清除，则是属于新增告警入库。
95.12、根据生成故障规则判断是否能生成故障，存库。
96.13、将加工好的告警数据和生成的故障数据通过websocket消息发送出去。
97.14、前端页面接收websocket消息显示。
98.本发明实施例提供的光纤网告警重复数据去重方法，能够实现程序自动去除重复数据的功能，实现数据库存储的数据单一不重复，提高数据质量。
99.图2为本发明一实施例提供的光纤网告警重复数据去重装置的结构示意图，如图2所示，该装置包括：接收模块201、过滤去重模块202、解析模块203、存储模块204和发送模块205，其中：
100.其中，接收模块201，用于接收activemq的告警消息，并调用预设的存储过程；
101.过滤去重模块202，用于基于所述存储过程进行数据过滤和数据去重；
102.解析模块203，用于基于所述存储过程进行告警事件解析；
103.存储模块204，用于基于解析结果根据生成规则判断是否要生成自定义的故障信息存库；
104.发送模块205，用于若是，则调用预设的存储过程进行存库，并发送告警数据和所述故障信息至前端页面用于实时展示。
105.本发明实施例提供的光纤网告警重复数据去重装置具体可以用于执行上述实施例的光纤网告警重复数据去重方法，其技术原理和有益效果类似，具体可参见上述实施例，此处不再赘述。
106.基于相同的发明构思，本发明实施例提供一种电子设备，参见图3，电子设备具体包括如下内容：处理器301、通信接口303、存储器302和通信总线304；
107.其中，处理器301、通信接口303、存储器302通过通信总线304完成相互间的通信；通信接口303用于实现各建模软件及智能制造装备模块库等相关设备之间的信息传输；处理器301用于调用存储器302中的计算机程序，处理器执行计算机程序时实现上述各方法实施例所提供的方法，例如，处理器执行计算机程序时实现下述步骤：接收activemq的告警消息，并调用预设的存储过程；基于所述存储过程进行数据过滤和数据去重；基于所述存储过程进行告警事件解析；基于解析结果根据生成规则判断是否要生成自定义的故障信息存库；若是，则调用预设的存储过程进行存库，并发送告警数据和所述故障信息至前端页面用于实时展示。
108.基于相同的发明构思，本发明又一实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法实施例提供的方法，例如，接收activemq的告警消息，并调用预设的存储过程；基于所述存储过程进行数据过滤和数据去重；基于所述存储过程进行告警事件解析；基于解析结果根据生成规则判断是否要生成自定义的故障信息存库；若是，则调用预设的存储过程进行存库，并发送告警数据和所述故障信息至前端页面用于实时展示。
109.以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即
可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
110.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分的方法。
111.此外，在本发明中，诸如“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
112.此外，在本发明中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。
113.此外，在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
114.最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。