一种告警数据水印检测系统及方法与流程

技术特征：
1.一种告警数据水印检测系统，其特征在于：包括规则管理端，通知组件及实时流框架告警处理模块；所述规则管理端用于告警规则的分发及启用；所述通知组件用于将所述规则管理端分发及启用的规则发送至所述实时流框架告警处理模块；所述实时流框架告警处理模块用于根据规则进行数据判断识别并根据告警数据生成告警信息。2.根据权利要求1所述的一种告警数据水印检测系统，其特征在于：所述规则管理端包括规则管理模块、api模块及通知模块；所述规则管理模块用于规则的新建、删除、修改、查询、发布、撤销；所述通知模块与所述通知组件通信连接。3.根据权利要求2所述的一种告警数据水印检测系统，其特征在于：所述api模块包括动态规则接口及全部规则接口；所述动态规则接口用于规则动态的增加，删除或修改，所述动态规则接口与所述通知模块通信连接；所述全部规则接口与规则分发程序通信连接，所述规则分发程序与所述通知模块通信连接。4.根据权利要求1所述的一种告警数据水印检测系统，其特征在于：所述通知组件包括交换器及消息队列；所述交换器用于规则的转发，所述消息队列用于保存消息并将其转发给用户。5.根据权利要求1所述的一种告警数据水印检测系统，其特征在于：所述实时流框架告警处理模块包括水印心跳模拟程序、消费端模块，水印输出模块、分组分发器、规则引擎、窗口计数器及数据发送模块；所述消费端模块用于消费日志队列中的日志数据并接收所述水印心跳模拟程序提供的心跳；所述水印心跳模拟程序，基于日志队列中的数据进行周期性采样以获取日志本身的时间；所述消费端模块与所述水印输出模块通信连接，所述水印输出模块接收到所述消费端模块数据后，基于每条日志输出一条附加水印线；所述水印输出模块与所述分组分发器通信连接，所述分组分发器按照日志本身的维度信息进行分布式传递；所述规则引擎与所述通知组件通信连接，所述分组分发器与所述规则引擎通信连接，所述规则引擎接收到所述通知组件的规则后，对所述分组分发器发送来的日志数据进行表达式逻辑判断，满足规则则变成告警消息进入到所述窗口计数器，所述窗口计数器统计告警数据并通过所述数据发送模块发送。6.根据权利要求1至5任一权利要求所述的一种告警数据水印检测系统的告警数据水印检测方法，其特征在于：包括以下步骤：s1、用户在所述规则管理端配置规则并发布后，将规则发送至所述通知组件；s2、所述实时流框架告警处理模块接收规则，并根据规则建立相应的告警表达式；s3、所述实时流框架告警处理模块根据数据日志生成心跳并经过所述告警表达式进行判断，处理异常和正常数据，判断成功后，生成告警信息；s4、所述实时流框架告警处理模块将所述告警信息推送处理。7.根据权利要求6所述的告警数据水印检测方法，其特征在于：所述规则管理端包括规则管理模块、api模块及通知模块；所述步骤s1具体为，用户通过所述规则管理模块配置规则，并将规则通过所述api模块传递至所述通知模块，通过所述通知模块将规则通知给所述通知组件。8.根据权利要求6所述的告警数据水印检测方法，其特征在于：所述步骤s3中，所述实时流框架告警处理模块根据数据日志生成心跳后，生成水印和心跳信号结合，再经过所述告警表达式进行判断。
9.根据权利要求6所述的告警数据水印检测方法，其特征在于：所述步骤s4中将告警信息推送的方式包括通过短信、微信、邮件推给对应人员。

技术总结
本发明公开了一种告警数据水印检测系统及方法，以实时计算流式分布式架构为基础，结合微服务架构进行设计开发，具有高效稳定、方便易用的特性。本发明的一种告警数据水印检测系统及方法通过日志本身加上水印方式，外加心跳程序推动水印上涨，从而避免了迟到或者异常数据影响，通过心跳和水印的方式保障了异常数据或者迟到数据对于告警本身的影响，大大提高了实时性和高效的处理能力。本发明的一种告警数据水印检测系统及方法在架构上进行了优化创新，采用微服务和实时流架构，充分地对服务之间进行解耦，大大提高了系统的稳定性和可靠性。性。性。


技术研发人员：朱志刚
受保护的技术使用者：上海中畅数据技术有限公司
技术研发日：2021.07.14
技术公布日：2021/10/23