基于火花流的实时报警方法、相关装置及计算机存储介质与流程

技术特征：
1.一种基于火花流的实时报警方法，其特征在于，包括：服务器的消息队列程序拉取所述服务器中落地日志文件到数据容器中；所述数据容器的数据消费者拉取所述数据容器中的数据到所述服务器的火花实时数据流程序进行消费计算；其中，所述消费计算包括：对所述数据进行元组格式化后进行聚合运算；所述火花实时数据流程序依据聚合运算结果，在满足报警情况下通过预设的报警方法进行报警。2.根据权利要求1所述的基于火花流的实时报警方法，其特征在于，所述数据容器的数据消费者拉取所述数据容器中的数据到所述服务器的火花实时数据流程序进行消费计算，包括：所述数据消费者拉取所述数据容器中数据；并将所述火花实时数据流转入离散分布算子轻度格式化数据；接着，流入扁平化算子进行扁平化格式化数据后，再用离散分布算子格式化数据成为元组后，用开窗算子对数据块进行分割，之后把数据块内的元组数据通过聚合算子进行聚合操作。3.根据权利要求1所述的基于火花流的实时报警方法，其特征在于，进行所述元组格式化后的数据格式为：（url，（head，err，1））；其中，url为请求连接；head为请求头；err为请求是否错误；1为累加作用。4.根据权利要求1所述的基于火花流的实时报警方法，其特征在于，所述预设的报警方法为：调用抽象化方法。5.根据权利要求1
‑
4任一项所述的基于火花流的实时报警方法，其特征在于，在所述服务器的消息队列程序拉取所述服务器中落地日志文件到数据容器中之前，还包括：客户端收集用户的行为日志并发送到所述服务器；所述服务器将所述用户的行为日志落地生成日志文件，并存储。6.根据权利要求5所述的基于火花流的实时报警方法，其特征在于，所述客户端收集用户的行为日志并发送到所述服务器，包括：所述客户端需发出请求时，依据加密配置文件对数据进行加密；所述客户端将加密后的数据转换成二进制文件；所述客户端将所述二进制文件发送至服务器。7.根据权利要求6所述的基于火花流的实时报警方法，其特征在于，所述服务器将所述用户的行为日志落地生成日志文件，并存储，包括：所述服务器接收到客户端发出的二进制文件后，根据自身的加密配置文件，解析所述二进制文件；其中，所述服务器中的加密配置文件与所述客户端的加密配置文件相同；所述服务器将所述二进制文件解析成数据后，将所述数据落地生成日志文件，并存储。8.一种服务器，其特征在于，包括：消息队列程序、数据容器的数据消费者和火花实时数据流程序；所述消息队列程序、数据容器的数据消费者和火花实时数据流程序，结合以实现如权利要求1
‑
4任一项所述的基于火花流的实时报警方法，以及权利要求5或7中所述服务器执行的步骤。
9.一种电子设备，其特征在于，包括：一个或多个处理器；存储装置，其上存储有一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1
‑
4中任一项所述的基于火花流的实时报警方法，以及权利要求5或7中所述服务器执行的步骤。10.一种计算机存储介质，其特征在于，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现如权利要求1
‑
4中任一项所述的基于火花流的实时报警方法，以及权利要求5或7中所述服务器执行的步骤。

技术总结
本发明提供一种基于火花流的实时报警方法、相关装置及计算机存储介质，该基于火花流的实时报警方法，包括：服务器的消息队列程序拉取服务器中落地日志文件到数据容器中；数据容器的数据消费者拉取数据容器中的数据到服务器的火花实时数据流程序进行消费计算；其中，消费计算包括：对数据进行元组格式化后进行聚合运算；火花实时数据流程序依据聚合运算结果，在满足报警情况下通过预设的报警方法进行报警；从而实现提高数据处理速度，以及提高报警效率。报警效率。报警效率。


技术研发人员：苗子祺
受保护的技术使用者：飞狐信息技术（天津）有限公司
技术研发日：2021.09.17
技术公布日：2021/10/23