1.本发明涉及数据中台故障诊断领域，具体涉及一种基于flink实现的数据开发平台预警系统。
背景技术：
2.由于数据平台在处理大批量数据任务时，会出现存储量超出、内存使用率过高或其他问题，从而引起平台的故障，轻则降低工作效率，重则使平台阻塞停顿，影响业务处理及数据分析。针对此情况，业界十分重视，对平台安全、稳定长周期及满负荷运行的要求越来越迫切，希望能够及时了解平台系统状态，通过检测和预判状态走势，达到对故障早发现早预防早解决的目的，从而避免平台阻塞，提高处理效率。目前的预警系统不能在故障前发出预警，只能在故障发生后进行故障诊断，给平台带来很大的隐患，而且没有算法支撑并且在不完全的信息基础上推理做出结论，故障诊断结果准确率极低。
技术实现要素：
3.针对现有技术的不足，本发明旨在提供一种基于flink实现的数据开发平台预警系统。
4.为了实现上述目的，本发明采用如下技术方案：
5.一种基于flink实现的数据开发平台预警系统，包括：
6.消息队列模块：用于接收推送来的指标数据，按照数据开发平台的处理任务类型存放到系统数据库里不同的消息分区；
7.数据实时预测模块：用于使用flink实时计算引擎，在数据正常接收、无数据丢失时，使用已累积的数据预测下一数据；在数据有丢失时，使用已累积的数据的均值来补充丢失的数据；
8.实时异常检测模块：用于将不同任务类型的数据设定为不同的数据敏感度，并对于不同的数据敏感度设定不同的异常阈值，使用flink实时计算引擎计算预测的数据和实际的数据之间的偏差是否超出异常阈值，并据此判断出异常的数据；
9.实时异常诊断模块：针对检测出来的异常的数据，通过接口从系统数据库里读取相应的内存及存储信息和日志信息，并据此判断业务异常发生的原因以及需要关注的异常点；
10.故障预警以及诊断结果反馈模块：用于为用户提供检测结果标注，将用户标注的正确数据返回到数据实时预测模块中。
11.进一步地，故障预警以及诊断展示模块：用于结合3d模型展示异常的发生点以及诊断结果。
12.本发明的有益效果在于：本发明通过消息队列接收转发业务处理时的时序数据，使用flink实时计算引擎对接收到的数据进行实时处理分析，同时对不同的业务划分不同的数据敏感度等级，对不同的敏感度等级的数据进行不同数据处理，从而提高故障检测的
准确性，同时降低故障误报率。本发明还预测下一时间点的数据并与采集来的实时数据、存储在数据库的历史数据比较判断以及故障诊断，实现快速准确定位到平台故障发生点以及故障产生原因。目前可以在平台故障发生前72小时对故障进行预警，准确率90％以上，对故障的产生原因结论正确率达到95％以上。
附图说明
13.图1为本发明实施例的系统框架示意图。
具体实施方式
14.以下将结合附图对本发明作进一步的描述，需要说明的是，本实施例以本技术方案为前提，给出了详细的实施方式和具体的操作过程，但本发明的保护范围并不限于本实施例。
15.本实施例提供一种基于flink实现的数据开发平台预警系统，如图1所示，包括：
16.消息队列模块：用于接收推送来的指标数据，按照数据开发平台的处理任务类型存放到系统数据库里不同的消息分区；所述指标数据包括程序使用的cpu和内存、网路io等相关指标；
17.数据实时预测模块：用于使用flink实时计算引擎，在数据正常接收、无数据丢失时，使用已累积的数据预测下一数据；在数据有丢失时，使用已累积的数据的均值来补充丢失的数据；
18.实时异常检测模块：用于将不同任务类型的数据设定为不同的数据敏感度，并对于不同的数据敏感度设定不同的异常阈值，使用flink实时计算引擎计算预测的数据和实际的数据之间的偏差是否超出异常阈值，并据此判断出异常的数据；
19.例如，已经接收到[7,2,3,4,5,6]等数据，通过数据实时预测模块预测下一数值为1，实际接收到的数据为8，设定的异常阈值为3，两者的偏差超出了异常阈值，则判定此数据异常，触发相关事件预警。例如，对于cpu可以设定异常阈值为2，对于内存可以设定异常阈值为3，对于网络io可以设定异常阈值为100。不同任务类型的异常阈值可以根据不同的数据敏感度设置。
[0020]
实时异常诊断模块：针对检测出来的异常的数据，通过接口从系统数据库里读取相应的内存及存储信息和日志信息，并据此判断业务异常发生的原因以及需要关注的异常点，比如内存溢出、内存泄露、数据倾斜等；
[0021]
故障预警以及诊断结果反馈模块：用于为用户提供检测结果标注，将用户标注的正确数据返回到数据实时预测模块中；
[0022]
故障预警以及诊断展示模块：用于结合3d模型展示异常的发生点以及诊断结果。
[0023]
对于本领域的技术人员来说，可以根据以上的技术方案和构思，给出各种相应的改变和变形，而所有的这些改变和变形，都应该包括在本发明权利要求的保护范围之内。
技术特征：
1.一种基于flink实现的数据开发平台预警系统，其特征在于，包括：消息队列模块：用于接收推送来的指标数据，按照数据开发平台的处理任务类型存放到系统数据库里不同的消息分区；数据实时预测模块：用于使用flink实时计算引擎，在数据正常接收、无数据丢失时，使用已累积的数据预测下一数据；在数据有丢失时，使用已累积的数据的均值来补充丢失的数据；实时异常检测模块：用于将不同任务类型的数据设定为不同的数据敏感度，并对于不同的数据敏感度设定不同的异常阈值，使用flink实时计算引擎计算预测的数据和实际的数据之间的偏差是否超出异常阈值，并据此判断出异常的数据；实时异常诊断模块：针对检测出来的异常的数据，通过接口从系统数据库里读取相应的内存及存储信息和日志信息，并据此判断业务异常发生的原因以及需要关注的异常点；故障预警以及诊断结果反馈模块：用于为用户提供检测结果标注，将用户标注的正确数据返回到数据实时预测模块中。2.根据权利要求1所述的预警系统，其特征在于，故障预警以及诊断展示模块：用于结合3d模型展示异常的发生点以及诊断结果。
技术总结
本发明公开了一种基于flink实现的数据开发平台预警系统，通过消息队列接收转发业务处理时的时序数据，使用flink实时计算引擎对接收到的数据进行实时处理分析，同时对不同的业务划分不同的数据敏感度等级，对不同的敏感度等级的数据进行不同数据处理，从而提高故障检测的准确性，同时降低故障误报率。本发明还预测下一时间点的数据并与采集来的实时数据、存储在数据库的历史数据比较判断以及故障诊断，实现快速准确定位到平台故障发生点以及故障产生原因。目前可以在平台故障发生前72小时对故障进行预警，准确率90％以上，对故障的产生原因结论正确率达到95％以上。原因结论正确率达到95％以上。
技术研发人员：于洋 高经郡 道玉明
受保护的技术使用者：北京科杰科技有限公司
技术研发日：2021.10.27
技术公布日：2022/1/11
再多了解一些
本文用于企业家、创业者技术爱好者查询，结果仅供参考。
