一种提升埋点数据链路可靠性的链路策略及架构设计方法与流程

技术特征：
1.一种提升埋点数据链路可靠性的链路策略及架构设计方法，其特征在于：包括如下步骤：a、将埋点数据上报请求服务器采集服务；b、并判断数据是否有报文异常；c、再将埋点报文数据解析并推送数据队列；d、使数据进入分布式队列q中；e、然后数据仓库前置flume服务消费数据并写入数据库；f、将检测到上报异常的数据写入本地日志文件errfile并持久化存储；g、再将队列服务读取日志文件errfile写入分布式队列errq中；h、接着独立的监控服务消费队列errq的数据，并推送告警；i、然后人工收到告警数据及时分析并处理异常数据；j、再将正常上报的埋点数据接收、转换、推送队列期间遇到失败时，将数据写入本地日志文件backupfile并持久化存储；k、最后队列服务读取日志文件backupfile写入分布式队列q中，完成正常数据入库。2.根据权利要求1所述的提升埋点数据链路可靠性的链路策略及架构设计方法，其特征在于，所述在执行步骤e过程中，存储服务消费数据的数据库至少有两个，一个为主用数据库，另一个为备用数据库，且主用数据库的储存容量为备用数据库存储容量的两倍。3.根据权利要求1所述的提升埋点数据链路可靠性的链路策略及架构设计方法，其特征在于，所述在执行步骤h过程中，推送告警的方式可采用“声光”方式警报，且“声光”方式警报具体为蜂鸣器和三色警报器，且蜂鸣器采用双喇叭立体环绕式声道，三色警报器的三色分别为“红、黄和绿”，且分别对应代表“警报、待定和正常”。4.根据权利要求1所述的提升埋点数据链路可靠性的链路策略及架构设计方法，其特征在于，所述在执行步骤i过程中，人工校验异常数据时，应在监督环境下进行，且监督环境内至少有两个高清摄像头，且摄像头的拍摄方向朝向人工校验区域。5.根据权利要求1所述的提升埋点数据链路可靠性的链路策略及架构设计方法，其特征在于，所述在执行步骤j过程中，存储失败数据数据库的存储容量和存储服务消费数据主用数据库的存储容量相同。6.根据权利要求1所述的提升埋点数据链路可靠性的链路策略及架构设计方法，其特征在于，所述在执行步骤j过程中，本地日志文件的存储格式为文本文档格式，且本地日志文件包括警报日志、失败数据日志、安全日志以及重大事件日志记录。

技术总结
本发明提供一种提升埋点数据链路可靠性的链路策略及架构设计方法，包括如下步骤：A、将埋点数据上报请求服务器采集服务；B、并判断数据是否有报文异常；C、再将埋点报文数据解析并推送数据队列；D、使数据进入分布式队列Q中；E、然后数据仓库前置flume服务消费数据并写入数据库。本发明通过A-K一系列流程步骤的配合，引入“本地库文件读取”机制，相比于传统的上报方案提升了数据可靠性，增加“异常数据监控告警”环节，可及时识别异常数据并对其进行相应处理，使入库链路的可靠性得到较好保障，避免埋点数据信息存在错失、遗漏情况，同时可精准判断异常信息和失败信息，使得数据分析的效果得到较好的保证，从而提升埋点数据的整体精准度。度。


技术研发人员：魏鹏飞
受保护的技术使用者：广州市有车以后信息科技有限公司
技术研发日：2020.11.11
技术公布日：2022/5/16