基于TCPDUMP和分布式消息队列实现的数据热度采集方法和系统与流程

技术特征：
1.基于tcpdump和分布式消息队列实现的数据热度采集方法，其特征在于，包括以下步骤：创建数据源；通过tcpdump组件截取发送至数据源的sql脚本并进行脚本组装，得到组装脚本；将组装脚本发送到分布式消息队列；根据分布式消息队列中的组装脚本，对数据源进行数据热度采集。2.根据权利要求1所述的基于tcpdump和分布式消息队列实现的数据热度采集方法，其特征在于，截取发送至数据源的sql脚本并进行脚本组装，得到组装脚本，具体包括以下步骤：服务端向客户端发送热度采集开启指令；客户端在接收到热度采集开启指令之后，截取服务端发送至数据源的sql脚本；对截取的sql脚本进行脚本组装，得到组装脚本。3.根据权利要求2所述的基于tcpdump和分布式消息队列实现的数据热度采集方法，其特征在于：所述热度采集开启指令包括客户端id。4.根据权利要求3所述的基于tcpdump和分布式消息队列实现的数据热度采集方法，其特征在于：对截取的sql脚本进行脚本组装，得到组装脚本，具体包括以下步骤：通过msgmanager组件对截取sql脚本和客户端id进行封装，作为组装脚本。5.根据权利要求1所述的基于tcpdump和分布式消息队列实现的数据热度采集方法，其特征在于：根据分布式消息队列中的组装脚本，对数据源进行数据热度采集，具体包括以下步骤：通过正则验证器验证分布式消息队列中的组装脚本，得到验证后组装脚本；根据验证后组装脚本对数据源进行数据热度采集。6.根据权利要求1所述的基于tcpdump和分布式消息队列实现的数据热度采集方法，其特征在于，还包括以下步骤：在客户端在接收到热度采集开启指令时，向服务端发送心跳信息；服务端根据心跳信息判断是否推送正常。7.根据权利要求6所述的基于tcpdump和分布式消息队列实现的数据热度采集方法，其特征在于，向服务端发送心跳信息，具体包括以下步骤：每15s就会向服务端发送心跳信息。8.根据权利要求7所述的基于tcpdump和分布式消息队列实现的数据热度采集方法，其特征在于，服务端根据心跳信息判断是否推送正常，具体包括以下步骤：服务端检测心跳信息判断是否心跳正常；服务器在3次检测到心跳不正常时，判断为推送正常。9.基于tcpdump和分布式消息队列实现的数据热度采集系统，用于实现如权利要求1-8任一所述的基于tcpdump和分布式消息队列实现的数据热度采集方法，其特征在于，包括：数据源创建模块，用于创建数据源；信息截取模块，用于通过tcpdump组件截取发送至数据源的sql脚本并进行脚本组装，得到组装脚本；
发送模块，用于将组装脚本发送到分布式消息队列；采集模块，用于根据分布式消息队列中的组装脚本，对数据源进行数据热度采集。

技术总结
本发明公开一种基于TCPDUMP和分布式消息队列实现的数据热度采集方法，属于数据库技术领域；该方法包括：创建数据源；通过TCPDUMP组件截取发送至数据源的SQL脚本并进行脚本组装，得到组装脚本；将组装脚本发送到分布式消息队列；根据分布式消息队列中的组装脚本，对数据源进行数据热度采集。本发明还公开一种基于TCPDUMP和分布式消息队列实现的数据热度采集方法。本发明保证了系统在大数据量的时候也能保持稳定运行。能保持稳定运行。能保持稳定运行。


技术研发人员：毛肖瑶 原攀峰 陈廷梁 陈廷权
受保护的技术使用者：浙江数新网络有限公司
技术研发日：2023.05.19
技术公布日：2023/8/24