一种海量网络性能数据采集方法、装置及系统与流程

技术特征：
1.一种海量网络性能数据采集方法，其特征在于，所述方法包括：通过分布式开源监控软件zabbix向目标网络设备集发送第一数据采集指令以采集所述目标网络设备集的第一网络性能数据集合；所述目标网络设备集中包含至少一个目标网络设备；获取采集配置，所述采集配置包括采集模板、编排容器组以及采集集群；根据所述采集配置中至少一项获得第一采集数据特征；根据所述第一采集数据特征，匹配第一timescale开源数据库，对所述第一网络性能数据集合进行数据存储；通过数据采集器对所述第一网络性能数据集合进行读取以获得第一聚合数据并将所述第一聚合数据输出至kafka集群；通过所述kafka集群生成第一数据消费场景集合；根据所述第一数据消费场景集合，对所述第一网络性能数据集合进行数据分析。2.如权利要求1所述的方法，其特征在于，对所述第一网络性能数据集合进行数据存储后，所述方法还包括：通过管理平台获取数据调取指令；通过所述管理平台获取的所述数据调取指令对应的第一timescale开源数据库的地址信息，并将所述第一timescale开源数据库的地址信息发送至grafana；通过grafana接收的所述第一timescale开源数据库的地址信息并根据调取所述第一网络性能数据集合并生成第一可视化数据信息。3.如权利要求1所述的方法，其特征在于，获取采集配置还包括：获得所述分布式开源监控软件zabbix的第一docker镜像文件和所述第一timescale开源数据库的第二docker镜像文件，并将所述第一docker镜像文件以及第二docker镜像文件均导入物理机；获得容器编排器docker
‑
compose并将所述容器编排器docker
‑
compose设置于所述物理机上；所述物理机与所述采集集群一一对应；根据所述容器编排器docker
‑
compose，获得第一yml配置文件；将所述第一yml配置文件、第一docker镜像文件以及第二docker镜像文件打包后上传至所述物理机，并生成docker
‑
compose up命令；根据所述docker
‑
compose up命令获取编排容器组；所述编排容器组包括：分布式开源监控软件zabbix以及第一timescale开源数据库。4.如权利要求3所述的方法，其特征在于，所述方法还包括：根据所述目标网络设备集中的网络设备数量信息确定所述编排容器组的个数，其中，所述网络设备数量信息与所述编排容器组的个数正相关；根据所述编排容器组的数量确定所述物理机的数量，其中每个所述物理机上包括至少一个编排容器组。5.如权利要求1所述的方法，其特征在于，当所述数据采集器为日志数据采集器filebeat时，将所述第一聚合数据输出至kafka集群前，所述方法还包括：生成修改指令；根据所述修改指令修改所述分布式开源监控软件zabbix配置文件zabbix_
server.conf；获得所述日志数据采集器filebeat的安装文件；根据所述安装文件，修改所述日志数据采集器filebeat的配置文件filebeat.yml；根据所述配置文件filebeat.yml，配置待转发的所述分布式开源监控软件zabbix的源数据路径和目的kafka集群地址；生成启动命令；根据所述启动命令，启动所述日志数据采集器filebeat以将所述kafka集群和所述日志数据采集器filebeat进行对接。6.如权利要求2所述的方法，其特征在于，获取采集配置后，所述方法还包括：通过测试机对采集模板进行测试并获取测试结果；根据所述测试结果将所述采集模板导入所述管理平台，以令所述管理平台下发至所述数据采集器。7.如权利要求1所述的方法，其特征在于，所述方法还包括：基于第一对接信息将新增网络设备对接到物理机上；根据采集分配信息，对所述新增网络设备进行采集。8.如权利要求1所述的方法，其特征在于，所述方法还包括：获得所述分布式开源监控软件zabbix的api接口；基于所述api接口，获得所述采集集群的采集状态；对所述采集状态进行实时监控，获得实时监测结果；判断所述实时监测结果是否存在异常情况；若所述实时监测结果存在所述异常情况，生成第一预警指令；根据所述第一预警指令，触发syslog进行预警；和/或生成第一错误邮件以及将所述第一错误邮件发送至集群维护人员。9.一种海量网络性能数据采集装置，其特征在于，所述装置包括：第一采集单元，所述第一采集单元用于通过分布式开源监控软件zabbix向目标网络设备集发送第一数据采集指令以采集所述目标网络设备集的第一网络性能数据集合；所述目标网络设备集中包含至少一个目标网络设备；第一获取单元：所述第一获取单元用于获取采集配置，所述采集配置包括采集模板、编排容器组以及采集集群；并根据所述采集配置中至少一项获得第一采集数据特征；第一匹配单元：所述第一匹配单元用于根据所述第一采集数据特征，匹配第一timescale开源数据库，对所述第一网络性能数据集合进行数据存储；第一输出单元，所述第一输出单元用于通过数据采集器对所述第一网络性能数据集合进行读取以获得第一聚合数据并将所述第一聚合数据输出至kafka集群；第一生成单元：所述第一生成单元用于通过所述kafka集群生成第一数据消费场景集合；第一分析单元：所述第一分析单元用于根据所述第一数据消费场景集合，对所述第一网络性能数据集合进行数据分析。10.一种海量网络性能数据采集系统，其特征在于，所述系统包括：分布式开源监控软件zabbix，所述分布式开源监控软件zabbix用于向目标网络设备集
发送第一数据采集指令以采集所述目标网络设备集的第一网络性能数据集合；所述目标网络设备集中包含至少一个目标网络设备；获取采集配置，所述采集配置包括采集模板、编排容器组以及采集集群；根据所述采集配置中至少一项获得第一采集数据特征；根据所述第一采集数据特征，匹配第一timescale开源数据库，对所述第一网络性能数据集合进行数据存储；数据采集器，所述数据采集器用于对所述第一网络性能数据集合进行读取以获得第一聚合数据并将所述第一聚合数据输出至kafka集群；通过所述kafka集群生成第一数据消费场景集合；根据所述第一数据消费场景集合，对所述第一网络性能数据集合进行数据分析。11.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述权利要求1
‑
8中任一项的方法。12.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述权利要求1
‑
8任一项的方法。

技术总结
本发明涉及网络技术领域，适用于金融领域，本发明实施例提供了一种海量网络性能数据采集方法、装置及系统，所述方法包括：通过分布式开源监控软件zabbix向目标网络设备集发送第一数据采集指令以采集所述目标网络设备集的第一网络性能数据集合；所述目标网络设备集中包含至少一个目标网络设备；通过数据采集器对所述第一网络性能数据集合进行读取以获得第一聚合数据并将所述第一聚合数据输出至Kafka集群。解决了对于网络性能数据的采集精度、采集成功率要求高与采集量大的矛盾的技术问题。问题。问题。


技术研发人员：陶佩华 姜茜
受保护的技术使用者：中国工商银行股份有限公司
技术研发日：2021.07.30
技术公布日：2021/10/29