可扩展高性能的运维指标项ETL工具及应用方法与流程

可扩展高性能的运维指标项etl工具及应用方法
技术领域
1.本发明涉及一种可扩展高性能的运维指标项etl工具，可实现有代理、无代理及不同硬件厂商的运维指标数据的抽取及清洗功能，并且可针对不同网络环境自定义配置工具的转发链路。


背景技术：

2.随着aiops（artificial intelligence for it operations 智能化运维）的发展，对计算机的运维指标数据采集显得越来越重要，目前采集工具越来越多，采集方式有代理和无代理两种，导致采集的运维指标项的复杂程度越来越高，指标的数据量也越来越大，再加上用户的网络环境复杂以及单向网闸的普及，采集工具需要在不同网段的机器上转发实时数据。
3.为了解决上述问题，需要有一种etl工具来实现数据的统一格式，但是目前要支持庞大的厂商及采集工具，以及后期他们的更新情况，需要有一个简便的配置方案，来实现快速响应、支持数据结构变化的功能。不同网段的机器转发、汇聚、再清洗，对采集器的链路配置和性能要求也越来越高。
4.传统的客户端采集器一般是直接发给服务端，因此一般的采集器只支持采集数据及发送数据功能，而支持高拓展性需要在采集器中再集成接收数据与转发数据功能，这样采集器就可以成为一个在客户端可任意拼接组装的采集工具，采集器可以向不同网段部署的采集器发送、转发数据，最后送至服务端。然而加上这些功能的采集器往往会变得体积庞大、性能不佳，至今未发现同时支持高性能转发与轻量易部署兼顾的采集工具。


技术实现要素：

5.本发明所要解决的技术问题是针对现有技术的不足，提供一种可扩展高性能的运维指标项etl工具及其实现方法。
6.本技术实施例提供了一种可扩展高性能的运维指标项etl工具，包括：外网采集器、中转采集器及agent采集器；所述外网采集器部署在外网环境中，作为最高层级，可汇聚下层中转采集器或agent采集器数据向云服务器直接发送数据，可从云服务器获取需要更新的配置文件；所述中转采集器在特定网络的网闸机器上，可单向汇聚下层中转采集器或者agent采集器数据转发至上层外网或者中转采集器；所述agent采集器作为最低层级，部署在需要采集指标项的机器上，可向上级中转或外网采集器发送数据。
7.本发明还公开了一种可扩展高性能的运维指标项etl工具的应用方法，其特征在于：包括如下步骤：101：采集器脚本启动；102：检查当前客户端采集器的配置文件，根据配置文件中的身份标志判定当前采
集器的身份类型；103：若检测到agent身份标志，则判断该客户端采集器为agent采集器；104：通过该客户端采集器的配置项，采集该采集器需要采集的所有资产指标并进行数据清洗、按类型统一各大厂商的json格式；105：检测配置文件，查看上级采集器身份；106：若上级采集器为中转采集器，则采用多线程的websocket服务进行通讯，用于支持大量的实时消息连接，websocket连接全部采用长链接模式，可记录每个下级节点的在线情况，若连接断开及时发送离线消息通知上级；实时数据将立即转发至中转采集器；107：若检测到中转身份标志，则判断该客户端采集器为中转采集器；108：通过该客户端采集器的配置项，采集该采集器需要采集的所有资产指标并进行数据清洗、按类型统一各大厂商的json格式；109：检测配置文件，查看上级采集器身份；110：若上级采集器为外网采集器，则采用多线程 协程的api服务进行通讯，多线程用于支持大量的请求连接，采用单向api接口的方式支持内网跨外网的单向通讯，协程用于多个转发请求处理的处理及心跳定时任务所申请的服务器资源切换利用，减少空闲等待的资源浪费，实时数据将立即转发至外网采集器；111：若检测到外网身份标志，则判断该客户端采集器为外网采集器；112：通过该客户端采集器的配置项，采集该采集器需要采集的所有资产指标并进行数据清洗、按类型统一各大厂商的json格式；113：所有采集数据与转发数据，将实时发送至服务端。
8.作为优选，在101步骤中，具体启动方法如下：1）、使用root权限先在外网采集器服务器执行脚本启动服务，2）、再在中转采集器所在服务器的执行脚本启动服务，程序启动后中转采集器就会开始等待所有agent采集器连接，3）、收到agent采集器的连接信息立即发送agent采集器上线信息到外网采集器，再由外网发送到服务端，同理再收到agent采集器断开连接的信息，便上报离线信息。
9.作为优选，在101步骤中，若agent数量庞大，则开启多台中转服务进行分担压力，外网采集器也设置多台，具体发送链路都通过配置文件控制，中转会定时发送心跳数据到外网采集器以确保服务端能够知道中转与外网采集器的存活情况，外网采集器再发送中转采集器与自己的心跳数据到服务端，心跳数据超过一定时间没有上报，服务端便会判定外网和中转采集离线。
10.作为优选，中转与外网采集器启动成功后，启动资产服务器上的agent采集器程序，开始进行定时资产状态数据采集，agent采集器在完成每一轮的信息收集后统一以json格式发送给中转服务器。
11.作为优选，若用户需要采集硬件资产信息时，采集方式为独立的snmp采集程序定时主动获取，根据配置文件中的厂商，ip，团体名信息定时对资产进行snmp主动获取，获取后进行数据清洗与转换，再发送给中转采集器；中转采集器收到agent采集器发送的消息后进行数据清洗，将数据转换为服务端所需要的数据格式，然后再将数据转发给外网采集器；外网采集器收到中转采集器发送的数据后，无需再进行处理任何处理操作，直接将数据发
送到服务端；服务端收到数据后进行解析入库操作，用户即可在web端查看资产监控信息，至此一个采集流程的生命周期结束，再等待进行下一个周期。
12.作为优选，所述指标项的配置方法为：先将采集的运维资产按照类型区分，相同类型的资产再按照厂商区分，相同厂商的再按照采集工具区分，由此得到一个三级的配置关系；按照第三级关系的id，配置该id对应的格式化json字典，默认采集的数据会根据此字典做格式化统一处理，最后都会输出对应类型的运维资产的统一标准格式数据；若配置关系存在云端服务器，有格式变化或新厂商对象接入，在云端系统中做可视化配置操作，增加修改配置项；若外网采集工具监听的配置项修改的信号，则会从云端拉取最新配置数据，广播到所有采集链路上实现配置拓展的更新。
13.技术效果或优点：本发明提供了一种可扩展高性能的运维指标项etl工具及实现方法，可以通过云端配置快速支持指标项的拓展统一格式，可支持不同机器间数据的快速转发与采集工具的链路组装。兼具同时支持高性能转发与轻量易部署兼顾的优点，本发明可应用于智能化运维领域，具有广泛的应用前景。
附图说明
14.图1为本发明所述的采集工具链路结构示意图。
15.图2为本发明所述的具体实现流程示意图。
16.图3为本发明实施例用户网络情况图。
具体实施方式
17.本发明提供一种可扩展高性能的运维指标项etl工具，运维指标项来源于五种工具：基于telegraf的代理采集工具，基于python脚本的代理采集工具，基于snmp的无代理采集工具，基于ssh的无代理采集工具，基于ipmi的无代理采集工具。运维指标项厂商来源于：锐捷、戴尔、h3c、深信服、中兴通讯、华为、宏杉、思科、亚信。
18.指标项配置方法：先将采集的运维资产按照类型区分，相同类型的资产再按照厂商区分，相同厂商的再按照采集工具区分，由此可以得到一个三级的配置关系，按照第三级关系的id，可以配置该id对应的格式化json字典，默认采集的数据会根据此字典做格式化统一处理，最后都会输出对应类型的运维资产的统一标准格式数据。配置关系存在云端服务器，有格式变化或新厂商对象接入，可在云端系统中做可视化配置操作，增加修改配置项，若外网采集工具监听的配置项修改的信号，则会从云端拉取最新配置数据，广播到所有采集链路上实现配置拓展的更新。
19.本发明采集链路中采集工具类型分为三种：外网采集器、中转采集器、agent采集器，如图1所示。
20.外网采集器部署在外网环境中，作为最高层级，可汇聚下层中转或agent采集器数据向云服务器直接发送数据，可从云服务器获取需要更新的配置文件。
21.中转采集器一般在特定网络的网闸机器上，可单向汇聚下层中转或者agent采集器数据转发至上层外网或者中转采集器。
22.agent采集器作为最低层级，部署在需要采集指标项的机器上，可向上级中转或外网采集器发送数据。
23.如图2所示，本发明采集器高拓展性的实现方法如下：101：采集器脚本启动；102：检查当前客户端采集器的配置文件，根据配置文件中的身份标志判定当前采集器的身份类型；103：若检测到agent身份标志，则该客户端采集器为agent采集器；104：通过该客户端采集器的配置项，采集此采集器需要采集的所有资产指标并进行数据清洗、按类型统一各大厂商的json格式；105：检测配置文件，查看上级采集器身份；106：若上级采集器为中转采集器，则采用多线程的websocket服务进行通讯，用于支持大量的实时消息连接，websocket连接全部采用长链接模式，可记录每个下级节点的在线情况，若连接断开及时发送离线消息通知上级。实时数据将立即转发至中转采集器；107：若检测到中转身份标志，则该客户端采集器为中转采集器；108：通过该客户端采集器的配置项，采集此采集器需要采集的所有资产指标并进行数据清洗、按类型统一各大厂商的json格式；109：检测配置文件，查看上级采集器身份；110：若上级采集器为外网采集器，则采用多线程 协程的api服务进行通讯，多线程用于支持大量的请求连接，采用单向api接口的方式可以支持内网跨外网的单向通讯，协程用于多个转发请求处理的处理及心跳定时任务所申请的服务器资源切换利用，减少空闲等待的资源浪费。实时数据将立即转发至外网采集器；111：若检测到外网身份标志，则该客户端采集器为外网采集器；112：通过该客户端采集器的配置项，采集此采集器需要采集的所有资产指标并进行数据清洗、按类型统一各大厂商的json格式；113：所有采集数据与转发数据，将实时发送至服务端。
24.下面结合具体实施方式详细介绍本技术方案：本发明是实际用户资产情况：多台linux操作系统服务器、多台数据库等；用户网络情况描述，如图3所示：用户重要服务器均部署于内网环境，其中一台linux服务器可与外网服务器单向通信，外网服务器能够自由访问公网环境；具体操作步骤：（1）web端配置：用户首先在web页面端添加采集器信息，其中包括采集器类型（外网，中转，agent）、采集器所在服务器的ip地址信息，采集器链路关系等，首先添加外网采集器信息，然后添加中转采集器选择相关上级采集器，再分别加添agent采集器选择相关上级采集器；再添加资产信息，必须先添加操作系统资产，再添加其他类型的资产，例如windows操作系统，linux操作系统、oracle数据库、硬件交换机等，填写资产的ip地址信息，并选择需要绑定的采集器（有代理模式采集资产ip与采集器ip相同），操作系统资产仅支持有代理的方式采集，实例中，先添加linux操作系统资产并填写ip选择绑定采集器为外网采集器，然后添加linux操作系统资产填写ip选择绑定中转采集器，然后再依次添加linux操作系统资产并选择相应ip的agent采集器，操作系统资产添加结束后，再添加mysql，redis，
elasticsearch等等软件按资产，并选择相应ip的agent采集器；（2）下载采集器与配置文件：采集器与资产添加完毕以后，集器与采集器配置文件并一一上传至对应服务器常用目录并解压，解压完后生成目录其中包含：agent采集器程序，中转外网采集器程序，服务启动脚本,服务开机自启动配置脚本（需要开机自启动的可执行该文件）以及相关配置文件；（3）资产服务器权限设置：如果资产所在服务器启动了防火墙，则需要开放配置文件中的特定的tcp端口与udp端口；（4）启动外网采集器与中转采集器服务：使用root权限先在外网采集器服务器执行脚本启动服务，再在中转采集器所在服务器的执行脚本启动服务，程序启动后中转采集器就会开始等待所有agent采集器连接，一旦收到agent采集器的连接信息立即发送agent采集器上线信息到外网采集器，再由外网发送到服务端，同理再收到agent采集器断开连接的信息，便上报离线信息。如果agent数量庞大也可以开启多台中转服务进行分担压力，同理外网采集器也可以多台，具体发送链路都通过配置文件控制，为了确保服务端能够知道中转与外网采集器的存活情况，中转会定时发送心跳数据到外网采集器，外网采集器再发送中转采集器与自己的心跳数据到服务端，心跳数据超过一定时间没有上报，服务端便会判定外网和中转采集离线，需要工程师进行查看具体情况；（5）确保中转与外网采集器启动成功后，启动资产服务器上的agent采集器程序，便开始进行定时资产状态数据采集（采集程序是轻量级工具，占用服务器资源很少，因此也无需担心采集程序会影响服务器正常运行的资产），agent采集器在完成每一轮的信息收集后统一以json格式发送给中转服务器；（6）用户如果需要采集硬件资产例如交换机、存储设备、服务器部件信息等，采集方式为独立的snmp采集程序定时主动获取，该程序会根据配置文件中的厂商，ip，团体名等信息定时对资产进行snmp主动获取，获取后进行数据清洗与转换，再发送给中转采集器；（7）中转采集器收到agent采集器发送的消息后进行数据清洗，将数据转换为服务端所需要的数据格式，然后再将数据转发给外网采集器；（8）外网采集器收到中转采集器发送的数据后，无需再进行处理任何处理操作，直接将数据发送到服务端；（9）服务端收到数据后进行解析入库操作，用户即可在web端查看资产监控信息，至此一个采集流程的生命周期结束，再等待进行下一个周期。
25.以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以作出若干改进，这些改进也应视为本发明的保护范围。