FLUME自动部署的系统及方法与流程

flume自动部署的系统及方法
技术领域
1.本发明涉及分布式技术领域，尤其涉及一种flume自动部署的系统及方法。


背景技术：

2.一个日志监控系统通常由日志采集、解析处理、指标计算、可视化展示几个关键模块组成，其中日志采集常用flume作为采集工具。产品接入时，需要将flume部署到待采集日志的监控服务器上，并进行配置文件的客户化配置。近年来，随着越来越多的产品转向分布式微服务架构，部署的节点数大幅增加，传统手动部署flume采集工具并一一配置的方式工作量太大，已无法满足高效运维的需求。


技术实现要素：

3.本发明实施例提出一种flume自动部署的系统，用以实现flume在多个目标服务器上的自动部署，该系统包括：
4.日志监控子系统和自动部署子系统，其中，
5.日志监控子系统包括运维服务器模块，所述运维服务端模块用于根据用户配置的flume日志采集规则，生成flume配置文件，其中每条flume日志采集规则绑定一组待部署服务器信息；
6.自动部署子系统包括服务器管理模块、环境管理模块和脚本管理模块，其中，
7.服务器管理模块，用于接收用户导入的多个待部署服务器信息，
8.环境管理模块，用于接收用户新建的多个待部署环境信息，其中，每个待部署环境用于纳管一组待部署服务器；
9.脚本管理模块，用于接收用户配置的flume自动部署脚本，所述flume自动部署脚本包括flume安装包的版本和待部署服务器信息；在接收到用户的脚本执行指令后，将所述flume自动部署脚本下发至对应的待部署服务器并执行，所述flume自动部署脚本在执行时，根据flume安装包的版本和待部署服务器信息，自动从拉取flume安装包和相应的flume配置文件进行部署，在部署完成后启动flume。
10.本发明实施例提出一种flume自动部署的方法，用以实现flume在多个目标服务器上的自动部署，该方法包括：
11.接收用户导入的多个待部署服务器信息，
12.接收用户新建的多个待部署环境信息，其中，每个待部署环境用于纳管一组待部署服务器；
13.根据用户配置的flume日志采集规则，生成flume配置文件，其中每条flume日志采集规则绑定一组待部署服务器信息；
14.接收用户配置的flume自动部署脚本，所述flume自动部署脚本包括flume安装包的版本和待部署服务器信息；
15.在接收到用户的脚本执行指令后，将所述flume自动部署脚本下发至对应的待部
署服务器并执行，所述flume自动部署脚本在执行时，根据flume安装包的版本和待部署服务器信息，自动从拉取flume安装包和相应的flume配置文件进行部署，在部署完成后启动flume。
16.本发明实施例还提出了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述flume自动部署的方法。
17.本发明实施例还提出了一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述flume自动部署的方法的计算机程序。
18.在本发明实施例中，日志监控子系统包括运维服务器模块，运维服务端模块，用于根据用户配置的flume日志采集规则，生成flume配置文件，其中每条flume日志采集规则绑定一组待部署服务器信息；自动部署子系统包括服务器管理模块、环境管理模块和脚本管理模块，其中，服务器管理模块，用于接收用户导入的多个待部署服务器信息，环境管理模块，用于接收用户新建的多个待部署环境信息，其中，每个待部署环境用于纳管一组待部署服务器；脚本管理模块，用于接收用户配置的flume自动部署脚本，所述flume自动部署脚本包括flume安装包的版本和待部署服务器信息；在接收到用户的脚本执行指令后，将所述flume自动部署脚本下发至对应的待部署服务器并执行，所述flume自动部署脚本在执行时，根据flume安装包的版本和待部署服务器信息，自动从拉取flume安装包和相应的flume配置文件进行部署，在部署完成后启动flume。本发明实施例提出的系统及方法具有如下有益效果：
19.一是，实现了flume的自动化部署，可并行在多台服务器上一键完成flume的安装及配置，降低手工操作成本；
20.二是，提供了友好的flume日志采集规则配置，用户无需学习和理解flume配置文件中的复杂字段，由后台自动根据flume日志采集规则来生成flume配置文件，降低使用门槛。
附图说明
21.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
22.图1为本发明实施例中flume自动部署的系统的示意图；
23.图2为本发明实施例中flume自动部署的系统的原理图；
24.图3为发明实施例中flume自动部署的系统的另一示意图；
25.图4为本发明实施例中flume自动部署的详细流程图；
26.图5为本发明实施例中flume自动部署的方法的流程图；
27.图6为本发明实施例中计算机设备的示意图。
具体实施方式
28.为使本发明实施例的目的、技术方案和优点更加清楚明白，下面结合附图对本发
明实施例做进一步详细说明。在此，本发明的示意性实施例及其说明用于解释本发明，但并不作为对本发明的限定。
29.在本说明书的描述中，所使用的“包含”、“包括”、“具有”、“含有”等，均为开放性的用语，即意指包含但不限于。参考术语“一个实施例”、“一个具体实施例”、“一些实施例”、“例如”等的描述意指结合该实施例或示例描述的具体特征、结构或者特点包含于本技术的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。各实施例中涉及的步骤顺序用于示意性说明本技术的实施，其中的步骤顺序不作限定，可根据需要作适当调整。
30.首先对本发明涉及到的术语进行解释。
31.flume：flume是cloudera提供的一个高可用、高可靠的分布式海量日志采集、聚合、传输的系统。
32.kafka：消息缓冲队列，用于大数据量的时候，将消息先放入到队列中，延迟一定时间进行处理，避免拖垮后续的处理逻辑。
33.pomp：企业自研的日志监控子系统，使用flume从各产品的服务器上采集日志，通过日志解析、计算处理，可视化展示产品的交易量、成功率、响应时间等指标，实时监控产品运行状态。
34.产品：企业特有概念，指对外提供一定功能或服务的一个系统。一个产品通常包含多个服务器(对应运行态的多个服务)。
35.sadp
‑
x86：企业自研的适用于x86架构的自动部署平台，平台提供自定义脚本及作业的在线执行功能，在本发明中可用于自动下发flume采集工具，并对flume配置文件进行客户化配置。
36.图1为本发明实施例中flume自动部署的系统的示意图，如图1所示，该系统包括：日志监控子系统101和自动部署子系统102，其中，
37.日志监控子系统101包括运维服务器模块1011，所述运维服务端模块1011用于根据用户配置的flume日志采集规则，生成flume配置文件，其中每条flume日志采集规则绑定一组待部署服务器信息；
38.自动部署子系统102包括服务器管理模块1021、环境管理模块1021和脚本管理模块1023，其中，
39.服务器管理模块1021，用于接收用户导入的多个待部署服务器信息，
40.环境管理模块1022，用于接收用户新建的多个待部署环境信息，其中，每个待部署环境用于纳管一组待部署服务器；
41.脚本管理模块1023，用于接收用户配置的flume自动部署脚本，所述flume自动部署脚本包括flume安装包的版本和待部署服务器信息；在接收到用户的脚本执行指令后，将所述flume自动部署脚本下发至对应的待部署服务器并执行，所述flume自动部署脚本在执行时，根据flume安装包的版本和待部署服务器信息，自动从拉取flume安装包和相应的flume配置文件进行部署，在部署完成后启动flume。
42.具体实施时，服务器管理模块用于接收用户导入的多个待部署服务器信息，这些待部署服务器都是目标产品。脚本管理模块接收到用户的脚本执行指令后，将所述flume自
动部署脚本下发至对应的待部署服务器并执行，可见，本发明实施例支持flume自动部署脚本的一键执行，其中，若对应的待部署服务器有多个，则并行执行。
43.图2为本发明实施例中flume自动部署的系统的原理图，其中，日志监控子系统可基于pomp，自动部署子系统可基于sadp
‑
x86，本发明实施例提出的系统充分利用了企业现有平台(和sadp
‑
x86)的cmdb能力，日志监控子系统和自动部署子系统中的模块功能都是在上述平台基础实现的，无需重复开发，而重在实现子系统之间的联动和对接，及提供一种完整的使用流程和解决方案，降低了开发成本。
44.图3为发明实施例中flume自动部署的系统的另一示意图，在一实施例中，日志监控子系统还包括运维展示端模块1012，用于通过页面接收用户配置的多条flume日志采集规则。
45.在上述实施例中，运维展示端模块包括引导用户配置flume日志采集规则的导航页面，用户基于该导航页面可方便地进行配置，一条flume日志采集规则包括：
46.(1)规则名称、所属产品等基本信息
47.(2)日志采集源信息：一个采集规则下可创建多个日志采集路径，及每个路径下日志的投递至kakfa的topic。
48.(3)采集高级选项配置：如是否包含目录级别正则表达式、是否使用堆栈日志多行合并模式、日志文件清理策略等。
49.(4)flume日志采集规则绑定的待部署服务器信息：选择一组服务器，在这些服务器上使用当前这个flume日志采集规则。选择服务器时，日志监控子系统通过调用sadp
‑
x86自动部署子系统的服务器查询接口，查询待部署环境信息下的服务器清单，供用户选择。
50.在一实施例中，所述系统还包括ftp服务器模块103，用于存储flume配置文件和不同版本的flume安装包；
51.运维服务端模块还用于：将flume配置文件发布至ftp服务器模块。
52.在一实施例中，所述服务器信息包括服务器的ip；
53.所述ftp服务器模块具体用于：按服务器的ip分目录存储flume配置文件。
54.在上述实施例中，若多个flume日志采集规则绑定了一个服务器，则对flume配置文件进行合并。
55.在一实施例中，所述自动部署子系统还包括服务器查询接口1024，用于在接收到用户的服务器查询指令后，展示已配置的待部署环境信息，接收用户选定的一个待部署环境信息中的一组待部署服务器信息；
56.运维展示端模块还用于：向服务器查询接口发送服务器查询指令，获得一组待部署服务器信息，接收用户对该组待部署服务器信息与flume日志采集规则的绑定。
57.在一实施例中，所述日志监控子系统还包括kafka1013；
58.所述flume在启动后，将基于flume日志采集规则采集的日志投递至kafka中。
59.在上述实施例中，若flume在启动后，kafka中收到了采集的日志，则验证了flume部署成功，投递时是按照topic进行分类投递的。
60.基于图2，本发明实施例给出一个flume自动部署的详细流程图，见图4，详细步骤包括：
61.步骤401，用户在sadp
‑
x86自动部署子系统中导入目标产品的待部署服务器；
62.步骤402，用户在sadp
‑
x86自动部署子系统中新建待部署环境，并将一组待部署服务器添加到待部署环境下；
63.步骤403，用户在pomp日志监控平子系统中创建flume采集规则并绑定一组待部署服务器信息；flume采集规则配置完成后，用户点击“发布”时，日志监控平子系统根据用户配置的flume日志采集规则，生成flume配置文件，其中每条flume日志采集规则绑定一组待部署服务器信息，即每个服务器ip对应一份flume配置文件，并上传到ftp服务器模块的相应目录下。
64.步骤404，用户在sadp
‑
x86自动部署子系统中配置flume自动部署脚本；
65.步骤405，用户向sadp
‑
x86自动部署子系统下发脚本执行指令，sadp
‑
x86自动部署子系统将自动从ftp服务器模块中拉取flume安装包和相应的flume配置文件进行部署，在部署完成后启动flume。
66.综上所述，在本发明实施例提出的系统的有益效果如下：
67.一是，实现了flume的自动化部署，可并行在多台服务器上一键完成flume的安装及配置，降低手工操作成本；
68.二是，提供了友好的flume日志采集规则配置，用户无需学习和理解flume配置文件中的复杂字段，由后台自动根据flume日志采集规则来生成flume配置文件，降低使用门槛。
69.三是，本发明实施例提出的系统充分利用了企业现有平台(和sadp
‑
x86)的cmdb能力，日志监控子系统和自动部署子系统中的模块功能都是在上述平台基础实现的，无需重复开发，而重在实现子系统之间的联动和对接，及提供一种完整的使用流程和解决方案，降低了开发成本。
70.本发明实施例还提出一种flume自动部署的方法，其原理与flume自动部署的系统类似，这里不再赘述。
71.图5为本发明实施例中flume自动部署的方法的流程图，具体包括：
72.步骤501，接收用户导入的多个待部署服务器信息；
73.步骤502，接收用户新建的多个待部署环境信息，其中，每个待部署环境用于纳管一组待部署服务器；
74.步骤503，根据用户配置的flume日志采集规则，生成flume配置文件，其中每条flume日志采集规则绑定一组待部署服务器信息；
75.步骤504，接收用户配置的flume自动部署脚本，所述flume自动部署脚本包括flume安装包的版本和待部署服务器信息；
76.步骤505，在接收到用户的脚本执行指令后，将所述flume自动部署脚本下发至对应的待部署服务器并执行，所述flume自动部署脚本在执行时，根据flume安装包的版本和待部署服务器信息，自动从拉取flume安装包和相应的flume配置文件进行部署，在部署完成后启动flume。
77.在一实施例中，所述方法还包括：
78.接收用户配置的多条flume日志采集规则。
79.在一实施例中，所述方法还包括：
80.存储flume配置文件和不同版本的flume安装包。
81.在一实施例中，所述方法还包括：
82.按服务器的ip分目录存储flume配置文件。
83.在一实施例中，所述方法还包括：
84.在接收到用户的服务器查询指令后，展示已配置的待部署环境信息；
85.接收用户选定的一个待部署环境信息中的一组待部署服务器信息；
86.接收用户对该组待部署服务器信息与flume日志采集规则的绑定。
87.在一实施例中，所述flume在启动后，将基于flume日志采集规则采集的日志投递至kafka中。
88.综上所述，在本发明实施例提出的方法的有益效果如下：
89.一是，实现了flume的自动化部署，可并行在多台服务器上一键完成flume的安装及配置，降低手工操作成本；
90.二是，提供了友好的flume日志采集规则配置，用户无需学习和理解flume配置文件中的复杂字段，由后台自动根据flume日志采集规则来生成flume配置文件，降低使用门槛。
91.三是，本发明实施例提出的系统充分利用了企业现有平台(和sadp
‑
x86)的cmdb能力，日志监控子系统和自动部署子系统中的模块功能都是在上述平台基础实现的，无需重复开发，而重在实现子系统之间的联动和对接，及提供一种完整的使用流程和解决方案，降低了开发成本。
92.本发明的实施例还提供一种计算机设备，图6为本发明实施例中计算机设备的示意图，该计算机设备能够实现上述实施例中的flume自动部署的方法中全部步骤，所述计算机设备具体包括如下内容：
93.处理器(processor)601、存储器(memory)602、通信接口(communications interface)603和通信总线604；
94.其中，所述处理器601、存储器602、通信接口603通过所述通信总线604完成相互间的通信；所述通信接口603用于实现服务器端设备、检测设备以及用户端设备等相关设备之间的信息传输；
95.所述处理器601用于调用所述存储器602中的计算机程序，所述处理器执行所述计算机程序时实现上述实施例中的flume自动部署的方法中的全部步骤。
96.本发明的实施例还提供一种计算机可读存储介质，能够实现上述实施例中的flume自动部署的方法中全部步骤，所述计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述实施例中的flume自动部署的方法的全部步骤。
97.本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序业务系统。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd
‑
rom、光学存储器等)上实施的计算机程序业务系统的形式。
98.本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序业务系统的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机
程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
99.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
100.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
101.以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。