一种在测试中监控生态系统建立方法、装置、设备、介质与流程

1.本发明涉及云场景监控管理技术领域，具体涉及一种在测试中监控生态系统建立方法、装置、设备、介质。


背景技术：

2.随着云场景的大面积使用，云相关的工作随之增加。一般云环境下涉及有流式与批式处理手段场景。面向流式的场景中，常用的有storm,flink等组件，是提及频率与未来应用越来越宽广的技术。在监控管理上，自动监控方案涉及的手段有限。对于评价storm,flink搭建的硬件架构的处理性能的测试方法上，单独部件安装部署繁杂，且涉及的关联参数较多，影响测试效果。
3.现有的flink软件里自带的监控包只能进行配置，然后进行storm或flink中自带样例的测试。
4.在进行自带样例的测试时，对于样例测试中的模拟数据量的产生难以控制；对于测试进行中需要模拟的流式化输入数据不易控制与操作，若需要安装kafak组件需要手动去安装再配置。


技术实现要素：

5.现有的flink软件里自带的监控包只能进行配置，然后进行storm或flink中自带样例的测试。在进行自带样例的测试时，对于样例测试中的模拟数据量的产生难以控制；对于测试进行中需要模拟的流式化输入数据不易控制与操作，本发明一种在测试中监控生态系统建立方法、装置、设备、介质。
6.第一方面，本发明技术方案提供一种在测试中监控生态系统建立方法，运行shell脚本执行包括如下步骤：
7.读取配置文件；
8.根据配置文件指定的角色节点与地址判断kubernetes容器镜像是否存在；
9.若否，根据读取到的集群的命名、地址创建生态集群并设置生态集群的参数；
10.设置完成后形成kubernetes容器镜像并进行存储；执行步骤：启动的生态集群；
11.若是，读取kubernetes容器镜像一键部署生态集群；执行步骤：启动的生态集群；
12.启动的生态集群；
13.根据配置文件中调用的样例以及设定的样例规模来进行模拟数据的产生；
14.将产生的模拟数据输入调用的样例进行测试并产生测试结果。
15.优选地，启动的生态集群的步骤之前包括：
16.将配置文件中设定的各个集群中资源分配与运行控制的参数进行读取；
17.判断读取的参数与kubernetes容器镜像中的参数是否一致；
18.若是，执行步骤：启动的生态集群；
19.若否，将读取到的参数刷新到关联的kubernetes容器镜像文件中；执行步骤：启动
的生态集群。
20.优选地，设置生态集群的参数的步骤包括：
21.读取配置文件中的参数；
22.将读取到的参数写入创建的生态集群中的对应位置。
23.优选地，读取kubernetes容器镜像一键部署生态集群的步骤包括：
24.读取kubernetes容器镜像一键部署hadoop集群、storm/flink集群、kafak组件、zookeper组件、prometheus与grafana监控建立。
25.优选地，将产生的模拟数据输入调用的样例进行测试并产生测试结果的步骤之后还包括：
26.判断配置文件中调用的所有样例是否均测试完成；
27.若是，测试完成，输出测试结果
28.若否，执行步骤：将产生的模拟数据输入调用的样例进行测试并产生测试结果，进行下一个样例的测试。
29.优选地，运行测试脚本之前包括：
30.判断测试环境是否搭建；
31.若否，设置已安装操作系统的服务器集群，其中，服务器集群包括主节点和从节点；
32.设置主节点和从节点网络通信；
33.在主节点配置shell脚本；
34.若是，在搭建完成的测试环境中的主节点配置shell脚本。
35.第二方面，本发明技术方案提供一种在测试中监控生态系统建立装置，包括配置读取单元、镜像判断单元、生态集群创建单元、容器镜像生成单元、执行部署单元、启动单元、测试单元；
36.配置读取单元，用于读取配置文件；
37.镜像判断单元，用于根据配置文件指定的角色节点与地址判断kubernetes容器镜像是否存在；
38.生态集群创建单元，用于若镜像不存在，根据读取到的集群的命名、地址创建生态集群并设置生态集群的参数；
39.容器镜像生成单元，用于设置完成后形成kubernetes容器镜像并进行存储；
40.执行部署单元，用于若镜像存在，读取kubernetes容器镜像一键部署生态集群；
41.启动单元，用于启动的生态集群；
42.测试单元，用于根据配置文件中调用的样例以及设定的样例规模来进行模拟数据的产生；将产生的模拟数据输入调用的样例进行测试并产生测试结果。
43.优选地，该装置包括参数判断单元、刷新单元；
44.配置读取单元，用于将配置文件中设定的各个集群中资源分配与运行控制的参数进行读取；
45.参数判断单元，用于判断读取的参数与kubernetes容器镜像中的参数是否一致；若是触发启动单元，若否，触发刷新单元；
46.刷新单元，用于将读取到的参数刷新到关联的kubernetes容器镜像文件中触发启
动单元。
47.优选地，刷新单元，具体用于将读取到的参数写入创建的生态集群中的对应位置。
48.优选地，执行部署单元，用于读取kubernetes容器镜像一键部署hadoop集群、storm/flink集群、kafak组件、zookeper组件、prometheus与grafana监控建立。
49.优选地，测试单元，还用于判断配置文件中调用的所有样例是否均测试完成；若是，测试完成，输出测试结果若否，进行下一个样例的测试。
50.第三方面，本发明技术方案还提供一种电子设备，所述电子设备包括：
51.至少一个处理器；以及，
52.与所述至少一个处理器通信连接的存储器；其中，
53.存储器存储有可被至少一个处理器执行的计算机程序指令，所述计算机程序指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如第一方面所述的web页面自动点击的测试方法。
54.第四方面，本发明技术方案还提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行如第一方面所述的web页面自动点击的测试方法。
55.利用脚本实现的面向云式流式的最小生态系统的整体自动部署安装，利用配置文件实现对集群内安装位置的指定与角色的分配。利用脚本实现指定规模的数据量的产生，与指定的测试样例的运行。
56.从以上技术方案可以看出，本发明具有以下优点：利用脚本实现的面向云式流式的最小生态系统的整体自动部署安装，利用配置文件实现对集群内安装位置的指定与角色的分配。利用脚本实现指定规模的数据量的产生，与指定的测试样例的运行。提供了自动化部署最小生态系统的装置，根据配置设置，提高硬件测试中资源设计的灵活性，更加充分高效的利用系统资源，可以节约大量人力。
57.此外，本发明设计原理可靠，结构简单，具有非常广泛的应用前景。
58.由此可见，本发明与现有技术相比，具有突出的实质性特点和显著地进步，其实施的有益效果也是显而易见的。
附图说明
59.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
60.图1是本发明一个实施例的方法的示意性流程图。
61.图2是本发明另一个实施例的方法的示意性流程图。
62.图3是本发明一个实施例的装置的示意性框图。
具体实施方式
63.现有的flink软件里自带的监控包只能进行配置，然后进行storm或flink中自带样例的测试。在进行自带样例的测试时，对于样例测试中的模拟数据量的产生难以控制；对于测试进行中需要模拟的流式化输入数据不易控制与操作，若需要安装kafak组件需要手
动去安装再配置。利用脚本实现的面向云式流式的最小生态系统的整体自动部署安装，利用配置文件实现对集群内安装位置的指定与角色的分配。利用脚本实现指定规模的数据量的产生，与指定的测试样例的运行。本方法提供了自动化部署最小生态系统的工具，根据配置设置，提高硬件测试中资源设计的灵活性，更加充分高效的利用系统资源，可以节约大量人力。为了使本技术领域的人员更好地理解本发明中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
64.如图1所示，本发明实施例提供一种在测试中监控生态系统建立方法，运行shell脚本执行包括如下步骤：
65.步骤1：读取配置文件；
66.步骤2：根据配置文件指定的角色节点与地址查找kubernetes容器镜像，判断镜像是否存在；若否，执行步骤3，若是，执行步骤5；
67.步骤3：根据读取到的集群的命名、地址创建生态集群并设置生态集群的参数；
68.步骤4：设置完成后形成kubernetes容器镜像并进行存储；跳转执行步骤6；
69.步骤5：读取kubernetes容器镜像一键部署生态集群；执行步骤6；
70.步骤6：启动的生态集群；
71.步骤7：根据配置文件中调用的样例以及设定的样例规模来进行模拟数据的产生；
72.步骤8：将产生的模拟数据输入调用的样例进行测试并产生测试结果。
73.需要说明的是，运行测试脚本之前包括：判断测试环境是否搭建；若否，设置已安装操作系统的服务器集群，其中，服务器集群包括主节点和从节点；设置主节点和从节点网络通信；在主节点配置shell脚本；若是，在搭建完成的测试环境中的主节点配置shell脚本。
74.如图2所示，本发明实施例提供一种在测试中监控生态系统建立方法，运行shell脚本执行包括如下步骤：
75.s1：读取配置文件；
76.s2：根据配置文件指定的角色节点与地址查找kubernetes容器镜像，判断镜像是否存在；若否，执行步骤s3，若是，执行步骤s5；
77.s3：根据读取到的集群的命名、地址创建生态集群并设置生态集群的参数；
78.s4：设置完成后形成kubernetes容器镜像并进行存储；跳转执行步骤s6；
79.s5：读取kubernetes容器镜像一键部署生态集群；执行步骤s6；
80.s6：将配置文件中设定的各个集群中资源分配与运行控制的参数进行读取；
81.s7：判断读取的参数与kubernetes容器镜像中的参数是否一致；
82.若是，执行步骤s9；
83.若否，执行步骤s8；
84.s8：将读取到的参数刷新到关联的kubernetes容器镜像文件中；执行步骤s9；
85.s9：启动的生态集群；
86.s10：根据配置文件中调用的样例以及设定的样例规模来进行模拟数据的产生；
87.s11：将产生的模拟数据输入调用的样例进行测试并产生测试结果；
88.s12：判断配置文件中调用的所有样例是否均测试完成；
89.若是，执行步骤s13；若否，执行步骤s11将产生的模拟数据输入调用的样例进行测试并产生测试结果，进行下一个样例的测试。
90.s13：测试完成，输出测试结果。
91.本发明是一面向云场景流式场景的测试、监控系统建立方法。监控是在观察运行中必不可少的。测试中，对于storm/flink在应用层面的表现，不单独评判storm/flink自己；而是跟生态系统中相关的组件合在一起，构建起基本的数据流入，数据处理，数据测试，数据流出的最小过程。而在这个过程中需要的组件hadoop,kafak,zookeeper,flink等进行自动部署与配置。测试中选择的样例为实际中有代表作用的fixwindow，identity，wordcount，能更好的表现现有硬件的处理作业的性能，调度性能等。通过对现有硬件环境下的监控测试，发现瓶颈所在，可提供可调优的方向。具体实现如下：
92.步骤a：被测试的生态要搭建在浪潮的服务器硬件上，使用前需安装完操作系统，支持网络ip通讯与网络间互通。后续方法是基于shell脚本来实现的。
93.步骤b：shell脚本运行前要读取配置文件sfsall.conf，此文件里设定了生态系统里涉及的集群间的统一命名设置，也包括要指定的hadoop,storm,flink,kafak,zookeper的位置，指定master,slave节点，可将hadoop,storm,flink,kafak,zookeper中涉及的参数进行设置，指定监控prometheus与grafana共同组成监控的节点ip，运行参数等；脚本中可将测试的样例数据规模进行指定。将这些组件在一次实现后同步形成kubernetes容器镜像。
94.步骤c：运行shell脚本，根据配置文件sfsall.conf指定的角色节点与地址，读取kubernetes镜像一键部署hadoop集群，storm/flink集群，kafak,zookeper组件，prometheus与grafana监控建立等。
95.步骤d：shell脚本在运行完自动部署组件的功能后，会将配置文件sfsall.conf里设定的关于hadoop,storm,flink,kafak,zookeper中资源分配与运行控制的参数进行读取，然后写入到新建的生态集群中的对应位置。
96.步骤e：shell脚本将prometheus,grafana,hadoop,zookeeper,kafak,strom/flink等。启动完成后，可以开始进行测试了。
97.步骤f：shell脚本按照配置文件sfsall.conf里设定的样例规模来进行模拟数据的产生，然后进行测试，产生测试结果。
98.步骤g：为多看几次测试效果的话，可将sfsall.conf里关于资源分配的参数进行重新设定，再刷新到关联的kubernetes容器镜像文件中，然后开启一键测试、监控来看结果。
99.如图3所示，本发明实施例提供一种在测试中监控生态系统建立装置，包括配置读取单元、镜像判断单元、生态集群创建单元、容器镜像生成单元、执行部署单元、启动单元、测试单元；
100.配置读取单元，用于读取配置文件；
101.镜像判断单元，用于根据配置文件指定的角色节点与地址判断kubernetes容器镜像是否存在；
102.生态集群创建单元，用于若镜像不存在，根据读取到的集群的命名、地址创建生态集群并设置生态集群的参数；
103.容器镜像生成单元，用于设置完成后形成kubernetes容器镜像并进行存储；
104.执行部署单元，用于若镜像存在，读取kubernetes容器镜像一键部署生态集群；
105.启动单元，用于启动的生态集群；
106.测试单元，用于根据配置文件中调用的样例以及设定的样例规模来进行模拟数据的产生；将产生的模拟数据输入调用的样例进行测试并产生测试结果。
107.该装置包括参数判断单元、刷新单元；
108.配置读取单元，用于将配置文件中设定的各个集群中资源分配与运行控制的参数进行读取；
109.参数判断单元，用于判断读取的参数与kubernetes容器镜像中的参数是否一致；若是触发启动单元，若否，触发刷新单元；
110.刷新单元，用于将读取到的参数刷新到关联的kubernetes容器镜像文件中触发启动单元。体用于将读取到的参数写入创建的生态集群中的对应位置。
111.执行部署单元，用于读取kubernetes容器镜像一键部署hadoop集群、storm/flink集群、kafak组件、zookeper组件、prometheus与grafana监控建立。测试单元，还用于判断配置文件中调用的所有样例是否均测试完成；若是，测试完成，输出测试结果若否，进行下一个样例的测试。
112.本发明实施例还提供一种电子设备，所述电子设备包括：处理器、通信接口、存储器和总线，其中，处理器，通信接口，存储器通过总线完成相互间的通信。总线可以用于电子设备与传感器之间的信息传输。处理器可以调用存储器中的逻辑指令，以执行如下方法：步骤1：读取配置文件；步骤2：根据配置文件指定的角色节点与地址判断kubernetes容器镜像是否存在；若否，执行步骤3，若是，执行步骤5；步骤3：根据读取到的集群的命名、地址创建生态集群并设置生态集群的参数；步骤4：设置完成后形成kubernetes容器镜像并进行存储；跳转执行步骤6；步骤5：读取kubernetes容器镜像一键部署生态集群；执行步骤6；步骤6：启动的生态集群；步骤7：根据配置文件中调用的样例以及设定的样例规模来进行模拟数据的产生；步骤8：将产生的模拟数据输入调用的样例进行测试并产生测试结果。
113.在有些实施例中，处理器可以调用存储器中的逻辑指令，以执行如下方法：将配置文件中设定的各个集群中资源分配与运行控制的参数进行读取；判断读取的参数与kubernetes容器镜像中的参数是否一致；若是，执行步骤：启动的生态集群；若否，将读取到的参数刷新到关联的kubernetes容器镜像文件中；执行步骤：启动的生态集群。
114.在有些实施例中，处理器可以调用存储器中的逻辑指令，以执行如下方法：判断配置文件中调用的所有样例是否均测试完成；若是，测试完成，输出测试结果若否，执行步骤：将产生的模拟数据输入调用的样例进行测试并产生测试结果，进行下一个样例的测试。
115.此外，上述的存储器中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所
述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
116.本发明实施例提供一种非暂态计算机可读存储介质，该非暂态计算机可读存储介质存储计算机指令，该计算机指令使计算机执行上述方法实施例所提供的方法，例如包括：如图2所示，本发明实施例提供一种在测试中监控生态系统建立方法，运行shell脚本执行包括如下步骤：s1：读取配置文件；s2：根据配置文件指定的角色节点与地址判断kubernetes容器镜像是否存在；若否，执行步骤s3，若是，执行步骤s5；s3：根据读取到的集群的命名、地址创建生态集群并设置生态集群的参数；s4：设置完成后形成kubernetes容器镜像并进行存储；跳转执行步骤s6；s5：读取kubernetes容器镜像一键部署生态集群；执行步骤s6；s6：将配置文件中设定的各个集群中资源分配与运行控制的参数进行读取；s7：判断读取的参数与kubernetes容器镜像中的参数是否一致；若是，执行步骤s9；若否，执行步骤s8；s8：将读取到的参数刷新到关联的kubernetes容器镜像文件中；执行步骤s9；s9：启动的生态集群；s10：根据配置文件中调用的样例以及设定的样例规模来进行模拟数据的产生；s11：将产生的模拟数据输入调用的样例进行测试并产生测试结果；s12：判断配置文件中调用的所有样例是否均测试完成；若是，执行步骤s13；若否，执行步骤s11将产生的模拟数据输入调用的样例进行测试并产生测试结果，进行下一个样例的测试。s13：测试完成，输出测试结果。
117.尽管通过参考附图并结合优选实施例的方式对本发明进行了详细描述，但本发明并不限于此。在不脱离本发明的精神和实质的前提下，本领域普通技术人员可以对本发明的实施例进行各种等效的修改或替换，而这些修改或替换都应在本发明的涵盖范围内/任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。