大数据集群外的客户端安装配置方法、装置、设备及介质与流程

1.本发明涉及大数据技术领域，特别涉及一种大数据集群外的客户端安装配置方法、装置、设备及介质。


背景技术：

2.随着大数据集群规模不断扩大，运行的任务不断增加，为了方便与待运行业务相关的业务程序能够更快捷地提交到大数据集群中，对大数据集群外客户端的需求更加突出。当前大数据集群外客户端的安装配置方法一般繁复杂乱，没有统一的方法和步骤，造成整体工作效率低下，安装配置难度大，且出错时不易排查等问题。
3.综上，针对大数据集群外的客户端节点，如何提供一种统一的客户端安装配置方法是目前有待解决的问题。


技术实现要素：

4.有鉴于此，本发明的目的在于提供一种大数据集群外的客户端安装配置方法、装置、设备及介质，能够针对大数据集群外的客户端节点，提供一种统一的客户端安装配置方法。其具体方案如下：
5.第一方面，本技术公开了一种大数据集群外的客户端安装配置方法，包括：
6.获取大数据集群的预设配置信息，并利用所述预设配置信息对所述大数据集群外的客户端节点进行配置；
7.在所述客户端节点安装与所述大数据集群中目标大数据服务对应的目标客户端，并利用所述目标大数据服务的配置文件对所述客户端节点进行配置；
8.通过全局变量将所述目标客户端的命令设置为全局命令，以便所述目标客户端通过所述全局命令访问所述大数据集群，并向所述大数据集群提交待运行任务。
9.可选的，所述获取大数据集群的预设配置信息，包括：
10.获取大数据集群的本地源信息、域名信息、jdk版本信息和系统时间，以得到预设配置信息。
11.可选的，所述利用所述预设配置信息对所述大数据集群外的客户端节点进行配置，包括：
12.利用所述本地源信息更新所述客户端节点的当前本地源；
13.获取包括所述域名信息的主机列表，并将所述主机列表添加至所述客户端节点；
14.获取与所述jdk版本信息对应的jdk安装包，并将所述jdk安装包安装至所述客户端节点；
15.基于所述系统时间调整所述客户端节点的当前时间。
16.可选的，所述基于所述时间信息调整所述客户端节点的当前时间，包括：
17.基于所述系统时间并利用所述客户端节点的预设时间同步软件对所述客户端节点的当前时间进行调整。
18.可选的，所述在所述客户端节点安装与所述大数据集群中目标大数据服务对应的目标客户端的过程中，还包括：
19.若与所述大数据集群中目标大数据服务对应的目标客户端的数量为多个，则确定多个所述目标客户端之间的安装顺序，并基于所述安装顺序在所述客户端节点依次对多个所述目标客户端进行安装。
20.可选的，所述大数据集群外的客户端安装配置方法，还包括：
21.在所述大数据集群与所述客户端节点之间建立免密通信。
22.可选的，所述通过全局变量将所述目标客户端的命令设置为全局命令，以便所述目标客户端通过所述全局命令访问所述大数据集群之前，还包括：
23.监测所述客户端节点的防火墙的工作状态；
24.若所述工作状态为开启状态，则关闭防火墙，以便所述目标客户端通过所述全局命令访问所述大数据集群。
25.第二方面，本技术公开了一种大数据集群外的客户端安装配置装置，包括：
26.信息配置模块，获取大数据集群的预设配置信息，并利用所述预设配置信息对所述大数据集群外的客户端节点进行配置；
27.客户端安装模块，用于在所述客户端节点安装与所述大数据集群中目标大数据服务对应的目标客户端，并利用所述目标大数据服务的配置文件对所述客户端节点进行配置；
28.命令设置模块，用于通过全局变量将所述目标客户端的命令设置为全局命令，以便所述目标客户端通过所述全局命令访问所述大数据集群，并向所述大数据集群提交待运行任务。
29.第三方面，本技术公开了一种电子设备，包括：
30.存储器，用于保存计算机程序；
31.处理器，用于执行所述计算机程序，以实现前述公开的大数据集群外的客户端安装配置方法的步骤。
32.第四方面，本技术公开了一种计算机可读存储介质，用于存储计算机程序；其中，所述计算机程序被处理器执行时实现前述公开的大数据集群外的客户端安装配置方法的步骤。
33.可见，本技术获取大数据集群的预设配置信息，并利用所述预设配置信息对所述大数据集群外的客户端节点进行配置；在所述客户端节点安装与所述大数据集群中目标大数据服务对应的目标客户端，并利用所述目标大数据服务的配置文件对所述客户端节点进行配置；通过全局变量将所述目标客户端的命令设置为全局命令，以便所述目标客户端通过所述全局命令访问所述大数据集群，并向所述大数据集群提交待运行任务。由此可见，本技术首先获取大数据集群的预设配置信息，并利用该预设配置信息对大数据集群外的客户端节点进行配置，然后在客户端节点安装与目标大数据服务相应的目标客户端，并利用相应的配置文件对客户端节点进行配置，最后则将目标客户端的命令设置为全局命令，以便客户端节点通过该全局命令访问大数据集群并提交相应的待运行任务。如此一来，通过上述技术方案提供的大数据集群外统一的客户端安装配置方法，提高了客户端安装配置效率和易用性，有效提高了待运行任务的执行效率，降低了出错风险。
附图说明
34.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
35.图1为本技术公开的一种大数据集群外的客户端安装配置方法流程图；
36.图2为本技术公开的一种具体的大数据集群外的客户端安装配置方法流程图；
37.图3为本技术公开的一种具体的大数据集群外的客户端安装配置示意图；
38.图4为本技术公开的一种大数据集群外的客户端安装配置装置结构示意图；
39.图5为本技术公开的一种电子设备结构图。
具体实施方式
40.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
41.当前大数据集群外客户端的安装配置方法一般繁复杂乱，没有统一的方法和步骤，造成整体工作效率低下，安装配置难度大，且出错时不易排查等问题。为此，本技术实施例公开了一种大数据集群外的客户端安装配置方法、装置、设备及介质，能够针对大数据集群外的客户端节点，提供一种统一的客户端安装配置方法。
42.参见图1所示，本技术实施例公开了一种大数据集群外的客户端安装配置方法，该方法包括：
43.步骤s11：获取大数据集群的预设配置信息，并利用所述预设配置信息对所述大数据集群外的客户端节点进行配置。
44.本实施例中，需要获取大数据集群的预设配置信息，并利用该预设配置信息对大数据集群外的客户端节点进行配置，以便配置后客户端节点的相关参数信息与大数据集群的参数信息相对应以进行后续通信。
45.步骤s12：在所述客户端节点安装与所述大数据集群中目标大数据服务对应的目标客户端，并利用所述目标大数据服务的配置文件对所述客户端节点进行配置。
46.本实施例中，根据实际情况需要，在客户端节点安装相应的目标客户端，该目标客户端是与大数据集群中目标大数据服务对应的客户端。然后在大数据集群找到与目标大数据服务对应的配置文件，并利用该配置文件对客户端节点进行配置，也即将大数据集群内的大数据服务同步配置到客户端节点，以便客户端节点能够正常访问大数据集群中的服务。
47.步骤s13：通过全局变量将所述目标客户端的命令设置为全局命令，以便所述目标客户端通过所述全局命令访问所述大数据集群，并向所述大数据集群提交待运行任务。
48.本实施例中，为了方便目标客户端向大数据集群提交任务，需要通过全局变量将目标客户端的命令设置为全局命令，以便目标客户端通过全局命令访问大数据集群，并向大数据集群提交待运行任务。需要指出的是，上述通过全局变量将所述目标客户端的命令
设置为全局命令，以便所述目标客户端通过所述全局命令访问所述大数据集群之前，还包括：监测所述客户端节点的防火墙的工作状态；若所述工作状态为开启状态，则关闭防火墙，以便所述目标客户端通过所述全局命令访问所述大数据集群。可以理解的是，本实施例需要关闭客户端节点的防火墙，以保障客户端节点与大数据集群内的通信访问。具体可以为首先监测客户端节点防火墙的工作状态，如果防火墙的工作状态为开启状态，则关闭防火墙。还可以通过禁用selinux，并查看selinux状态，已确保防火墙处于关闭状态。其中，selinux是linux内核中提供的强制访问控制(mac)系统。
49.本实施例中，上述大数据集群外的客户端安装配置方法，还包括：在所述大数据集群与所述客户端节点之间建立免密通信。因为客户端节点以及安装好了与集群节点相同的系统，并且已配置好ip地址和hostname(主机名)，为了确保集群节点与客户端节点网络互通，大数据集群的管理节点通过ssh-copy-id root@clientip的方式配置免密，其中clientip为客户端节点的ip地址。如此一来，即可确保集群所有节点与客户端节点之间的正常通信。
50.可见，本技术获取大数据集群的预设配置信息，并利用所述预设配置信息对所述大数据集群外的客户端节点进行配置；在所述客户端节点安装与所述大数据集群中目标大数据服务对应的目标客户端，并利用所述目标大数据服务的配置文件对所述客户端节点进行配置；通过全局变量将所述目标客户端的命令设置为全局命令，以便所述目标客户端通过所述全局命令访问所述大数据集群，并向所述大数据集群提交待运行任务。由此可见，本技术首先获取大数据集群的预设配置信息，并利用该预设配置信息对大数据集群外的客户端节点进行配置，然后在客户端节点安装与目标大数据服务相应的目标客户端，并利用相应的配置文件对客户端节点进行配置，最后则将目标客户端的命令设置为全局命令，以便客户端节点通过该全局命令访问大数据集群并提交相应的待运行任务。如此一来，通过上述技术方案提供的大数据集群外统一的客户端安装配置方法，提高了客户端安装配置效率和易用性，有效提高了待运行任务的执行效率，降低了出错风险。
51.参见图2所示，本技术实施例公开了一种具体的大数据集群外的客户端安装配置方法，相对于上一实施例，本实施例对技术方案作了进一步的说明和优化。具体包括：
52.步骤s21：获取大数据集群的本地源信息、域名信息、jdk版本信息和系统时间，以得到预设配置信息。
53.本实施例中，预设配置信息可以包括但不限于大数据集群的本地源信息、域名信息、jdk版本信息和系统时间，具体可以参见图3所示。
54.步骤s22：利用所述本地源信息更新所述客户端节点的当前本地源。
55.本实施例中，需要在客户端节点配置集群的本地源，确保能正常下载安装大数据服务。具体可以为：首先清空客户端节点的本地源，然后将大数据集群管理节点的本地源全部复制到客户端节点相应位置以更新客户端节点的当前本地源。
56.步骤s23：获取包括所述域名信息的主机列表，并将所述主机列表添加至所述客户端节点。
57.本实施例中，需要在客户端节点配置集群内所有节点的域名，保证在客户端节点能通过域名访问大数据集群内的各个节点，具体可以为：在大数据集群管理节点查看主机列表(hosts列表)信息，并将查询到的hosts列表信息添加到客户端节点的hosts列表中。其
中，hosts表用于存放常用的网站主机域名和其对应的ip地址。
58.步骤s24：获取与所述jdk版本信息对应的jdk安装包，并将所述jdk安装包安装至所述客户端节点。
59.本实施例中，需要在客户端节点配置与集群内版本相同的jdk，以确保环境变量可用。具体可以为：查询大数据集群内的jdk版本信息，并获取与jdk版本信息对应的jdk安装包，然后在客户端节点下载jdk安装包文件；将下载好的安装包解压到相应位置，最后配置全局环境变量，并检测查看jdk版本信息。
60.步骤s25：基于所述系统时间调整所述客户端节点的当前时间。
61.本实施例中，需要将客户端节点时间调整为与集群内时间一致，上述基于所述时间信息调整所述客户端节点的当前时间，可以包括：基于所述系统时间并利用所述客户端节点的预设时间同步软件对所述客户端节点的当前时间进行调整。可以理解的是，先在客户端节点安装预设时间同步软件，然后设置大数据集群管理节点为时间同步源，控制客户端节点的当前时间与大数据集群时间一致，并开启预设时间同步软件，以保持之后客户端节点时间与大数据集群时间时间同步。
62.步骤s26：在所述客户端节点安装与所述大数据集群中目标大数据服务对应的目标客户端，并利用所述目标大数据服务的配置文件对所述客户端节点进行配置。
63.本实施例中，上述在所述客户端节点安装与所述大数据集群中目标大数据服务对应的目标客户端的过程中，还包括：若与所述大数据集群中目标大数据服务对应的目标客户端的数量为多个，则确定多个所述目标客户端之间的安装顺序，并基于所述安装顺序在所述客户端节点依次对多个所述目标客户端进行安装。也即，若客户端节点需要安装与大数据服务对应的多个目标客户端，则需要保证目标客户端之间的依赖关系，按照依赖关系依次安装，上述依赖关系则表示目标客户端之间的安装顺序。
64.步骤s27：通过全局变量将所述目标客户端的命令设置为全局命令，以便所述目标客户端通过所述全局命令访问所述大数据集群，并向所述大数据集群提交待运行任务。
65.其中，关于上述步骤s27更加具体的处理过程可以参考前述实施例中公开的相应内容，在此不再进行赘述。
66.可见，本技术实施例中，大数据集群的预设配置信息可以包括本地源信息、域名信息、jdk版本信息和系统时间，并利用上述预设配置信息对客户端节点进行配置，具体为利用本地源信息更新客户端节点的当前本地源；获取包括域名信息的主机列表，并将主机列表添加至客户端节点；获取与jdk版本信息对应的jdk安装包，并将jdk安装包安装至客户端节点；基于系统时间并利用客户端节点的预设时间同步软件对客户端节点的当前时间进行调整。并且，在客户端节点安装与大数据集群中目标大数据服务对应的目标客户端的过程中，若与大数据集群中目标大数据服务对应的目标客户端的数量为多个，则确定多个目标客户端之间的安装顺序，并基于安装顺序在客户端节点依次对多个目标客户端进行安装。如此一来，通过本技术提供的大数据集群外统一的客户端安装配置方法，提高了客户端安装配置效率和易用性，降低了维护成本，方便排查问题，有效提高了待运行任务的执行效率，降低了出错风险，提升了产品的稳定性和易用性。
67.参见图4所示，本技术实施例公开了一种大数据集群外的客户端安装配置装置，该装置包括：
68.信息配置模块11，获取大数据集群的预设配置信息，并利用所述预设配置信息对所述大数据集群外的客户端节点进行配置；
69.客户端安装模块12，用于在所述客户端节点安装与所述大数据集群中目标大数据服务对应的目标客户端，并利用所述目标大数据服务的配置文件对所述客户端节点进行配置；
70.命令设置模块13，用于通过全局变量将所述目标客户端的命令设置为全局命令，以便所述目标客户端通过所述全局命令访问所述大数据集群，并向所述大数据集群提交待运行任务。
71.可见，本技术获取大数据集群的预设配置信息，并利用所述预设配置信息对所述大数据集群外的客户端节点进行配置；在所述客户端节点安装与所述大数据集群中目标大数据服务对应的目标客户端，并利用所述目标大数据服务的配置文件对所述客户端节点进行配置；通过全局变量将所述目标客户端的命令设置为全局命令，以便所述目标客户端通过所述全局命令访问所述大数据集群，并向所述大数据集群提交待运行任务。由此可见，本技术首先获取大数据集群的预设配置信息，并利用该预设配置信息对大数据集群外的客户端节点进行配置，然后在客户端节点安装与目标大数据服务相应的目标客户端，并利用相应的配置文件对客户端节点进行配置，最后则将目标客户端的命令设置为全局命令，以便客户端节点通过该全局命令访问大数据集群并提交相应的待运行任务。如此一来，通过上述技术方案提供的大数据集群外统一的客户端安装配置方法，提高了客户端安装配置效率和易用性，有效提高了待运行任务的执行效率，降低了出错风险。
72.在一些具体实施例中，所述信息配置模块11，具体可以包括：
73.信息获取单元，用于获取大数据集群的本地源信息、域名信息、jdk版本信息和系统时间，以得到预设配置信息。
74.在一些具体实施例中，所述信息配置模块11，具体可以包括：
75.本地源配置单元，用于利用所述本地源信息更新所述客户端节点的当前本地源；
76.域名配置单元，用于获取包括所述域名信息的主机列表，并将所述主机列表添加至所述客户端节点；
77.jdk配置单元，用于获取与所述jdk版本信息对应的jdk安装包，并将所述jdk安装包安装至所述客户端节点；
78.时间配置单元，用于基于所述系统时间调整所述客户端节点的当前时间。
79.在一些具体实施例中，所述时间配置单元，具体可以包括：
80.时间调整单元，用于基于所述系统时间并利用所述客户端节点的预设时间同步软件对所述客户端节点的当前时间进行调整。
81.在一些具体实施例中，所述客户端安装模块12的过程中，具体还可以包括：
82.安装单元，用于若与所述大数据集群中目标大数据服务对应的目标客户端的数量为多个，则确定多个所述目标客户端之间的安装顺序，并基于所述安装顺序在所述客户端节点依次对多个所述目标客户端进行安装。
83.在一些具体实施例中，所述大数据集群外的客户端安装配置装置，还可以包括：
84.免密通信单元，用于在所述大数据集群与所述客户端节点之间建立免密通信。
85.在一些具体实施例中，所述命令设置模块13之前，还可以包括：
86.状态监测单元，用于监测所述客户端节点的防火墙的工作状态；
87.防火墙关闭单元，用于若所述工作状态为开启状态，则关闭防火墙，以便所述目标客户端通过所述全局命令访问所述大数据集群。
88.图5为本技术实施例提供的一种电子设备的结构示意图。具体可以包括：至少一个处理器21、至少一个存储器22、电源23、通信接口24、输入输出接口25和通信总线26。其中，所述存储器22用于存储计算机程序，所述计算机程序由所述处理器21加载并执行，以实现前述任一实施例公开的由电子设备执行的大数据集群外的客户端安装配置方法中的相关步骤。
89.本实施例中，电源23用于为电子设备20上的各硬件设备提供工作电压；通信接口24能够为电子设备20创建与外界设备之间的数据传输通道，其所遵循的通信协议是能够适用于本技术技术方案的任意通信协议，在此不对其进行具体限定；输入输出接口25，用于获取外界输入数据或向外界输出数据，其具体的接口类型可以根据具体应用需要进行选取，在此不进行具体限定。
90.其中，处理器21可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器21可以采用dsp(digital signal processing，数字信号处理)、fpga(field－programmable gate array，现场可编程门阵列)、pla(programmable logic array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器21也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称cpu(central processing unit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器21可以在集成有gpu(graphics processing unit，图像处理器)，gpu用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器21还可以包括ai(artificial intelligence，人工智能)处理器，该ai处理器用于处理有关机器学习的计算操作。
91.另外，存储器22作为资源存储的载体，可以是只读存储器、随机存储器、磁盘或者光盘等，其上所存储的资源包括操作系统221、计算机程序222及数据223等，存储方式可以是短暂存储或者永久存储。
92.其中，操作系统221用于管理与控制电子设备20上的各硬件设备以及计算机程序222，以实现处理器21对存储器22中海量数据223的运算与处理，其可以是windows、unix、linux等。计算机程序222除了包括能够用于完成前述任一实施例公开的由电子设备20执行的大数据集群外的客户端安装配置方法的计算机程序之外，还可以进一步包括能够用于完成其他特定工作的计算机程序。数据223除了可以包括电子设备接收到的由外部设备传输进来的数据，也可以包括由自身输入输出接口25采集到的数据等。
93.进一步的，本技术实施例还公开了一种计算机可读存储介质，所述存储介质中存储有计算机程序，所述计算机程序被处理器加载并执行时，实现前述任一实施例公开的由大数据集群外的客户端安装配置过程中执行的方法步骤。
94.本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
95.专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本技术的范围。
96.结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(ram)、内存、只读存储器(rom)、电可编程rom、电可擦除可编程rom、寄存器、硬盘、可移动磁盘、cd-rom、或技术领域内所公知的任意其它形式的存储介质中。
97.最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
98.以上对本发明所提供的一种大数据集群外的客户端安装配置方法、装置、设备及介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。