ES集群的选择方法、装置、设备、介质和程序产品与流程

es集群的选择方法、装置、设备、介质和程序产品
技术领域
1.本公开涉及大数据技术领域，特别涉及一种es集群的选择方法、装置、设备、介质和程序产品。


背景技术：

2.elasticsearch(简称es)是一款优秀的实时的分布式存储、搜索、分析的引擎，具有非常完善的生态，在企业级应用中使用广泛。对应用服务来说迫切需要解决如下问题：如何方便的管理多个es集群？
3.现有技术中，在多es集群下，可以使用tribe节点将多个es集群组织为一个联邦集群，应用服务只需要访问单个tribe节点即可。在这种模式下，tribe节点会将请求广播到每一个集群上，无论目标是不是自己，每个集群都要执行一遍请求，会造成资源的大量浪费。tribe将上游的一个请求转化为到下游的多个请求，当qps增大时，它会是一个性能瓶颈。另外，tribe下不能有对等集群，否则对于一个请求会返回多份相同的响应数据。当tribe中一个集群宕机后，无法自动进行failover，需要手工处理。因此，tribe集群虽然可以简化应用服务的配置调用，但实际应用并不广泛。


技术实现要素：

4.鉴于上述问题，本公开提供了一种es集群的选择方法、装置、设备、介质和程序产品，旨在解决es集群的管理问题。
5.根据本公开的第一个方面，提供了一种es集群的选择方法，包括以下步骤：
6.获取访问请求对应的前一次访问的请求时间；
7.分别获取多个es集群内保存的数据的数据时间段，根据请求时间与数据时间段之间的关系，选择对应的es集群；以及
8.检测选择的es集群的可用性，当es集群标记为不可用时，将访问请求重新导向至对应es集群的对等集群上；
9.其中，对等集群与es集群保存有相同的数据。
10.根据本公开的实施例，数据时间段满足以下关系：
11.数据时间段＝当前时间-预设时间差
12.其中，多个es集群依次包括：热集群、温集群以及冷集群，由热集群至冷集群，预设时间差呈逐渐增大设置。
13.根据本公开的实施例，根据请求时间与数据时间段之间的关系，选择对应的es集群的步骤包括：
14.由热集群至冷集群，依次比较请求时间与对应的多个数据时间段；
15.当请求时间小于数据时间段时，选择对应的es集群。
16.根据本公开的实施例，多个es集群还包括兜底集群，兜底集群内保存有所有数据；
17.根据请求时间与数据时间段之间的关系，选择对应的es集群的步骤还包括：
18.当请求时间大于冷集群对应的数据时间段时，选择兜底集群。
19.根据本公开的实施例，检测选择的es集群的可用性的步骤包括：
20.向es集群发送健康检查请求；
21.当在第一预设时间段内未收到健康响应时，则标记es集群为不可用。
22.根据本公开的实施例，当在第一预设时间段内未收到健康响应时，则标记es集群为不可用的步骤还包括：
23.当在第二预设时间段内未收到健康响应时，则重复发送健康检查请求；
24.其中，第二预设时间段小于第一预设时间段。
25.根据本公开的实施例，es集群的选择方法还包括以下步骤：
26.获取当前时间；
27.拉取前一次更新的更新时间，计算与当前时间之间的时间差；
28.当时间差大于预设周期时，获取配置信息表，通过增量拉取的方式将配置信息表内的内容更新至es集群内。
29.本公开的第二方面提供了一种es集群的选择装置，包括：
30.时间模块，用以获取访问请求对应的前一次访问的请求时间；
31.集群选择模块，用以分别获取多个es集群内保存的数据的数据时间段，根据请求时间与数据时间段之间的关系，选择对应的es集群；以及
32.可用性检测模块，用以检测选择的es集群的可用性，当es集群标记为不可用时，将访问请求重新导向至对应es集群的对等集群上；
33.其中，对等集群与es集群保存有相同的数据。
34.本公开的第三方面提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，其中，当一个或多个程序被一个或多个处理器执行时，使得一个或多个处理器执行上述es集群的选择方法。
35.本公开的第四方面还提供了一种计算机可读存储介质，其上存储有可执行指令，该指令被处理器执行时使处理器执行上述es集群的选择方法。
36.本公开的第五方面还提供了一种计算机程序产品，包括计算机程序，计算机程序被处理器执行时实现上述es集群的选择方法。
附图说明
37.通过以下参照附图对本公开实施例的描述，本公开的上述内容以及其他目的、特征和优点将更为清楚，在附图中：
38.图1示意性示出了根据本公开实施例的es集群的选择方法、装置、设备、介质和程序产品的应用场景图；
39.图2示意性的示出了根据本公开实施例的es集群的选择方法的流程图；
40.图3示意性的示出了根据本公开实施例的集群选择的示意图；
41.图4示意性的示出了根据本公开实施例的集群更新的示意图；
42.图5示意性的示出了根据本公开es集群的选择方法一具体实施例的设计流程图；
43.图6示意性的示出了根据本公开实施例的es集群的选择装置的结构框图；以及
44.图7示意性示出了根据本公开实施例的适于实现es集群的选择方法的电子设备的
方框图。
具体实施方式
45.以下，将参照附图来描述本公开的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本公开的范围。在下面的详细描述中，为便于解释，阐述了许多具体的细节以提供对本公开实施例的全面理解。然而，明显地，一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本公开的概念。
46.在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。
47.在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。
48.在使用类似于“a、b和c等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有a、b和c中至少一个的系统”应包括但不限于单独具有a、单独具有b、单独具有c、具有a和b、具有a和c、具有b和c、和/或具有a、b、c的系统等)。
49.在本公开的技术方案中，所涉及的用户个人信息的获取，存储和应用等，均符合相关法律法规的规定，采取了必要保密措施，且不违背公序良俗。
50.在本公开的技术方案中，在获取或采集用户个人信息之前，均获取了用户的授权或同意。
51.本公开提供一种es集群的选择方法，包括以下步骤：
52.获取访问请求对应的前一次访问的请求时间；
53.分别获取多个es集群内保存的数据的数据时间段，根据请求时间与数据时间段之间的关系，选择对应的es集群；以及
54.检测选择的es集群的可用性，当es集群标记为不可用时，将访问请求重新导向至对应es集群的对等集群上；
55.其中，对等集群与es集群保存有相同的数据。
56.图1示意性示出了根据本公开实施例的es集群的选择方法以及装置的应用场景图。
57.如图1所示，根据该实施例的应用场景可以包括金融服务领域。网络102用以在终端设备101和服务器103之间提供通信链路的介质。网络102可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
58.用户可以使用终端设备101通过网络102与服务器103交互，以接收或发送消息等。终端设备101上可以安装有各种通讯用户端应用，例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱用户端、社交平台软件等(仅为示例)。
59.终端设备101可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
60.服务器103可以是提供各种服务的服务器，例如对用户利用终端设备101所浏览的网站提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的用户请求等数据进行分析等处理，并将处理结果(例如根据用户请求获取或生成的网页、信息、或数据等)反馈给终端设备。
61.需要说明的是，本公开实施例所提供的es集群的选择方法一般可以由服务器103执行。相应地，本公开实施例所提供的信息提示装置一般可以设置于服务器103中。本公开实施例所提供的es集群的选择方法也可以由不同于服务器103且能够与终端设备101和/或服务器103通信的服务器或服务器集群执行。相应地，本公开实施例所提供的信息提示装置也可以设置于不同于服务器103且能够与终端设备101和/或服务器103通信的服务器或服务器集群中。
62.应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
63.以下将基于图1描述的场景，通过图2至图7对公开实施例的es集群的选择方法进行详细描述。
64.图2示意性的示出了根据本公开实施例的一种es集群的选择方法的流程图。
65.如图2所示，该实施例的es集群的选择方法包括步骤s10至s30，该es集群的选择方法可以由es集群的选择装置执行。
66.在操作s10，获取访问请求对应的前一次访问的请求时间；
67.在操作s20，分别获取多个es集群内保存的数据的数据时间段，根据请求时间与数据时间段之间的关系，选择对应的es集群；以及
68.在操作s30，检测选择的es集群的可用性，当es集群标记为不可用时，将访问请求重新导向至对应es集群的对等集群上；
69.其中，对等集群与es集群保存有相同的数据。
70.在本公开提供的技术方案中，根据请求时间，进行es集群的初步选择，使得访问请求无需对每个集群进行访问，将目标专注于其中的一个es集群内，同时，在得到es集群后，检测其是否可用，在其可用时可以直接访问，但是在其不可用时，将访问请求导向至对等集群上，以便于适用于多数据中心，防止无法设置对等集群，或者无法正确的从对等集群内获取数据。在本公开中，先进行集群定位，然后通过可用性检测，即节省了计算资源，同时便于在设置对等集群下的管理。
71.需要说明的是，对等集群与es集群保存有相同的数据，在设计多数据中心时，部署在多地的多个数据中心同时对外提供服务，其中，为了保证数据的安全性和准确性，数据往往分别在不同的服务器内保存多份一样的，在本实施例中，常规使用的为es集群，保存有相同数据的为对等集群。
72.具体的，在本实施例中，数据时间段满足以下关系：
73.数据时间段＝当前时间-预设时间差
74.其中，多个es集群依次包括：热集群、温集群以及冷集群，由热集群至冷集群，预设时间差呈逐渐增大设置。
75.数据时间段表明es集群可以保存多久的数据，例如数据时间段＝t-1，其中，t为当前时间，即表明数据时间段为可以保存一天以内的数据。
76.在本实施例中，通过设置预设时间差，使得多个es集群内保存有不同时间段内的数据，预设时间段越大，则表明数据时间段内可以保存的数据的久远程度越远，由近至远es集群形成热集群、温集群以及冷集群，表明数据的使用查询频率依次下降，通过设置热集群、温集群以及冷集群，加快数据的响应速度，便于定位至包含有访问请求的集群内。
77.需要说明的是，热集群由硬件配置高的机器组成，存储查询频率高热点数据，一般来说存储的数据量少，查询的实时性高；温集群由硬件配置中等的机器组成，存储查询频率中等数据，一般来说存储的数据量中等，查询的实时性中等；冷集群由硬件配置一般的机器组成，存储查询频率比较低数据，一般来说存储的数据量大，查询的实时性低。
78.进一步的，请参阅图3，为了便于定位es集群，步骤s20包括：
79.s21、由热集群至冷集群，依次比较请求时间与对应的多个数据时间段；
80.s22、当请求时间小于数据时间段时，选择对应的es集群。
81.通过依次比较热集群至冷集群的数据时间段，便于发现包含数据的最快的集群，例如，当其请求时间小于热集群的数据时间段时，即无需继续与温集群进行比较，直接请求热集群即可，无需继续比较，提高响应速度，且保证响应的集群一定是最小、速度最快的集群。
82.更近一步的，由于仅仅通过时间段内的数据不足以包含全部数据，在本实施例中，多个es集群还包括兜底集群，兜底集群内保存有所有数据；
83.步骤s20还包括：
84.s23、当请求时间大于冷集群对应的数据时间段时，选择兜底集群。
85.在请求时间大于冷集群对应的数据时间段时，例如冷集群保存有一个月以内的数据，而请求时间大于一个月，此时，无论是哪个集群内，都不存在可以响应的数据，此时，通过在兜底集群保存所有数据，将访问请求导向至兜底集群内，以便于查询到所需的数据，防止由于数据时间段的因素，导致数据丢失，无法查询。
86.另一方面，需要说明的是，检查es集群的可用性的方式有多种，例如通过人工手动对es集群进行可用性标记，直接检查可用性标记即可，在本实施例中，步骤s30包括：
87.s31、向es集群发送健康检查请求；
88.s32、当在第一预设时间段内未收到健康响应时，则标记es集群为不可用。
89.在本实施例中，通过发送健康检查请求和收到健康响应，进行实时的可用性检查，且为机器自动检查，无需人工干预，保证其实时性以及准确性。
90.更进一步的，为了提高可用性检查的准确性，步骤s32还包括：
91.s321、当在第二预设时间段内未收到健康响应时，则重复发送健康检查请求；
92.其中，第二预设时间段小于第一预设时间段。
93.以此在第一预设时间段内进行多次可用性检查，以保证其检查的准确性，通过控制第二预设时间段，可以实现在第一预设时间段内进行多次检查，根据需求设置即可，在此不做具体限制。
94.另一方面，请参阅图4，es集群的选择方法还包括以下步骤：
95.s01、获取当前时间；
96.s02、拉取前一次更新的更新时间，计算与当前时间之间的时间差；
97.s03、当时间差大于预设周期时，获取配置信息表，通过增量拉取的方式将配置信
息表内的内容更新至es集群内。
98.需要说明的是，es集群内的数据是存在不断更新的情况的，在本公开提供的技术方案中，通过当前时间与前一次更新的更新时间，进行周期计算，当时间差大于预设周期时，即表明达到了一次更新周期，此时，通过增量拉取的方式，将更新内容写去es集群内，无需关机重启，可以实现在线实时更新。
99.需要说明的是，增量拉取为仅更新变动的内容，避免未变更数据的重新加载，提高效率。另外，在本实施例中，配置信息表包括集群id、集群名称、集群主机、端口和更新时间字段。
100.基于上述es集群的选择方法，请参阅图5，本公开提供一具体实施例。
101.1、通过请求时间，选择集群；其中，包括对热、温以及冷集群的选择，通过请求时间与数据时间段之间的时间差进行选择，以获取集群的id。
102.2、进行failover(失效故障转移)检查，即检测集群的可用性；可用性通过keepalive(探活)进行检测，即通过发送一个信号，检测是否响应信号进行探活。
103.基于上述es集群的选择方法，本公开还提供了一种es集群的选择装置。以下将结合图6对该装置进行详细描述。
104.图6示意性示出了根据本公开实施例的异常数据检测装置的结构框图。
105.如图6所示，异常数据检测装置200包括时间获取模块1、集群选择模块2以及可用性检测模块3；时间获取模块1用以获取访问请求对应的前一次访问的请求时间；集群选择模块2用以分别获取多个es集群内保存的数据的数据时间段，根据请求时间与数据时间段之间的关系，选择对应的es集群；可用性检测模块3用以检测选择的es集群的可用性，当es集群标记为不可用时，将访问请求重新导向至对应es集群的对等集群上；其中，对等集群与es集群保存有相同的数据。
106.根据本公开的实施例的模块、子模块、单元、子单元中的任意多个、或其中任意多个的至少部分功能可以在一个模块中实现。根据本公开实施例的模块、子模块、单元、子单元中的任意一个或多个可以被拆分成多个模块来实现。根据本公开实施例的模块、子模块、单元、子单元中的任意一个或多个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(fpga)、可编程逻辑阵列(pla)、片上系统、基板上的系统、封装上的系统、专用集成电路(asic)，或可以通过对电路进行集成或封装的任何其他的合理方式的硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，根据本公开实施例的模块、子模块、单元、子单元中的一个或多个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。
107.图6示意性示出了根据本公开实施例的适于es集群的选择方法的电子设备的方框图。
108.如图6所示，根据本公开实施例的电子设备300包括处理器3001，其可以根据存储在只读存储器(rom)3002中的程序或者从存储部分3008加载到随机访问存储器(ram)3003中的程序而执行各种适当的动作和处理。处理器3001例如可以包括通用微处理器(例如cpu)、指令集处理器和/或相关芯片组和/或专用微处理器(例如，专用集成电路(asic))等等。处理器3001还可以包括用于缓存用途的板载存储器。处理器3001可以包括用于执行根据本公开实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。
109.在ram 3003中，存储有电子设备300操作所需的各种程序和数据。处理器3001、rom 3002以及ram 3003通过总线3004彼此相连。处理器3001通过执行rom 3002和/或ram 3003中的程序来执行根据本公开实施例的方法流程的各种操作。需要注意，程序也可以存储在除rom 3002和ram 3003以外的一个或多个存储器中。处理器3001也可以通过执行存储在一个或多个存储器中的程序来执行根据本公开实施例的方法流程的各种操作。
110.根据本公开的实施例，电子设备300还可以包括输入/输出(i/o)接口3005，输入/输出(i/o)接口3005也连接至总线3004。电子设备300还可以包括连接至i/o接口3005的以下部件中的一项或多项：包括键盘、鼠标等的输入部分3006；包括诸如阴极射线管(crt)、液晶显示器(lcd)等以及扬声器等的输出部分3007；包括硬盘等的存储部分3008；以及包括诸如lan卡、调制解调器等的网络接口卡的通信部分3009。通信部分3009经由诸如因特网的网络执行通信处理。驱动器3010也根据需要连接至i/o接口3005。可拆卸介质3011，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器3010上，以便于从其上读出的计算机程序根据需要被安装入存储部分3008。
111.本公开还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的设备/装置/系统中所包含的；也可以是单独存在，而未装配入该设备/装置/系统中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被执行时，实现根据本公开实施例的方法。
112.根据本公开的实施例，计算机可读存储介质可以是非易失性的计算机可读存储介质，例如可以包括但不限于：便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。例如，根据本公开的实施例，计算机可读存储介质可以包括上文描述的rom 3002和/或ram 3003和/或rom 3002和ram 3003以外的一个或多个存储器。
113.本公开的实施例还包括一种计算机程序产品，其包括计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。当计算机程序产品在计算机系统中运行时，该程序代码用于使计算机系统实现本公开实施例所提供es集群的选择方法。
114.在该计算机程序被处理器3001执行时执行本公开实施例的系统/装置中限定的上述功能。根据本公开的实施例，上文描述的系统、装置、模块、单元等可以通过计算机程序模块来实现。
115.在一种实施例中，该计算机程序可以依托于光存储器件、磁存储器件等有形存储介质。在另一种实施例中，该计算机程序也可以在网络介质上以信号的形式进行传输、分发，并通过通信部分3009被下载和安装，和/或从可拆卸介质3011被安装。该计算机程序包含的程序代码可以用任何适当的网络介质传输，包括但不限于：无线、有线等等，或者上述的任意合适的组合。
116.在这样的实施例中，该计算机程序可以通过通信部分3009从网络上被下载和安装，和/或从可拆卸介质3011被安装。在该计算机程序被处理器3001执行时，执行本公开实施例的系统中限定的上述功能。根据本公开的实施例，上文描述的系统、设备、装置、模块、单元等可以通过计算机程序模块来实现。
117.根据本公开的实施例，可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例提供的计算机程序的程序代码，具体地，可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。程序设计语言包括但不限于诸如java，c ，python，“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(lan)或广域网(wan)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
118.附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
119.本领域技术人员可以理解，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合或/或结合，即使这样的组合或结合没有明确记载于本公开中。特别地，在不脱离本公开精神和教导的情况下，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本公开的范围。
120.以上对本公开的实施例进行了描述。但是，这些实施例仅仅是为了说明的目的，而并非为了限制本公开的范围。尽管在以上分别描述了各实施例，但是这并不意味着各个实施例中的措施不能有利地结合使用。本公开的范围由所附权利要求及其等同物限定。不脱离本公开的范围，本领域技术人员可以做出多种替代和修改，这些替代和修改都应落在本公开的范围之内。
121.以上所述的具体实施例，对本公开的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本公开的具体实施例而已，并不用于限制本公开，凡在本公开的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。