ES集群的扩缩容方法、装置、设备和存储介质与流程

摘要: 本申请涉及云计算,特别涉及一种es集群的扩缩容方法、装置、设备和存储介质。背景技术:1、在弹性搜索(elasticsearch,es)集群中包括多个es节点,多...
ES集群的扩缩容方法、装置、设备和存储介质与流程

本申请涉及云计算,特别涉及一种es集群的扩缩容方法、装置、设备和存储介质。

背景技术:

1、在弹性搜索(elasticsearch,es)集群中包括多个es节点,多个es节点协同提供服务,每个es节点是一个分布式、高扩展、高实时的搜索与数据分析引擎,应用于搜索服务、日志分析、数据分析和存储等场景。

2、由于es集群的流量经常会发生变化,所以需要对es集群进行扩缩容处理,以适应变化的流量。

技术实现思路

1、本申请实施例提供了一种es集群的扩缩容方法、装置、设备和存储介质,能够对es集群进行扩缩容处理,以适应变化的流量。所述技术方案如下:

2、第一方面,本申请提供了一种es集群的扩缩容方法,该方法包括:

3、获取当前时间点之后的第一时长内的业务事件的描述信息,以及至少一个扩缩容依据,其中,所述描述信息包括发生时间信息和访问压力信息,所述至少一个扩缩容依据包括与所述业务事件满足相似条件的至少一个历史业务事件在发生时的第一负载指标,所述第一负载指标包括所述es集群内部的搜索频率信息和所述es集群内部的索引频率信息中的至少一种;

4、基于所述描述信息和所述至少一个扩缩容依据,确定所述es集群的扩缩容策略;

5、基于所述扩缩容策略,对所述es集群进行扩缩容处理。

6、在一种可选的方式中,所述第一负载指标还包括所述es集群中es节点的平均负载、es节点的数量、预期的每秒查询率(queries per second,qps)和预期的每秒事务数(transactions per second,tps)中的一种或多种。

7、这样,还可以基于历史事件发生时es集群的更多信息,确定扩缩容策略,使得确定出的扩缩容策略更准确。

8、在一种可选的方式中,所述至少一个扩缩容依据还包括在所述当前时间点之前,且距离最近的第二时长内所述es集群的负载信息;

9、所述负载信息包括多个时间周期内的第二负载指标,所述第二负载指标包括所述es集群内部的索引频率信息、所述es集群内部的搜索频率信息、所述es集群中es节点的平均负载和所述es节点的数量中的至少一种。

10、这样,还可以基于历史一段时间内的负载指标,确定扩缩容策略,使得确定出的扩缩容策略更准确。

11、在一种可选的方式中,所述至少一个扩缩容依据还包括在所述当前时间点之前,且距离最近的第三时长内的扩缩容决策记录与结果。

12、在一种可选的方式中,所述至少一个扩缩容依据还包括用户通过交互窗口输入的运维策略,所述运维策略包括扩缩容策略。

13、在一种可选的方式中,所述方法还包括:获取用户通过交互窗口输入的所述描述信息;

14、若检测到所述描述信息完整,则存储所述描述信息;

15、若检测到所述描述信息不完整,则输出补全提示消息,所述补全提示消息用于提示所述用户补全所述描述信息,当检测到所述描述信息补全时,存储所述描述信息。

16、在一种可选的方式中,所述获取当前时间点之后的第一时长内的业务事件的描述信息,以及至少一个扩缩容依据,包括:

17、通过智能体中的采集模块,周期性获取当前时间点之后的第一时长内的业务事件的描述信息,以及至少一个扩缩容依据;

18、所述基于所述描述信息和所述至少一个扩缩容依据,确定所述es集群的扩缩容策略,包括:

19、通过所述智能体中的大模型,基于所述描述信息和所述至少一个扩缩容依据,确定所述es集群的扩缩容策略;

20、所述基于所述扩缩容策略,对所述es集群进行扩缩容处理,包括:

21、通过所述智能体调用所述es集群所在平台的扩缩容工具,基于所述扩缩容策略,对所述es集群进行扩缩容处理。

22、这样,通过智能体能够自动制定扩缩容计划,并且进行自动进行扩缩容处理。

23、第二方面,本申请提供了一种弹性搜索es集群的扩缩容装置,所述装置包括至少一个模块,所述至少一个模块用于实现如第一方面或者任一种可选的方式中所述的es集群的扩缩容方法所执行的操作。

24、第三方面,本申请提供了一种计算机设备,所述计算机设备包括处理器和存储器,所述存储器中存储有至少一条指令,所述指令由所述处理器加载并执行以实现如第一方面或者任一种可选的方式中所述的es集群的扩缩容方法所执行的操作。

25、第四方面,本申请提供了一种计算机可读存储介质,所述存储介质中存储有至少一条指令,所述指令由处理器加载并执行以实现如第一方面或者任一种可选的方式中所述的es集群的扩缩容方法所执行的操作。

26、第五方面,本申请提供了一种计算机程序产品,所述计算机程序产品中存储有至少一条指令,所述指令由处理器加载并执行以实现如第一方面或者任一种可选的方式中所述的es集群的扩缩容方法所执行的操作。

27、本申请实施例提供的技术方案带来的有益效果是:

28、在es集群中,可以提前获取接下来发生的业务事件的描述信息,以及与该业务事件相关的历史业务事件发生时es集群内部的搜索频率信息和索引频率信息中的至少一种,然后基于这些信息确定扩缩容策略,以进行扩缩容处理。这样,不仅可以在业务事件发生前,实现扩缩容处理,减少扩容不及时带来的访问拥塞,以及缩容不及时带来的资源浪费,而且由于相比qps和tps,es集群内部的搜索频率信息和索引频率信息更能反映es集群内部的计算复杂度,所以基于es集群内部的搜索频率信息和索引频率信息中的至少一种,确定扩缩容策略,能够准确扩缩容。

1.一种弹性搜索es集群的扩缩容方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述第一负载指标还包括所述es集群中es节点的平均负载、es节点的数量、预期的每秒查询率qps和预期的每秒事务数tps中的一种或多种。

3.根据权利要求1所述的方法,其特征在于,所述至少一个扩缩容依据还包括在所述当前时间点之前,且距离最近的第二时长内所述es集群的负载信息;

4.根据权利要求1至3任一项所述的方法,其特征在于,所述至少一个扩缩容依据还包括在所述当前时间点之前,且距离最近的第三时长内的扩缩容决策记录与结果。

5.根据权利要求1至3任一项所述的方法,其特征在于,所述至少一个扩缩容依据还包括用户通过交互窗口输入的运维策略,所述运维策略包括扩缩容策略。

6.根据权利要求1至3任一项所述的方法,其特征在于,所述方法还包括:

7.根据权利要求1至3任一项所述的方法,其特征在于,所述获取当前时间点之后的第一时长内的业务事件的描述信息,以及至少一个扩缩容依据,包括:

8.一种弹性搜索es集群的扩缩容装置,其特征在于,所述装置包括至少一个模块,所述至少一个模块用于实现如权利要求1至7任一项所述的es集群的扩缩容方法所执行的操作。

9.一种计算机设备,其特征在于,所述计算机设备包括处理器和存储器,所述存储器中存储有至少一条指令,所述指令由所述处理器加载并执行以实现如权利要求1至7任一项所述的弹性搜索es集群的扩缩容方法所执行的操作。

10.一种计算机可读存储介质,其特征在于,所述存储介质中存储有至少一条指令,所述指令由处理器加载并执行以实现如权利要求1至7任一项所述的弹性搜索es集群的扩缩容方法所执行的操作。

11.一种计算机程序产品,其特征在于,所述计算机程序产品中存储有至少一条指令,所述指令由处理器加载并执行以实现如权利要求1至7任一项所述的弹性搜索es集群的扩缩容方法所执行的操作。