一种Flink系统资源分配优化方法、系统、设备及介质与流程

一种flink系统资源分配优化方法、系统、设备及介质
技术领域
1.本发明属于计算机云计算领域，具体涉及一种flink系统资源分配优化方法、系统、设备及介质。


背景技术：

2.flink作为目前开源社区中唯一集高吞吐、低延迟、高性能三者于一身的分布式流式处理框架，被广泛的用于实时智能推荐、复杂事件处理、实时欺诈监测、实时数仓和etl、实时报表等应用场景。当前flink的资源管理方式是粗粒度的，集群会提前预定义好一个任务执行器中slot的个数，这样每个slot的资源就成了一个固定值，无论每个任务或者算子需要使用多少资源，都将任务部署到预定义的slot中，这样的资源管理方式比较简单、易于配置。为了满足资源请求比较大的任务，需要将slot预定义成比较大的，但是对于资源需求比较小的任务，很明显这种分配方式会造成资源的浪费。
3.因此，亟需一种可有效解决flink资源分配不均衡的问题的可行方案。


技术实现要素：

4.为解决以上问题，本发明提出了一种flink系统资源分配优化方法、系统、设备及存储介质，其中方法包括：
5.获取用户提交的slot任务请求，并判断所述slot任务请求中是否存在用户自定义的配置参数；
6.响应于所述slot任务请求中存在所述配置参数，判断所述flink系统是否满足所述配置参数的要求；
7.响应于所述flink系统满足所述配置参数的要求，根据所述配置参数为所述slot任务请求建立slot任务；
8.响应于所述slot任务建立完成，判断所述flink系统剩余资源是否满足所述slot任务请求的配置参数所需求的资源，响应于所述flink系统剩余资源满足所述slot任务请求的配置参数所需求的资源，将所述slot任务分配给任务执行器进行执行。
9.在本发明的一些实施方式中，方法还包括：
10.响应于所述flink系统剩余资源不满足所述slot任务请求的配置参数所需求的资源，将所述slot任务挂起并调整所述任务执行器的任务分配。
11.在本发明的一些实施方式中，调整所述任务执行器的任务分配包括：
12.选择所述flink系统中的多个任务执行器中的一个或多个作为待调整任务执行器，并停止向所述待调整任务执行器分配slot任务。
13.在本发明的一些实施方式中，调整所述任务执行器的任务分配还包括：
14.响应于所述待调整任务执行器中的已有slot任务执行完成，释放所述已有slot任务的资源，并重新判断所述待调整任务执行器的剩余资源是否满足所述slot任务请求的配置参数所需求的资源；
15.响应于所述待调整任务执行器中的剩余资源满足所述slot任务请求的配置参数所需求的资源，将所述slot任务分配给所述待调整执行器执行。
16.在本发明的一些实施方式中，调整所述任务执行器的任务分配还包括：
17.响应于所述flink系统中的多个任务执行器中任一个任务执行器的剩余资源满足所述slot任务请求的配置参数所需求的资源，将所述待调整任务执行器调整为普通任务执行器。
18.在本发明的一些实施方式中，判断所述flink系统是否满足所述配置参数的要求包括：
19.任务执行器通过心跳检测的方式向所述flink系统发送任务执行器的剩余资源；
20.flink系统将所述slot任务请求的配置参数所需求的资源与所述任务执行器发送来的剩余资源进行对比，以判断所述任务执行器发送来的剩余资源是否大于所述slot任务请求的配置参数所需求的资源。
21.在本发明的一些实施方式中，方法还包括：
22.响应于所述slot任务请求中不存在所述配置参数，按照默认配置为所述slot任务请求建立slot任务。
23.本发明的另一方面还提出了一种flink系统资源分配优化系统，包括：
24.解析模块，所述解析模块配置用于获取用户提交的slot任务请求，并判断所述slot任务请求中是否存在用户自定义的配置参数；
25.判断模块，所述判断模块配置用于响应于所述slot任务请求中存在所述配置参数，判断所述flink系统是否满足所述配置参数的要求；
26.任务创建模块，所述任务创建模块配置用于响应于所述flink系统满足所述配置参数的要求，根据所述配置参数为所述slot任务请求建立slot任务；
27.任务执行模块，所述任务执行模块配置用于响应于所述slot任务建立完成，判断所述flink系统剩余资源是否满足所述slot任务请求的配置参数所需求的资源，响应于所述flink系统剩余资源满足所述slot任务请求的配置参数所需求的资源，将所述slot任务分配给任务执行器进行执行。
28.本发明的又一方面还提出了一种计算机设备，包括：
29.至少一个处理器；以及
30.存储器，所述存储器存储有可在所述处理器上运行的计算机指令，所述指令由所述处理器执行时实现上述实施方式中任意一项所述方法的步骤。
31.本发明的再一方面还提出了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现上述实施方式中任意一项所述方法的步骤。
32.通过本发明提出的一种flink系统资源分配优化方法，提供一种优化的资源配置方案，用户提交任务的时候可以采用默认的资源配置申请资源，也可以按照任务需要指定任务的资源配置，然后向flink资源管理器申请资源，资源管理器接收到资源请求后，根据对任务的配置解析，向slot管理器转发申请特定大小的资源，slot管理器收到请求后查询任务执行器列表，查找匹配任务资源需求的任务执行器，然后任务执行器按照资源配置大小创建对应的slot提供给任务使用，等到任务执行完毕，释放对应资源。该优化方案可以更
好的利用资源，避免提前预定义过大资源的slot，运行需求资源小的任务造成的资源浪费。
附图说明
33.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
34.图1为本发明提供的一种flink系统资源分配优化方法的一实施例的方法流程图；
35.图2为本发明提供的一种flink系统资源分配优化系统的实施例的系统结构图；
36.图3为本发明提供的一种flink系统资源分配优化方法所实施的计算机设备结构图；
37.图4为本发明提供的一种flink系统资源分配优化方法所实施的计算机可读存储介质的示意图；
38.图5为本发明提供的一种flink系统资源分配优化方法的flink系统内部结构图。
具体实施方式
39.为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明实施例进一步详细说明。
40.本发明主要应用于flink系统，对flink的资源管理方式进行优化，从粗粒度的资源分配到更细粒度的资源分配方式，从提前预定义的资源分配模式到按需分配的资源分配模式。
41.如图1所示，本发明的第一方面提出了一种flink系统资源分配优化方法，包括：
42.步骤s101、获取用户提交的slot任务请求，并判断所述slot任务请求中是否存在用户自定义的配置参数；
43.步骤s102、响应于所述slot任务请求中存在所述配置参数，判断所述 flink系统是否满足所述配置参数的要求；
44.步骤s103、响应于所述flink系统满足所述配置参数的要求，根据所述配置参数为所述slot任务请求建立slot任务；
45.步骤s104、响应于所述slot任务建立完成，判断所述flink系统剩余资源是否满足所述slot任务请求的配置参数所需求的资源，响应于所述flink 系统剩余资源满足所述slot任务请求的配置参数所需求的资源，将所述slot 任务分配给任务执行器进行执行。
46.在本发明的实施例中，在步骤s101中，本发明所提出的一种flink系统资源分配优化方法所实现的flink系统能够支持用户采用默认资源配置或者自定义资源配置向flink集群提交slot任务；在本发明的flink系统中修改了原有用于提交slot任务的任务提交客户端，增加自定义资源配置参数选项，在用户提交slot任务时，可根据提交的slot任务中业务对性能的需要提供所需求的cpu个数、内存容量、磁盘空间等计算机上的计算资源和存储资源。flink系统会对从客户端发送的数据进行解析，分析客户端发送的slot任务请求中是否包含了用户对该slot任务自定义的用于申请计算机处理资源的配置参数。
47.在步骤s102中，若flink系统检测到来自客户端的slot任务请求中包含了用户对
该slot任务运行时的计算机处理资源的配置参数，将判断该slot 任务所需求的配置参数中的资源是否能被flink系统满足，具体地，如果某 slot任务请求要求的cpu数量为8个，内存为32gb，磁盘存储空间为100gb；而flink系统中，对应的任务执行器(分布在不同的服务器上的flink系统中的slot任务的执行器，会向服务器申请相应的处理器、内存及存储资源用以执行slot任务中的相应的)所在的服务器最大可提供128个cpu、 512gb内存、及2tb硬盘空间；则认为该slot任务能被flink系统满足，资源管理器将接受该slot任务请求。如果该slot任务请求中的配置参数中的任一项的数值超过flink系统中最大任务执行器所提供的资源范围，则拒绝接受该slot任务请求，并返回配置参数超范围信息。即如果slot任务请求中的配置参数为256个cpu、或768gb内存、或大于2tb的硬盘空间需求中的任意一个超过服务器最大能提供的处理资源，都将拒绝该slot任务请求。
48.在步骤s103中，若slot任务请求的配置参数可以被flink系统满足，则为其建立slot任务。同时在建立slot任务时根据该slot任务请求中的配置参数对该slot任务进行配置。
49.在步骤s104中，若slot任务建立完成，flink系统中的资源管理器则将slot任务发送到slot管理器，请求slot管理器对该slot任务分配对应的执行器。此时flink系统中的slot管理器则查找所有所管辖的任务执行器中的剩余资源是否满足该slot任务的配置需要，如果存在任务执行器的剩余资源满足该slot任务请求的配置需要，则将该slot任务分配给该任务执行器，由任务执行器向所在的服务器上申请cpu、内存、存储空间等资源，以执行该slot任务。
50.在本发明的一些实施方式中，方法还包括：
51.响应于所述flink系统剩余资源不满足所述slot任务请求的配置参数所需求的资源，将所述slot任务挂起并调整所述任务执行器的任务分配。
52.在本实施例中，若flink系统中slot管理器查找发现，所有的任务执行器的剩余资源(cpu、内存、存储空间等)均没有一个能够满足该slot任务执行时的需要，则将该slot任务挂起，停止对该任务的分配，同时调整任务执行器的slot任务分配模式。
53.在本发明的一些实施方式中，调整所述任务执行器的任务分配包括：
54.选择所述flink系统中的多个任务执行器中的一个或多个作为待调整任务执行器，并停止向所述待调整任务执行器分配slot任务。
55.在本实施例中，如上述实施例所述，当存在某slot任务因任务执行器的剩余资源不足而无法运行该slot任务，导致该slot任务挂起时，flink系统中的slot管理器则将剩余资源最大的任务执行器设定为待调整任务执行器，并将该待调整任务执行器的slot任务分配停止，即，将其他slot任务停止向该待调整任务执行器分配，并等待该任务执行器上的已有slot任务执行完成并实现资源的释放。
56.在本发明的一些实施方式中，调整所述任务执行器的任务分配还包括：
57.响应于所述待调整任务执行器中的已有slot任务执行完成，释放所述已有slot任务的资源，并重新判断所述待调整任务执行器的剩余资源是否满足所述slot任务请求的配置参数所需求的资源；
58.响应于所述待调整任务执行器中的剩余资源满足所述slot任务请求的配置参数所需求的资源，将所述slot任务分配给所述待调整执行器执行。
59.在本实施例中，若待调整任务执行器中的已有slot任务执行完成，则释放其所占用的资源，并重新计算该待调整任务执行器的剩余资源。接着，进一步判断该待调整执行器的剩余资源是否满足被挂起的slot任务，若满足该slot任务则将该slot任务分配给该待调整执行器执行。
60.在本发明的一些实施例中，待调整任务执行器的数量可以同时存在多个，可使用冗余的方式实现。
61.在本发明的一些实施方式中，调整所述任务执行器的任务分配还包括：
62.响应于所述flink系统中的多个任务执行器中任一个任务执行器的剩余资源满足所述slot任务请求的配置参数所需求的资源，将所述待调整任务执行器调整为普通任务执行器。
63.在本实施例中，当flink系统中因某slot任务被挂起，并存在多个待调整任务执行器时，如果多个待调整任务执行器中有一个满足该slot任务，则在将该slot任务分配给对应的待调整任务执行器之后，将待调整任务执行器设定为普通任务执行器。
64.在本发明的一些实施方式中，判断所述flink系统是否满足所述配置参数的要求包括：
65.任务执行器通过心跳检测的方式向所述flink系统发送任务执行器的剩余资源；
66.flink系统将所述slot任务请求的配置参数所需求的资源与所述任务执行器发送来的剩余资源进行对比，以判断所述任务执行器发送来的剩余资源是否大于所述slot任务请求的配置参数所需求的资源。
67.在本实施例中，在本发明方法所实现的flink系统中，任务执行器定时向资源管理器发送心跳检测，汇报当前资源剩余状态，资源管理器记录任务执行器的资源状态，并且资源管理器在创建slot任务之后会将对应的任务执行器的剩余资源状态及slot任务发送到slot管理器，slot任务管理器则从任务执行器对应的剩余资源中判断是否存在对应任务执行器满足slot 任务的任务执行。
68.如图5所示，在本发明的一些实施例中，具体实施过程如下：
69.1)flink集群启动后，初始化slot管理器、任务执行器和资源管理器；
70.2)任务执行器向资源管理器注册自己，并向资源管理器上报默认资源配置，资源管理器收到任务执行器注册信息并完成注册；
71.3)随后任务执行器定时向资源管理器发送心跳信息，上报其当前已分配的slot状态，以及当前可用的资源情况；
72.4)资源管理器向slot管理器转发任务执行器资源状态；
73.5)提交任务时，向资源管理器申请资源，资源管理器对任务配置进行判断解析，如果任务没有指定资源配置，则使用任务执行器注册时携带的默认资源配置；如果任务指定了资源配置，则使用任务指定的配置，然后转交slot管理器创建slot；
74.6)slot管理器在维护的任务执行器列表中查找资源匹配的任务执行器，如果查找成功，则在对应的任务执行器上根据资源配置创建slot，并将slot 任务执行，如果没有匹配到任务执行器，则将任务挂起，等待有合适的任务执行器满足资源配置后再次分配执行任务；
75.7)等到任务执行结束时，释放对应的slot及其资源。
76.在本发明的一些实施方式中，方法还包括：
77.响应于所述slot任务请求中不存在所述配置参数，按照默认配置为所述slot任务请求建立slot任务。
78.如图5所示，在本实施例中，在本发明方法所实现的flink系统中，flink 系统初始化时，flink集群启动时，初始化slot管理器、任务执行器和资源管理器，任务执行器向资源管理器注册，并汇报默认的slot资源配置；任务执行器定时向资源管理器发送心跳，上报当前已分配的slot状态和当前可用的资源情况；用户向flink系统提交任务，提交任务的时候可以指定申请的slot资源配置，如果没有指定将采用默认的资源配置向资源管理器申请资源，如果指定了则将采用指定的资源配置向资源管理器申请资源，如果slot任务请求中没有用户自定义的配置参数，flink系统中的资源管理器将根据任务执行器注册时汇报的默认的slot资源配置为该slot任务请求建立slot任务；资源管理器收到资源申请后，对任务的资源配置进行解析，如果任务没有指定slot配置，就使用默认的slot资源配置交由slot管理器创建slot。
79.如图2所示，本发明的另一方面还提出了一种flink系统资源分配优化系统，包括：
80.解析模块1，所述解析模块1配置用于获取用户提交的slot任务请求，并判断所述slot任务请求中是否存在用户自定义的配置参数；
81.判断模块2，所述判断模块2配置用于响应于所述slot任务请求中存在所述配置参数，判断所述flink系统是否满足所述配置参数的要求；
82.任务创建模块3，所述任务创建模块3配置用于响应于所述flink系统满足所述配置参数的要求，根据所述配置参数为所述slot任务请求建立slot 任务；
83.任务执行模块4，所述任务执行模块4配置用于响应于所述slot任务建立完成，判断所述flink系统剩余资源是否满足所述slot任务请求的配置参数所需求的资源，响应于所述flink系统剩余资源满足所述slot任务请求的配置参数所需求的资源，将所述slot任务分配给任务执行器进行执行。
84.如图3所示，本发明的又一方面还提出了一种计算机设备，包括：
85.至少一个处理器21；以及
86.存储器22，所述存储器22存储有可在所述处理器21上运行的计算机指令，所述指令由所述处理器21执行时实现如下的方法的步骤：
87.获取用户提交的slot任务请求，并判断所述slot任务请求中是否存在用户自定义的配置参数；
88.响应于所述slot任务请求中存在所述配置参数，判断所述flink系统是否满足所述配置参数的要求；
89.响应于所述flink系统满足所述配置参数的要求，根据所述配置参数为所述slot任务请求建立slot任务；
90.响应于所述slot任务建立完成，判断所述flink系统剩余资源是否满足所述slot任务请求的配置参数所需求的资源，响应于所述flink系统剩余资源满足所述slot任务请求的配置参数所需求的资源，将所述slot任务分配给任务执行器进行执行。
91.在本发明的一些实施方式中，方法还包括：
92.响应于所述flink系统剩余资源不满足所述slot任务请求的配置参数所需求的资
源，将所述slot任务挂起并调整所述任务执行器的任务分配。
93.在本发明的一些实施方式中，调整所述任务执行器的任务分配包括：
94.选择所述flink系统中的多个任务执行器中的一个或多个作为待调整任务执行器，并停止向所述待调整任务执行器分配slot任务。
95.在本发明的一些实施方式中，调整所述任务执行器的任务分配还包括：
96.响应于所述待调整任务执行器中的已有slot任务执行完成，释放所述已有slot任务的资源，并重新判断所述待调整任务执行器的剩余资源是否满足所述slot任务请求的配置参数所需求的资源；
97.响应于所述待调整任务执行器中的剩余资源满足所述slot任务请求的配置参数所需求的资源，将所述slot任务分配给所述待调整执行器执行。
98.在本发明的一些实施方式中，调整所述任务执行器的任务分配，还包括：
99.响应于所述flink系统中的多个任务执行器中任一个任务执行器的剩余资源满足所述slot任务请求的配置参数所需求的资源，将所述待调整任务执行器调整为普通任务执行器。
100.在本发明的一些实施方式中，判断所述flink系统是否满足所述配置参数的要求包括：
101.任务执行器通过心跳检测的方式向所述flink系统发送任务执行器的剩余资源；
102.flink系统将所述slot任务请求的配置参数所需求的资源与所述任务执行器发送来的剩余资源进行对比，以判断所述任务执行器发送来的剩余资源是否大于所述slot任务请求的配置参数所需求的资源。
103.在本发明的一些实施方式中，方法还包括：
104.响应于所述slot任务请求中不存在所述配置参数，按照默认配置为所述slot任务请求建立slot任务。
105.如图4所示，本发明的再一方面还提出了一种计算机可读存储介质401，所述计算机可读存储介质401存储有计算机程序402，所述计算机程序被处理器执行时实现如下方法方法的步骤：
106.获取用户提交的slot任务请求，并判断所述slot任务请求中是否存在用户自定义的配置参数；
107.响应于所述slot任务请求中存在所述配置参数，判断所述flink系统是否满足所述配置参数的要求；
108.响应于所述flink系统满足所述配置参数的要求，根据所述配置参数为所述slot任务请求建立slot任务；
109.响应于所述slot任务建立完成，判断所述flink系统剩余资源是否满足所述slot任务请求的配置参数所需求的资源，响应于所述flink系统剩余资源满足所述slot任务请求的配置参数所需求的资源，将所述slot任务分配给任务执行器进行执行。
110.在本发明的一些实施方式中，方法还包括：
111.响应于所述flink系统剩余资源不满足所述slot任务请求的配置参数所需求的资源，将所述slot任务挂起并调整所述任务执行器的任务分配。
112.在本发明的一些实施方式中，调整所述任务执行器的任务分配包括：
113.选择所述flink系统中的多个任务执行器中的一个或多个作为待调整任务执行器，并停止向所述待调整任务执行器分配slot任务。
114.在本发明的一些实施方式中，调整所述任务执行器的任务分配还包括：
115.响应于所述待调整任务执行器中的已有slot任务执行完成，释放所述已有slot任务的资源，并重新判断所述待调整任务执行器的剩余资源是否满足所述slot任务请求的配置参数所需求的资源；
116.响应于所述待调整任务执行器中的剩余资源满足所述slot任务请求的配置参数所需求的资源，将所述slot任务分配给所述待调整执行器执行。
117.在本发明的一些实施方式中，调整所述任务执行器的任务分配还包括：
118.响应于所述flink系统中的多个任务执行器中任一个任务执行器的剩余资源满足所述slot任务请求的配置参数所需求的资源，将所述待调整任务执行器调整为普通任务执行器。
119.在本发明的一些实施方式中，判断所述flink系统是否满足所述配置参数的要求包括：
120.任务执行器通过心跳检测的方式向所述flink系统发送任务执行器的剩余资源；
121.flink系统将所述slot任务请求的配置参数所需求的资源与所述任务执行器发送来的剩余资源进行对比，以判断所述任务执行器发送来的剩余资源是否大于所述slot任务请求的配置参数所需求的资源。
122.在本发明的一些实施方式中，方法还包括：
123.响应于所述slot任务请求中不存在所述配置参数，按照默认配置为所述slot任务请求建立slot任务。
124.通过本发明提出的一种flink系统资源分配优化方法，提供了一种优化的资源配置方案，用户提交任务的时候可以采用默认的资源配置申请资源，也可以按照任务需要指定任务的资源配置，然后向flink资源管理器申请资源，资源管理器接收到资源请求后，根据对任务的配置解析，向slot管理器转发申请特定大小的资源，slot管理器收到请求后查询任务执行器列表，查找匹配任务资源需求的任务执行器，然后任务执行器按照资源配置大小创建对应的slot提供给任务使用，等到任务执行完毕，释放对应资源。该优化方案可以更好的利用资源，避免提前预定义过大资源的slot，运行需求资源小的任务造成的资源浪费。
125.需要特别指出的是，上述各个实施例中的各个组件或步骤均可以相互交叉、替换、增加、删减，因此，这些合理的排列组合变换形成的组合也应当属于本发明的保护范围，并且不应将本发明的保护范围局限在所述实施例之上。
126.以上是本发明公开的示例性实施例，上述本发明实施例公开的顺序仅仅为了描述，不代表实施例的优劣。但是应当注意，以上任何实施例的讨论仅为示例性的，并非旨在暗示本发明实施例公开的范围(包括权利要求)被限于这些例子，在不背离权利要求限定的范围的前提下，可以进行多种改变和修改。根据这里描述的公开实施例的方法权利要求的功能、步骤和/或动作不需以任何特定顺序执行。此外，尽管本发明实施例公开的元素可以以个体形式描述或要求，但除非明确限制为单数，也可以理解为多个。
127.所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非
旨在暗示本发明实施例公开的范围(包括权利要求)被限于这些例子；在本发明实施例的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，并存在如上所述的本发明实施例的不同方面的许多其它变化，为了简明它们没有在细节中提供。因此，凡在本发明实施例的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包括在本发明实施例的保护范围之内。