调度计算单元的方法、装置、计算设备及介质与流程

1.本公开涉及计算机技术领域/互联网技术领域/电子技术领域，更具体地，涉及一种调度计算单元的方法、装置、计算设备及介质。


背景技术：

2.k8s集群采用基于node(节点)的反亲和调度与基于pod(计算单元)的反亲和调度两种方式进行反亲和调度。其中，基于node的反亲和调度的方式在调度node时，利用调度器对比node标签和pod反亲和设置，如果node标签和pod反亲和设置匹配，则不向该node进行调度。基于pod的反亲和调度的方式在调度node时，利用调度器对比node上所有pod的标签和pod的反亲和设置，如果pod的标签和pod的反亲和设置匹配，则不向该node进行调度。
3.在不同集群中的部分节点位于同一服务器机架内(即拓扑域相同)时，上述两种调度方式，可能会将应用程序的pod分别调度给不同集群中同属一个拓扑域的节点。这种情况下，当该拓扑域中的交换机等设备出现故障时，应用程序的所有pod均会受到影响，可靠性较差。


技术实现要素：

4.有鉴于此，本公开提供了一种调度计算单元的方法、装置、计算设备及介质。
5.本公开的一个方面提供了一种调度计算单元的方法，包括：响应于针对目标集群的第一请求，确定与所述第一请求中包括的目标应用程序标识相对应的第一计算单元，其中所述目标集群包括至少一个可用节点；在确定预设存储位置存储有第一元数据的情况下，从所述预设存储位置获取所述第一元数据，其中，所述第一元数据包括至少一个第二节点的拓扑域信息，所述第二节点为除所述目标集群之外的其他集群中当前与所述目标应用程序标识绑定的节点；从所述至少一个可用节点中确定拓扑域信息与所述至少一个第二节点均不同的可用节点，作为第一节点；以及将所述第一节点中与所述第一计算单元绑定，以完成对所述第一计算单元的调度。
6.根据本公开的实施例，所述方法还包括：在确定预设存储位置未存储第一元数据的情况下，根据预设规则，确定所述至少一个可用节点中任意一个可用节点为第一节点。
7.根据本公开的实施例，所述方法还包括：将所述目标应用程序标识和所述第一节点的拓扑域信息转换为第二元数据，并将所述第二元数据存储至所述预设存储位置。
8.根据本公开的实施例，所述目标集群还包括应用程序接口服务器；所述方法还包括：通过所述应用程序接口服务器获取来自用户终端的第一请求。
9.根据本公开的实施例，所述目标集群还包括调度器；所述确定与目标应用程序标识对应的第一计算单元包括：通过所述目标集群中的调度器，创建与目标应用程序标识对应的第一计算单元。
10.根据本公开的实施例，所述方法还包括：将所述目标应用程序标识和所述第一节点的拓扑域信息发送至目标集群中的应用程序接口服务器。
11.根据本公开的实施例，所述将所述目标应用程序标识和所述第一节点的拓扑域信息的对应关系转换为第二元数据包括：监听所述应用程序接口服务器，以获取所述目标应用程序标识和所述第一节点的拓扑域信息，并将所述目标应用程序标识和所述第一节点的拓扑域信息转换为第二元数据。
12.根据本公开的实施例，所述预设存储位置包括所述调度器的缓存；所述将所述第二元数据存储至所述预设存储位置包括：通过所述调度器监听所述元数据控制器，以获取所述第二元数据，将所述第二元数据存储至所述调度器的缓存中。
13.根据本公开的实施例，所述方法还包括：通过所述调度器生成调度结果，并将所述调度结果发送至所述应用程序接口服务器；以及通过所述应用程序接口服务器将调度结果返回所述用户终端。
14.本公开的另一个方面提供了一种调度计算单元的装置，包括：请求获取模块，用于获取针对目标集群的第一请求，其中，所述第一请求包括目标应用程序标识，所述目标集群包括至少一个可用节点；计算单元确定模块，用于确定与目标应用程序标识对应的第一计算单元；元数据获取模块，用于在预设存储位置存储有第一元数据的情况下，从所述预设存储位置获取所述第一元数据，其中，所述第一元数据包括至少一个第二节点的拓扑域信息，所述第二节点为除所述目标集群之外的其他集群中与所述目标应用程序标识绑定的节点；节点确定模块，用于从所述至少一个可用节点中确定拓扑域信息与所述至少一个第二节点均不同的可用节点，作为第一节点；以及绑定模块，用于将所述第一节点中与所述第一计算单元绑定，以完成对所述第一计算单元的调度。
15.本公开的另一个方面提供了一种计算设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如上所述的方法。
16.本公开的另一方面提供了一种计算机可读存储介质，存储有计算机可执行指令，所述指令在被执行时用于实现如上所述的方法。
17.本公开的另一方面提供了一种计算机程序，所述计算机程序包括计算机可执行指令，所述指令在被执行时用于实现如上所述的方法。
18.根据本公开的实施例，当需要将应用程序的计算单元部署在不同集群时，根据元数据信息，将这些计算单元调度至分属不同拓扑域的节点，从而当某一个拓扑域中的设备出现故障时，不会影响其他拓扑域中运行的计算单元，提高了系统可靠性。
附图说明
19.通过以下参照附图对本公开实施例的描述，本公开的上述以及其他目的、特征和优点将更为清楚，在附图中：
20.图1示意性示出了根据本公开实施例的可以应用调度计算单元的方法和装置的示例性应用场景；
21.图2示意性示出了根据本公开的实施例的调度计算单元的方法的流程图；
22.图3a示意性示出了根据本公开另一实施例的可以应用调度计算单元的方法和装置的示例性系统架构；
23.图3b示意性示出了根据本公开另一实施例的调度计算单元的方法的流程图；
24.图4示意性示出了根据本公开的实施例的调度计算单元装置的框图；以及
25.图5示意性示出了根据本公开实施例的适于实现本公开实施例描述的方法的计算机系统的方框图。
具体实施方式
26.以下，将参照附图来描述本公开的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本公开的范围。在下面的详细描述中，为便于解释，阐述了许多具体的细节以提供对本公开实施例的全面理解。然而，明显地，一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本公开的概念。
27.在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。
28.在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。
29.在使用类似于“a、b和c等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有a、b和c中至少一个的系统”应包括但不限于单独具有a、单独具有b、单独具有c、具有a和b、具有a和c、具有b和c、和/或具有a、b、c的系统等)。
30.本公开的实施例提供了一种调度计算单元的方法以及能够应用该方法的装置。该方法包括：响应于针对目标集群的第一请求，确定与第一请求中包括的目标应用程序标识相对应的第一计算单元，其中目标集群包括至少一个可用节点；在确定预设存储位置存储有第一元数据的情况下，从预设存储位置获取第一元数据，其中，第一元数据包括至少一个第二节点的拓扑域信息，第二节点为除目标集群之外的其他集群中当前与目标应用程序标识绑定的节点；从至少一个可用节点中确定拓扑域信息与至少一个第二节点均不同的可用节点，作为第一节点；以及将第一节点中与第一计算单元绑定，以完成对第一计算单元的调度。
31.图1示意性示出了根据本公开实施例的可以应用调度计算单元的方法和装置的示例性应用场景100。需要注意的是，图1所示仅为可以应用本公开实施例的应用场景的示例，以帮助本领域技术人员理解本公开的技术内容，但并不意味着本公开实施例不可以用于其他设备、系统、环境或场景。
32.如图1所示，根据该实施例的应用场景100可以包括包括集群(cluster)1、集群2和交换机3。cluster1和cluster2分别包括多个节点，且cluster1和cluster2中的部分节点同属一个拓扑域，交换机3为该拓扑域中的网络交换设备。
33.示例性地，本实施例中，应用程序具有pod1和pod2两个计算单元。两个pod需要分别由至cluster1和cluster2中的节点执行。
34.首先请求cluster1为pod1调度节点。然后请求cluster2为pod2调度节点。
35.相关技术在cluster2为pod2调度节点的过程中，cluster2无法知道待调度的节点
是否和cluster1已调度的节点同属一个拓扑域。因此，有可能将pod2调度至与cluster1已调度的节点同属一个拓扑域的节点上。
36.如果此时该拓扑域上的交换机10故障，将导致应用程序的两个pod无法正常运行，给应用程序造成重大影响。特别是对于数据库类服务程序影响会更大。
37.而根据本公开的实施例，在cluster1调度节点时，将调度的节点信息以元数据信息的形式存储，在cluster2调度节点时，可以根据元数据信息，将pod2调度至与已调度节点分属不同拓扑域的节点。从而，当某一个拓扑域中的设备出现故障时，不会影响其他拓扑域中运行的计算单元，提高了系统可靠性。
38.应该理解，图1中的集群、节点和交换机的数目仅仅是示意性的。根据实现需要，可以具有任意数目的集群、节点和交换机。
39.图2示意性示出了根据本公开的实施例的调度计算单元的方法的流程图。
40.如图2所示，该方法包括在操作s210，响应于针对目标集群的第一请求，确定与第一请求中包括的目标应用程序标识相对应的第一计算单元。
41.根据本公开的实施例，一个集群可以包括一个或多个节点(node)，一个节点中可以运行一个或多个计算单元(pod)。其中，节点例如可以为虚拟机或物理机。计算单元例如可以为单个应用的实例，它可以包括一个或多个容器或容器组。示例性地，本实施例中，集群例如可以为k8s集群，但本公开不限于此。
42.根据本公开的实施例，目标集群包括至少一个可用节点、应用程序接口服务器和调度器。可以通过应用程序接口服务器获取来自用户终端的第一请求。然后可以通过目标集群中的调度器，创建与目标应用程序标识对应的第一计算单元。
43.然后，在操作s220，在确定预设存储位置存储有第一元数据的情况下，从预设存储位置获取第一元数据。
44.其中，第一元数据包括至少一个第二节点的拓扑域信息，第二节点为除目标集群之外的其他集群中当前与目标应用程序标识绑定的节点。第二节点例如可以为已分配计算单元的节点。拓扑域信息例如可以包括节点所在服务器的标识、服务器机架的标识等。
45.根据本公开的实施例，预设存储位置例如可以包括调度器的缓存。需要说明的是，在实际应用的过程中，预设存储位置也可以包括其他存储位置，本公开对此不作具体限定。
46.在操作s230，从至少一个可用节点中确定拓扑域信息与至少一个第二节点均不同的可用节点，作为第一节点。
47.根据本公开的实施例，可以根据拓扑域信息对可用节点进行筛选。更具体地，可以确定每个可用节点所在服务器的标识，根据该服务器的标识确定该服务器所在服务器机架的标识，然后判断该服务器机架的标识与第二节点的服务器机架的标识是否一致，若一致，则筛除该可用节点，若不一致，则保留该可用节点。需要说明的是，除了根据拓扑域信息对可用节点进行筛选之外，还可以根据其他预设规则进行筛选。预设规则例如可以包括至少一个过滤规则，例如硬件约束规则、约束规则软件、策略约束规则等。
48.根据本公开的实施例，若筛选后的可用节点为一个，则将该筛选后的可用节点作为第一节点。若筛选后的可用节点有多个，则可以对该多个可用节点进行打分，根据分值选择最优的可用节点，作为第一节点。其中，打分的因素例如可以包括单个pod和pod集合的资源需求、数据位置、工作负载件的干扰和最后期限等等。
49.根据本公开的实施例，在确定预设存储位置未存储第一元数据的情况下，可以根据除元数据规则之外的预设规则，确定至少一个可用节点中任意一个可用节点为第一节点。
50.在操作s240，将第一节点中与第一计算单元绑定，以完成对第一计算单元的调度。
51.根据本公开的实施例，可以由调度器根据第一元数据中的拓扑域信息，从所有可用节点中确定一个与其他集群中已绑定的节点不属于同一拓扑域的节点，与第一计算单元绑定，以分配给第一计算单元。
52.根据本公开的实施例，在将第一节点中与第一计算单元绑定之后，可以将目标应用程序标识和第一节点的拓扑域信息转换为第二元数据，并将第二元数据存储至预设存储位置，以在预设存储位置记录目标应用程序标识和第一节点之间的绑定关系和被绑定的第一节点的拓扑域信息。。
53.更具体地，可以利用元数据控制器监听应用程序接口服务器，在应用程序接口服务器记录数据时，获取记录的目标应用程序标识和第一节点的拓扑域信息，并将目标应用程序标识和第一节点的拓扑域信息转换为元数据(即第二元数据)，存储在元数据控制器中。然后利用调度器监听元数据控制器，当元数据控制器更新元数据时，获取更新的元数据，将元数据存储至调度器的缓存中，以供后续使用。
54.根据本公开的实施例，还可以通过调度器生成调度结果，并将调度结果发送至应用程序接口服务器，然后通过应用程序接口服务器将调度结果返回用户终端。其中，调度结果可以用于表示本次调度是否成功。在调度成功的情况下，调度结果可以包括对第一计算单元分配的第一节点的相关信息。
55.根据本公开的实施例，当需要将应用程序的计算单元部署在不同集群时，根据元数据信息，将这些计算单元调度至分属不同拓扑域的节点，从而当某一个拓扑域中的设备出现故障时，不会影响其他拓扑域中运行的计算单元，提高了系统可靠性。
56.下面参考图3a～图3b，结合具体实施例对图2所示的方法做进一步说明。本领域技术人员可以理解，以下示例实施例仅用于理解本公开，本公开并不局限于此。
57.图3a示意性示出了根据本公开另一实施例的可以应用调度计算单元的方法和装置的示例性系统架构。
58.如图3a所示，根据该实施例的系统架构可以包括用户终端(user)、集群(cluster)1、集群2和元数据控制器。其中，集群1和集群2分别包括应用程序接口服务器(apiserver)和调度器(scheduler)。调度器可用用于监视新创建但未指定运行节点的pod，并选择节点让pod在上面运行。该系统架构还可以包括键值数据库，用于作为保存所有集群数据的后台数据库，键值数据库例如可以为etcd。该系统架构例如可以基于k8s。
59.图3b示意性示出了根据本公开另一实施例的调度计算单元的方法的流程图。
60.如图3a和3b所示，用户通过用户终端向集群1中的应用程序接口服务器发送请求。
61.集群1中的应用程序接口服务器接收来自用户终端的请求，通知同集群内的调度器。调度器创建应用名为app1的pod1。
62.调度器监听(watch)到未调度的pod1后，判断缓存中是否有元数据信息，由于初始时缓存中没有元数据信息，则根据预设筛选方法中除元数据方式之外的其他过滤方法筛(filter function)选出可用的node列表。然后对列表中的每个node进行打分，根据分数，
选择最优的node，将最优的node与该pod1绑定，以使该pod1运行于该最优的node中。
63.集群1中的调度器将上述pod1与node的绑定关系发回程序接口服务器，程序接口服务器211将包括node与pod(或pods)之间绑定关系和拓扑域信息的node信息上传至数据库。其中，拓扑域信息例如可以包括节点所在服务器的标识、服务器机架的标识(例如pod1、pod2、pod3等)等。node信息还可以包括node已请求资源、可用资源、资源上限、镜像状态、状态(conditions)等。
64.元数据控制器监听集群1中的应用程序接口服务器和调度器，记录pod1与node的绑定关系，以及该node的拓扑域信息，将其转换为元数据(metadata)信息。
65.集群1和集群2中的调度器监听元数据控制器的资源，当有元数据信息生成或更新时，获取生成或更新的元数据信息，将元数据信息同步至本地缓存(cache)中。
66.用户通过用户终端向集群2中的应用程序接口服务器发送请求。
67.集群2中的应用程序接口服务器接收来自用户终端的请求，创建应用名为app1的pod2，并将pod2的相关信息更新至数据库。
68.集群2中的调度器监听到未调度的pod2后，通过包含元数据方式的预设过滤方法为pod2筛选出符合条件的node。其中，根据元数据方式筛选包括，在元数据信息中查找与app1对应的拓扑域信息，对于待筛选的node，如果node的拓扑域信息与元数据信息中查到的信息一致，则将其筛除，否则将其保留。筛选出符合条件的node后，将pod2与筛选出的node绑定。向应用程序接口服务器返回调度结果。应用程序接口服务器向用户终端响应结果。
69.元数据控制器监听集群2中的应用程序接口服务器和调度器，记录pod2与node的绑定关系，以及该node的拓扑域信息，将其转换为元数据(metadata)信息。
70.根据本公开的实施例的方法，实现了同一应用程序的pod调度到不同拓扑域，提高了系统可靠性。
71.图4示意性示出了根据本公开的实施例的调度计算单元装置的框图。
72.如图4所示，调度计算单元装置400包括请求获取模块410、计算单元确定模块420、元数据获取模块430、节点确定模块440和绑定模块450。
73.请求获取模块410，可以用于获取针对目标集群的第一请求，其中，第一请求包括目标应用程序标识，目标集群包括至少一个可用节点。
74.计算单元确定模块420，可以用于确定与目标应用程序标识对应的第一计算单元。
75.元数据获取模块430，可以用于在预设存储位置存储有第一元数据的情况下，从预设存储位置获取第一元数据，其中，第一元数据包括至少一个第二节点的拓扑域信息，第二节点为除目标集群之外的其他集群中与目标应用程序标识绑定的节点。
76.节点确定模块440，可以用于从至少一个可用节点中确定拓扑域信息与至少一个第二节点均不同的可用节点，作为第一节点。
77.绑定模块450，可以用于将第一节点中与第一计算单元绑定，以完成对第一计算单元的调度。
78.根据本公开的实施例，当需要将应用程序的计算单元部署在不同集群时，根据元数据信息，将这些计算单元调度至分属不同拓扑域的节点，从而当某一个拓扑域中的设备出现故障时，不会影响其他拓扑域中运行的计算单元，提高了系统可靠性。
79.根据本公开的实施例的模块、子模块、单元、子单元中的任意多个、或其中任意多个的至少部分功能可以在一个模块中实现。根据本公开实施例的模块、子模块、单元、子单元中的任意一个或多个可以被拆分成多个模块来实现。根据本公开实施例的模块、子模块、单元、子单元中的任意一个或多个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(fpga)、可编程逻辑阵列(pla)、片上系统、基板上的系统、封装上的系统、专用集成电路(asic)，或可以通过对电路进行集成或封装的任何其他的合理方式的硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，根据本公开实施例的模块、子模块、单元、子单元中的一个或多个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。
80.例如，请求获取模块410、计算单元确定模块420、元数据获取模块430、节点确定模块440和绑定模块450中的任意多个可以合并在一个模块中实现，或者其中的任意一个模块可以被拆分成多个模块。或者，这些模块中的一个或多个模块的至少部分功能可以与其他模块的至少部分功能相结合，并在一个模块中实现。根据本公开的实施例，请求获取模块410、计算单元确定模块420、元数据获取模块430、节点确定模块440和绑定模块450中的至少一个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(fpga)、可编程逻辑阵列(pla)、片上系统、基板上的系统、封装上的系统、专用集成电路(asic)，或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，请求获取模块410、计算单元确定模块420、元数据获取模块430、节点确定模块440和绑定模块450中的至少一个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。
81.图5示意性示出了根据本公开实施例的适于实现上文描述的方法的计算机系统的方框图。图5示出的计算机系统仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
82.如图5所示，根据本公开实施例的计算机系统500包括处理器501，其可以根据存储在只读存储器(rom)502中的程序或者从存储部分508加载到随机访问存储器(ram)503中的程序而执行各种适当的动作和处理。处理器501例如可以包括通用微处理器(例如cpu)、指令集处理器和/或相关芯片组和/或专用微处理器(例如，专用集成电路(asic))，等等。处理器501还可以包括用于缓存用途的板载存储器。处理器501可以包括用于执行根据本公开实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。
83.在ram 503中，存储有系统500操作所需的各种程序和数据。处理器501、rom 502以及ram 503通过总线504彼此相连。处理器501通过执行rom 502和/或ram 503中的程序来执行根据本公开实施例的方法流程的各种操作。需要注意，所述程序也可以存储在除rom 502和ram 503以外的一个或多个存储器中。处理器501也可以通过执行存储在所述一个或多个存储器中的程序来执行根据本公开实施例的方法流程的各种操作。
84.根据本公开的实施例，系统500还可以包括输入/输出(i/o)接口505，输入/输出(i/o)接口505也连接至总线504。系统500还可以包括连接至i/o接口505的以下部件中的一项或多项：包括键盘、鼠标等的输入部分506；包括诸如阴极射线管(crt)、液晶显示器(lcd)等以及扬声器等的输出部分507；包括硬盘等的存储部分508；以及包括诸如lan卡、调制解
调器等的网络接口卡的通信部分509。通信部分509经由诸如因特网的网络执行通信处理。驱动器510也根据需要连接至i/o接口505。可拆卸介质511，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器510上，以便于从其上读出的计算机程序根据需要被安装入存储部分508。
85.根据本公开的实施例，根据本公开实施例的方法流程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读存储介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分509从网络上被下载和安装，和/或从可拆卸介质511被安装。在该计算机程序被处理器501执行时，执行本公开实施例的系统中限定的上述功能。根据本公开的实施例，上文描述的系统、设备、装置、模块、单元等可以通过计算机程序模块来实现。
86.本公开还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的设备/装置/系统中所包含的；也可以是单独存在，而未装配入该设备/装置/系统中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被执行时，实现根据本公开实施例的方法。
87.根据本公开的实施例，计算机可读存储介质可以是非易失性的计算机可读存储介质，例如可以包括但不限于：便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、便携式紧凑磁盘只读存储器(cd
‑
rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。例如，根据本公开的实施例，计算机可读存储介质可以包括上文描述的rom 502和/或ram 503和/或rom 502和ram 503以外的一个或多个存储器。
88.附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
89.本领域技术人员可以理解，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合或/或结合，即使这样的组合或结合没有明确记载于本公开中。特别地，在不脱离本公开精神和教导的情况下，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本公开的范围。
90.以上对本公开的实施例进行了描述。但是，这些实施例仅仅是为了说明的目的，而并非为了限制本公开的范围。尽管在以上分别描述了各实施例，但是这并不意味着各个实施例中的措施不能有利地结合使用。本公开的范围由所附权利要求及其等同物限定。不脱离本公开的范围，本领域技术人员可以做出多种替代和修改，这些替代和修改都应落在本
公开的范围之内。