一种基于云管理平台的模型管理方法以及云管理平台与流程

本技术实施例涉及云，尤其涉及一种基于云管理平台的模型管理方法以及云管理平台。

背景技术：

1、随着云技术的快速发展，越来越多的租户选择云厂商提供的位于云端的推理系统来部署其推理模型，以减轻租户本地的实力部署成本，并提高模型的推理效率和准确度。

2、在相关技术中，云厂商提供的推理系统可包含云管理平台以及多个推理实例，每个推理实例可包含多个物理服务器，每个物理服务器可包含多个设备。云管理平台可将租户的推理模型部署在各个推理实例中。当租户存在待处理的业务时，云管理平台可通过这多个推理实例中的任意一个推理实例运行推理模型，以完成租户的业务。

3、上述过程中，当某个推理实例出现故障时，云管理平台往往会让该实例从这多个推理实例退出，并将租户的业务交由其余推理实例完成。然而，该推理实例包含数量众多的设备，直接舍弃该推理实例将导致大量的设备被弃用，会造成较为严重的资源浪费。

技术实现思路

1、本技术实施例提供了一种基于云管理平台的模型管理方法以及云管理平台，可在设备故障的情况下，有利于持续有效地利用已有的设备资源，避免资源浪费。

2、本技术实施例的第一方面提供了一种基于云管理平台的模型管理方法，用于实现该方法的云管理平台可管理推理实例，该推理实例包含多个设备，这多个设备运行有目标模型，目标模型包含多个路由专家、多个共享专家以及多个冗余专家，多个冗余专家与多个路由专家中的至少一个路由专家对应，多个设备中的任意一个设备运行有至少一个路由专家、至少一个共享专家以及至少一个冗余专家中的任意一者或任意组合。该方法包括：

3、当这多个设备中的第一设备存在故障时，由于第一设备运行有第一路由专家，云管理平台可检测这多个冗余中是否存在于第一路由专家对应的第一冗余专家。

4、若这多个冗余专家不包含第一冗余专家，由于这多个设备有一部分设备运行有冗余专家以及共享专家，故云管理平台可从这部分设备中选择用于替代第一设备的第二设备，并从这多个设备中剔除第一设备，第二设备运行有第一共享专家以及第二冗余专家中的至少一者。

5、确定第二设备后，云管理平台可通知第二设备删除第一共享专家以及第二冗余专家中的至少一者，并通知第二设备运行第一路由专家。如此一来，云管理平台可成功让第二设备代替第一设备运行第一路由专家，保证目标模型的正常运行。

6、从上述方法可以看出：当云管理平台发现推理实例中第一设备存在故障时，可将其运行的第一路由专家交由运行第二冗余专家以及第一共享专家的第二设备来运行，这样可以在仅剔除发生第一设备的情况下，确保目标模型依旧在第二设备上正常运行，这样不需要舍弃整个推理实例，有利于持续有效地利用已有的设备资源，避免资源浪费。

7、在一种可能实现的方式中，该方法还包括：云管理平台确定多个冗余专家包含第一冗余专家，从多个设备中选择运行有第一冗余专家的第三设备，并从多个设备中剔除第一设备；云管理平台通知第三设备将第一冗余专家替换为第一路由专家，以通过第三设备运行第一路由专家。前述实现方式中，若这多个冗余专家包含第一冗余专家，云管理平台可从这多个设备中选择运行有第一冗余专家的第三设备，并从这多个设备中剔除第一设备。然后，云管理平台可通过某种方式在第三设备中将第一冗余专家替换为第一路由专家。如此一来，云管理平台可成功地让第三设备运行第一路由专家，从而保证目标模型的正常运行。由此可见，当云管理平台发现推理实例中第一设备存在故障时，可将其运行的第一路由专家交由运行第一冗余专家的第三设备来运行，这样可以在仅剔除发生第一设备的情况下，确保目标模型依旧在第三设备上正常运行，这样不需要舍弃整个推理实例，有利于持续有效地利用已有的设备资源，进一步避免资源浪费。

8、在一种可能实现的方式中，该方法还包括：云管理平台确定多个设备中的第四设备存在故障，其中，第四设备运行有第二共享专家；云管理平台从多个设备中选择第五设备，并从多个设备中剔除第四设备，其中，第五设备运行有第三冗余专家；云管理平台通知第五设备删除第三冗余专家，并通知第五设备运行第二共享专家。前述实现方式中，若这多个设备中的第四设备存在故障，由于第四设备运行有第二共享专家，故云管理平台可从这多个设备中部署有冗余专家的这部分设备选择第五设备，并从这多个设备中剔除第四设备，第五设备运行有第三冗余专家。然后，云管理平台可通知第五设备删除第三冗余专家，并通知第五设备运行第二共享专家。如此一来，云管理平台可成功让第五设备运行第二共享专家，保证目标模型的正常运行。由此可见，当云管理平台发现推理实例中第四设备存在故障时，可将其运行的第二共享专家交由运行第三冗余专家的第五设备来运行，这样可以在仅剔除发生第四设备的情况下，确保目标模型依旧在第五设备上正常运行，这样不需要舍弃整个推理实例，有利于持续有效地利用已有的设备资源，进一步避免资源浪费。

9、在一种可能实现的方式中，该方法还包括：云管理平台确定多个设备中的第六设备存在故障，其中，第六设备运行有第四冗余专家；云管理平台从多个设备中剔除第六设备。前述实现方式中，若这多个设备中的第六设备存在故障，由于第六设备运行有第四冗余专家，云管理平台则不需要执行专家替换操作，直接从这多个设备中剔除第六设备即可，这样也不会影响目标模型的正常运行。这样一来，即使第六设备故障，云管理平台也不需要舍弃整个推理实例，有利于持续有效地利用已有的设备资源，进一步避免资源浪费。

10、在一种可能实现的方式中，多个设备基于张量并行策略划分为多个设备组，多个设备组的数量与张量并行策略的第一并行度相关联，第一设备以及第二设备属于不同的设备组。前述实现方式中，由于云管理平台可在该推理实例中，可将这多个设备划分为多个设备组，故对于第一设备以及用于替代第一设备的第二设备而言，第一设备可第二设备通常位于不同的设备组，这样有利于后续完成专家替换。

11、在一种可能实现的方式中，目标模型还包含除多个路由专家、多个共享专家以及多个冗余专家之外的模型，模型基于张量并行策略划分得到多个第一子模型，多个第一子模型的数量与张量并行策略的第一并行度相关联，多个设备中的任意一个设备运行有多个第一子模型中的一个第一子模型，该方法还包括：云管理平台基于多个设备中除第一设备之外的其余设备的数量，确定张量并行策略的第二并行度；云管理平台基于第二并行度对模型进行划分，得到多个第二子模型，其中，多个第二子模型的数量小于多个第一子模型的数量；云管理平台通知其余设备运行多个第二子模型，其中，其余设备中的任意一个设备运行有多个第二子模型中的一个第二子模型。前述实现方式中，由于目标模型通常还包含除多个路由专家、多个共享专家以及多个冗余专家之外的模型，该模型可基于张量并行策略划分得到多个第一子模型，这多个第一子模型的数量通常与张量并行策略的第一并行度相关联，这多个设备运行有多个第一子模型。在将第一设备从这多个设备中剔除后，对于这多个设备除第一设备之外的其余设备，云管理平台可基于其余设备的数据确定张量并行策略的第二并行度，并基于第二并行度对该模型重新进行划分，从而得到多个第二子模型。然后，云管理平台可通知其余设备运行多个第二子模型，以替换原先其运行的多个第一子模型，这样可以确保该模型也在其余设备正常运行，以继续进行推理。由此可见，云管理平台可基于其余设备的数量以及张量并行策略的并行度的变化，执行出多个专家之外的模型的重新划分，这样可以保证其余设备继续正常运行目标模型，以保证其余设备中的推理进程不退出。

12、在一种可能实现的方式中，多个路由专家的数量、多个共享专家的数量以及多个冗余专家的数量之和与专家并行策略的第三并行度相关联，该方法还包括：云管理平台基于其余设备的数量确定专家并行策略的第四并行度；云管理平台基于其余设备的数量、第二并行度以及第四并行度，获取其余设备中各个设备之间的通信关系，其中，通信关系用于指示各个设备之间进行通信，以运行目标模型处理目标任务。前述实现方式中，云管理平台可利用其余设备的数量确定专家并行策略的第四并行度，再利用其余设备的数量、张量并行策略的第二并行度以及专家并行策略的第四并行度，获取其余设备中各个设备之间的通信关系，以指导其余设备中各个设备之间进行通信，以运行目标模型处理来自租户的目标任务。由此可见，云管理平台还可为剩余设备重建通信关系，在新建的通信关系中，其余设备中有部分设备的通信关系可能发生变化，另一部分设备的通信关系可能与原先保持一致，故云管理平台只需动态地替换有变化的这部分通信关系即可，可在一定程度上减轻通信关系的重建操作。

13、在一种可能实现的方式中，目标任务包含指向多个路由专家的多个子任务，多个子任务包含指向第一路由专家的第一子任务，该方法还包括：云管理平台通知第二设备或第三设备，通过第一路由专家处理第一子任务。前述实现方式中，完成专家替换后，云管理平台可通知其余设备继续进行推理以完成租户的目标任务，目标任务包含指向多个路由专家的多个子任务，云管理平台可将这多个子任务下发给其余设备。由于这多个子任务包含指向第一路由专家的第一子任务，部署有第一路由专家的第二设备或第三设备，可从这多个子任务中自行选择第一子任务，并通过第一路由专家处理第一子任务。由此可见，云管理平台可通过及时地将后续待处理的子任务路由到发生位置变化的路由专家上，可避免错误的专家激活，从而正确地完成租户的任务。

14、本技术实施例的第二方面提供了一种云管理平台，云管理平台用于管理多个设备，多个设备用于运行目标模型，目标模型包含多个路由专家、多个共享专家以及多个冗余专家，多个冗余专家与多个路由专家中的至少一个路由专家对应，多个设备中的任意一个设备运行有至少一个路由专家、至少一个共享专家以及至少一个冗余专家中的任意一者或任意组合，云管理平台包括：第一确定模块，用于确定多个设备中的第一设备存在故障，其中，第一设备运行有第一路由专家；第二确定模块，用于确定多个冗余专家不包含第一路由专家对应的第一冗余专家，从多个设备中选择用于替代第一设备的第二设备，并从多个设备中剔除第一设备，其中，第二设备运行有第一共享专家以及第二冗余专家中的至少一者；第一通知模块，用于通知第二设备删除第一共享专家以及第二冗余专家中的至少一者，并通知第二设备运行第一路由专家。

15、在一种可能实现的方式中，云管理平台还包括：第三确定模块，用于确定多个冗余专家包含第一冗余专家，从多个设备中选择运行有第一冗余专家的第三设备，并从多个设备中剔除第一设备；第二通知模块，用于通知第三设备将第一冗余专家替换为第一路由专家，以通过第三设备运行第一路由专家。

16、在一种可能实现的方式中，云管理平台还包括：第四确定模块，用于确定多个设备中的第四设备存在故障，其中，第四设备运行有第二共享专家；第四确定模块，用于从多个设备中选择第五设备，并从多个设备中剔除第四设备，其中，第五设备运行有第三冗余专家；第三通知模块，用于通知第五设备删除第三冗余专家，并通知第五设备运行第二共享专家。

17、在一种可能实现的方式中，云管理平台还包括：第五确定模块，用于确定多个设备中的第六设备存在故障，其中，第六设备运行有第四冗余专家；剔除模块，用于从多个设备中剔除第六设备。

18、在一种可能实现的方式中，多个设备基于张量并行策略划分为多个设备组，多个设备组的数量与张量并行策略的第一并行度相关联，第一设备以及第二设备属于不同的设备组。

19、在一种可能实现的方式中，目标模型还包含除多个路由专家、多个共享专家以及多个冗余专家之外的模型，模型基于张量并行策略划分得到多个第一子模型，多个第一子模型的数量与张量并行策略的第一并行度相关联，多个设备中的任意一个设备运行有多个第一子模型中的一个第一子模型，云管理平台还包括：第六确定模块，用于基于多个设备中除第一设备之外的其余设备的数量，确定张量并行策略的第二并行度；划分模块，用于基于第二并行度对模型进行划分，得到多个第二子模型，其中，多个第二子模型的数量小于多个第一子模型的数量；第四通知模块，用于通知其余设备运行多个第二子模型，其中，其余设备中的任意一个设备运行有多个第二子模型中的一个第二子模型。

20、在一种可能实现的方式中，多个路由专家的数量、多个共享专家的数量以及多个冗余专家的数量之和与专家并行策略的第三并行度相关联，云管理平台还包括：第七确定模块，用于基于其余设备的数量确定专家并行策略的第四并行度；获取模块，用于基于其余设备的数量、第二并行度以及第四并行度，获取其余设备中各个设备之间的通信关系，其中，通信关系用于指示各个设备之间进行通信，以运行目标模型处理目标任务。

21、在一种可能实现的方式中，目标任务包含指向多个路由专家的多个子任务，多个子任务包含指向第一路由专家的第一子任务，云管理平台还包括：第五通知模块，用于通知第二设备或第三设备，通过第一路由专家处理第一子任务。

22、本技术实施例的第三方面提供了一种计算设备集群，计算设备集群包括至少一个计算设备，每个计算设备包括处理器以及存储器：存储器用于存储指令；处理器用于根据指令，以使得计算设备集群执行第一方面或第一方面中任意一种可能实现的方式所述的方法。

23、本技术实施例的第四方面提供了一种计算机存储介质，计算机存储介质存储有一个或多个指令，指令在由一个或多个计算机执行时使得一个或多个计算机实施第一方面或第一方面中任意一种可能实现的方式所述的方法。

24、本技术实施例的第五方面提供了一种计算机程序产品，计算机程序产品存储有指令，指令在由计算机执行时，使得计算机实施第一方面或第一方面中任意一种可能实现的方式所述的方法。

25、本技术实施例中，云管理平台所管理的某个推理实例可包含多个设备，这多个设备可运行有目标模型，目标模型可包含多个路由专家、多个共享专家以及多个冗余专家，这多个冗余专家与这多个路由专家中的至少一个路由专家相对应。对于这多个设备中的任意一个设备而言，该设备可运行有至少一个路由专家、至少一个共享专家以及至少一个冗余专家中的任意一者或任意组合。基于此，若这多个设备中的第一设备存在故障，由于第一设备运行有第一路由专家，云管理平台可检测这多个冗余专家中是否存在第一路由专家对应的第一冗余专家，若不存在，云管理平台可从这多个设备中选择用于替代第一设备的第二设备，并从这多个设备中剔除第一设备，其中，第二设备运行有第一共享专家以及第二冗余专家中的至少一者。然后，云管理平台可通知第二设备删除其运行的第一共享专家以及第二冗余专家中的至少一者，并通知第二设备运行第一路由专家。如此一来，云管理平台可成功让第二设备代替第一设备运行第一路由专家，以确保目标模型的正常运行。前述过程中，当云管理平台发现推理实例中第一设备存在故障时，可将其运行的第一路由专家交由运行第二冗余专家以及第一共享专家的第二设备来运行，这样可以在仅剔除发生第一设备的情况下，确保目标模型依旧在第二设备上正常运行，这样不需要舍弃整个推理实例，有利于持续有效地利用已有的设备资源，避免资源浪费。