资源管理方法、装置、设备、介质及产品与流程

本申请涉及计算机，特别涉及一种资源管理方法、装置、设备、介质及产品。

背景技术：

1、推理实例是指将深度学习模型加载至图形处理器（graphics processing unit，gpu）显存中、可独立接收推理请求并执行计算的服务单元。推理实例在运行时需占据大量gpu显存用于存储模型参数、中间激活值及键值缓存（key-value cache，kv cache）等数据。

2、相关技术中，为了提升gpu显存的利用率，当推理实例处于空闲状态时，将其实例数据迁移至主机内存或固态硬盘（solid state disk，ssd），以释放其占用的gpu显存。

3、然而，主机内存及本地ssd的存储容量有限，随着空闲推理实例数量的增加或单个实例数据量的增长，内存和ssd的可用空间可能迅速耗尽，导致后续的空闲推理实例无法被换出，显存资源难以得到充分释放。

技术实现思路

1、本申请实施例提供了一种资源管理方法、装置、设备、介质及产品。本申请提供的技术方案包括如下几个方面。

2、一方面，本申请实施例提供了一种资源管理方法，所述方法包括：

3、获取集群中各个推理实例的运行状态信息，以及各个主机的资源状态，所述集群包含多个主机，且所述推理实例由主机中的gpu运行；

4、对于所述各个推理实例中的第一推理实例，在所述运行状态信息指示所述第一推理实例处于空闲状态的情况下，基于所述第一推理实例当前所处第一主机的所述资源状态，确定所述第一推理实例的第一实例数据的迁移策略，所述迁移策略包括主机内迁移以及主机间迁移中的至少一种；

5、基于所述迁移策略迁移所述第一实例数据，并释放所述第一主机中所述第一实例数据占用的gpu显存。

6、另一方面，本申请实施例提供了一种资源管理装置，所述装置包括：

7、获取模块，被配置为获取集群中各个推理实例的运行状态信息，以及各个主机的资源状态，所述集群包含多个主机，且所述推理实例由主机中的gpu运行；

8、确定模块，被配置为对于所述各个推理实例中的第一推理实例，在所述运行状态信息指示所述第一推理实例处于空闲状态的情况下，基于所述第一推理实例当前所处第一主机的所述资源状态，确定所述第一推理实例的第一实例数据的迁移策略，所述迁移策略包括主机内迁移以及主机间迁移中的至少一种；

9、迁移模块，被配置为基于所述迁移策略迁移所述第一实例数据，并释放所述第一主机中所述第一实例数据占用的gpu显存。

10、另一方面，提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有计算机程序，所述计算机程序由所述处理器加载并执行以实现上述资源管理方法。

11、另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序由处理器加载并执行以实现上述资源管理方法。

12、另一方面，本申请实施例提供了一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序存储在计算机可读存储介质中，处理器从所述计算机可读存储介质读取并执行所述计算机程序，以实现上述资源管理方法。

13、本申请实施例提供的技术方案可以带来如下有益效果：

14、通过首先获取集群中各个主机的资源状态以及运行在主机gpu中的推理实例的运行状态信息；然后，对于各个推理实例中的第一推理实例，在其运行状态信息指示该实例处于空闲状态时，基于第一推理实例当前所处第一主机的资源状态，确定该实例的实例数据的迁移策略。由于所确定的迁移策略包括主机内迁移和主机间迁移，从而扩展了实例数据的迁移范围。最后，根据所确定的迁移策略迁移实例数据，并释放其占用的gpu显存，将释放后的显存资源提供给其他推理实例使用，实现了gpu显存资源的动态复用，提升了集群整体资源利用率。

1.一种资源管理方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述在所述运行状态信息指示所述第一推理实例处于空闲状态的情况下，基于所述第一推理实例当前所处第一主机的所述资源状态，确定所述第一推理实例的第一实例数据的迁移策略，包括：

3.根据权利要求2所述的方法，其特征在于，所述运行状态信息还包括空闲时长；

4.根据权利要求3所述的方法，其特征在于，所述确定所述第一推理实例的所述第一实例数据的迁移策略为第一级主机内迁移，包括：

5.根据权利要求4所述的方法，其特征在于，所述基于所述迁移策略迁移所述第一实例数据，包括：

6.根据权利要求2所述的方法，其特征在于，所述基于所述迁移策略迁移所述第一实例数据，包括：

7.根据权利要求1至6任一所述的方法，其特征在于，所述方法还包括：

8.根据权利要求1至6任一所述的方法，其特征在于，所述方法还包括：

9.根据权利要求8所述的方法，其特征在于，所述方法还包括：

10.根据权利要求9所述的方法，其特征在于，所述基于所述第一推理实例的元数据以及各个主机的所述资源状态，确定所述目标主机，包括：

11.根据权利要求8所述的方法，其特征在于，所述方法还包括：

12.根据权利要求8所述的方法，其特征在于，所述将所述第一推理实例的所述第一实例数据迁移至目标主机的gpu显存，包括：

13.根据权利要求8所述的方法，其特征在于，所述将所述第一推理实例的所述第一实例数据迁移至目标主机的gpu显存，包括：

14.根据权利要求8所述的方法，其特征在于，所述将所述第一推理实例的所述第一实例数据迁移至目标主机的gpu显存，包括：

15.根据权利要求14所述的方法，其特征在于，所述释放所述第一主机中所述第一实例数据占用的gpu显存，包括：

16.根据权利要求8所述的方法，其特征在于，所述方法还包括：

17.根据权利要求1至16任一所述的方法，其特征在于，所述方法还包括：

18.根据权利要求17所述的方法，其特征在于，所述在所述第一推理实例的所述运行状态信息表征所述第一推理实例满足显存扩容条件的情况下，从所述第一主机的显存共享池中为所述第一推理实例额外分配gpu显存，包括如下至少一种：

19.根据权利要求18所述的方法，其特征在于，所述方法还包括：

20.一种资源管理装置，其特征在于，所述装置包括：

21.一种计算机设备，其特征在于，所述计算机设备包括处理器和存储器，所述存储器中存储有计算机程序，所述计算机程序由所述处理器加载并执行以实现如权利要求1至19任一项所述的资源管理方法。

22.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，所述计算机程序由处理器加载并执行以实现如权利要求1至19任一项所述的资源管理方法。

23.一种计算机程序产品，其特征在于，所述计算机程序产品包括计算机程序，所述计算机程序存储在计算机可读存储介质中，处理器从所述计算机可读存储介质读取并执行所述计算机程序，以实现如权利要求1至19任一项所述的资源管理方法。