专用处理单元的功能即服务(FAAS)模型的制作方法

技术特征：
1.一种方法，包括：在包括图形处理单元(gpu)的服务器处，从远离所述服务器的第一应用接收第一请求，所述第一请求要求将所述gpu的第一数量的核保留第一时间量；在所述服务器处，从远离所述服务器且远离所述第一应用的第二应用接收第二请求，所述第二请求要求将所述gpu的第二数量的核保留第二时间量，所述第二时间量与所述第一时间量至少部分地重叠；由所述服务器确定所述第一请求与比所述第二请求更高的优先级相关联；由所述服务器至少部分地基于所述确定，为所述第一应用将所述第一数量的核保留所述第一时间量；以及由所述服务器向所述第一应用发送指示出所述第一数量的核已经为所述第一应用保留了所述第一时间量的指示。2.根据权利要求1所述的方法，还包括：由所述服务器至少部分地基于所述确定，为所述第二应用将第三数量的核保留所述第二时间量，所述第三数量的核少于由所述第二应用请求的所述第二数量的核；以及由所述服务器向所述第二应用发送指示出所述第三数量的核已经为所述第二应用保留了所述第二时间量的指示。3.根据权利要求1或2所述的方法，还包括：由所述服务器至少部分地基于所述确定，为所述第二应用将所述第二数量的核保留第三时间量，所述第三时间量满足以下项中的至少一项：小于所述第二时间量、或发生在所述第二时间量之后；以及由所述服务器向所述第二应用发送指示出所述第二数量的核已经为所述第二应用保留了所述第三时间量的指示。4.根据权利要求1、2或3所述的方法，其中，所述确定所述第一请求与比所述第二请求更高的优先级相关联至少部分地基于以下各项中的至少一项：要由所述第一应用执行的任务、要由所述第二应用执行的任务、与所述第一应用相关联的服务质量(qos)级别、与所述第二应用相关联的qos级别、与所述第一应用相关联的计费模型、或与所述第二应用相关联的计费模型。5.根据权利要求1、2、3或4所述的方法，其中，所述确定所述第一请求与比所述第二请求更高的优先级相关联至少部分地基于以下各项中的至少一项：由所述第一应用请求的核的所述第一数量、所述第一应用已经请求所述第一数量的核的所述第一时间量、由所述第二应用请求的核的所述第二数量、或所述第二应用已经请求所述第二数量的核的所述第二时间量。6.根据前述权利要求中任一项所述的方法，其中，所述服务器形成基于云的服务的一部分，接收所述第一请求包括经由由所述基于云的服务提供的应用编程接口(api)接收所述第一请求，并且接收所述第二请求包括经由由所述基于云的服务提供的所述api接收所述第二请求。7.根据前述权利要求中任一项所述的方法，其中，所述第一请求包括与所述第一应用相关联的第一认证凭证，并且所述方法还包括：至少部分地在保留所述第一数量的核和发送所述指示之前，使用与所述第一应用相关
联的所述第一认证凭证来认证所述第一应用。8.一种系统，包括：一个或多个第一处理器，包括图形处理单元(gpu)或张量处理单元(tpu)中的至少一者；一个或多个第二处理器；和存储计算机可执行指令的一个或多个计算机可读介质，所述计算机可执行指令当被执行时，使所述一个或多个第二处理器执行动作，所述动作包括：从远离所述系统的第一应用接收第一请求，所述第一请求要求将所述gpu或所述tpu中的至少一者的第一数量的核保留第一时间量；从远离所述系统且远离所述第一应用的第二应用接收第二请求，所述第二请求要求将所述gpu或所述tpu中的至少一者的第二数量的核保留第二时间量，所述第二时间量与所述第一时间量至少部分地重叠；确定所述第一请求与比所述第二请求更高的优先级相关联；至少部分地基于所述确定，为所述第一应用将所述第一数量的核保留所述第一时间量；以及向所述第一应用发送指示出所述第一数量的核已经为所述第一应用保留了所述第一时间量的指示。9.根据权利要求8所述的系统，所述动作还包括：至少部分地基于所述确定，为所述第二应用将第三数量的核保留所述第二时间量，所述第三数量的核少于由所述第二应用请求的所述第二数量的核；以及向所述第二应用发送指示出所述第三数量的核已经为所述第二应用保留了所述第二时间量的指示。10.根据权利要求8或9所述的系统，所述动作还包括：至少部分地基于所述确定，为所述第二应用将所述第二数量的核保留第三时间量，所述第三时间量满足以下项中的至少一项：小于所述第二时间量、或发生在所述第二时间量之后；以及向所述第二应用发送指示出所述第二数量的核已经为所述第二应用保留了所述第三时间量的指示。11.根据权利要求8、9或10所述的系统，其中，所述确定所述第一请求与比所述第二请求更高的优先级相关联至少部分地基于以下各项中的至少一项：要由所述第一应用执行的任务、要由所述第二应用执行的任务、与所述第一应用相关联的服务质量(qos)级别、与所述第二应用相关联的qos级别、与所述第一应用相关联的计费模型、或与所述第二应用相关联的计费模型。12.根据权利要求8至11中任一项所述的系统，其中，所述确定所述第一请求与比所述第二请求更高的优先级相关联至少部分地基于以下各项中的至少一项：由所述第一应用请求的核的所述第一数量、所述第一应用已经请求所述第一数量的核的所述第一时间量、由所述第二应用请求的核的所述第二数量、或所述第二应用已经请求所述第二数量的核的所述第二时间量。13.根据权利要求8至12中任一项所述的系统，其中，所述系统形成基于云的服务的一
部分，接收所述第一请求包括经由由所述基于云的服务提供的应用编程接口(api)接收所述第一请求，并且接收所述第二请求包括经由由所述基于云的服务提供的所述api接收所述第二请求。14.根据权利要求8至14中任一项所述的系统，其中，所述第一请求包括与所述第一应用相关联的第一认证凭证，并且所述动作还包括：至少部分地在保留所述第一数量的核和发送所述指示之前，使用与所述第一应用相关联的所述第一认证凭证来认证所述第一应用。15.一种方法，至少部分地由包括专用处理单元的系统实施，所述方法包括：从远离所述系统的第一应用接收第一请求，所述第一请求要求将所述专用处理单元的第一数量的核保留第一时间量；从远离所述系统且远离所述第一应用的第二应用接收第二请求，所述第二请求要求将所述专用处理单元的第二数量的核保留第二时间量，所述第二时间量至少部分地与所述第一时间量重叠；确定所述第一请求与比所述第二请求更高的优先级相关联；至少部分地基于所述确定，为所述第一应用将所述第一数量的核保留所述第一时间量；以及向所述第一应用发送指示出所述第一数量的核已经为所述第一应用保留了所述第一时间量的指示。16.根据权利要求15所述的方法，其中，所述专用处理单元包括图形处理单元(gpu)或张量处理单元(tpu)中的至少一者。17.根据权利要求15或16所述的方法，还包括：至少部分地基于所述确定，为所述第二应用将第三数量的核保留所述第二时间量，所述第三数量的核少于由所述第二应用请求的所述第二数量的核；以及向所述第二应用发送指示出所述第三数量的核已经为所述第二应用保留了所述第二时间量的指示。18.根据权利要求15、16或17所述的方法，还包括：至少部分地基于所述确定，为所述第二应用将所述第二数量的核保留第三时间量，所述第三时间量满足如下项中的至少一项：小于所述第二时间量、或发生在所述第二时间量之后；以及向所述第二应用发送指示出所述第二数量的核已经为所述第二应用保留了所述第三时间量的指示。19.根据权利要求15至19中任一项所述的方法，其中，所述确定所述第一请求与比所述第二请求更高的优先级相关联至少部分地基于以下各项中的至少一项：要由所述第一应用执行的任务、要由所述第二应用执行的任务、与所述第一应用相关联的服务质量(qos)级别、与所述第二应用相关联的qos级别、与所述第一应用相关联的计费模型、或与所述第二应用相关联的计费模型。20.根据权利要求15至19中任一项所述的方法，其中，所述确定所述第一请求与比所述第二请求更高的优先级相关联至少部分地基于以下各项中的至少一项：由所述第一应用请求的核的所述第一数量、所述第一应用已经请求所述第一数量的核的所述第一时间量、由
所述第二应用请求的核的所述第二数量、或所述第二应用已经请求所述第二数量的核的所述第二时间量。21.一种计算机可读存储介质，对指令的计算机程序进行编码，以用于由一个或多个处理器执行，以使权利要求1至7或15至20中任一项所述的方法被执行。

技术总结
包括图形处理单元(GPU)的服务器可以从远离服务器的第一应用接收第一请求，第一请求要求将GPU的第一数量的核保留第一时间量。服务器还可以从同样远离服务器的第二应用接收第二请求，第二请求要求将GPU的第二数量的核保留第二时间量，第二时间量与第一时间量至少部分地重叠。服务器可以确定第一请求与比第二请求更高的优先级相关联，并且作为响应，可以为第一应用将第一数量的核保留第一时间量。服务器可以向第一应用发送第一数量的核已经按照第一应用的请求被保留的指示。第一应用的请求被保留的指示。第一应用的请求被保留的指示。


技术研发人员：罗伯特
受保护的技术使用者：思科技术公司
技术研发日：2021.02.12
技术公布日：2022/10/25