云计算环境中基于GPU虚拟化的调度方法、系统和电子设备与流程

云计算环境中基于gpu虚拟化的调度方法、系统和电子设备
技术领域
1.本发明涉及云计算中的gpu虚拟化领域，且更为具体地，涉及一种云计算环境中基于gpu虚拟化的调度方法、系统和电子设备。


背景技术：

2.随着互联网应用的快速发展，计算机每天需要处理大量的数据，然而传统软硬件方法相对高昂的维护成本给相关应用的普及造成了极大的障碍。为了解决该问题，2006年谷歌推出“google 101计划”，并提出了云计算的概念。云计算把it能力转变为可管理的逻辑资源，虚拟化是云计算的关键技术之一。
3.gpu(graphics processing unit)又称图形处理器，最初用来加速计算机绘图工作，已有非常成熟的编程库接口。gpu是一种高性能计算硬件单元，应用于很多领域，例如视频编解码、天气预报和通用计算等。gpu的核数越来越多，计算能力越来越强大。亚马逊的ec2ill和阿里云等云平台开始使用gpu辅助计算。如果多个用户可以分享gpu，则可以提升gpu的利用率，降低硬件成本。因为多任务的需求，gpu的虚拟化研究成为趋势。
4.但是，如何调度gpu虚拟化资源是gpu虚拟化服务中亟需解决的技术问题。因此，为了更准确合理地对待分配的客户端分配运算gpu虚拟资源，期望一种云计算环境中基于gpu虚拟化的调度方案。


技术实现要素：

5.为了解决上述技术问题，提出了本技术。本技术的实施例提供了一种云计算环境中基于gpu虚拟化的调度方法、系统和电子设备，其一方面，通过基于语义关联的第一特征矩阵和基于拓扑关联的第二特征矩阵间的特征关联融合，以及单个客户端的特征表达在该融合关联特征空间内的查询式检索，可以获得所述单个客户端的任务性质的适当的编码表达。另一方面，分别将用于资源特征表达的第一特征向量和用于任务性质的关联语义特征表达的第三特征向量的各个位置看作是节点，可以基于节点间的类贝塔分布分析来获得用于表示非关联特征分布之间的映射关系的响应性特征分量，以作为评估节点分布间的响应行为的实践因数，所述因数能够改进节点分布间的置信度映射估计程度，从而获得高维特征分布间的响应性的适当表达。进而，能够更准确合理地对待分配的客户端分配运算gpu虚拟资源。
6.根据本技术的一个方面，提供了一种云计算环境中基于gpu虚拟化的调度方法，其包括：
7.获取包含当前时间点在内的多个预定时间点的云端gpu虚拟资源的可用量；
8.将所述多个预定时间点的云端gpu虚拟资源的可用量通过包含一维卷积层和全连接层的时序编码器以获得第一特征向量；
9.获取多个客户端的待计算任务的任务描述；
10.将各个所述客户端的待计算任务的任务描述通过包含嵌入层的上下文编码器以
获得多个特征向量，并将所述多个特征向量进行级联以获得对应于各个所述客户端的待计算任务的任务描述的第二特征向量；
11.将所述多个客户端的多个第二特征向量二维排列为特征矩阵后通过第一卷积神经网络以获得第一特征矩阵；
12.获取所述多个客户端的拓扑矩阵，所述拓扑矩阵中非对角线位置上各个位置的值为相应两个客户端之间的距离，所述拓扑矩阵中对角线位置上各个位置的值为零；
13.将所述拓扑矩阵通过第二卷积神经网络模型以获得拓扑特征矩阵；
14.将所述拓扑特征矩阵与所述第一特征矩阵进行矩阵相乘以将所述拓扑特征矩阵的高维拓扑特征映射到所述第一特征矩阵的高维特征空间中以获得融合拓扑特征和任务性质的语义特征的第二特征矩阵；
15.从各个所述客户端的待计算任务的任务描述的第二特征向量中提取待分配的客户端的第二特征向量，并将所述待分配的客户端的第二特征向量与所述第二特征矩阵进行相乘以获得第三特征向量；
16.计算所述第一特征向量和所述第三特征向量之间的节点间响应准则因数以获得第四特征向量，所述节点间响应准则因数与所述第一特征向量和所述第三特征向量之间的按位置点加与所述第一特征向量和第三特征向量的按位置点乘之间的比值有关；
17.将所述第四特征向量通过类softmax分类函数以获得所述第四特征向量归属于分配云端gpu虚拟资源的概率值；以及
18.基于所述概率值与所述当前时间点的云端gpu虚拟资源的可用量之间的乘积向所述待分配的客户端分配运算gpu虚拟资源。
19.根据本技术的另一方面，提供了一种云计算环境中基于gpu虚拟化的调度系统，其包括：
20.资源可用量获取单元，用于获取包含当前时间点在内的多个预定时间点的云端gpu虚拟资源的可用量；
21.时序编码单元，用于将所述资源可用量获取单元获得的所述多个预定时间点的云端gpu虚拟资源的可用量通过包含一维卷积层和全连接层的时序编码器以获得第一特征向量；
22.任务描述获取单元，用于获取多个客户端的待计算任务的任务描述；
23.上下文编码单元，用于将各个所述任务描述获取单元获得的所述客户端的待计算任务的任务描述通过包含嵌入层的上下文编码器以获得多个特征向量，并将所述多个特征向量进行级联以获得对应于各个所述客户端的待计算任务的任务描述的第二特征向量；
24.第一卷积单元，用于将所述上下文编码单元获得的所述多个客户端的多个第二特征向量二维排列为特征矩阵后通过第一卷积神经网络以获得第一特征矩阵；
25.拓扑矩阵获取单元，用于获取所述多个客户端的拓扑矩阵，所述拓扑矩阵中非对角线位置上各个位置的值为相应两个客户端之间的距离，所述拓扑矩阵中对角线位置上各个位置的值为零；
26.第二卷积单元，用于将所述拓扑矩阵获取单元获得的所述拓扑矩阵通过第二卷积神经网络模型以获得拓扑特征矩阵；
27.映射单元，用于将所述第二卷积单元获得的所述拓扑特征矩阵与所述第一卷积单
元获得的所述第一特征矩阵进行矩阵相乘以将所述拓扑特征矩阵的高维拓扑特征映射到所述第一特征矩阵的高维特征空间中以获得融合拓扑特征和任务性质的语义特征的第二特征矩阵；
28.第三特征向量生成单元，用于从各个所述上下文编码单元获得的所述客户端的待计算任务的任务描述的第二特征向量中提取待分配的客户端的第二特征向量，并将所述待分配的客户端的第二特征向量与所述映射单元获得的所述第二特征矩阵进行相乘以获得第三特征向量；
29.响应准则因数计算单元，用于计算所述时序编码单元获得的所述第一特征向量和所述第三特征向量生成单元获得的所述第三特征向量之间的节点间响应准则因数以获得第四特征向量，所述节点间响应准则因数与所述第一特征向量和所述第三特征向量之间的按位置点加与所述第一特征向量和第三特征向量的按位置点乘之间的比值有关；
30.概率值计算单元，用于将所述响应准则因数计算单元获得的所述第四特征向量通过类softmax分类函数以获得所述第四特征向量归属于分配云端gpu虚拟资源的概率值；以及
31.分配单元，用于基于所述概率值计算单元获得的所述概率值与所述当前时间点的云端gpu虚拟资源的可用量之间的乘积向所述待分配的客户端分配运算gpu虚拟资源。
32.根据本技术的又一方面，提供了一种电子设备，包括：处理器；以及，存储器，在所述存储器中存储有计算机程序指令，所述计算机程序指令在被所述处理器运行时使得所述处理器执行如上所述的云计算环境中基于gpu虚拟化的调度方法。
33.根据本技术的再又一方面，提供了一种计算机可读介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行如上所述的云计算环境中基于gpu虚拟化的调度方法。
34.与现有技术相比，本技术提供的云计算环境中基于gpu虚拟化的调度方法、系统和电子设备，其一方面，通过基于语义关联的第一特征矩阵和基于拓扑关联的第二特征矩阵间的特征关联融合，以及单个客户端的特征表达在该融合关联特征空间内的查询式检索，可以获得所述单个客户端的任务性质的适当的编码表达。另一方面，分别将用于资源特征表达的第一特征向量和用于任务性质的关联语义特征表达的第三特征向量的各个位置看作是节点，可以基于节点间的类贝塔分布分析来获得用于表示非关联特征分布之间的映射关系的响应性特征分量，以作为评估节点分布间的响应行为的实践因数，所述因数能够改进节点分布间的置信度映射估计程度，从而获得高维特征分布间的响应性的适当表达。进而，能够更准确合理地对待分配的客户端分配运算gpu虚拟资源。
附图说明
35.通过结合附图对本技术实施例进行更详细的描述，本技术的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本技术实施例的进一步理解，并且构成说明书的一部分，与本技术实施例一起用于解释本技术，并不构成对本技术的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
36.图1为根据本技术实施例的云计算环境中基于gpu虚拟化的调度方法的流程图；
37.图2为根据本技术实施例的云计算环境中基于gpu虚拟化的调度方法的系统架构
示意图；
38.图3为根据本技术实施例的云计算环境中基于gpu虚拟化的调度系统的框图；
39.图4为根据本技术实施例的电子设备的框图。
具体实施方式
40.下面，将参考附图详细地描述根据本技术的示例实施例。显然，所描述的实施例仅仅是本技术的一部分实施例，而不是本技术的全部实施例，应理解，本技术不受这里描述的示例实施例的限制。
41.场景概述
42.如前所述，随着互联网应用的快速发展，计算机每天需要处理大量的数据，然而传统软硬件方法相对高昂的维护成本给相关应用的普及造成了极大的障碍。为了解决该问题，2006年谷歌推出“google 101计划”，并提出了云计算的概念。云计算把it能力转变为可管理的逻辑资源，虚拟化是云计算的关键技术之一。
43.gpu(graphics processing unit)又称图形处理器，最初用来加速计算机绘图工作，已有非常成熟的编程库接口。gpu是一种高性能计算硬件单元，应用于很多领域，例如视频编解码、天气预报和通用计算等。gpu的核数越来越多，计算能力越来越强大。亚马逊的ec2ill和阿里云等云平台开始使用gpu辅助计算。如果多个用户可以分享gpu，则可以提升gpu的利用率，降低硬件成本。因为多任务的需求，gpu的虚拟化研究成为趋势。
44.但是，如何调度gpu虚拟化资源是gpu虚拟化服务中亟需解决的技术问题。因此，为了更准确合理地对待分配的客户端分配运算gpu虚拟资源，期望一种云计算环境中基于gpu虚拟化的调度方案。
45.目前，深度学习以及神经网络已经广泛应用于计算机视觉、自然语言处理、语音信号处理等领域。此外，深度学习以及神经网络在图像分类、物体检测、语义分割、文本翻译等领域，也展现出了接近甚至超越人类的水平。
46.深度学习以及神经网络的发展为云计算环境中基于gpu虚拟化的调度提供了新的解决思路和方案。
47.应可以理解，在本技术的技术方案中，任务的资源分配本质上可以看做资源对任务性质的响应问题。在考虑资源调度时，不仅仅需要考虑现有可用的资源量(也就是，有多少gpu虚拟资源可用)，还得考虑多用户中各个用户的待处理任务对于gpu计算资源的需求分布特性。
48.基于此，在本技术的技术方案中，首先，获取在包含当前时间点在内的多个预定时间点的云端的gpu虚拟资源的可用量，并将其通过时序编码器，以提取出多个预定时间点的云端的gpu虚拟资源的可用量在时间维度和数据维度的高维关联特征信息，从而获得第一特征向量。
49.然后，获取多个客户端的待计算任务的任务描述，并将待计算任务的任务描述分别通过上下文编码器以获得具有全局性关联信息多个特征向量，并将所述多个特征向量进行级联以获得对应于各个待计算任务的第二特征向量。这样，就可以将所述多个第二特征向量进行二维排列后通过卷积神经网络，以获得第一特征矩阵。
50.接着，获取所述多个客户端的拓扑矩阵，用以表示各个客户端的空间分布来表征
数据传播拓扑特征，这里，拓扑矩阵中非对角线位置上各个位置的值为相应两个客户端之间的距离，对角线位置上各个位置的值为零。进一步将所述拓扑矩阵通过卷积神经网络以提取出各个客户端的拓扑结构特征信息，从而获得计算拓扑特征矩阵。
51.但是，由于任务的资源分配本质上可以看做资源对任务性质的响应问题，因此，一方面，如果能够在高维空间内对于资源和任务性质进行适当的编码表达，另一方面对两者的编码特征表达的特征分布间的响应性进行适当的表征，则可以通过该响应性的高维表征来进行分类以获得分配的概率式表示。
52.进一步地，将拓扑特征矩阵乘以第一特征矩阵以将拓扑特征矩阵的高维拓扑特征映射到第一特征矩阵的高维特征空间中，进而获得融合拓扑特征和任务性质的语义特征的第二特征矩阵。并且从各个客户端的待计算任务的任务描述的第二特征向量中提取待分配的客户端的第二特征向量，进一步作为查询向量以将其乘以第二特征矩阵，以获得待分配客户端的融合了拓扑特征和任务性质的语义特征的第三特征向量。
53.这里，对于用于资源特征表达的第一特征向量v1，和用于任务性质的关联语义特征表达的第三特征向量v3，计算其节点间响应准则因数，表示为：
[0054][0055]
其中和
⊙
分别表示向量点乘和点加，且
⊙
2表示向量的各位置计算平方，vi是单位向量。
[0056]
这样就可以得到第四特征向量，然后通过类softmax分类函数以获得第四特征向量归属于分配云端gpu虚拟资源的概率值。进而，基于概率值与所述当前时间点的云端gpu虚拟资源的可用量之间的乘积向所述待分配的客户端分配运算gpu虚拟资源。
[0057]
这样，一方面，通过基于语义关联的第一特征矩阵和基于拓扑关联的第二特征矩阵间的特征关联融合，以及单个客户端的特征表达在该融合关联特征空间内的查询式检索，可以获得单个客户端的任务性质的适当的编码表达。
[0058]
另一方面，分别将第一特征向量和第三特征向量的各个位置看作是节点，可以基于节点间的类贝塔分布分析来获得用于表示非关联特征分布之间的映射关系的响应性特征分量，以作为评估节点分布间的响应行为的实践因数，该因数能够改进节点分布间的置信度映射估计程度，从而获得高维特征分布间的响应性的适当表达。
[0059]
基于此，本技术提出了一种云计算环境中基于gpu虚拟化的调度方法，其包括：获取包含当前时间点在内的多个预定时间点的云端gpu虚拟资源的可用量；将所述多个预定时间点的云端gpu虚拟资源的可用量通过包含一维卷积层和全连接层的时序编码器以获得第一特征向量；获取多个客户端的待计算任务的任务描述；将各个所述客户端的待计算任务的任务描述通过包含嵌入层的上下文编码器以获得多个特征向量，并将所述多个特征向量进行级联以获得对应于各个所述客户端的待计算任务的任务描述的第二特征向量；将所述多个客户端的多个第二特征向量二维排列为特征矩阵后通过第一卷积神经网络以获得第一特征矩阵；获取所述多个客户端的拓扑矩阵，所述拓扑矩阵中非对角线位置上各个位置的值为相应两个客户端之间的距离，所述拓扑矩阵中对角线位置上各个位置的值为零；将所述拓扑矩阵通过第二卷积神经网络模型以获得拓扑特征矩阵；将所述拓扑特征矩阵与
所述第一特征矩阵进行矩阵相乘以将所述拓扑特征矩阵的高维拓扑特征映射到所述第一特征矩阵的高维特征空间中以获得融合拓扑特征和任务性质的语义特征的第二特征矩阵；从各个所述客户端的待计算任务的任务描述的第二特征向量中提取待分配的客户端的第二特征向量，并将所述待分配的客户端的第二特征向量与所述第二特征矩阵进行相乘以获得第三特征向量；计算所述第一特征向量和所述第三特征向量之间的节点间响应准则因数以获得第四特征向量，所述节点间响应准则因数与所述第一特征向量和所述第三特征向量之间的按位置点加与所述第一特征向量和第三特征向量的按位置点乘之间的比值有关；将所述第四特征向量通过类softmax分类函数以获得所述第四特征向量归属于分配云端gpu虚拟资源的概率值；以及，基于所述概率值与所述当前时间点的云端gpu虚拟资源的可用量之间的乘积向所述待分配的客户端分配运算gpu虚拟资源。
[0060]
在介绍了本技术的基本原理之后，下面将参考附图来具体介绍本技术的各种非限制性实施例。
[0061]
示例性方法
[0062]
图1图示了云计算环境中基于gpu虚拟化的调度方法的流程图。如图1所示，根据本技术实施例的云计算环境中基于gpu虚拟化的调度方法，包括：s110，获取包含当前时间点在内的多个预定时间点的云端gpu虚拟资源的可用量；s120，将所述多个预定时间点的云端gpu虚拟资源的可用量通过包含一维卷积层和全连接层的时序编码器以获得第一特征向量；s130，获取多个客户端的待计算任务的任务描述；s140，将各个所述客户端的待计算任务的任务描述通过包含嵌入层的上下文编码器以获得多个特征向量，并将所述多个特征向量进行级联以获得对应于各个所述客户端的待计算任务的任务描述的第二特征向量；s150，将所述多个客户端的多个第二特征向量二维排列为特征矩阵后通过第一卷积神经网络以获得第一特征矩阵；s160，获取所述多个客户端的拓扑矩阵，所述拓扑矩阵中非对角线位置上各个位置的值为相应两个客户端之间的距离，所述拓扑矩阵中对角线位置上各个位置的值为零；s170，将所述拓扑矩阵通过第二卷积神经网络模型以获得拓扑特征矩阵；s180，将所述拓扑特征矩阵与所述第一特征矩阵进行矩阵相乘以将所述拓扑特征矩阵的高维拓扑特征映射到所述第一特征矩阵的高维特征空间中以获得融合拓扑特征和任务性质的语义特征的第二特征矩阵；s190，从各个所述客户端的待计算任务的任务描述的第二特征向量中提取待分配的客户端的第二特征向量，并将所述待分配的客户端的第二特征向量与所述第二特征矩阵进行相乘以获得第三特征向量；s200，计算所述第一特征向量和所述第三特征向量之间的节点间响应准则因数以获得第四特征向量，所述节点间响应准则因数与所述第一特征向量和所述第三特征向量之间的按位置点加与所述第一特征向量和第三特征向量的按位置点乘之间的比值有关；s210，将所述第四特征向量通过类softmax分类函数以获得所述第四特征向量归属于分配云端gpu虚拟资源的概率值；以及，s220，基于所述概率值与所述当前时间点的云端gpu虚拟资源的可用量之间的乘积向所述待分配的客户端分配运算gpu虚拟资源。
[0063]
图2图示了根据本技术实施例的云计算环境中基于gpu虚拟化的调度方法的架构示意图。如图2所示，在所述云计算环境中基于gpu虚拟化的调度方法的网络架构中，首先，将获得的所述多个预定时间点的云端gpu虚拟资源的可用量(例如，如图2中所示意的p1)通过包含一维卷积层和全连接层的时序编码器(例如，如图2中所示意的e1)以获得第一特征
向量(例如，如图2中所示意的vf1)；接着，将获得的各个所述客户端的待计算任务的任务描述(例如，如图2中所示意的p2)通过包含嵌入层的上下文编码器(例如，如图2中所示意的e2)以获得多个特征向量(例如，如图2中所示意的vf2)，并将所述多个特征向量进行级联以获得对应于各个所述客户端的待计算任务的任务描述的第二特征向量(例如，如图2中所示意的vf3)；然后，将所述多个客户端的多个第二特征向量二维排列为特征矩阵(例如，如图2中所示意的mf)后通过第一卷积神经网络(例如，如图2中所示意的cnn1)以获得第一特征矩阵(例如，如图2中所示意的mf1)；接着，将获得的所述拓扑矩阵(例如，如图2中所示意的m1)通过第二卷积神经网络模型(例如，如图2中所示意的cnn2)以获得拓扑特征矩阵(例如，如图2中所示意的mf2)；然后，将所述拓扑特征矩阵与所述第一特征矩阵进行矩阵相乘以将所述拓扑特征矩阵的高维拓扑特征映射到所述第一特征矩阵的高维特征空间中以获得融合拓扑特征和任务性质的语义特征的第二特征矩阵(例如，如图2中所示意的mf3)；接着，从各个所述客户端的待计算任务的任务描述的第二特征向量中提取待分配的客户端的第二特征向量(例如，如图2中所示意的vf4)，并将所述待分配的客户端的第二特征向量与所述第二特征矩阵进行相乘以获得第三特征向量(例如，如图2中所示意的vf5)；然后，计算所述第一特征向量和所述第三特征向量之间的节点间响应准则因数以获得第四特征向量(例如，如图2中所示意的vf)；接着，将所述第四特征向量通过类softmax分类函数(例如，如图2中所示意的圈s)以获得所述第四特征向量归属于分配云端gpu虚拟资源的概率值(例如，如图2中所示意的q)；以及，最后，基于所述概率值与所述当前时间点的云端gpu虚拟资源的可用量之间的乘积向所述待分配的客户端分配运算gpu虚拟资源。
[0064]
在步骤s110和步骤s120中，获取包含当前时间点在内的多个预定时间点的云端gpu虚拟资源的可用量，并将所述多个预定时间点的云端gpu虚拟资源的可用量通过包含一维卷积层和全连接层的时序编码器以获得第一特征向量。如前所述，应可以理解，在本技术的技术方案中，任务的资源分配本质上可以看做资源对任务性质的响应问题。在考虑资源调度时，不仅仅需要考虑现有可用的资源量(也就是，有多少gpu虚拟资源可用)，还得考虑多用户中各个用户的待处理任务对于gpu计算资源的需求分布特性。
[0065]
因此，在本技术的技术方案中，首先，从云端gpu中获取包含当前时间点在内的多个预定时间点的云端gpu虚拟资源的可用量。然后，将所述多个预定时间点的云端gpu虚拟资源的可用量通过时序编码器中进行编码处理，以提取出所述多个预定时间点的云端的gpu虚拟资源的可用量在时间维度和数据维度的高维关联特征信息，这样不仅可以通过关联信息来消除数据沿时序方向上的漂移产生的影响，还能够通过所提取的体现输入数据之间的关联信息的高维特征来代替原始数据进行计算，可以消除所述原始数据在数据维度上的误差的影响，从而获得第一特征向量。
[0066]
具体地，在本技术实施例中，将所述多个预定时间点的云端gpu虚拟资源的可用量通过包含一维卷积层和全连接层的时序编码器以获得第一特征向量的过程，包括：首先，将所述多个预定时间点的云端gpu虚拟资源的可用量按照时间维度排列为对应于各个所述云端gpu虚拟资源的一维的输入向量。然后，使用所述时序编码器的全连接层以如下公式对所述输入向量进行全连接编码以提取出所述输入向量中各个位置的特征值的高维隐含特征，其中，所述公式为：其中x是输入向量，y是输出向量，w是权重矩阵，b是偏置向量，表示矩阵乘。最后，使用时序编码器的一维卷积层以如下公式对所述输入向量
进行一维卷积编码以提取出所述输入向量中各个位置的特征值间的关联的高维隐含关联特征，其中，所述公式为：
[0067][0068]
其中，a为卷积核在x方向上的宽度、f为卷积核参数向量、g为与卷积核函数运算的局部向量矩阵，w为卷积核的尺寸。
[0069]
在步骤s130和步骤s140中，获取多个客户端的待计算任务的任务描述，并将各个所述客户端的待计算任务的任务描述通过包含嵌入层的上下文编码器以获得多个特征向量，并将所述多个特征向量进行级联以获得对应于各个所述客户端的待计算任务的任务描述的第二特征向量。应可以理解，为了更准确合理地对所述待分配的客户端分配运算gpu虚拟资源，因此在考虑资源调度时，不仅仅需要考虑所述现有可用的资源量，也就是，有多少gpu虚拟资源可用，还得考虑所述多个用户中各个用户的待处理任务对于gpu计算资源的需求分布特性。
[0070]
因此，在本技术的技术方案中，进一步还需要从云存储端获取多个客户端的待计算任务的任务描述，并将所述多个待计算任务的任务描述分别通过包含嵌入层的上下文编码器以获得具有全局性任务描述关联特征信息多个特征向量。这样，就可以将获得的所述多个特征向量进行级联以获得对应于各个待计算任务的第二特征向量。
[0071]
具体地，在本技术实施例中，将各个所述客户端的待计算任务的任务描述通过包含嵌入层的上下文编码器以获得多个特征向量的过程，包括：首先，对各个所述客户端的待计算任务的任务描述进行分词处理以将各个所述客户端的待计算任务的任务描述转化为由多个词组成的词序列，这样，可以避免后续编码过程中造成语义混乱。然后，使用所述上下文编码器的嵌入层将所述词序列中各个词映射到词向量以获得词向量的序列。最后，使用所述上下文编码器的转化器对所述词向量的序列进行基于全局的上下文语义编码以获得所述多个特征向量。应可以理解，由于基于转化器的编码器模型能基于上下文对所述词向量进行全局性的特征编码，因此所获得的所述多个特征向量具有全局性任务描述关联特征信息。
[0072]
在步骤s150中，将所述多个客户端的多个第二特征向量二维排列为特征矩阵后通过第一卷积神经网络以获得第一特征矩阵。也就是，在本技术的技术方案中，在得到对应于各个待计算任务的第二特征向量后，就可以进一步将所述第二特征向量二维排列为特征矩阵，以融合所述各个待计算任务的特征信息。然后，再将所述特征矩阵通过第一卷积神经网络中进行处理，以提取出所述特征矩阵中的各个位置的高维关联特征，从而得到第一特征矩阵。相应地，在一个具体示例中，所述第一卷积神经网络的各层在层的正向传递中分别对输入数据进行基于二维卷积核的卷积处理、沿通道维度的池化处理和激活处理以由所述第一卷积神经网络的最后一层输出所述第一特征矩阵，其中，所述第一卷积神经网络的第一层的输入为所述特征矩阵。
[0073]
在步骤s160和步骤s170，获取所述多个客户端的拓扑矩阵，所述拓扑矩阵中非对角线位置上各个位置的值为相应两个客户端之间的距离，所述拓扑矩阵中对角线位置上各个位置的值为零，并将所述拓扑矩阵通过第二卷积神经网络模型以获得拓扑特征矩阵。也
就是，在本技术的技术方案中，为了更准确合理地对所述待分配的客户端分配运算gpu虚拟资源，还需获取所述多个客户端的拓扑矩阵。特别地，这里，所述拓扑矩阵中非对角线位置上各个位置的值为相应两个客户端之间的距离，所述拓扑矩阵中对角线位置上各个位置的值为零。然后，进一步将所述拓扑矩阵通过第二卷积神经网络模型中进行处理，以提取出所述多个客户端的拓扑结构特征信息，从而获得拓扑特征矩阵。
[0074]
在步骤s180中，将所述拓扑特征矩阵与所述第一特征矩阵进行矩阵相乘以将所述拓扑特征矩阵的高维拓扑特征映射到所述第一特征矩阵的高维特征空间中以获得融合拓扑特征和任务性质的语义特征的第二特征矩阵。应可以理解，所述任务的资源分配本质上可以看做资源对任务性质的响应问题，因此，在本技术的技术方案中，期望能够在高维空间内对于所述资源和任务性质进行适当的编码表达，以提高对于所述待分配的客户端分配运算gpu虚拟资源的准度。
[0075]
因此，在本技术的技术方案中，在得到所述拓扑特征和所述任务性质的语义特征后，进一步将所述拓扑特征矩阵与所述第一特征矩阵进行矩阵相乘以将所述拓扑特征矩阵的高维拓扑特征映射到所述第一特征矩阵的高维特征空间中，从而获得融合了所述拓扑特征和所述任务性质的语义特征的第二特征矩阵。应可以理解，通过基于语义关联的所述第一特征矩阵和基于拓扑关联的所述拓扑特征矩阵间的特征关联融合，以及所述单个客户端的特征表达在该所述融合关联特征空间内的查询式检索，可以获得所述单个客户端的任务性质的适当的编码表达。
[0076]
在步骤s190中，从各个所述客户端的待计算任务的任务描述的第二特征向量中提取待分配的客户端的第二特征向量，并将所述待分配的客户端的第二特征向量与所述第二特征矩阵进行相乘以获得第三特征向量。也就是，在本技术的技术方案中，进一步需要从各个所述客户端的待计算任务的任务描述特征中提取出所述待分配的客户端的任务描述特征，从而得到第二特征向量。这样，就可以进一步将具有所述待分配的客户端的任务描述特征的第二特征向量与具有所述融合拓扑特征和任务性质的语义特征的第二特征矩阵进行矩阵相乘，从而得到用于任务性质的关联语义特征表达的第三特征向量v3。
[0077]
在步骤s200中，计算所述第一特征向量和所述第三特征向量之间的节点间响应准则因数以获得第四特征向量，所述节点间响应准则因数与所述第一特征向量和所述第三特征向量之间的按位置点加与所述第一特征向量和第三特征向量的按位置点乘之间的比值有关。应可以理解，所述任务的资源分配本质上可以看做资源对任务性质的响应问题，因此，一方面，如果能够在高维空间内对于所述资源和任务性质进行适当的编码表达，另一方面对两者的编码特征表达的特征分布间的响应性进行适当的表征，则可以通过该所述响应性的高维表征来进行分类以获得分配的概率式表示。
[0078]
因此，在本技术的技术方案中，进一步对于用于资源特征表达的所述第一特征向量v1，和用于任务性质的关联语义特征表达的所述第三特征向量v3，计算所述第一特征向量和所述第三特征向量之间的节点间响应准则因数以获得第四特征向量。应可以理解，分别将所述第一特征向量和所述第三特征向量的各个位置看作是节点，可以基于所述节点间的类贝塔分布分析来获得用于表示非关联特征分布之间的映射关系的响应性特征分量，以作为评估所述节点分布间的响应行为的实践因数，该所述因数能够改进所述节点分布间的置信度映射估计程度，从而获得高维特征分布间的响应性的适当表达。
[0079]
具体地，在本技术实施例中，计算所述第一特征向量和所述第三特征向量之间的节点间响应准则因数以获得第四特征向量的过程，包括：以如下公式计算所述第一特征向量和所述第三特征向量之间的节点间响应准则因数以获得第四特征向量；
[0080]
其中，所述公式为：
[0081][0082]
其中v1为所述第一特征向量，v3为所述第三特征向量，和
⊙
分别表示向量点乘和点加，且
⊙
2表示向量的各位置计算平方，vi是单位向量。
[0083]
在步骤s210和步骤s220中，将所述第四特征向量通过类softmax分类函数以获得所述第四特征向量归属于分配云端gpu虚拟资源的概率值，并基于所述概率值与所述当前时间点的云端gpu虚拟资源的可用量之间的乘积向所述待分配的客户端分配运算gpu虚拟资源。也就是，在本技术的技术方案中，在得到高维特征分布间的响应性适当表达后，进一步通过该所述响应性的高维表征来进行分类以获得分配的概率式表示。具体地，进一步将所述第四特征向量通过类softmax分类函数以获得所述第四特征向量归属于分配云端gpu虚拟资源的概率值。这样，就可以基于所述概率值与所述当前时间点的云端gpu虚拟资源的可用量之间的乘积向所述待分配的客户端分配运算gpu虚拟资源。
[0084]
具体地，在本技术实施例中，将所述第四特征向量通过类softmax分类函数以获得所述第四特征向量归属于分配云端gpu虚拟资源的概率值的过程，包括：将所述第四特征向量通过类softmax分类函数以通过如下公式计算获得所述第四特征向量归属于分配云端gpu虚拟资源的概率值；其中，所述公式为：exp(-xi)/∑iexp(-xi)。
[0085]
综上，本技术实施例的云计算环境中基于gpu虚拟化的调度方法被阐明，其一方面，通过基于语义关联的第一特征矩阵和基于拓扑关联的第二特征矩阵间的特征关联融合，以及单个客户端的特征表达在该融合关联特征空间内的查询式检索，可以获得所述单个客户端的任务性质的适当的编码表达。另一方面，分别将用于资源特征表达的第一特征向量和用于任务性质的关联语义特征表达的第三特征向量的各个位置看作是节点，可以基于节点间的类贝塔分布分析来获得用于表示非关联特征分布之间的映射关系的响应性特征分量，以作为评估节点分布间的响应行为的实践因数，所述因数能够改进节点分布间的置信度映射估计程度，从而获得高维特征分布间的响应性的适当表达。进而，能够更准确合理地对待分配的客户端分配运算gpu虚拟资源。
[0086]
示例性系统
[0087]
图3图示了根据本技术实施例的云计算环境中基于gpu虚拟化的调度系统的框图。如图3所示，根据本技术实施例的云计算环境中基于gpu虚拟化的调度系统400，包括：资源可用量获取单元410，用于获取包含当前时间点在内的多个预定时间点的云端gpu虚拟资源的可用量；时序编码单元420，用于将所述资源可用量获取单元410获得的所述多个预定时间点的云端gpu虚拟资源的可用量通过包含一维卷积层和全连接层的时序编码器以获得第一特征向量；任务描述获取单元430，用于获取多个客户端的待计算任务的任务描述；上下文编码单元440，用于将各个所述任务描述获取单元430获得的所述客户端的待计算任务的任务描述通过包含嵌入层的上下文编码器以获得多个特征向量，并将所述多个特征向量进
行级联以获得对应于各个所述客户端的待计算任务的任务描述的第二特征向量；第一卷积单元450，用于将所述上下文编码单元440获得的所述多个客户端的多个第二特征向量二维排列为特征矩阵后通过第一卷积神经网络以获得第一特征矩阵；拓扑矩阵获取单元460，用于获取所述多个客户端的拓扑矩阵，所述拓扑矩阵中非对角线位置上各个位置的值为相应两个客户端之间的距离，所述拓扑矩阵中对角线位置上各个位置的值为零；第二卷积单元470，用于将所述拓扑矩阵获取单元460获得的所述拓扑矩阵通过第二卷积神经网络模型以获得拓扑特征矩阵；映射单元480，用于将所述第二卷积单元470获得的所述拓扑特征矩阵与所述第一卷积单元450获得的所述第一特征矩阵进行矩阵相乘以将所述拓扑特征矩阵的高维拓扑特征映射到所述第一特征矩阵的高维特征空间中以获得融合拓扑特征和任务性质的语义特征的第二特征矩阵；第三特征向量生成单元490，用于从各个所述上下文编码单元440获得的所述客户端的待计算任务的任务描述的第二特征向量中提取待分配的客户端的第二特征向量，并将所述待分配的客户端的第二特征向量与所述映射单元480获得的所述第二特征矩阵进行相乘以获得第三特征向量；响应准则因数计算单元500，用于计算所述时序编码单元420获得的所述第一特征向量和所述第三特征向量生成单元490获得的所述第三特征向量之间的节点间响应准则因数以获得第四特征向量，所述节点间响应准则因数与所述第一特征向量和所述第三特征向量之间的按位置点加与所述第一特征向量和第三特征向量的按位置点乘之间的比值有关；概率值计算单元510，用于将所述响应准则因数计算单元500获得的所述第四特征向量通过类softmax分类函数以获得所述第四特征向量归属于分配云端gpu虚拟资源的概率值；以及，分配单元520，用于基于所述概率值计算单元510获得的所述概率值与所述当前时间点的云端gpu虚拟资源的可用量之间的乘积向所述待分配的客户端分配运算gpu虚拟资源。
[0088]
在一个示例中，在上述云计算环境中基于gpu虚拟化的调度系统400中，所述时序编码单元420，进一步用于：将所述多个预定时间点的云端gpu虚拟资源的可用量按照时间维度排列为对应于各个所述云端gpu虚拟资源的一维的输入向量；使用所述时序编码器的全连接层以如下公式对所述输入向量进行全连接编码以提取出所述输入向量中各个位置的特征值的高维隐含特征，其中，所述公式为：其中x是输入向量，y是输出向量，w是权重矩阵，b是偏置向量，表示矩阵乘；使用时序编码器的一维卷积层以如下公式对所述输入向量进行一维卷积编码以提取出所述输入向量中各个位置的特征值间的关联的高维隐含关联特征，其中，所述公式为：
[0089][0090]
其中，a为卷积核在x方向上的宽度、f为卷积核参数向量、g为与卷积核函数运算的局部向量矩阵，w为卷积核的尺寸。
[0091]
在一个示例中，在上述云计算环境中基于gpu虚拟化的调度系统400中，所述上下文编码单元440，进一步用于：对各个所述客户端的待计算任务的任务描述进行分词处理以将各个所述客户端的待计算任务的任务描述转化为由多个词组成的词序列；使用所述上下文编码器的嵌入层将所述词序列中各个词映射到词向量以获得词向量的序列；以及，使用所述上下文编码器的转化器对所述词向量的序列进行基于全局的上下文语义编码以获得
所述多个特征向量。
[0092]
在一个示例中，在上述云计算环境中基于gpu虚拟化的调度系统400中，所述第一卷积单元450，进一步用于：将所述多个客户端的多个第二特征向量二维排列以获得特征矩阵；以及，所述第一卷积神经网络的各层在层的正向传递中分别对输入数据进行基于二维卷积核的卷积处理、沿通道维度的池化处理和激活处理以由所述第一卷积神经网络的最后一层输出所述第一特征矩阵，其中，所述第一卷积神经网络的第一层的输入为所述特征矩阵。
[0093]
在一个示例中，在上述云计算环境中基于gpu虚拟化的调度系统400中，所述响应准则因数计算单元500，进一步用于：以如下公式计算所述第一特征向量和所述第三特征向量之间的节点间响应准则因数以获得第四特征向量；其中，所述公式为：
[0094][0095]
其中v1为所述第一特征向量，v3为所述第三特征向量，和
⊙
分别表示向量点乘和点加，且
⊙
2表示向量的各位置计算平方，vi是单位向量。
[0096]
在一个示例中，在上述云计算环境中基于gpu虚拟化的调度系统400中，所述概率值计算单元510，进一步用于：将所述第四特征向量通过类softmax分类函数以通过如下公式计算获得所述第四特征向量归属于分配云端gpu虚拟资源的概率值；其中，所述公式为：exp(-xi)/∑iexp(-xi)。
[0097]
这里，本领域技术人员可以理解，上述云计算环境中基于gpu虚拟化的调度系统400中的各个单元和模块的具体功能和操作已经在上面参考图1到图2的云计算环境中基于gpu虚拟化的调度方法的描述中得到了详细介绍，并因此，将省略其重复描述。
[0098]
如上所述，根据本技术实施例的云计算环境中基于gpu虚拟化的调度系统400可以实现在各种终端设备中，例如云计算环境中基于gpu虚拟化的调度算法的服务器等。在一个示例中，根据本技术实施例的云计算环境中基于gpu虚拟化的调度系统400可以作为一个软件模块和/或硬件模块而集成到终端设备中。例如，该云计算环境中基于gpu虚拟化的调度系统400可以是该终端设备的操作系统中的一个软件模块，或者可以是针对于该终端设备所开发的一个应用程序；当然，该云计算环境中基于gpu虚拟化的调度系统400同样可以是该终端设备的众多硬件模块之一。
[0099]
替换地，在另一示例中，该云计算环境中基于gpu虚拟化的调度系统400与该终端设备也可以是分立的设备，并且该云计算环境中基于gpu虚拟化的调度系统400可以通过有线和/或无线网络连接到该终端设备，并且按照约定的数据格式来传输交互信息。
[0100]
示例性电子设备
[0101]
下面，参考图4来描述根据本技术实施例的电子设备。如图4所示，电子设备包括10包括一个或多个处理器11和存储器12。所述处理器11可以是中央处理单元(cpu)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备10中的其他组件以执行期望的功能。
[0102]
存储器12可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储
器例如可以包括随机存取存储器(ram)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(rom)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器11可以运行所述程序指令，以实现上文所述的本技术的各个实施例的云计算环境中基于gpu虚拟化的调度方法的功能以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如拓扑特征矩阵、第三特征向量等各种内容。
[0103]
在一个示例中，电子设备10还可以包括：输入系统13和输出系统14，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。
[0104]
该输入系统13可以包括例如键盘、鼠标等等。
[0105]
该输出系统14可以向外部输出各种信息，包括分配云端gpu虚拟资源的概率值、分配的运算gpu虚拟资源等。该输出系统14可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。
[0106]
当然，为了简化，图4中仅示出了该电子设备10中与本技术有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备10还可以包括任何其他适当的组件。
[0107]
示例性计算机程序产品和计算机可读存储介质
[0108]
除了上述方法和设备以外，本技术的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本技术各种实施例的云计算环境中基于gpu虚拟化的调度方法中的功能中的步骤。
[0109]
所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本技术实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如java、c 等，还包括常规的过程式程序设计语言，诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
[0110]
此外，本技术的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的云计算环境中基于gpu虚拟化的调度方法中的步骤。
[0111]
所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、系统或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。
[0112]
以上结合具体实施例描述了本技术的基本原理，但是，需要指出的是，在本技术中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本技术的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本技术为必须采用上述具体的细节来实现。
[0113]
本技术中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
[0114]
还需要指出的是，在本技术的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本技术的等效方案。
[0115]
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本技术。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本技术的范围。因此，本技术不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
[0116]
为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本技术的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。