一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

一种云平台负载预测方法、装置及设备

2022-07-13 17:33:02 来源:中国专利 TAG:


1.本发明涉及信息处理技术领域,特别是指一种云平台负载预测方法、装置及设备。


背景技术:

2.云计算是继分布式处理、并行处理和网格计算的又一计算模式。云计算的出现彻底改变了传统计算机资源的使用方式,它将所有的软硬件资源都放在云端,并且提供了一种pay-as-you-go(按需付费)的服务模式。这也正是云计算的核心优势,不但降低了软硬件的成本,用户不必自己订购昂贵的物理机和各种软件应用程序,而且操作也十分便捷,当用户需要更多的计算能力时可以轻松地扩展计算资源。然而,云计算的发展所带来的能耗问题不容小觑,其电力消耗导致的碳排放则会对地球环境造成巨大的影响。
3.目前的云计算中,云计算平台中的资源利用率是一个很重要的指标,而资源利用率,需要对云计算平台中的负载进行合理准确预测;
4.现有的云计算平台中的负载预测方法至少存在以下问题:
5.现有的云计算平台中的负载预测方法负载数据预测准确度较低。


技术实现要素:

6.本发明要解决的技术问题是如何提供一种云平台负载预测方法、装置及设备。实现了云平台负载预测,提高了负载预测结果的准确率。
7.为解决上述技术问题,本发明的技术方案如下:
8.一种云平台负载预测方法,包括:
9.获取云平台上的计算节点的至少一种运行状态数据;
10.对所述运行状态数据进行经验模态分解,得到至少一个特征向量;
11.将所述至少一个特征向量,输入训练好的云平台负载预测模型进行预测处理,得到云平台的计算节点的负载预测结果,并输出。
12.可选的,所述运行状态数据包括以下至少一项:
13.中央处理器cpu利用率;
14.内存利用率;
15.磁盘利用率。
16.可选的,所述云平台负载预测模型通过以下过程进行训练:
17.获取计算节点的一历史时间段内运行状态时间序列数据;
18.将所述运行状态时间序列数据进行经验模态分解,得到特征序列;
19.将所述特征序列输入因果卷积网络的输入层进行处理,得到n个第一层输出;
20.将所述n个第一层输出输入所述因果卷积网络的第一残差模块进行处理,得到n-1个第二层输出;
21.将所述n-1个第二层输出输入所述因果卷积网络的第二残差模块进行处理,得到n-2个第三层输出,直到得到一个第n层输出,n为正整数。
22.可选的,将所述运行状态时间序列数据进行经验模态分解,得到特征序列,包括:
23.获得所述运行状态时间序列数据x(t)的极大值点和极小值点;
24.根据所述极大值点得到上包络线u(t),以及根据所述极小值点得到下包络线l(t);
25.通过公式得到上包络线u(t)和下包络线l(t)的均值m(t);
26.通过公式h(t)=x(t)-m(t),得到中间信号h(t);
27.根据所述均值m(t)和所述中间信号h(t),确定本征模函数imf分量c1(t);
28.通过公式r1(t)=x(t)-c1(t),得到剩余分量r1(t);
29.将所述剩余分量r1(t)作为新的原始信号,并重复迭代计算所述新的原始信号的imf分量cn(t)和剩余分量rn(t),直到所述剩余分量rn(t)无法分解,得到特征序列c1(t),c2(t),...,cn(t)。
30.可选的,所述因果卷积网络的每一个残差模块的处理过程包括:
31.向残差模块中输入矩阵{查询向量q,键向量k,dv维度的值向量v};其中,所述查询向量q和所述键向量k的维度均为dk;
32.将所述q、k、v进行线性变换,分别得到变换后的第一值、第二值和第三值;
33.将所述第一值、第二值和第三值输入到缩放点积注意力机制模块进行处理,得到目标处理结果;
34.将所述目标处理结果,输入软阈值函数中进行过滤处理,得到过滤结果。
35.可选的,缩放点积注意力机制模块通过:
36.得到权重;其中,q为查询向量,k为键向量,v为值向量,为缩放因子;
37.通过multihead(q,k,v)=concat(head1,

,headh)wo,得到h个不同的处理结果,并将h个不同的处理结果进行连接,得到目标处理结果;其中,multihead(q,k,v)为目标处理结果,wo、均为权重参数。
38.可选的,所述软阈值函数为:
[0039][0040]
其中,x是输入的目标处理结果,τ是阈值,y是输出的过滤结果。
[0041]
可选的,云平台负载预测方法,还包括:
[0042]
根据所述负载预测结果,对计算节点进行负载均衡控制。
[0043]
本发明还提供一种云平台负载预测装置,包括:
[0044]
获取模块,用于获取云平台上的计算节点的至少一种运行状态数据;
[0045]
处理模块,用于对所述运行状态数据进行经验模态分解,得到至少一个特征向量;
将所述至少一个特征向量,输入训练好的云平台负载预测模型进行预测处理,得到云平台的计算节点的负载预测结果,并输出。
[0046]
本发明还提供一种计算设备,包括:处理器、存储有计算机程序的存储器,所述计算机程序被处理器运行时,执行如上述的方法。
[0047]
本发明的上述方案至少包括以下有益效果:
[0048]
通过获取云平台上的计算节点的至少一种运行状态数据;对所述运行状态数据进行经验模态分解,得到至少一个特征向量;将所述至少一个特征向量,输入训练好的云平台负载预测模型进行预测处理,得到云平台的计算节点的负载预测结果,并输出;本发明的方案实现了云平台负载预测,提高了负载预测结果的准确率。
附图说明
[0049]
图1是本发明实施例的云平台负载预测方法的流程示意图;
[0050]
图2是本发明提供的具体实施例中因果卷积网络的结构示意图;
[0051]
图3是本发明提供的具体实施例中残差模块的结构示意图;
[0052]
图4是本发明提供的具体实施例中软阈值函数的函数图像示意图;
[0053]
图5是本发明提供的具体实施例中实验数据的示意图;
[0054]
图6是本发明提供的具体实施例中预测cpu利用率数据和真实cpu利用率数据的示意图;
[0055]
图7是本发明提供的具体实施例中云平台负载预测的流程示意图;
[0056]
图8是本发明实施例的云平台负载预测装置的模块框示意图。
具体实施方式
[0057]
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。
[0058]
如图1所示,本发明的实施例提供一种云平台负载预测方法,包括:
[0059]
步骤11,获取云平台上的计算节点的至少一种运行状态数据;
[0060]
步骤12,对所述运行状态数据进行经验模态分解,得到至少一个特征向量;
[0061]
步骤13,将所述至少一个特征向量,输入训练好的云平台负载预测模型进行预测处理,得到云平台的计算节点的负载预测结果,并输出。
[0062]
该实施例中,通过获取云平台上计算节点的至少一种运行状态数据,为了减少运行状态数据中的噪声影响,对运行状态数据进行经验模态分解,通过经验模态分解后的运行状态数据的平稳性和规律性提高,减少了噪声对负载预测结果的影响;将经验模态分解得到的至少一个特征向量输入训练好的云平台负载预测模型进行预测处理,得到云平台的计算节点的负载预测结果,并输出;实现了对云平台中非平稳、高动态变化的数据进行准确预测,不仅可以对噪声进行合理的筛除,而且能够充分提取数据中的非线性特征,对于复杂情况下云平台负载数据预测仍具有良好的精度。
[0063]
本发明一可选的实施例中,所述运行状态数据包括以下至少一项:
[0064]
中央处理器cpu利用率;
[0065]
内存利用率;
[0066]
磁盘利用率。
[0067]
本实施例中,计算节点的运行状态数据包括中央处理器cpu利用率(util:cpu),内存利用率(util:memory),磁盘利用率(util:disk)中的至少一项,其中,cpu利用率、内存利用率以及磁盘利用率优选用百分比表示;
[0068]
需要说明的是,运行状态数据还可以包括时间戳(timestamp)和机器标识号(machineid)。
[0069]
本发明一可选的实施例中,步骤13中的所述云平台负载预测模型通过以下过程进行训练:
[0070]
步骤a1,获取计算节点的一历史时间段内运行状态时间序列数据;
[0071]
步骤a2,将所述运行状态时间序列数据进行经验模态分解,得到特征序列;
[0072]
步骤a3,将所述特征序列输入因果卷积网络的输入层进行处理,得到n个第一层输出;
[0073]
步骤a4,将所述n个第一层输出输入所述因果卷积网络的第一残差模块进行处理,得到n-1个第二层输出;
[0074]
步骤a5,将所述n-1个第二层输出输入所述因果卷积网络的第二残差模块进行处理,得到n-2个第三层输出,直到得到一个第n层输出,n为正整数。
[0075]
本实施例中,对计算节点的历史时间段内的运行状态时间序列数据进行经验模态分解,得到特征序列,该经验模态分解解决了云平台数据中心的运行状态时间序列数据不稳定的问题;
[0076]
这里的运行状态时间序列数据不稳定的问题是指,当运行状态时间序列数据由于突发事件而产生波动(如,由于设备故障导致的运行状态时间序列数据使用量的减少,或网络延时导致的使资源使用量降低等)时,运行状态时间序列数据中会产生骤变的极值点,使得待训练的因果卷积网络的预测难度增加,同时,运行状态时间序列数据在采集的过程中存在的大量噪声导致训练好的云平台负载预测模型的负载预测结果的准确度降低;
[0077]
通过经验模态分解可将原始序列分解为多个特征序列和残差序列,充分地提取出数据特征,从而提高预测的准确度;
[0078]
将特征序列输入因果卷积网络的输入层,得到n个第一层输出,将n个第一层输出输入第一残差模块进行处理,得到n-1个第二层输出,进一步的,将n-1个第二层输出输入第二残差模块进行处理,得到n-2个第三层输出,以此类推,直至得到1个第n层输出为n的正整数;其中,因果卷积网络将卷积操作限定在一个方向上,t时刻的输出只能来自于t-1时刻以及t-1时刻之前的输入,使得因果卷积网络的输出仅取决于历史数据。其中,残差模块用于解决因果卷积网络可能出现的梯度消失和梯度爆炸的问题。
[0079]
如图2所示,一个具体的实施例1中,因果卷积网络的输入层input中,每个位置对应一个历史时间段的运行状态数据,即x0,x1,

,x
n-1
,xn,d为膨胀因子,该膨胀因子可影响感受野的大小,将运行状态数据输入到第一层的残差模块中,与2*1的卷积核做卷积操作,在每层从左向右依次移动,最终传递到顶层(卷积感受野d=8)得到因果卷积的结果yn。
[0080]
本发明一可选的实施例中,步骤a2包括:
[0081]
步骤a21,获得所述运行状态时间序列数据x(t)的极大值点和极小值点;
[0082]
步骤a22,根据所述极大值点得到上包络线u(t),以及根据所述极小值点得到下包络线l(t);
[0083]
步骤a23,通过公式得到上包络线u(t)和下包络线l(t)的均值m(t);
[0084]
步骤a24,通过公式h(t)=x(t)-m(t),得到中间信号h(t);
[0085]
步骤a25,根据所述均值m(t)和所述中间信号h(t),确定本征模函数imf分量c1(t);
[0086]
步骤a26,通过公式r1(t)=x(t)-c1(t),得到剩余分量r1(t);
[0087]
步骤a27,将所述剩余分量r1(t)作为新的原始信号,并重复迭代计算所述新的原始信号的imf分量cn(t)和剩余分量rn(t),直到所述剩余分量rn(t)无法分解,得到特征序列c1(t),c2(t),...,cn(t)。
[0088]
该实施例中,经验模态分解(empirical mode decomposition,emd)通过识别获取运行状态时间序列数据x(t)的极大值点和极小值点;根据极大值点和极小值点,通过插值法,分别得到上包络线u(t)和下包络线l(t);通过公式计算得到上包络线u(t)和下包络线l(t)的均值m(t);通过公式h(t)=x(t)-m(t),得到中间信号h(t);根据均值m(t)和中间信号h(t),确定本征模函数(intrinsic mode function,imf)分量c1(t);
[0089]
这里,根据均值m(t)和中间信号h(t),确定imf分量,包括:
[0090]
步骤a251,若中间信号h(t)满足本征模函数imf的条件,则将满足imf的条件的h(t)记作imf分量c1(t);
[0091]
步骤a252,若中间信号h(t)不满足本征模函数imf的条件,则将h(t)作为新的中间信号,并重复获得上包络线u(t)和下包络线l(t),以及计算上包络线u(t)和下包络线l(t)的均值,直到新的中间信号满足imf的条件,记为imf分量c1(t)。
[0092]
其中,本征模函数imf的条件为:
[0093]
条件1,在运行状态时间序列数据x(t)或剩余分量rn(t)中,极值点和零点的个数必须相等或者最多相差一个;
[0094]
条件2,任意时刻的上包络线和下包络线的平均值必须为零。
[0095]
进一步的,通过公式h(t)=x(t)-m(t),得到剩余分量r1(t);将剩余分量r1(t)作为新的原始信号(新的运行状态时间序列数据),迭代计算该新的原始信号(剩余分量r1(t))的imf分量cn(t)和剩余分量rn(t),直至得到的剩余分量rn(t)无法继续分解,得到特征序列c1(t),c2(t),...,cn(t);该特征序列是由剩余分量rn(t)分解得到的;
[0096]
因此,原始的运行状态时间序列数据可表示为其中,c1(t)到cn(t)分别是频率由高到低的imf分量。
[0097]
通过上述经验模态分解的过程,将运行状态时间序列数据x(t)分解为多个特征序列c1(t),c2(t),...,cn(t)和残差r1(t),r2(t),...,rn(t),分解后的序列具有较好的平稳性和规律性,相较于之间基于运行状态实际序列数据进行负载预测的精确度更高,负载预测结果的表现更好。
[0098]
本发明一可选的实施例中,步骤a4和步骤a5中的所述因果卷积网络的每一个残差模块的处理过程包括:
[0099]
步骤b1,向残差模块中输入矩阵{查询向量q,键向量k,dv维度的值向量v};其中,所述查询向量q和所述键向量k的维度均为dk;
[0100]
步骤b2,将所述q、k、v进行线性变换,分别得到变换后的第一值、第二值和第三值;
[0101]
步骤b3,将所述第一值、第二值和第三值输入到缩放点积注意力机制模块进行处理,得到目标处理结果;
[0102]
步骤b4,将所述目标处理结果,输入软阈值函数中进行过滤处理,得到过滤结果。
[0103]
该实施例中,基于时间卷积网络(temporal convolutional network,tcn),利用因果卷积并引入multi-head-attention(多头注意力机制)及soft thresholding(软阈值)来提高模型的预测能力;multi-head-attention基于缩放点积注意力机制(scaled dot-product attention),具体的,将矩阵{查询向量q,键向量k,dv维度的值向量v}输入残差模块,将查询向量q,键向量k以及值向量v进行线性变换,得到变换后的第一值、第二值和第三值;将第一值、第二值和第三值输入缩放点积注意力机制模块进行处理,得到目标处理结果,将目标处理结果,输入软阈值函数中进行过滤处理,得到过滤结果,实现了对目标处理结果的噪声的过滤;残差模块适用于深度较深的网络模型,通过跨层连接的方式,将被下层的信息恒等映射到上层,随着模型的深度的增加,特征信息也不会减弱,很好的解决了梯度消失和梯度爆炸的问题,对于学习时间序列的长距离依赖关系很有效,增强了模型的非线性拟合能力;
[0104]
需要说明的是,tcn包括因果卷积模块、膨胀卷积模块以及残差连接模块,tcn可以弥补传统的时序建模的并行性较差、训练内存消耗大的问题,tcn的并行性好,不需要顺序的进行处理,给定输入即可并行运算;且具有稳定的梯度,不易出现梯度消失等问题;同时,占用内存低,不需要将每步计算的中间结果保存起来,而tcn的卷积核是共享的,其内存占用更低。
[0105]
本发明一可选的实施例中,步骤b3中的缩放点积注意力机制模块通过:
[0106]
步骤c1,得到权重;其中,q为查询向量,k为键向量,v为值向量,为缩放因子;
[0107]
步骤c2,通过multihead(q,k,v)=concat(head1,

,headh)wo,得到h个不同的处理结果,并将h个不同的处理结果进行连接,得到目标处理结果;其中,multihead(q,k,v)为目标处理结果,wo、均为权重参数。
[0108]
本实施例中,通过查询向量q,键向量k以及值向量v,计算出q和v的点积,再乘以缩放因子并输入到softmax函数中,得到值的权重attention(q,k,v),其中,查询向量q和键向量k的维度为dk,值向量v的维度为dv,通过缩放因子保证缩放点积注意力机制模型
的内积不会过大;
[0109]
进一步的,通过multihead(q,k,v)=concat(head1,

,headh)wo得到h个不同的处理结果,将将h个不同的处理结果进行连接并进行线性变换得到目标处理结果;
[0110]
需要说明的是,softmax函数的定义为(以第i个节点输出为例):
[0111]
其中,zi为第i个节点的输出值,c为输出节点的个数,即分类的类别个数;通过softmax函数可将多分类的输出值转换为范围在[0,1]和为1的概率分布。
[0112]
如图3所示,一个具体的实施例2中,将查询向量q,键向量k以及值向量v输入,通过线性变换模块linear进行线性变换,得到值m1,m2以及m3,将值m1,m2以及m3输入缩放点积注意力机制模块,该缩放点积注意力机制模块为h层,每一层的缩放点积注意力机制模块中依次通过得到权重,通过multihead(q,k,v)=concat(head1,

,headh)wo,得到h个不同的处理结果;
[0113]
进一步的,将h个不同的处理结果通过连接concat模块进行连接,得到连接结果,最终将连接结果输入线性变换模块linear,得到目标处理结果。
[0114]
本发明一可选的实施例中,步骤b4中的所述软阈值函数为:
[0115][0116]
其中,x是输入的目标处理结果,τ是阈值,y是输出的过滤结果。
[0117]
本实施例中,软阈值函数用于信号去噪,软阈值函数可以取出输入数据中的噪声,还同时具有激活函数的功能,软阈值函数将接近零的特征设置为零,这能够有效的过滤掉无用的噪声数据,大大的提高模型的预测精度。
[0118]
需要说明的是,软阈值函数的导数为:
[0119][0120]
其中,是y关于x的导数,导数值只有0和1,y关于x的导数与激活函数relu的性质相似,不仅保留了激活函数relu的部分优点(如,不存在梯度饱和问题、计算速度快等),还能减少了激活函数relu的缺点(如,当输入数据为负时所产生神经元坏死问题(dead relu problem))。
[0121]
如图4所示,一个具体的实施例3中,软阈值函数中的τ值为2时,软阈值函数为:
[0122][0123]
即:
[0124][0125]
进一步的,该软阈值函数的的导数为:
[0126][0127]
其中,x为输入数据,y为输出的过滤结果,τ是阈值,是y关于x的导数,通过软阈值函数实现了对输入数据中的噪声的过滤,大大提高了模型的预测精度。
[0128]
本发明一可选的实施例中,云平台负载预测方法,还包括:
[0129]
步骤14,根据所述负载预测结果,对计算节点进行负载均衡控制。
[0130]
该实施例中,基于训练好的云平台负载预测模型得到云平台的计算节点的负载预测结果,对计算节点上的负载状态进行调整,控制负载均衡。
[0131]
如图5和图6所示,一个具体的实施例3中,在目标集群跟踪数据集(cluster trace)上进行云平台的负载预测,其中,数据集包括8天内的大约4000台机器运行所产生的负载资源,该数据集包括时间戳(timestamp)、机器id(machineid)、cpu利用率(util:cpu)、内存利用率(util:memory)以及磁盘利用率(util:disk)等,每个资源利用率均以百分比表示;
[0132]
随机选取一台主机的负载数据,对该主机的cpu利用率进行预测,实验数据结果如图5所示,进一步的,得到如图6所示的cpu负载预测结果,其中,ture为该主机的真实cpu利用率数据,e-smt为该主机的预测cpu利用率数据,从图6可见,主机的预测cpu利用率数据和主机的真实cpu利用率数据的在同一时间段内的趋势吻合,云平台的负载预测结果准确度高。
[0133]
如图7所示,一个具体的实施例4中,对云平台上目标负载运行状态数据进行处理的过程如下:
[0134]
步骤71,获取运行状态数据的原始数据;由图7可见,该原始数据是一段存在噪声干扰的数据;
[0135]
步骤72,对原始数据进行经验模态分解,得到若干个imf分量;由图7可见,通过经验模态分解,将原始数据分解为多个平稳的分量以及噪声数据,这样以充分提取出原始数据的特征,从而提高负载预测的准确度;
[0136]
步骤73,通过因果卷积模块对若干个imf分量构成的特征序列{x1,x2,

,x
n-1
,xn}进行至少一层的迭代处理,得到输出值{y1,y2,

,y
n-1
,yn};其中,每一层的处理包括对输入值的{查询向量v,键向量k,值向量v}分别进行线性变换处理,得到线性变换结果,进一步,通过缩放点积注意力机制模块对线性变换结果进行处理,得到目标处理结果;将目标处理结果,输入软阈值函数中进行过滤处理,得到过滤结果;
[0137]
步骤74,根据输出值{y1,y2,

,y
n-1
,yn},确定负载预测结果。
[0138]
本发明的实施例通过获取云平台上的计算节点的至少一种运行状态数据;对所述运行状态数据进行经验模态分解,得到至少一个特征向量;将所述至少一个特征向量,输入
训练好的云平台负载预测模型进行预测处理,得到云平台的计算节点的负载预测结果,并输出;实现了云平台负载预测,提高了负载预测结果的准确率。
[0139]
如图8所示,本发明的实施例还提供一种云平台负载预测装置80,包括:
[0140]
获取模块81,用于获取云平台上的计算节点的至少一种运行状态数据;
[0141]
处理模块82,用于对所述运行状态数据进行经验模态分解,得到至少一个特征向量;将所述至少一个特征向量,输入训练好的云平台负载预测模型进行预测处理,得到云平台的计算节点的负载预测结果,并输出。
[0142]
可选的,所述运行状态数据包括以下至少一项:
[0143]
中央处理器cpu利用率;
[0144]
内存利用率;
[0145]
磁盘利用率。
[0146]
可选的,所述云平台负载预测模型通过以下过程进行训练:
[0147]
获取计算节点的一历史时间段内运行状态时间序列数据;
[0148]
将所述运行状态时间序列数据进行经验模态分解,得到特征序列;
[0149]
将所述特征序列输入因果卷积网络的输入层进行处理,得到n个第一层输出;
[0150]
将所述n个第一层输出输入所述因果卷积网络的第一残差模块进行处理,得到n-1个第二层输出;
[0151]
将所述n-1个第二层输出输入所述因果卷积网络的第二残差模块进行处理,得到n-2个第三层输出,直到得到一个第n层输出,n为正整数。
[0152]
可选的,将所述运行状态时间序列数据进行经验模态分解,得到特征序列,包括:
[0153]
获得所述运行状态时间序列数据x(t)的极大值点和极小值点;
[0154]
根据所述极大值点得到上包络线u(t),以及根据所述极小值点得到下包络线l(t);
[0155]
通过公式得到上包络线u(t)和下包络线l(t)的均值m(t);
[0156]
通过公式h(t)=x(t)-m(t),得到中间信号h(t);
[0157]
根据所述均值m(t)和所述中间信号h(t),确定本征模函数imf分量c1(t);
[0158]
通过公式r1(t)=x(t)-c1(t),得到剩余分量r1(t);
[0159]
将所述剩余分量r1(t)作为新的原始信号,并重复迭代计算所述新的原始信号的imf分量cn(t)和剩余分量rn(t),直到所述剩余分量rn(t)无法分解,得到特征序列c1(t),c2(t),...,cn(t)。
[0160]
可选的,所述因果卷积网络的每一个残差模块的处理过程包括:
[0161]
向残差模块中输入矩阵{查询向量q,键向量k,dv维度的值向量v};其中,所述查询向量q和所述键向量k的维度均为dk;
[0162]
将所述q、k、v进行线性变换,分别得到变换后的第一值、第二值和第三值;
[0163]
将所述第一值、第二值和第三值输入到缩放点积注意力机制模块进行处理,得到目标处理结果;
[0164]
将所述目标处理结果,输入软阈值函数中进行过滤处理,得到过滤结果。
[0165]
可选的,缩放点积注意力机制模块通过:
[0166]
得到权重;其中,q为查询向量,k为键向量,v为值向量,为缩放因子;
[0167]
通过multihead(q,k,v)=concat(head1,

,headh)wo,得到h个不同的处理结果,并将h个不同的处理结果进行连接,得到目标处理结果;其中,multihead(q,k,v)为目标处理结果,wo、均为权重参数。
[0168]
可选的,所述软阈值函数为:
[0169][0170]
其中,x是输入的目标处理结果,τ是阈值,y是输出的过滤结果。
[0171]
可选的,处理模块还用于:
[0172]
根据所述负载预测结果,对计算节点进行负载均衡控制。需要说明的是,该装置是与上述方法对应的装置,上述方法实施例中的所有实现方式均适用于该装置的实施例中,也能达到相同的技术效果。
[0173]
本发明的实施例还提供一种计算设备,包括:处理器、存储有计算机程序的存储器,所述计算机程序被处理器运行时,执行如上述的方法。上述方法实施例中的所有实现方式均适用于该实施例中,也能达到相同的技术效果。
[0174]
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
[0175]
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
[0176]
在本发明所提供的实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
[0177]
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0178]
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以
是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
[0179]
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:u盘、移动硬盘、rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。
[0180]
此外,需要指出的是,在本发明的装置和方法中,显然,各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本发明的等效方案。并且,执行上述系列处理的步骤可以自然地按照说明的顺序按时间顺序执行,但是并不需要一定按照时间顺序执行,某些步骤可以并行或彼此独立地执行。对本领域的普通技术人员而言,能够理解本发明的方法和装置的全部或者任何步骤或者部件,可以在任何计算装置(包括处理器、存储介质等)或者计算装置的网络中,以硬件、固件、软件或者它们的组合加以实现,这是本领域普通技术人员在阅读了本发明的说明的情况下运用他们的基本编程技能就能实现的。
[0181]
因此,本发明的目的还可以通过在任何计算装置上运行一个程序或者一组程序来实现。所述计算装置可以是公知的通用装置。因此,本发明的目的也可以仅仅通过提供包含实现所述方法或者装置的程序代码的程序产品来实现。也就是说,这样的程序产品也构成本发明,并且存储有这样的程序产品的存储介质也构成本发明。显然,所述存储介质可以是任何公知的存储介质或者将来所开发出来的任何存储介质。还需要指出的是,在本发明的装置和方法中,显然,各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本发明的等效方案。并且,执行上述系列处理的步骤可以自然地按照说明的顺序按时间顺序执行,但是并不需要一定按照时间顺序执行。某些步骤可以并行或彼此独立地执行。
[0182]
以上所述是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明所述原理的前提下,还可以作出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。
再多了解一些

本文用于企业家、创业者技术爱好者查询,结果仅供参考。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献