基于时间感知的峰值聚类服务器资源预留方法

1.本发明涉及一种基于时间感知的峰值聚类服务器资源预留方法，属于计算机技术领域。


背景技术：

2.随着互联网和物联网的快速发展，以云计算、大数据、人工智能为代表的信息技术正在与传统制造业、农业、金融业、服务业等产业进行结合，改变着人们的生活和生产方式。高科技的发展也带动着智慧城市的变革，通过启发式搜索进行任务-资源的分配受到了关注。因此，任务队列如何在海量的资源中快速、高效、准确的匹配满足需求的服务器资源已经成为一项具有挑战性的任务。
3.为了提高资源的利用率，资源预留技术应运而生。资源预留是一种帮助任务队列快速调度资源的有效方式，资源预留通过提前为目标任务预留资源，充分的利用服务器的历史匹配资源的数据为目标任务预留合适的资源，避免任务队列的长久等待资源分配的情况，同时也增加负载均衡。所以，资源预留成为一种为目标任务匹配到有效资源的重要途径，在资源预留的过程中，任务历史匹配服务器资源的数据十分重要，对进一步的预测资源预留工作有很大帮助。
4.近年来在资源调度方面，weiweilin和jamesz.wang等人为云计算提出了一种基于阈值的动态资源预留方案，该方案基于云计算应用程序的负载变化，在云计算应用程序之间动态分配虚拟资源，并且可以使用阈值方法优化资源重新分配的决策。在平台资源调度的研究上，鲁音隆、阳东升等人提出多维动态列表规划算法来完成联合规划中的资源分配问题，通过启发式搜索进行任务-资源的分配。
5.目前的任务调度更接近于任务与资源的匹配计算和规划方法研究，而未充分考虑到时间等因素。由此可见，只考虑单一因素的资源分配是不够的，如何让资源池的负载更均衡成为急需解决的问题。尽管已经做了很多工作，但在资源管理方面还存在一些问题：
6.1)在现实社会中，同一任务可能会在不同的时间段调度不同的资源，资源的预留将随着时间的推移而不断变化。传统的资源调度算法往往是静态模式，即在为任务预留资源的时候不考虑时间因素，资源调度应该利用这些资源预留动态性来为任务预留更准确的资源。
7.2)数据的稀疏性也是资源预留过程中的一个挑战。由于在真实的云计算系统，不同服务器资源的数量可能是异构且差异巨大的，并且任务不可能调度所有资源，直接导致资源预留的任务-资源矩阵高度稀疏，缺少很多任务调度资源的数据。矩阵的稀疏性对资源预留的预测带来了巨大的挑战。
8.3)存在不可信任务会降低预测的准确性。任务在匹配不同的资源时会产生不同的数据，但是，有的时候任务匹配资源产生的数据中会出现异常数据或者恶意占有资源的数据。目前很少有算法对这些不可信任务(即离群值)做相应的处理，而这些离群值的存在会影响模型预测的准确性。
9.上述问题是在资源预留过程中应当予以考虑并解决的问题。


技术实现要素：

10.本发明的目的是提供一种基于时间感知的峰值聚类服务器资源预留方法解决现有技术中存在的在服务器资源预留中，未充分考虑时间因素、数据的稀疏性、不可信任务，降低资源预留准确性，资源的利用率有待提高的问题。
11.本发明的技术解决方案是：
12.一种基于时间感知的峰值聚类服务器资源预留方法，包括以下步骤，
13.s1、基于数据的动态过程，把数据集中的关于任务(t1,t2
…
tn)在某个时间片(t1,t2
…
tn)上调用某个服务器资源(r1，r2
…
rn)的原始数据，按照时间维度进行划分，使得三维的原始数据分布在各时间片上，得到时间片矩阵r；
14.s2、对划分后的时间片矩阵r，按照任务和资源维度，使用潜在因子模型即lf模型，从稀疏的矩阵中提取密集的任务lf矩阵p和资源lf矩阵q；
15.s3、对任务lf矩阵p和资源lf矩阵q，分别使用密度峰值聚类算法即dpc算法进行聚类，将聚类得到的离散值即不可信任务对应的时间片矩阵r中的值进行去除处理，获得待预测矩阵；
16.s4、对得到的两个待预测矩阵，分别使用低秩矩阵分解，进行资源预留的预测，获得各自的预测矩阵，对两个待预测矩阵做相似的处理；
17.s5、将预测矩阵中设定比例的预测数据，与时间片矩阵r中的数据对比，计算平均绝对误差和均方根误差；
18.s6、根据步骤s5得到的平均绝对误差和均方根误差，计算任务lf矩阵p中对应的rmse、mae值；
19.s7、找出准确度最高的资源预留给目标任务，获得任务预留预测结果最好的资源列表。
20.进一步地，步骤s3中，对任务lf矩阵p和资源lf矩阵q，分别使用密度峰值聚类算法即dpc算法进行聚类，将聚类得到的离散值即不可信任务对应的时间片矩阵r中的值进行去除处理，获得待预测矩阵，具体为，
21.s31、对任务lf矩阵p和资源lf矩阵q使用密度峰值聚类算法进行聚类后，判定是否存在离散值，如果存在时，进入步骤s32；否则，进入步骤s33；
22.s32、根据聚类结果将时间片矩阵r中对应的值设为零，去除离散值即不可信任务，获得降噪后的矩阵r1并作为待预测矩阵；
23.s33、根据聚类得到的邻域，将时间片矩阵r划分为邻域矩阵并作为待预测矩阵。
24.进一步地，步骤s31中，对任务lf矩阵p和资源lf矩阵q使用dpc密度峰值聚类算法进行聚类后，判定是否存在离散值，具体为，
25.s311、矩阵中任意两个数据点之间的距离为d
ij
，计算任意数据点xi的局部密度ρi和σi，σi为数据点xi到局部密度比它大且距离最近的数据点xj的距离；以ρi为横轴，σi为纵轴，画出数据点决策图；
26.s312、利用决策图，将ρi和σi相对较高的数据点标记为簇中心，将ρi相对较低但σi相对较高的数据点标记为噪声点，得到聚类后的各个簇和离散值点。
27.进一步地，步骤s4中，对得到的两个待预测矩阵，分别使用低秩矩阵分解，进行资源预留的预测，获得各自的预测矩阵，具体为，
28.s41、通过下式将每个簇的二维待预测矩阵x分解两个矩阵u和v：
[0029][0030]
其中，待预测矩阵x是一个n
×
m的矩阵，矩阵u是分解后的r
×
n的矩阵，矩阵v是分解后的r
×
m的矩阵，p代表的是第p范式；
[0031]
s42、使用l1范式低秩矩阵分解，因此得到：
[0032][0033]
其中，
⊙
代表的是哈达玛积，w和x都为n
×
m的矩阵，矩阵w为待预测矩阵x的观测矩阵，当待预测矩阵中的元素x
ij
存在时，w
ij
为1；x
ij
不存在时，w
ij
为0；
[0034]
s42、为了缩小求解空间并提高优化收敛性，得到：
[0035][0036]
其中，λ表示的是平衡因子，||v)||
*
表示的是奇异值之和v的轨迹范数；
[0037]
s43、使用增强拉格朗日乘数计算出分解后的矩阵u
opt
和v
opt
；
[0038]
s44、接着根据公式得到补全和恢复后的矩阵x
opt
；
[0039]
s45、将每个聚类后的类簇补全后的矩阵重新按照时间片矩阵r中的顺序恢复，得到补全后的矩阵b作为预测矩阵。
[0040]
进一步地，步骤s5中，将预测矩阵中设定比例的预测数据，与原始矩阵中的数据对比，计算平均绝对误差和均方根误差，具体为，
[0041]
将步骤s45得到的补全后的矩阵b中预测数据和原始矩阵中的数据对比，根据以下公式分别计算mae值和rmse值：
[0042][0043][0044]
其中，r
ui
是原始的任务预留值，是预测的任务预留值，n是预测出的预留资源的总数；rmse和mae的值越小，表示预测结果越准确。
[0045]
进一步地，步骤s7中，找出准确度最高的资源预留给目标任务，获得任务预留预测结果最好的资源列表，具体为，分别对当前时间的前一个时间片矩阵和后一个时间片矩阵执行步骤s2-s6，获得这两个时间片的任务lf矩阵p中对应的rmse、mae值，分别给以设定权重，然后找出准确度最高的资源预留给目标任务，获得任务预留预测结果最好的资源列表。
[0046]
本发明的有益效果是：
[0047]
一、该种基于时间感知的峰值聚类服务器资源预留方法，从时间维度对初始数据进行划分，充分的考虑时间因素对资源预留的影响，并对数据进行了降噪的处理，能够提高资源预留的准确性，并且能够提高资源的利用率。
[0048]
二、该种基于时间感知的峰值聚类服务器资源预留方法，不同于传统的静态模式，本发明基于数据的动态过程，按时间维度对初始数据进行划分；然后对每个时间片中的任务/资源矩阵运用lf潜在因子模型，对稀疏的矩阵做密集提取；再运用dpc的密度峰值聚类算法对数据进行聚类，筛选不可信任务；最后根据lmf低秩矩阵分解对处理后的数据进行预测来为任务预留出合适的资源。能够使任务快速匹配到合适的资源并且提高资源的利用率，避免造成资源的浪费。
附图说明
[0049]
图1是本发明实施例基于时间感知的峰值聚类服务器资源预留方法的流程示意图；
[0050]
图2是实施例中对数据集按时间维度切分的效果示意图。
[0051]
图3是实施例中密度峰值聚类算法dpc的流程示意图。
具体实施方式
[0052]
下面结合附图详细说明本发明的优选实施例。
[0053]
实施例
[0054]
一种基于时间感知的峰值聚类服务器资源预留方法，如图1，包括以下步骤，
[0055]
s1、基于数据的动态过程，把数据集中的关于任务(t1,t2
…
tn)在某个时间片(t1,t2
…
tn)上调用某个服务器资源(r1，r2
…
rn)的原始数据，按照时间维度进行划分，使得三维的原始数据分布在各时间片上，得到时间片矩阵r，如图2。在不同的时间片上，同一个的任务可能需要调用不同的资源。
[0056]
s2、对划分后的时间片矩阵r，按照用户和服务维度，使用潜在因子模型lf，从稀疏的矩阵中提取密集的任务lf矩阵p和资源lf矩阵q；
[0057]
s3、对任务lf矩阵p和资源lf矩阵q，分别使用密度峰值聚类算法即dpc算法进行聚类，将聚类得到的离散值即不可信任务对应的时间片矩阵r中的值进行去除处理，获得待预测矩阵；具体为，
[0058]
s31、对任务lf矩阵p和资源lf矩阵q使用密度峰值聚类算法进行聚类后，判定是否存在离散值，如果存在时，进入步骤s32；否则，进入步骤s33；
[0059]
步骤s31中，对任务lf矩阵p和资源lf矩阵q使用dpc密度峰值聚类算法进行聚类后，判定是否存在离散值，具体为，如图3：
[0060]
s311、矩阵中任意两个数据点之间的距离为d
ij
，计算任意数据点xi的局部密度ρi和σi，σi为数据点xi到局部密度比它大且距离最近的数据点xj的距离；以ρi为横轴，σi为纵轴，画出数据点决策图；
[0061]
s312、利用决策图，将ρi和σi相对较高的数据点标记为簇中心，将ρi相对较低但σi相对较高的数据点标记为噪声点，得到聚类后的各个簇和离散值点。
[0062]
s32、根据聚类结果将时间片矩阵r中对应的值设为零，去除离散值即不可信任务，获得降噪后的矩阵r1并作为待预测矩阵；
[0063]
s33、根据聚类得到的邻域，将时间片矩阵r划分为邻域矩阵并作为待预测矩阵。
[0064]
s4、s4、对得到的两个待预测矩阵，分别使用低秩矩阵分解，进行资源预留的预测，
获得各自的预测矩阵，对两个待预测矩阵做相似的处理；
[0065]
s41、通过下式将每个簇的二维待预测矩阵x分解两个矩阵u和v：
[0066][0067]
其中，待预测矩阵x是一个n
×
m的矩阵，矩阵u是分解后的r
×
n的矩阵，矩阵v是分解后的r
×
m的矩阵，p代表的是第p范式；
[0068]
s42、使用l1范式低秩矩阵分解，因此得到：
[0069][0070]
其中，
⊙
代表的是哈达玛积，w和x都为n
×
m的矩阵，矩阵w为待预测矩阵x的观测矩阵，当待预测矩阵中的元素x
ij
存在时，w
ij
为1；x
ij
不存在时，w
ij
为0；
[0071]
s42、为了缩小求解空间并提高优化收敛性，得到：
[0072][0073]
其中，λ表示的是平衡因子，||v)||
*
表示的是奇异值之和v的轨迹范数；
[0074]
s43、使用增强拉格朗日乘数计算出分解后的矩阵u
opt
和v
opt
；
[0075]
s44、接着根据公式得到补全和恢复后的矩阵x
opt
；
[0076]
s45、将每个聚类后的类簇补全后的矩阵重新按照时间片矩阵r顺序恢复，得到补全后的矩阵b作为预测矩阵。
[0077]
s5、将预测矩阵中设定比例的预测数据，与时间片矩阵r中的数据对比，计算平均绝对误差和均方根误差；
[0078]
将步骤s45得到的补全后的矩阵b中预测数据和原始矩阵中的数据对比，根据以下公式分别计算mae值和rmse值：
[0079][0080][0081]
其中，r
ui
是原始的任务预留值，是预测的任务预留值，n是预测出的预留资源的总数；rmse和mae的值越小，表示预测结果越准确。
[0082]
s6、根据步骤s5得到的平均绝对误差和均方根误差，计算任务lf矩阵p中对应的rmse、mae值；
[0083]
s7、找出准确度最高的资源预留给目标任务，获得任务预留预测结果最好的资源列表。具体为，分别对当前时间的前一个时间片矩阵和后一个时间片矩阵执行步骤s2-s6，获得这两个时间片的任务lf矩阵p中对应的rmse、mae值，分别给以设定权重，然后找出准确度最高的资源预留给目标任务，获得任务预留预测结果最好的资源列表。
[0084]
该种基于时间感知的峰值聚类服务器资源预留方法，从时间维度对初始数据进行划分，充分的考虑时间因素对资源预留的影响，并对数据进行了降噪的处理，能够提高资源预留的准确性，并且能够提高资源的利用率。
[0085]
该种基于时间感知的峰值聚类服务器资源预留方法，不同于传统的静态模式，本发明基于数据的动态过程，按时间维度对初始数据进行划分；然后对每个时间片中的任务/资源矩阵运用潜在因子模型(latency factor，lf)，对稀疏的矩阵做密集提取；再运用密度峰值聚类算法即dpc(density peak cluster，dpc)算法对数据进行聚类，筛选不可信任务；最后根据lmf低秩矩阵分解对处理后的数据进行预测来为任务预留出合适的资源。能够使任务快速匹配到合适的资源并且提高资源的利用率，避免造成资源的浪费。
[0086]
该种基于时间感知的峰值聚类服务器资源预留方法，按照时间维度对数据进行划分，充分考虑时间因素对资源分配的影响；对稀疏矩阵使用lf潜在因子模型来提取密集的数据，实现提取高密度矩阵；使用dpc密度峰值聚类算法，来过滤数据中的离散值以提高资源预留的准确性；运用lmf低秩矩阵分解技术，来预测需要预留的资源；计算补全后的各个r*的均方根误差(rmse)和平均绝对误差(mae)。根据准确度的衡量值rmse和mae来判断，如果衡量值越小，预测的准确度越高，达到为目标任务预留最合适的资源的目的。
[0087]
该种基于时间感知的峰值聚类服务器资源预留方法，使用lf潜在因子模型对根据时间划分后的任务-资源矩阵进行提取，然后与密度峰值聚类算法相结合来排除不可信任务，最后运用低秩矩阵分解的预测算法来补全任务-资源的缺失值，把预测资源最好的列表推荐给目标任务。
[0088]
该种基于时间感知的峰值聚类服务器资源预留方法，能够在海量的资源中实时、快速准确地为目标任务预留出满足任务需求的资源。基于时间维度对任务-资源数据进行划分，然后通过潜在因子模型lf把数据从十分稀疏的矩阵中提取到低维的密集矩阵中，再对低维矩阵运用密度峰值聚类，过滤出影响预测资源预留的离散值，实现对数据的降噪处理，最后用低秩矩阵分解技术(low matrix factorization，lmf)对资源进行预测，为目标任务预留预测结果最好的资源列表。该方法从时间维度对任务-资源初始数据进行划分，充分考虑时间因素对资源分配的影响，并且对数据做了降噪的处理，提高了资源预留的准确性，让任务快速匹配到所需资源，避免造成任务队列的拥堵，提高了资源的利用率。
[0089]
以上所述仅为本发明的较佳实施方式，本发明的保护范围并不以上述实施方式为限，但凡本领域普通技术人员根据本发明所揭示内容所作的等效修饰或变化，皆应纳入权利要求书中记载的保护范围内。