一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

垃圾数据删除性能预测方法、装置、设备、存储介质与流程

2022-09-03 23:05:05 来源:中国专利 TAG:


1.本发明涉及计算机技术领域,特别涉及垃圾数据删除性能预测方法、装置、设备、存储介质。


背景技术:

2.随着信息技术的发展,全球数据不断增长,人们对于海量数据的管理也越来越重视。ceph系统是当前流行的一个分布式开源存储系统,其中的对象存储集群因具有良好的共享性和传输速度而被广泛应用于银行、通信运营商等行业。在对象存储中,一个桶内的对象数量上亿是很常见的,而在存储过程中,不可避免地产生大量过期或废弃的数据,当前清空桶内的对象是个耗时且难以控制的过程。垃圾数据的删除特性的性能主要由并发线程和每次列举对象数决定,同时,也受集群节点的删除性能影响。针对不同的业务场景对垃圾数据删除性能预测的性能需要也不同,通过配置参数来对垃圾数据删除性能预测的性能进行预测是一个重要的任务。
3.综上,如何实现垃圾数据删除性能的预测,预测垃圾数据的删除速度,方便业务人员对垃圾数据删除性能预测功能进行优化以及故障的检测是本领域有待解决的技术问题。


技术实现要素:

4.有鉴于此,本发明的目的在于提供一种垃圾数据删除性能预测方法、装置、设备、存储介质,能够实现垃圾数据删除性能的预测,预测垃圾数据的删除速度,方便业务人员对垃圾数据删除性能预测功能进行优化以及故障的检测。其具体方案如下:
5.第一方面,本技术公开了一种垃圾数据删除性能预测方法,包括:
6.采集对象存储中的输入参数对应的性能数据,作为采样数据;
7.利用所述采样数据对原始极限学习机模型进行训练,以得到训练后的极限学习机模型;
8.利用所述训练后的极限学习机模型对对象存储集群中的数据进行垃圾数据预测,并对所述垃圾数据进行删除。
9.可选的,所述采集对象存储中的输入参数对应的性能数据,作为采样数据,包括:
10.采集对象存储中的并发线程数、每次列举对象数和集群删除性能,作为采样数据。
11.可选的,所述利用所述采样数据对原始极限学习机模型进行训练,以得到训练后的极限学习机模型,包括:
12.将所述对象存储中的所述并发线程数、所述每次列举对象数和所述集群删除性能输入至原始极限学习机模型中进行训练,以得到训练后的极限学习机模型。
13.可选的,所述利用所述采样数据对原始极限学习机模型进行训练,以得到训练后的极限学习机模型之前,还包括:
14.预先构建所述原始极限学习机模型,并利用所述原始极限学习机模型生成输入权重和隐层偏置。
15.可选的,所述利用所述采样数据对原始极限学习机模型进行训练,包括:
16.将所述采样数据输入原始极限学习机模型,基于所述输入权重和所述隐层偏置计算隐层到输出层的输出权重,并计算隐层输出矩阵;
17.基于所述隐层输出矩阵确定所述隐层与所述输出层之间的连接权值。
18.可选的,所述利用所述采样数据对原始极限学习机模型进行训练,以得到训练后的极限学习机模型之前,还包括:
19.预先设置隐层节点数以及构建激活函数。
20.可选的,所述利用所述采样数据对原始极限学习机模型进行训练,以得到训练后的极限学习机模型之后,还包括:
21.将验证数据集输入至所述训练后的极限学习机模型,以便所述训练后的极限学习机模型输出相应的垃圾数据删除性能的预测结果;
22.利用预设准确率验证算法对所述预测结果进行准确率的验证。
23.第二方面,本技术公开了一种垃圾数据删除性能预测装置,包括:
24.数据采集模块,用于采集对象存储中的输入参数对应的性能数据,作为采样数据;
25.模型训练模块,用于利用所述采样数据对原始极限学习机模型进行训练,以得到训练后的极限学习机模型;
26.性能预测模块,用于利用所述训练后的极限学习机模型对对象存储集群中的数据进行垃圾数据删除速度的性能预测。
27.第三方面,本技术公开了一种电子设备,包括:
28.存储器,用于保存计算机程序;
29.处理器,用于执行所述计算机程序,以实现前述公开的垃圾数据删除性能预测方法的步骤。
30.第四方面,本技术公开了一种计算机可读存储介质,用于存储计算机程序;其中,所述计算机程序被处理器执行时实现前述公开的垃圾数据删除性能预测方法的步骤。
31.可见,本技术公开了一种垃圾数据删除性能预测方法,包括:采集对象存储中的输入参数对应的性能数据,作为采样数据;利用所述采样数据对原始极限学习机模型进行训练,以得到训练后的极限学习机模型;利用所述训练后的极限学习机模型对对象存储集群中的数据进行垃圾数据删除速度的性能预测。由此可见,由于垃圾数据的删除特性的性能主要由并发线程和每次列举对象数决定,同时,也受集群节点的删除性能影响,针对不同的业务场景对垃圾数据删除性能预测的性能需要也不同,本技术通过使用极限学习机为原始极限学习机模型,利用对象存储中的性能数据作为采样数据,训练一个能够对垃圾数据准确预测的极限学习机模型,通过配置参数来对垃圾数据删除性能预测的性能进行预测,并利用训练后的极限学习机模型对对象存储中的桶级别的数据删除性能进行预测,实现了桶级别的垃圾数据删除速度的预测,并且对比当前流行的人工神经网络,利用极限学习机模型训练出的能够预测垃圾数据删除速度的模型不需要迭代,一次学习即可得到训练后模型,并且随机参数的设置通常能有更好的泛化性能,学习速度极快。
附图说明
32.为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现
有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
33.图1为本技术公开的一种垃圾数据删除性能预测方法流程图;
34.图2为本技术公开的一种elm结构图;
35.图3为本技术公开的一种具体的垃圾数据删除性能预测方法流程图;
36.图4为本技术公开的一种垃圾数据删除性能预测装置结构示意图;
37.图5为本技术公开的一种电子设备结构图。
具体实施方式
38.下面将结合本技术实施例中的附图,对本技术实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
39.随着信息技术的发展,全球数据不断增长,人们对于海量数据的管理也越来越重视。ceph系统是当前流行的一个分布式开源存储系统,其中的对象存储集群因具有良好的共享性和传输速度而被广泛应用于银行、通信运营商等行业。在对象存储中,一个桶内的对象数量上亿是很常见的,而在存储过程中,不可避免地产生大量过期或废弃的数据,当前清空桶内的对象是个耗时且难以控制的过程。垃圾数据的删除特性的性能主要由并发线程和每次列举对象数决定,同时,也受集群节点的删除性能影响。针对不同的业务场景对垃圾数据删除性能预测的性能需要也不同,通过配置参数来对垃圾数据删除性能预测的性能进行预测是一个重要的任务。
40.为此,本技术公开了一种垃圾数据预测方案,能够实现垃圾数据删除性能的预测,预测垃圾数据的删除速度,方便业务人员对垃圾数据删除性能预测功能进行优化以及故障的检测。
41.参照图1所示,本发明实施例公开了一种垃圾数据删除性能预测方法,包括:
42.步骤s11:采集对象存储中的输入参数对应的性能数据,作为采样数据。
43.本实施例中,采集ceph系统的bucket中存储的对象的输入参数对应的性能数据,其中ceph系统是一种高性能、可靠性强和高扩展性的分布式存储系统,是自由的海量存储系统。根据场景划分可以将ceph分为三大块,分别是对象存储、块设备和文件系统服务。ceph的主要优点是分布式存储,在存储每一个数据时,都会通过计算得出该数据存储的位置,尽量将数据分布均衡,不存在传统的单点故障的问题,可以水平扩展,其中,rgw(rados gateway,即对象存储网关)是ceph中的核心组件,由于rados自身是一个完整的分布式对象存储系统,它具有可靠、智能、分布式等特性,因此,ceph的高可靠、高可拓展、高性能、高自动化都是由这一层来提供的,用户数据的存储最终也都是通过这一层来进行存储的,本实施例中,ceph中的对象存储,也即云存储,是面向对象/文件的,且海量的互联网存储。对象存储里的对象是经过封装了的文件,在对象存储系统里,不能直接打开/修改文件,但可以像ftp一样上传文件,下载文件等。另外,对象存储没有像文件系统那样有一个很多层级的文件结构,而是只有一个桶的概念,所述桶也就是存储空间,桶里面全部都是对象,是一种
非常扁平化的存储方式。其最大的特点就是它的对象名称就是一个域名地址,一旦对象被设置为公开,所有网民都可以访问到。对象存储最主流的使用场景,就是存储网站、移动app等互联网/移动互联网应用的静态内容,其中,所述静态内容具体可以包括但不限于:视频、图片、文件、软件安装包等。但由于桶中存储的数据随着用户需求的不断增加,在一段时间过后某些数据内容不被用户需要,或其他因素导致产生大量的垃圾数据存储在桶中,并且为了保证高可用性,ceph存储集群应该保存两份以上的对象副本。ceph osd守护进程自动在其它ceph节点上创建对象副本来确保数据安全和高可用性,这样一来,也就会产生数量庞大的垃圾数据。因此,采集对象存储中bucket中的输入参数对应的性能数据,作为采样数据。
44.步骤s12:利用所述采样数据对原始极限学习机模型进行训练,以得到训练后的极限学习机模型。
45.本实施例中,首先elm(extreme learning machine,极限学习机)是一种简单易用、有效的单隐层前馈神经网络slfns(single-hidden layer feedforward networks,单隐层前馈神经网络)学习算法。传统的神经网络学习算法,例如:bp(back propagation)算法,需要人为设置大量的网络训练参数,并且很容易产生局部最优解。极限学习机只需要设置网络的隐层节点个数,在算法执行过程中不需要调整网络的输入权值以及隐元的偏置,并且产生唯一的最优解,因此具有学习速度快且泛化性能好的优点。elm其主要思想是:输入层与隐藏层之间的权值参数,以及隐藏层上的偏置向量参数是once for all的,不需要像其他基于梯度的学习算法一样通过迭代反复调整刷新,求解很直接,只需求解一个最小范数最小二乘问题,也即最终化归成求解一个矩阵的moore penrose广义逆问题。因此,该算法具有训练参数少、速度非常快等优点。
46.本实施例中,将所述采样数据输入原始极限学习机模型,基于所述输入权重和所述隐层偏置计算隐层到输出层的输出权重,并计算隐层输出矩阵;基于所述隐层输出矩阵确定所述隐层与所述输出层之间的连接权值。利用所述采样数据对原始极限学习机模型进行训练,以得到训练后的极限学习机模型之前,还包括:预先构建所述原始极限学习机模型,并利用所述原始极限学习机模型生成输入权重和隐层偏置。可以理解的是,参照图2所示,表示一个slfns,首先elm随机生成输入权重,并计算出隐层到输出的输出权重。给定隐含层节点数和激活函数,输入权值与隐含层偏置则随机生成。求出隐含层输出矩阵h。如下列公式:
47.pj=(x
j1
,x
j2
,...,x
jn
)
t
∈rn;
48.tj=(t
j1
,t
j2
,...,t
jn
)
t
∈rm;
49.其中,pj表示第j个采样样本的输入向量,tj表示第j个采样样本的输出向量,n表示输入层的维度,m表示输入层的维度,j表示采样样本,j=1,2,

,n,n表示采样样本总数。
50.将所有输出向量tj按行拼接起来,可得到整体输出矩阵,如下列公式所示:
51.52.其中,t表示整体输出矩阵,表示隐含层单元的个数。
53.另外,在输入层和隐藏层之间还存在一个权矩阵,公式如下:
[0054][0055]
其中,w表示权矩阵,i表示第几个隐含层单元。
[0056]
另外,还需要设置隐含层偏置向量b,并计算隐层与输出层之前的权矩阵β,其中β的第i行对应的向量如下所示:
[0057]
βi=(β
i1

i2
,...,β
im
)
t

[0058]
本实施例中,所述利用所述采样数据对原始极限学习机模型进行训练,以得到训练后的极限学习机模型之前,还包括:预先设置隐层节点数以及构建激活函数。可以理解的是,首先预先设置隐层节点数和构建激活函数g(x),由于在数学上标准的slfns模型如下所示:
[0059][0060]
单隐层神经网络的最终目的是为了是输出的误差最小,在极限情况下为零误差逼近,可以表示为:
[0061][0062]
也即存在βi,ωi,bi使上述n个线性方程组可以简单用矩阵表示,如下所示:
[0063]
hβ=t;
[0064]
其中,h表示为隐含层输出矩阵,然后求解最小二乘解为:
[0065][0066]
其中是h的广义逆矩阵,利用svd分解等许多方法均可以求出。
[0067]
本实施例中,利用所述采样数据对原始极限学习机模型进行训练,以得到训练后的极限学习机模型之前,还包括:预先构建所述原始极限学习机模型,并利用所述原始极限学习机模型生成输入权重和隐层偏置。可以理解的是,由于极限学习机的特性,elm可以随机初始化输入权重和偏置并得到相应的输出权重。
[0068]
步骤s13:利用所述训练后的极限学习机模型对对象存储集群中的数据进行垃圾数据删除速度的性能预测。
[0069]
本实施例中,利用所述训练后的极限学习机模型对对象存储集群中的数据进行垃圾数据删除速度的预测,可以理解的是,将elm模型加入集群中,进行垃圾数据删除性能预测,业务人员可以根据所得预测的性能来决定优化的参数或者排除故障。
[0070]
可见,本技术公开了一种垃圾数据删除性能预测方法,包括:采集对象存储中的输入参数对应的性能数据,作为采样数据;利用所述采样数据对原始极限学习机模型进行训练,以得到训练后的极限学习机模型;利用所述训练后的极限学习机模型对对象存储集群中的数据进行垃圾数据删除速度的性能预测。由此可见,由于垃圾数据的删除特性的性能主要由并发线程和每次列举对象数决定,同时,也受集群节点的删除性能影响,针对不同的业务场景对垃圾数据删除性能预测的性能需要也不同,本技术通过使用极限学习机为原始极限学习机模型,利用对象存储中的性能数据作为采样数据,训练一个能够对垃圾数据准
确预测的极限学习机模型,通过配置参数来对垃圾数据删除性能预测的性能进行预测,并利用训练后的极限学习机模型对对象存储中的桶级别的数据删除性能进行预测,实现了桶级别的垃圾数据删除速度的预测,并且对比当前流行的人工神经网络,利用极限学习机模型训练出的能够预测垃圾数据删除速度的模型不需要迭代,一次学习即可得到训练后模型,并且随机参数的设置通常能有更好的泛化性能,学习速度极快。
[0071]
参照图3所示,本发明实施例公开了一种具体的垃圾数据删除性能预测方法,相对于上一实施例,本实施例对技术方案作了进一步的说明和优化。具体的:
[0072]
步骤s21:采集对象存储中的并发线程数、每次列举对象数和集群删除性能,作为采样数据。
[0073]
本实施例中,为模拟垃圾数据删除性能预测性能的模型,首先获取了垃圾数据删除性能预测性能和所设置的参数,包括垃圾数据删除性能预测的性能,并发线程数(w_nu)、每次列举对象数(l_nu)、集群删除性能(p_no),例如,可以获取1000组实验数据作为本次输入原始极限学习机模型的输入数据。然后构建并验证elm预测模型,并将模型用于实际性能预测。可以理解的是,由于本实施例目的是快速训练出模拟垃圾数据删除性能预测性能的极限学习机模型,因此,需要先采集输入训练极限学习机的采样数据,有关于ceph系统中垃圾数据删除性能预测的性能数据可以包括并发线程数、每次列举对象数和集群删除性能的性能数据。因此为了训练上述极限学习机模型,需要预先采集ceph系统中影响垃圾数据删除性能预测功能的性能数据。另外,对象存储是无层次结构的数据存储方法,对象存储中每一条数据都作为单独的对象存储,拥有唯一的地址来识别数据对象,通常用于云计算环境中不同于其他数据存储方法,基于对象的存储不使用目录树数据作为单独的对象进行存储;数据并不放置在目录层次结构中,而是存在于平面地址空间内的同一级别;应用通过唯一地址来识别每个单独的数据对象;每个对象可包含有助于检索的元数据;对象存储中的对象通常不需要再修改,如果需要修改只能下载下来修改再重新上传,无法直接修改;专为使用api在应用级别,而非用户级别进行访问而设计。
[0074]
步骤s22:将所述对象存储中的所述并发线程数、所述每次列举对象数和所述集群删除性能输入至原始极限学习机模型中进行训练,以得到训练后的极限学习机模型。
[0075]
本实施例中,将对象存储中的并发线程数、每次列举对象数和集群删除性能的性能数据输入至原始极限学习模型进行训练,以得到训练后的极限学习机模型。可以理解的是,将上述性能数据作为样本,并将其作为原始极限学习模型的输入,然后结合预先设置的激活函数、随机生成的权值和隐含层偏置,求取隐含层输出矩阵,最终求取最小二乘解求出隐含层与输出层之间的连接权值。
[0076]
步骤s23:将验证数据集输入至所述训练后的极限学习机模型,以便所述训练后的极限学习机模型输出相应的垃圾数据删除性能的预测结果;利用预设准确率验证算法对所述预测结果进行准确率的验证,以得到验证后的极限学习机模型。
[0077]
本实施例中,将验证数据集输入至所述训练后的极限学习机模型,以便所述训练后的极限学习机模型输出相应的垃圾数据预测结果;可以理解的是,在进行数据采样的过程中使用十折交叉验证的方式来验证训练的模型是否表现符合要求,将采样数据集分成十份,轮流将其中9份作为训练数据,1份作为测试数据,进行试验,每次试验都会得出相应的正确率或差错率。10次的验证结果的正确率或差错率的平均值作为对训练后学习机的精度
的估计,一般还需要进行多次十折交叉验证,例如10次十折交叉验证,再求其正确率或差错率的均值,这样一来,大大提高了验证训练后的极限学习机的垃圾数据预测性能的准确性,最终使用多次十折交叉验证得到的正确率或者差错率的平均值作为对模型预测垃圾性能准确性的估计。利用预设准确率验证算法对所述垃圾数据预测结果进行准确率的验证,以得到验证后的极限学习机模型。
[0078]
步骤s24:利用所述验证后的极限学习机模型对对象存储集群中的数据进行垃圾数据删除速度的性能预测。
[0079]
本实施例中,利用所述验证后的极限学习机模型对对象存储集群中的数据进行垃圾数据删除预测,可以理解的是,将验证后的极限学习机模型加入对象存储集群中,然后利用所述验证后的极限学习机模型对ceph系统中的对象存储的数据进行垃圾数据删除速度的预测,其中,本实施例中,所述垃圾删除性能预测即垃圾数据删除速度的预测。
[0080]
由此可见,本发明实施例中,将对象集群的配置参数作为特征输入,垃圾数据删除性能预测性能作为输出,使用elm来构建垃圾数据删除性能预测性能的预测模型,而elm的优点在于在训练的过程中不需要迭代,一次学习即可得到训练后模型,随机参数的设置通常能有更好的泛化性能,并且elm模型拥有极快的学习速度,因此本实施例中,采用elm来训练一个垃圾数据删除性能预测性能模型,能够根据对象存储集群的配置参数来预测垃圾数据删除性能预测性能,可以方便业务人员对垃圾数据删除性能预测功能进行优化以及故障的检测。
[0081]
参照图4所示,本发明实施例还相应公开了一种垃圾数据删除性能预测装置,包括:
[0082]
数据采集模块11,用于采集对象存储中的输入参数对应的性能数据,作为采样数据;
[0083]
模型训练模块12,用于利用所述采样数据对原始极限学习机模型进行训练,以得到训练后的极限学习机模型;
[0084]
性能预测模块13,用于利用所述训练后的极限学习机模型对对象存储集群中的数据进行垃圾数据删除速度的性能预测。
[0085]
在所述数据采集模块11中,采集对象存储中的输入参数对应的性能数据,作为采样数据。本实施例中,采集ceph系统的bucket中存储的对象的输入参数对应的性能数据,其中ceph系统是一种高性能、可靠性强和高扩展性的分布式存储系统,是自由的海量存储系统。根据场景划分可以将ceph分为三大块,分别是对象存储、块设备和文件系统服务。ceph的主要优点是分布式存储,在存储每一个数据时,都会通过计算得出该数据存储的位置,尽量将数据分布均衡,不存在传统的单点故障的问题,可以水平扩展,其中,rgw是ceph中的核心组件,由于rados自身是一个完整的分布式对象存储系统,它具有可靠、智能、分布式等特性,因此,ceph的高可靠、高可拓展、高性能、高自动化都是由这一层来提供的,用户数据的存储最终也都是通过这一层来进行存储的,本实施例中,ceph中的对象存储,也即云存储,是面向对象/文件的,且海量的互联网存储。对象存储里的对象是经过封装了的文件,在对象存储系统里,不能直接打开/修改文件,但可以像ftp一样上传文件,下载文件等。另外,对象存储没有像文件系统那样有一个很多层级的文件结构,而是只有一个桶的概念,所述桶也就是存储空间,桶里面全部都是对象,是一种非常扁平化的存储方式。其最大的特点就是
它的对象名称就是一个域名地址,一旦对象被设置为公开,所有网民都可以访问到。对象存储最主流的使用场景,就是存储网站、移动app等互联网/移动互联网应用的静态内容,其中,所述静态内容具体可以包括但不限于:视频、图片、文件、软件安装包等。但由于桶中存储的数据随着用户需求的不断增加,在一段时间过后某些数据内容不被用户需要,或其他因素导致产生大量的垃圾数据存储在桶中,并且为了保证高可用性,ceph存储集群应该保存两份以上的对象副本。ceph osd守护进程自动在其它ceph节点上创建对象副本来确保数据安全和高可用性,这样一来,也就会产生数量庞大的垃圾数据。因此,采集对象存储中bucket中的输入参数对应的性能数据,作为采样数据。
[0086]
在所述性能预测模块13中,利用所述训练后的极限学习机模型对对象存储集群中的数据进行垃圾数据删除速度的预测,并对所述垃圾数据进行删除,可以理解的是,将elm模型加入集群中,进行性能预测,业务人员可以根据所得预测的性能来决定优化的参数或者排除故障。
[0087]
可见,本技术公开了一种垃圾数据删除性能预测方法,包括:采集对象存储中的输入参数对应的性能数据,作为采样数据;利用所述采样数据对原始极限学习机模型进行训练,以得到训练后的极限学习机模型;利用所述训练后的极限学习机模型对对象存储集群中的数据进行垃圾数据删除速度的性能预测。由此可见,由于垃圾数据的删除特性的性能主要由并发线程和每次列举对象数决定,同时,也受集群节点的删除性能影响,针对不同的业务场景对垃圾数据删除性能预测的性能需要也不同,本技术通过使用极限学习机为原始极限学习机模型,利用对象存储中的性能数据作为采样数据,训练一个能够对垃圾数据准确预测的极限学习机模型,通过配置参数来对垃圾数据删除性能预测的性能进行预测,并利用训练后的极限学习机模型对对象存储中的桶级别的数据删除性能进行预测,实现了桶级别的垃圾数据删除速度的预测,并且对比当前流行的人工神经网络,利用极限学习机模型训练出的能够预测垃圾数据删除速度的模型不需要迭代,一次学习即可得到训练后模型,并且随机参数的设置通常能有更好的泛化性能,学习速度极快。
[0088]
在一些具体实施例中,所述数据采集模块11,具体可以包括:
[0089]
数据采集单元,用于采集对象存储中的并发线程数、每次列举对象数和集群删除性能,作为采样数据。
[0090]
在一些具体实施例中,所述模型训练模块12,具体可以包括:
[0091]
模型训练单元,用于将所述对象存储中的所述并发线程数、所述每次列举对象数和所述集群删除性能输入至原始极限学习机模型中进行训练,以得到训练后的极限学习机模型。
[0092]
在一些具体实施例中,所述模型训练模块12,具体可以包括:
[0093]
权重偏置生成单元,用于预先构建所述原始极限学习机模型,并利用所述原始极限学习机模型生成输入权重和隐层偏置。
[0094]
在一些具体实施例中,所述模型训练模块12,具体可以包括:
[0095]
权值计算单元,用于将所述采样数据输入原始极限学习机模型,基于所述输入权重和所述隐层偏置计算隐层到输出层的输出权重,并计算隐层输出矩阵;基于所述隐层输出矩阵确定所述隐层与所述输出层之间的连接权值。
[0096]
在一些具体实施例中,所述模型训练模块12,具体可以包括:
[0097]
函数构建单元,用于预先设置隐层节点数以及构建激活函数。
[0098]
在一些具体实施例中,所述模型训练模块12,具体可以包括:
[0099]
验证单元,用于将验证数据集输入至所述训练后的极限学习机模型,以便所述训练后的极限学习机模型输出相应的垃圾数据删除性能的预测结果;利用预设准确率验证算法对所述预测结果进行准确率的验证。
[0100]
进一步的,本技术实施例还公开了一种电子设备,图5是根据一示例性实施例示出的电子设备20结构图,图中的内容不能认为是对本技术的使用范围的任何限制。
[0101]
图5为本技术实施例提供的一种电子设备20的结构示意图。该电子设备20,具体可以包括:至少一个处理器21、至少一个存储器22、电源23、通信接口24、输入输出接口25和通信总线26。其中,所述存储器22用于存储计算机程序,所述计算机程序由所述处理器21加载并执行,以实现前述任一实施例公开的垃圾数据删除性能预测方法中的相关步骤。另外,本实施例中的电子设备20具体可以为电子计算机。
[0102]
本实施例中,电源23用于为电子设备20上的各硬件设备提供工作电压;通信接口24能够为电子设备20创建与外界设备之间的数据传输通道,其所遵循的通信协议是能够适用于本技术技术方案的任意通信协议,在此不对其进行具体限定;输入输出接口25,用于获取外界输入数据或向外界输出数据,其具体的接口类型可以根据具体应用需要进行选取,在此不进行具体限定。
[0103]
其中,处理器21可以包括一个或多个处理核心,比如4核心处理器、8核心处理器等。处理器21可以采用dsp(digital signal processing,数字信号处理)、fpga(field-programmable gate array,现场可编程门阵列)、pla(programmable logic array,可编程逻辑阵列)中的至少一种硬件形式来实现。处理器21也可以包括主处理器和协处理器,主处理器是用于对在唤醒状态下的数据进行处理的处理器,也称cpu(central processing unit,中央处理器);协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中,处理器21可以在集成有gpu(graphics processing unit,图像处理器),gpu用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中,处理器21还可以包括ai(artificial intelligence,人工智能)处理器,该ai处理器用于处理有关机器学习的计算操作。
[0104]
另外,存储器22作为资源存储的载体,可以是只读存储器、随机存储器、磁盘或者光盘等,其上所存储的资源可以包括操作系统221、计算机程序222等,存储方式可以是短暂存储或者永久存储。
[0105]
其中,操作系统221用于管理与控制电子设备20上的各硬件设备以及计算机程序222,以实现处理器21对存储器22中海量数据223的运算与处理,其可以是windows server、netware、unix、linux等。计算机程序222除了包括能够用于完成前述任一实施例公开的由电子设备20执行的垃圾数据删除性能预测方法的计算机程序之外,还可以进一步包括能够用于完成其他特定工作的计算机程序。数据223除了可以包括电子设备接收到的由外部设备传输进来的数据,也可以包括由自身输入输出接口25采集到的数据等。
[0106]
进一步的,本技术还公开了一种计算机可读存储介质,用于存储计算机程序;其中,所述计算机程序被处理器执行时实现前述公开的垃圾数据删除性能预测方法。关于该方法的具体步骤可以参考前述实施例中公开的相应内容,在此不再进行赘述。
[0107]
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其它实施例的不同之处,各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
[0108]
专业人员还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本技术的范围。结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块,或者二者的结合来实施。软件模块可以置于随机存储器(ram)、内存、只读存储器(rom)、电可编程rom、电可擦除可编程rom、寄存器、硬盘、可移动磁盘、cd-rom、或技术领域内所公知的任意其它形式的存储介质中。
[0109]
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个
……”
限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0110]
以上对本发明所提供的一种垃圾数据删除性能预测方法、装置、设备、存储介质进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。
再多了解一些

本文用于企业家、创业者技术爱好者查询,结果仅供参考。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献