一种移动设备联邦学习方法及系统与流程

1.本发明涉及通信领域，更具体的，涉及一种移动设备联邦学习方法及系统。


背景技术：

2.在实践中，计算时间是联邦学习的瓶颈。为了控制设备的计算时间，可以基于下限和上限来控制其用于训练的数据量，这会在系统中造成更多的数据不平衡情况，这样的不平衡会降低联邦学习的效率。
3.同时，在移动设备上的数据分布也是不平衡的，联邦学习在不平衡分布的数据集上的准确率低于平衡数据集，从而会导致模型的训练结果出现偏差。
4.在传统机器学习系统中，算法在跨云中多个服务器均匀分区的大型数据集上运行，联邦学习（federated learning，fl）通常是从大型非独立同分布且不平衡的数据集训练的，这些数据集由不同的ue（user equipment，用户设备）生成不同的分布。值得注意的是在参数更新阶段可能会出现如下状况：虽然在fl上运行的迭代算法需要计算单元之间非常低的延迟和高吞吐量的连接，但ap（access points，接入点）通常需要通过受限的频谱和有限数量的 ue 通过不可靠的信道来发送训练之后的权重以进行全局聚合。这些因素使得fl的运行缓慢和容错等问题比非分布式机器学习训练更为突出。为了成功部署fl，就需要采用新工具和新思维方式来进行模型开发和培训，而由于无法直接访问原始数据，通信成本又成为一个重要限制因素。
5.目前已有的成果分别在算法和通信上进行了研究。在算法方面，主要是减少更新上传阶段的开销，使模型训练更加高效，其中典型的方法包括通过仅更新具有显着训练改进的 ue 来减少通信带宽，压缩梯度向量通过量化，或在稀疏更新中采用动量方法来加速训练过程，然而这些方式忽略了无线信道的独特性质，还有进一步的改进空间。
6.而在通信方面，相关的解决方案大致可以分为两类：第一类通过扩大通信间隔来大幅降低通信开销，但这种方式降低了模型的最终精度，并且难以得到最佳的通信步长。第二类是数据压缩，即在传输之前将数据进行压缩。然而，压缩过程需要消耗大量时间，尤其是在电池敏感（例如智能手机）或低性能（例如上网本、网关）设备上执行联合学习时。


技术实现要素：

7.鉴于上述问题，本发明的目的是提供一种移动设备联邦学习方法及系统，通过进行数据增强和重新调度的步骤缓解训练数据的全局不平衡问题、提高模型准确度。
8.本发明第一方面提供了一种适用于锂电池远程升级的方法，所述方法包括以下步骤：s102：移动设备加入联邦学习训练任务；s104：fl服务器初始化全局模型，并收集参与者的本地数据分布；s106：通过数据增强和重新调度的方式重新平衡联邦学习训练任务；s108：将平衡后的联邦学习任务发送给下级客户端，客户端使用红狐算法对全局
模型进行训练；s110：将训练后的全局模型进行聚合与反馈，得到最新的全局模型；s112：利用最新的全局模型进行联邦学习，以提高移动设备联邦学习的效率。
9.本方案中，s104具体为：在初始化阶段，fl服务器首先等待移动设备加入fl模型训练任务；移动设备通过将其本地数据分布信息发送到fl服务器来参与培训；在确定要参与训练的客户端后，fl服务器初始化神经网络模型的权重和优化器，并收集参与者的本地数据分布。
10.本方案中，所述s106所述数据增强的流程如下：初始化下采样阈值τd和增强阈值τa，此处设置τa为τd的负倒数，若类的数据大小的z-score 大于τd，则将这个类视为多数类，表示为yd；若类的数据大小的z-score小于τa， 则将这个类视为少数类，表示为ya；是用来控制产生多少增强以及保留多少样本的比率，对于第y个数据集，执行如下操作：当时，，将该集并入yd当时， ，将该集并入ya其中，为该数据集的大小，为该数据集的标准差，为该数据集的均值，为该数据集的z-score；完成对yd，ya，的计算后, 服务器将这些参数发送给客户端；然后，所有客户端并行执行数据扩充和下采样；客户端对数据集中的每一个取样进行操作：若该取样的来源在集合yd中，则判断其来源集y的量是否已经缩减到原来的，若已经满足则保留该取样，若不满足则返回空；若该取样的来源在集合ya中，就对其进行增强，包括随机移位、随机旋转、随机剪切和随机缩放的操作，增强部分的大小为原取样大小的-1；一旦所有客户端都完成了增强和下采样，fl服务器则创建中介来重新调度客户端以实现部分平衡。
11.本方案中，s106所述重新调度的流程如下：中介遍历所有未分配客户端的数据分布，并选择数据分布使中介者的数据分布最接近均匀分布的客户端；在此基础上执行zoa算法，从而保证每个中介都得到最大程度的利用；当中介达到最大分配客户端限制时，fl服务器将创建一个新中介，并重复上述过程，直到对所有客户端都能重新安排训练任务。
12.本方案中，所述zoa算法如下：首先，将zoa算法设置一个最小堆来存储向每个资源添加任务的成本；
然后，它将任务分配给资源的下限初始化，如果它们可以接收更多任务，则将下一个任务分配到堆的成本增加；它的主循环通过获取具有最低成本的资源之一来接收新任务，将附加任务分配给它，从而一次对一项任务进行最佳分配，如果它仍然可以接收更多任务，则更新其在堆上的成本；在主循环的所有迭代之后，所有任务都将分配给已有资源，zoa算法完成。
13.本方案中，所述s108具体为：在每轮通信开始时，每个中介将任务发送给下级客户端，每个客户端使用红狐算法训练e次，并执行红狐算法的反投毒操作判断，将全局模型进行更新，之后将更新后的全局模型返回给相应的中介；中介接收更新后的结果并将其发送给下一个等待的训练客户端；中介管理下的所有客户端都完成一次接收、训练与反馈；循环这个过程em次；最后，所有的中介将全局模型的更新发送到fl服务器。
14.本方案中，所述红狐算法的反投毒操作判断具体为：首先，选择联邦学习的次数k，定义客户端数量为m以及在服务器上进行的启发式迭代次数为tserver以及对客户端的训练次数ttrain，并准备所有客户端的数据库；服务器通过创建初始全局模型开始其操作，发送给所有客户端；全局模型分发后，有一个等待结果的时间，如果训练的迭代次数大于10，则每10次迭代后，将当前训练状态的信息发送到服务器作为信息；如果没有这个客户端前一阶段的信息，服务器则保存这个信息；在相反的情况下，当获得此信息并且有预览数据时，计算实际损失函数值和中毒样本数；如果f2高于总体的10%时，则停止对该客户端的训练操作并标记为可能中毒；当这个f2的值低于所有样本的5%和f1的值大于0时，使用元启发式更改当前模型；当中毒样本数量迅速增加时，则中断训练；这种行为意味着中毒的可能性，为了不显着影响模型，需要中断训练过程；这可以表示为：当f1≥0 ∧ f2≤0.05
⋅
|d|时，执行红狐算法；当f2≥0.1
⋅
|d|时，直接中断训练过程；f1(l1,l2)=l1
−
l2；f2(m1,m2)=m1
−
m2；其中，l1和l2分别为两个相邻两次迭代的损失函数的值，m1和m2分别为两个相邻两次迭代中毒样本数，|d|为数据库的大小。
15.本方案中，所述s110具体为：当fl服务器收到中介发送的更新模型后，首先使用泰勒级数展开和费舍尔信息矩阵来补偿模型权重，然后fl服务器使用补偿后的权重计算nesterov动量并更新全局模型，再向中介推送最新全局模型。
16.本发明第二方面提供一种移动设备联邦学习系统，所述系统包括：fl服务器、中介和客户端；fl服务器负责维护一个全局模型w0，将模型部署到中介，并使用联邦平均算法从
各中介中同步提取聚合更新δwi；客户端是维护本地训练数据集的手机或物联网设备；根据其数据分布的特点可以将客户端分为三类：统一客户端：具有足够平衡的训练数据并准备运行 fl 应用程序；小型客户端：数据量相对较少，很难参与到训练过程中；偏斜客户端：拥有足够的训练数据，但偏向于保留某些类别的数据，导致局部不平衡；中介有两个功能：一是重新安排对三种客户的训练处理；其次，中介还需要使收集的数据分布接近统一；二是统一客户端，具有足够平衡的训练数据并准备运行 fl 应用程序；本方案中，所述系统可实行以下操作：首先，fl服务器初始化全局模型以开始训练；然后，fl服务器开始新一轮的通信r并将全局模型发送给中介；接下来，每个调解员m协调指定的客户端进行训练并计算权重的更新 ；最后，fl服务器收集所有中介的更新，将这些更新与权重聚合 ，其中，是分配给中介者的客户端的累积训练额度，n=∑；然后，服务器将全局模型更新为并结束本轮。 是下一轮，即第n 1轮通信的起始模型。
17.本发明公开的提供一种移动设备联邦学习方法及系统，通过进行数据增强和重新调度的步骤缓解训练数据的全局不平衡问题、提高模型准确度大约百分之十七。
18.本发明在任务的分配部分使用zoa的多项式时间算法，在不同的情况下，尤其是在任务量较大时，相比于传统的任务调度算法fed-lbap等，zoa可以显著地降低运行所需时间。zoa可以简单地进行调整，以最大限度地增加分配给资源的任务数量。
19.本发明利用红狐算法代替传统的训练方法，同时该机制可以根据不同的应用场景和特点选用不同的元启发式算法，具有较强的通用性。
20.本发明提出来了在数据集中毒的情况下清理数据集的机制，相比于传统的联邦学习方法，该机制可以提升至少10%的准确度。
21.本发明的通信处理方式，采用了zanoverlap方法，通过将通信与计算并行，从而可以提高联邦学习通信效率，并且它与许多其他数据压缩方法完全兼容，具有很强的可用性。
22.本发明通过放宽链式约束和数据补偿机制解决了训练迭代间的依赖问题，从而缓解了zanoverlap中并行性带来的梯度更新耗时问题，并用参数优化方式保持了联邦学习的收敛速度，与已有的成果相比，该方法更加有效且易于实施。
23.本发明所述系统将客户端根据其数据分布的特点分为三类，从而可以充分利用不同客户端的特点进行训练和进一步的操作。
附图说明
24.图1示出了本技术一种适用于锂电池远程升级的方法的流程图；图2示出了本技术一种适用于锂电池远程升级的系统的框图。
具体实施方式
25.为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本技术的实施例及实施例中的特征可以相互组合。
26.在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。
27.图1示出了本技术一种适用于锂电池远程升级的方法的流程图。
28.如图1所示，本发明提供了一种适用于锂电池远程升级的方法，所述方法包括以下步骤：s102：移动设备加入联邦学习训练任务；s104：fl服务器初始化全局模型，并收集参与者的本地数据分布；s106：通过数据增强和重新调度的方式重新平衡联邦学习训练任务；s108：将平衡后的联邦学习任务发送给下级客户端，客户端使用红狐算法对全局模型进行训练；s110：将训练后的全局模型进行聚合与反馈，得到最新的全局模型；s112：利用最新的全局模型进行联邦学习，以提高移动设备联邦学习的效率。
29.根据本发明实施例，s104具体为：在初始化阶段，fl服务器首先等待移动设备加入fl模型训练任务；移动设备通过将其本地数据分布信息发送到fl服务器来参与培训；在确定要参与训练的客户端后，fl服务器初始化神经网络模型的权重和优化器，并收集参与者的本地数据分布。
30.根据本发明实施例，所述s106所述数据增强的流程如下：初始化下采样阈值τd和增强阈值τa，此处设置τa为τd的负倒数，若类的数据大小的z-score 大于τd，则将这个类视为多数类，表示为yd；若类的数据大小的z-score小于τa， 则将这个类视为少数类，表示为ya；是用来控制产生多少增强以及保留多少样本的比率，对于第y个数据集，执行如下操作：当时，，将该集并入yd当时， ，将该集并入ya其中，为该数据集的大小，为该数据集的标准差，为该数据集的均值，为该数据集的z-score；完成对yd，ya，的计算后, 服务器将这些参数发送给客户端；然后，所有客户端并行执行数据扩充和下采样；客户端对数据集中的每一个取样进行操作：若该取样的来源在集合yd中，则判断
其来源集y的量是否已经缩减到原来的，若已经满足则保留该取样，若不满足则返回空；若该取样的来源在集合ya中，就对其进行增强，包括随机移位、随机旋转、随机剪切和随机缩放的操作，增强部分的大小为原取样大小的-1；一旦所有客户端都完成了增强和下采样，fl服务器则创建中介来重新调度客户端以实现部分平衡。
31.根据本发明实施例，s106所述重新调度的流程如下：中介遍历所有未分配客户端的数据分布，并选择数据分布使中介者的数据分布最接近均匀分布的客户端；在此基础上执行zoa算法，从而保证每个中介都得到最大程度的利用；当中介达到最大分配客户端限制时，fl服务器将创建一个新中介，并重复上述过程，直到对所有客户端都能重新安排训练任务。
32.根据本发明实施例，所述zoa算法如下：首先，将zoa算法设置一个最小堆来存储向每个资源添加任务的成本；然后，它将任务分配给资源的下限初始化，如果它们可以接收更多任务，则将下一个任务分配到堆的成本增加；它的主循环通过获取具有最低成本的资源之一来接收新任务，将附加任务分配给它，从而一次对一项任务进行最佳分配，如果它仍然可以接收更多任务，则更新其在堆上的成本；在主循环的所有迭代之后，所有任务都将分配给已有资源，zoa算法完成。
33.需要说明的是，在zoa算法具体为：对于t∈n，t表示同质的、独立的和元任务个数，用r表示n个运算资源的一个集合（例如，移动设备）。对于每个运算资源i∈ r，它可以计算的任务数量有下限和上限 （li∈ n，ui∈ n）和它自己的非递减成本函数ci(
·
)：n
→
r≥0表示为其分配多个任务的成本。我们的问题是找到一个任务分配ai∈n对每个资源i∈r，从而最大限度地减少完工时间 cmax，其定义如下：同时在资源中分配所有任务并符合它们的下限和上限。
34.成本函数在资源之间是独立的，但它们都是非递减的在本文中，我们分别使用索引i和k来表示资源和任务。
35.以从任务调度方面提升联邦学习运行效率效率。zoa 采用动态规划方式，通过为越来越多的任务迭代寻找最佳分配来计算最佳最终分配。它的主要思想是基于将下一个任务t 1分配给资源j的概念，该资源将最小化完工时间，公式如下：该算法首先设置一个最小堆来存储向每个资源添加任务的成本。然后，它将任务分配给资源的下限初始化，如果它们可以接收更多任务，则将下一个任务分配到堆的成本增加。它的主循环通过获取具有最低成本的资源之一来接收新任务，将附加任务分配给它，从而一次对一项任务进行最佳分配，如果它仍然可以接收更多任务，则更新其在堆上的成
本。在主循环的所有迭代之后，所有任务都将分配给已有资源，算法完成。
36.根据本发明实施例，所述s108具体为：在每轮通信开始时，每个中介将任务发送给下级客户端，每个客户端使用红狐算法训练e次，并执行红狐算法的反投毒操作判断，将全局模型进行更新，之后将更新后的全局模型返回给相应的中介；中介接收更新后的结果并将其发送给下一个等待的训练客户端；中介管理下的所有客户端都完成一次接收、训练与反馈；循环这个过程em次；最后，所有的中介将全局模型的更新发送到fl服务器。
37.根据本发明实施例，所述红狐算法的反投毒操作判断具体为：首先，选择联邦学习的次数k, 定义客户端数量为m以及在服务器上进行的启发式迭代次数为tserver以及对客户端的训练次数ttrain，并准备所有客户端的数据库；服务器通过创建初始全局模型开始其操作，发送给所有客户端；全局模型分发后，有一个等待结果的时间，如果训练的迭代次数大于10，则每10次迭代后，将当前训练状态的信息发送到服务器作为信息；如果没有这个客户端前一阶段的信息，服务器则保存这个信息；在相反的情况下，当获得此信息并且有预览数据时，计算实际损失函数值和中毒样本数；如果f2高于总体的10%时，则停止对该客户端的训练操作并标记为可能中毒；当这个f2的值低于所有样本的5%和f1的值大于0时，使用元启发式更改当前模型；当中毒样本数量迅速增加时，则中断训练；这种行为意味着中毒的可能性，为了不显着影响模型，需要中断训练过程；这可以表示为：当f1≥0 ∧ f2≤0.05
⋅
|d|时，执行红狐算法；当f2≥0.1
⋅
|d|时，直接中断训练过程；f1(l1,l2)=l1
−
l2；f2(m1,m2)=m1
−
m2；其中，l1和l2分别为两个相邻两次迭代的损失函数的值，m1和m2分别为两个相邻两次迭代中毒样本数，|d|为数据库的大小；其中，f1为迭代损失函数变化差异，用于指示训练方向；公式：f1(l1,l2)=l1
−
l2；其中l1,l2分别为两个相邻两次迭代损失函数的值。
38.f2为中毒样本数量差异，用于表明数据库中毒的可能性；公式：f2(m1,m2)=m1
−
m2；m1和m2分别为两个相邻两次迭代中毒样本数。
39.需要说明的是，本发明使用红狐算法来作为训练方式，并建立相应的反数据投毒机制。
40.训练过程中的每个客户端，都被解释为一组特定的元素β,l,m,|d|其中 β为使用的模型，l为损失函数的值，m为中毒样本数，|d|为数据库的大小。收到模型后，客户端开始训练它。假设每次迭代，服务器会以集合的形式接收信息β,l,m,|d|第一次收到数据的时
候，其包含信息为空，但是第二次以后就会接收到有效信息。在相邻的两次迭代中，（即已有β1,l1,m1,|d|和β2,l2,m2,|d|），损失函数的值的变化之间的差异将指示训练的潜在方向。而且，受感染样本数量的差异将表明数据库中毒的可能性。使用上述差异定义两个适应度函数：f1(l1,l2)=l1
−
l2,f2(m1,m2)=m1
−
m2.需要说明的是，红狐算法步骤如下：分析模型βi 是一组被描述为浮点数的权重，可以将整个模型视为一个个体（红狐），可以将其表示为向量其中s是模型中所有权重的数量。利用先前服务器上的私有数据库dsever通过损失函数评估个体优劣。
41.创建狐群。随机选取5个个体创建一个狐群，并选择其中目前表现最好的（根据损失函数）作为，并将作为第六只狐狸， 然后所有6只狐狸都进行远距离运动以寻找猎物。这是一项全局的运动，其定义如下：其中系数α是在范围内定义的缩放参数。当一只狐狸被安置在新的位置上时，它会分析猎物未来的运动方向。它有两个选择——靠近猎物，或者留下来等待更好的机会。这是由以下条件执行的：如果狐狸选择留下，他不会进行局部运动。在另一种情况下，狐狸会根据以下情况靠近目标：其中系数是一个随机值，r是给定狐狸的观察角度，定义为：其中a是一个随机参数。
42.执行上述全局和可能的局部移动后，整个狐群在服务器上找到最优的个体。这个操作经过tserver次迭代，如果最佳模型具有较小的损失值，则将其发送回工作人员以进行其余的训练过程。
43.根据本发明实施例，所述s110具体为：当fl服务器收到中介发送的更新模型后，首先使用泰勒级数展开和费舍尔信息矩阵来补偿模型权重，然后fl服务器使用补偿后的权重计算nesterov动量并更新全局模型，再向中介推送最新全局模型。
44.需要说明的是，本发明通信处理方式采用zanoverlap方法，该方式可以提升联邦学习的通信效率zanoverlap包括以下步骤：1）在中央服务器上发起全局模型，并推送给每个参与的客户端。
45.2）每个参与的客户都对各自数据进行局部模型训练进行e次迭代。
46.3）当本地训练完成后，客户端立即继续本地训练的下一次迭代，同时命令另一个进程将他们的本地模型推送到中央服务器。
47.4）当中央服务器收到客户端的改进模型时，首先使用泰勒级数展开和费舍尔信息矩阵来补偿模型权重，然后使用补偿后的权重，中央服务器计算nesterov动量并更新全局模型。
48.5）中心服务器向参与客户端推送最新的全局模型。
49.本发明所述方法相比传统的联邦学习进行了多方面优化改进的学习框架。首先是在算法部分使用了狐群算法，这样一方面可以提升优化速度，另一方面可以利于数据反投毒；然后是将客户端分为服务器、中介和客户端，并进一步引入数据平衡方式来处理数据；之后是在任务的分配部分使用了zoa算法，这样可以提升任务分配效率；最后是在通信部分采用了zanoverlap方法，提升客户端与中介、中介与服务器的通信效率。
50.图2示出了本发明一种移动设备联邦学习系统的框图。
51.如图2所示，本发明第二方面提供一种移动设备联邦学习系统，所述移动设备联邦学习系统2包括：fl服务器21、中介22和客户端23；fl服务器21负责维护一个全局模型w0，将模型部署到中介，并使用联邦平均算法从各中介中同步提取聚合更新δwi；客户端23是维护本地训练数据集的手机或物联网设备；根据其数据分布的特点可以将客户端23分为三类：统一客户端：具有足够平衡的训练数据并准备运行 fl 应用程序；小型客户端：数据量相对较少，很难参与到训练过程中；偏斜客户端：拥有足够的训练数据，但偏向于保留某些类别的数据，导致局部不平衡；中介22有两个功能：一是重新安排对三种客户的训练处理；其次，中介还需要使收集的数据分布接近统一；二是统一客户端，具有足够平衡的训练数据并准备运行 fl 应用程序；根据本发明实施例，所述系统可实行以下操作：首先，fl服务器初始化全局模型以开始训练；然后，fl服务器开始新一轮的通信r并将全局模型发送给中介；接下来，每个调解员m协调指定的客户端进行训练并计算权重的更新 ；最后，fl服务器收集所有中介的更新，将这些更新与权重聚合 ，其中，是
分配给中介者的客户端的累积训练额度，n=∑；然后，服务器将全局模型更新为并结束本轮。 是下一轮，即第n 1轮通信的起始模型。
52.本发明公开的提供一种移动设备联邦学习方法及系统，通过进行数据增强和重新调度的步骤缓解训练数据的全局不平衡问题、提高模型准确度大约百分之十七。
53.本发明在任务的分配部分使用zoa的多项式时间算法，在不同的情况下，尤其是在任务量较大时，相比于传统的任务调度算法fed-lbap等，zoa可以显著地降低运行所需时间。zoa可以简单地进行调整，以最大限度地增加分配给资源的任务数量。
54.本发明利用红狐算法代替传统的训练方法，同时该机制可以根据不同的应用场景和特点选用不同的元启发式算法，具有较强的通用性。
55.本发明提出来了在数据集中毒的情况下清理数据集的机制，相比于传统的联邦学习方法，该机制可以提升至少10%的准确度。
56.本发明的通信处理方式，采用了zanoverlap方法，通过将通信与计算并行，从而可以提高联邦学习通信效率，并且它与许多其他数据压缩方法完全兼容，具有很强的可用性。
57.本发明通过放宽链式约束和数据补偿机制解决了训练迭代间的依赖问题，从而缓解了zanoverlap中并行性带来的梯度更新耗时问题，并用参数优化方式保持了联邦学习的收敛速度，与已有的成果相比，该方法更加有效且易于实施。
58.本发明所述系统将客户端根据其数据分布的特点分为三类，从而可以充分利用不同客户端的特点进行训练和进一步的操作。
59.在本技术所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
60.上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元；既可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
61.另外，在本发明各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
62.本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器（rom，read-only memory）、随机存取存储器（ram，random access memory）、磁碟或者光盘等各种可以存储程序代码的介质。
63.或者，本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施
例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机、服务器、或者网络设备等）执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。