一种移动边缘计算中的云边端联邦学习方法与流程

1.本发明属于边缘计算技术领域，涉及一种移动边缘计算中的云边端联邦学习方法。


背景技术：

2.随着智能设备和通信技术的发展，根据ihs markit的预测，到2030年，将有超过1250亿台设备部署在各个领域，如工业互联网、智能汽车、医疗卫生等。与传统的多媒体服务相比，这些领域的应用通常对响应延迟有严格的要求，使在网络的边缘部署此类服务成为刚需。
3.移动边缘计算(mobile edge computing,mec)已经成为支持上述服务质量(quality of service,qos)要求的一种有前途的技术，它可以提供具有本地计算能力、低延迟和大带宽通信的实时服务。同时，作为一种分布式的机器学习范式，联邦学习(federated learning,fl)在mec中提供边缘智能和隐私保护方面有很大的潜力。参与联合学习过程的终端设备协同建立一个全局的高性能模型，同时在本地保留训练数据。一个fl过程由数轮训练过程组成，每轮只选择一部分终端设备参与训练过程。参与的终端设备用本地数据训练模型，然后云服务器将收到的模型汇总，形成一个全球模型。
4.fl的主要优点是将模型训练与直接访问原始训练数据脱钩。在没有数据交换的情况下，fl过程保留了数据隐私，减少了数据泄露的风险。基于这一特点，fl被广泛应用于从商业公司到学术组织的各个领域，如谷歌、webank和ieee等。同时，与mec集成的fl已经在许多研究领域进行了研究，如区块链、深度强化学习和虚拟网络功能自动缩放。
5.然而，由于有限的带宽、不可靠的无线信道和频繁的切换等原因，将fl与mec整合面临着许多挑战。一方面，众多设备争相接入无线信道进行数据传输，导致严重的干扰或数据包碰撞。另一方面，终端设备的移动性引起的多普勒效应和频繁切换也大大增加了mec中丢包的可能性。由于终端设备参与了fl过程并与边缘服务器交换参数，不稳定的无线连接降低了模型的可靠性，甚至使模型不可用，从而使全球聚合模型的质量下降。


技术实现要素：

6.为了提高模型的可靠性，利用mec的三层结构，将模型参数损失的可能性和终端设备与边缘服务器之间的通信轮次建立正相关关系。通过理论分析，证明了最优通信轮次的存在，以及相应的使参数损失可能性最小的历时数。通过对一些关键参数的调整，得到最小通信轮次和相应的最优本地训练轮次的估计，然后使用边缘服务器动态控制选中的终端设备的训练轮次来减少通信轮次。
7.基于通信轮次和数据包丢失的正相关关系，从理论上推导出最佳的通信轮次和相应的历时，并进一步利用这些轮次来减少由于脆弱的无线连接造成的参数丢失的可能性。通过扩展优化参数，估计了最佳通信轮次和相应的方便计算的本地迭代轮次，并设计了一种有效的本地迭代轮次调整算法来提高模型的可靠性。通过广泛的模拟，结果表明，超过
80％的估计历时数在实践中接近最佳迭代轮次，增强的fl方案有效地减少了通信轮次，以达到所需的精度。
8.本发明的技术方案为：
9.一种移动边缘计算中的云边端联邦学习方法，包括步骤如下：
10.第一步，移动终端设备估计并向服务器传递计算最优本地迭代轮次所需的参数；
11.移动终端设备估计并向服务器传递计算最优本地迭代轮次所需的参数，具体为：选中参与fl过程的移动终端设备，负责利用本地数据训练由边缘服务器发送的本轮的初始化机器学习模型，并且由边缘服务器控制选中终端设备的本地训练轮次。在训练的过程中终端设备记录初始化机器学习模型并收集训练过程中的数据，在训练结束后利用收集的数据以及初始化机器学习模型估计由自己训练的模型的利普西茨系数和光滑系数，模型的利普西茨系数和光滑系数并连同模型返回给边缘服务器。
12.第二步，服务器基于实现最小通信轮次的本地训练轮次动态调整；
13.2-1选取控制参数；具体步骤如下：
14.首先，给出理论上最优本地训练轮次e
*
：
[0015][0016]
η是训练时选取的步长，l是损失函数的二阶利普希茨常数，β是损失函数的光滑系数，ν是中心化随机梯度下降法得出的机器学习模型权重与最优机器学习模型权重之差倒数的上界，μ是联邦平均算法训练的机器学习损失函数与最优损失函数值之差的下界，δ是由联邦平均算法聚合后模型产生的梯度散度，其定义如下；
[0017][0018][0019]
其中表示经过聚合后的联邦学习模型的一阶梯度，表示经过终端i的联邦学习模型的一阶梯度，δi表示聚合模型和终端i模型的梯度的差距，|
·
|表示集合的势，ni表示终端i所拥有的数据集，n
sum
表示该边缘服务器范围内终端的总和，其中mink表示在第k轮训练中的最小值等价于以及μ＝min||f(w
(c)
(t))-f(w
*
)||2：
[0020][0021]
由于在实际应用场景下公式(1)中的ν和μ难以取得，因此利用一阶利普西茨连续
条件，将公式(1)中νμ2经过放缩转化为：
[0022][0023]
用ζ代表公式(3)中未知的参数即：
[0024][0025]w(c)
(t)表示中心化随机梯度下降法在对应t时刻的机器学习模型参数；w
*
表示能够最小化模型损失函数的最优模型参数即问题的最优解；maxk表示在第k轮训练中的最大值；ζ小于1，通过控制其取值在计算最优本地迭代轮次时，达到接近其理论值的目的。
[0026]
2-2估计最优本地训练轮次与对应的最小通信轮次；
[0027]
具体步骤为：由公式(1)与公式(4)得，关于对应最小通信轮次的最优本地迭代轮次的估计为：
[0028][0029]
对应理论最优迭代次数的最小通信轮次为：
[0030][0031]
其中δ为要求的机器学习模型最优权重与次优权重之差的上界；e
*
表示本通信轮次内最优本地训练轮次。
[0032]
结合公式(5)与公式(6)得到最小通信轮次的估计：
[0033][0034]
当算法运行超过预测的最小通信轮次的估计时，算法强制终止防止无法收敛情况下算法无法停止的情况。
[0035]
本发明的有益效果为：通过边缘服务器估计的最小通信轮次和对应的最优终端设备训练轮次，动态调节选中的终端设备的训练轮次，增加了fl过程中传输模型的可靠性，降低了由不可靠的无线通信环境导致的数据包丢失引起的模型参数丢失问题。
附图说明
[0036]
图1为本发明mec中的fl整体系统架构；
[0037]
图2(a)为移动终端设备流程图；
[0038]
图2(b)为边缘服务器流程图。
[0039]
图3(a)为逻辑回归训练合成数据集。
[0040]
图3(b)为两层神经网络回归训练合成数据集。
[0041]
图3(c)为逻辑回归训练mnist数据集。
[0042]
图3(d)为两层神经网络训练mnist数据集。
[0043]
图中：
[0044]
具体实施方式
[0045]
以下结合具体实施例详细阐述本发明的技术方案。
[0046]
本发明提出一种移动边缘计算中的云边端联邦学习方法，来降低由于通信环境机器学习训练模型可靠性下降的问题。在实现过程中通过收集参数估计移动终端的本地最优训练轮次达到降低通信轮次的目的进而保障机器学习模型的可靠性。本方法的提出结合了移动边缘计算环境中联邦学习训练机器学习模型的具体流程和无线网络中的通信现状，并分为以下两部分。
[0047]
(1)移动终端设备估计并向服务器传递计算最优本地迭代轮次所需的参数，由于边缘服务器需要估计一些关键参数，如β、l和δ，终端设备需要在本地纪元中首先估计这些参数，这与正常的fl过程不同。在每一轮开始时，终端设备会收到初始模型和和来自边缘服务器的迭代轮次。然后，终端设备更新将其模型，并对模型进行训练。在完成本地训练轮次之后，终端设备估计βi、li，并将参数和更新的模型发送到边缘服务器上。然后，终端设备中的训练过程停止，除非再次被选中，否则它不再继续参与训练过程。
[0048]
(2)在终端设备传送模型以及估计值li和βi到边缘服务器后，它将收到的模型汇总，得到一个区域模型。聚合的模型满足停止条件δ，边缘服务器将发送到云服务器。并作为最终结果发送到云服务器，训练过程结束。边缘服务器利用这些收到的参数获得和并计算作为对最佳历时数e
*
的估计；将和区域聚合的模型发送至选定的终端设备，作为下一轮训练的终端设备训练轮次和初始模型。根据公式(5)，边缘服务器计算首先估算出r
min
，利用的最大值作为通信轮次r
limit
的上限。由于公式(5)中的最优通信轮次的估计小于r
min
。为避免由于低估r
min
而导致的意外终止，利用参数γ＞1将通信轮数r
limit
的上限扩大到γr
limit
。若通信轮数r
count
大于γr
limit
，则边缘服务器认为该算法难以收敛，并终止训练过程。
[0049]
以下从移动终端设备训练流程、边缘服务器中的本地设备最优训练轮次估计和非收敛性的控制机制三方面进行介绍。
[0050]
1、移动终端设备训练流程
[0051]
在联邦学习过程中，终端设备产生并维护数据，同时它们也负责训练任务。通过利用单个设备维护的数据，训练后的模型不适合所有设备。因此，被选中的终端设备将模型传输到边缘服务器进行聚合，以缓解fl过程中的这个问题。移动终端设备估计并向服务器传递计算最优本地迭代轮次所需的参数，边缘服务器需要估计关键参数，如β、l和δ，终端设备在本地纪元中首先估计这些参数。在每一轮开始时，终端设备收到初始模型和来自边缘服务器的迭代轮次。然后，终端设备更新其模型，并对模型进行训练。在完成本地训练轮次之后，终端设备估计βi、li，并将参数和更新的模型发送到边缘服务器上。然后，终端设备中的训练过程停止，除非再次被选中，否则它不再继续参与训练过程。
[0052]
(1)移动终端设备接收由边缘服务器发送的初始机器学习模型和本地训练次数，记录该初始模型并利用其初始化本地模型。
[0053]
(2)移动终端设备根据随机梯度下降法使用本地数据对模型进行训练，训练轮次由上一步接收的边缘服务器估计的本地训练轮次决定。
[0054]
(3)当本地训练轮次达到上限时，利用本地模型的损失函数和其梯度估计损失函数的利普西茨系数li以及函数的光滑系数βi。
[0055][0056]
(4)将移动终端设备估计的利普西茨系数li和光滑系数βi以及训练后模型和其的损失函数的梯度发送给边缘服务器并停止训练。
[0057]
2、边缘服务器中的动态的本地设备训练轮次调整机制
[0058]
本机制的目标是减少终端设备和边缘服务器之间的通信中因丢包而引起的模型退化的可能性。在fl过程中，终端设备维护自己的数据并使用其数据进行模型的训练，而不进行数据交换。聚合模型的质量取决于来自终端设备的更新模型。因此，通信过程中的数据包丢失导致模型参数丢失，从而降低了边缘服务器中聚合模型的质量。此外，边缘服务器中的模型质量下降会减慢整个fl过程，甚至使模型无法收敛。模型损失期望值取决于通信轮次r、区域内设备数量n
sum
以及设备i的丢包概率pi，其中i∈{1,2...n
sum
}。由于重要参数的丢失会降低模型的可靠性，因此数据包丢失的预期时间会严重影响边缘服务器中的聚合模型质量。为了减少参数丢失的可能性，提高模型质量，应该被最小化。
[0059][0060]
由于设备i的丢包概率pi是独立的，并且假设是固定的，提高模型的可靠性意味着使公式(8)中目标函数的通信轮次数r最小。
[0061]
通过分析理论上可以通过调节本地训练轮次达到最小通信轮次，其对应的节本地最优训练轮次：
[0062][0063]
对应理论最优迭代次数的最小通信轮次为：
[0064][0065]
其中δ为要求的机器学习模型最优权重与次优权重之差的上界；
[0066]
由于在实际应用场景下公式(1)中的ν和μ难以取得，因此利用一阶利普西茨连续条件，可以将公式(1)中νμ2放缩得到关于该本地最优训练轮次的估计：
[0067][0068]
结合公式(5)与公式(6)可以得到最小通信轮次的估计：
[0069][0070]
本机制的具体流程如下：
[0071]
(1)边缘服务器接收从所选择的终端设备处发送的机器学习模型，损失函数的梯度、损失函数的利普西茨系数和光滑系数。
[0072]
(2)根据联邦平均算法加权聚合从终端设备处收到的模型并产生新的区域内的机器学习模型。
[0073]
(3)如果产生的模型不符合对于损失函数精度的要求，那么边缘服务器根据接受自终端设备的损失函数的梯度、损失函数的利普西茨系数和光滑系数，计算并估计此时边缘服务器中模型对应的损失函数的利普西茨系数和光滑系数，并估计该轮通信过程中的梯度散度。
[0074][0075]
(4)边缘服务器根据公式(5)计算对应最小通信轮次的最优本地训练轮次，并根据该训练轮次估计最小通信轮次。
[0076]
(5)更新表示训练过程中最大的估计的最小通信轮次的通信轮次上限，防止模型无法收敛时训练过程无法终止的情况。
[0077]
(6)发送聚合的区域模型作为下一轮的终端设备初始化模型，并发送估计的最优本地训练轮次给选中的终端设备。
[0078]
经过mnist和合成数据集两种数据集以及两层全连接神经网络和逻辑斯蒂模型两种机器学习模型对该动态调整机制进行验证，结果如图3所示。图中最优本地训练轮次的估计值在图3.(a)和3.(b)主要分布在区间[8,13]。在图3.(a)中，分布在[8,13]区间的估计率为86％，而在图3(b)中，估计率为85.5％。上述仿真结果表明，公式(5)中的估计是有效的。估算结果是动态调整的，以适应最佳训练轮次。图3.(c)和3.(d)显示，估计值主要分布在两个区间。在图3(c)中，有84％的估计值分布在[12,14]和[23,26]，在图3(d)中，分布在[8,9]和[18,19]区间的估计值超过89％。造成这种估计分布的原因是拟议算法中每轮的δ波动。由于mnist的划分与合成数据集相比更不平衡，δ从0.8
·
10-7
波动到0.3。参数δ的波动导致了估计的转变，这证明梯度发散δ可以反映梯度散度中差异数据对训练过程的影响。此外，δ的这种剧烈波动只使估计的区间扩大了10，这表明公式(5)中的估计是稳定的。