一种面向无线联邦学习的移动用户设备分簇训练方法

1.本发明面向物联网环境下联邦学习的技术领域，特别针对改善联邦学习集中式聚合服务器可能会由于物理损坏或恶意用户的安全攻击而停止工作，从而中断训练进程的情况。


背景技术：

2.当下，人工智能(ai)已经进入生活的方方面面，众所周知，支撑ai训练的核心是数据，尤其是精确且具有分布代表性的优质数据。现实生活中，除了少数巨头公司能够满足，绝大多数企业都存在数据量少，数据质量差的问题，不足以支撑人工智能技术的实现；同时国内外监管环境也在逐步加强数据保护，陆续出台相关政策，如欧盟最近引入的新法案《通用数据保护条例》(gdpr)，我国国家互联网信息办公室起草的《数据安全管理办法(征求意见稿)》，在未来，数据信息会成为越来越重要的私有财产，因此数据在安全合规的前提下自由流动，成了大势所趋。面对商业公司所拥有的巨大的潜在价值的数据，两个公司甚至公司间的部门都要考虑利益的交换，往往这些机构不会提供各自数据与其他公司做直接的聚合，导致即使在同一个公司内，数据也往往以孤岛形式出现。基于以上不足以支撑实现、不允许粗暴交换、不愿意贡献价值三点，导致了现在大量存在的数据孤岛，以及隐私保护问题，联邦学习应运而生。
3.基于联邦学习(fl)的边缘智能可以被认为是许多新兴的、严格的延迟物联网(物联网)应用程序的一个很有前途的范例，预计在可预见的未来，物联网设备的数量将迅速激增。如何在用户加入时分配与其信道资源匹配较好的边缘端，以减少其与边缘段交互延迟显得格外重要。此外，传统的集中式fl聚合服务器可能会由于安全攻击或物理损坏而停止工作，并且伴随客户端训练延时以及客户端上传延时的而造成机器学习收敛速度慢的困扰，采用分布式架构的服务器可以提高系统的高并发，高可用，以及可扩展性能。


技术实现要素：

4.本发明所要解决的技术问题是克服现有技术的不足而提供一种物联网联邦学习中移动用户设备分簇方法，通过dbscan密度分簇以及leach算法将用户多层区分，再通过评分加权选出簇头，使得每个用户将本地训练模型传输至最近的簇头进行聚合，以此减小整个分布式联邦学习的通信时延和本地训练时延，达到快速收敛。
5.本发明为解决上述技术问题采用以下技术方案：
6.假设无线网络中联邦学习模型由1台边缘服务器和n个移动用户设备组成，用户设备集合为ψ＝{uen|1≤n≤n}，每个用户设备uen的本地训练数据集为dn。
7.一种面向无线联邦学习的移动用户设备分簇训练方法的具体步骤如下：
8.步骤a.第n个移动用户设备uen将各自的指示信息上传至边缘服务器，其中sn代表第n个移动用户设备的位置坐标，代表第n个移动用户设备的速度矢量(单位米/秒)，代表第n个移动用户设备的cpu算力(单位：cycle/秒)以及pn代表第n个移动用户设备的发射功率。
9.步骤b.边缘服务器根据所有用户设备的位置坐标，采用dbscan算法将用户设备划分为k个不同的类别其中代表第k个类别，代表内的用户数目，未被划分至类别的用户集合为
10.步骤c.边缘端服务器计算内第i个用户设备的评分值。
11.步骤d.根据步骤c计算得到的评分值，确定簇头以及簇内成员，对用户设备进行分簇。
12.步骤e.每个簇内的用户设备分别进行本地训练，通过梯度下降法得到各自的本地模型参数。
13.步骤f.每个簇内用户设备将本地模型参数上传至所在簇的簇头进行聚合，通过加权平均计算簇模型参数。所有簇头将各自的簇模型参数上传至边缘服务器进行聚合，获得全局模型参数
14.步骤g.边缘服务器计算全局模型损失函数若则模型训练结束，否则返回步骤a，其中ε0表示设定精度，是一个极小的常数。
15.作为本发明所述的一种面向无线联邦学习的移动用户设备分簇训练方法进一步优化方案，所述步骤c包括步骤：
16.步骤c01.将内第i个用户设备表示为定义的位置坐标为和的位置坐标为边缘端服务器计算的位置度量
[0017][0018]
其中，表示内除以外的用户集合。
[0019]
步骤c02.定义的速度矢量和的速度矢量其中和分别是和的速率，α和β分别是和的运动方向。边缘端服务器计算的速度度量计算公式如下：
[0020][0021]
其中，其中，分别表示第次记录的和的速度矢量，表示本轮联邦学习内记录速度矢量的次数。
[0022]
步骤c03.边缘端服务器计算的链路保持时间度量计算公式如下：
[0023][0024]
其中，
[0025][0026]
其中，
[0027][0028][0029][0030]
l表示自定义链路长度。
[0031]
步骤c04.边缘端服务器计算用户的时延，计算公式如下：
[0032][0033]
其中，η为权值，表示本地训练模型所需要的时延，表示和之间通信所需要的时延，计算公式如下：
[0034][0035]
其中，表示和通信的数据量，表示它们之间的信道传输速率，表示用户设备间信道带宽，表示用户间噪声功率谱密度，表示的功率，计算公式如下：
[0036][0037]
其中，e
i,k
表示本地训练模型所需计算内存的大小，用户的cpu运行速率。
[0038]
步骤c05.边缘端服务器计算的评分的公式如下：
[0039][0040]
其中，其中，分别表示分别表示的权值。
[0041]
作为本发明所述的一种面向无线联邦学习的移动用户设备分簇训练方法进一步优化方案，所述步骤d包括步骤：
[0042]
步骤d01.边缘端服务器设置第τ轮联邦学习的阈值用户设备从边缘端服务器下载自己的评分值和自己所属类别的阈值评分值小于阈值的用户设备选入簇头集合，大于等于该阈值的选入簇内成员集合，其中表达式如下所示：
[0043][0044]
其中，pk表示预设的选为簇头概率百分比，g表示最近轮没有成为簇头的用户设备集合，[]为取整。该表达式的含义为：若内任意一个用户设备均不属于集合g，则否则
[0045]
步骤d02.将簇内成员集合内的用户设备分配给与其欧氏距离最近的簇头，将集合中的用户设备分配给与其欧氏距离最近的簇头，完成移动用户设备的分簇。
[0046]
本发明采用以上技术方案与现有技术相比，具有以下技术效果：
[0047]
(1)本方法在保证联邦学习性能的同时，兼顾物联网环境下用户的移动性，在每轮联邦学习的过程中调整对移动用户的分簇参数，使得用户集群划分合理，用户间总的传输路径最短。
[0048]
(2)本方法在物联网中用户上传参数时，通过对用户各个指标加权评分的方式，选择最佳中心簇头，减少传输时延和训练时延，以此减小联邦学习训练收敛时间。
附图说明
[0049]
图1为一种面向无线联邦学习的移动用户设备分簇训练方法的网络架构图；
[0050]
图2为一种面向无线联邦学习的移动用户设备分簇训练方法的步骤b01流程图；
[0051]
图3为一种面向无线联邦学习的移动用户设备分簇训练方法的训练延时和loss值的仿真图；
[0052]
图4为一种面向无线联邦学习的移动用户设备分簇训练方法的训练延时和准确率的仿真图；
[0053]
图5为一种面向无线联邦学习的移动用户设备分簇训练方法的时间仿真图；
[0054]
图6为一种面向无线联邦学习的移动用户设备分簇训练方法的功率损耗仿真图。
具体实施方式
[0055]
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图及具体实施例对本发明进行详细描述。
[0056]
根据本发明提出的一种物联网边缘环境中面向无线联邦学习的移动用户设备分簇方法，通过dbscan密度分簇以及leach算法将用户多层区分，再通过评分加权选出簇头，使得每个用户将本地训练参数传输至最合理的簇头进行聚合，以此减小整个分布式联邦学习的通信时延和本地训练时延，达到快速收敛。
[0057]
本例中的物联网下分布式联邦学习架构参与用户分布如图1所示，假设在无线网络中，有n个用户设备，集合表示为：ψ＝{uen|1≤n≤n}，每个用户设备都拥有属于自己的本地数据集dn，它们通过边缘服务器实现数据共享。
[0058]
本例中的用户设备划分集群流程图如图2所示，假设uei在第τ轮联邦学习的位置坐标为根据用户分设备位置密度分布采用dbscan算法将它们第一次粗略划分为不
同的类别，具体流程如图2所示，以表示在第τ轮联邦学习所划分的第k个类别，该方法包括以下步骤：
[0059]
步骤1：初始化在第τ轮联邦学习的核心用户设备集合ω
τ
＝φ，簇群数量k
τ
＝0，未访问的用户设备集合为γ
τ
＝ψ，类别给定变量ε，minpts。
[0060]
步骤2：对任意的ue∈ψ，通过距离度量方式找到所有与之距离小于ε的用户设备，用集合n
τ
表示，即n
τ
＝{uej|d(uei,uej)≤ε}，其中d表示设备间距离。
[0061]
步骤3：如果集合n
τ
元素个数满足|n
τ
|≥minpts，则将uei加入集合ω
τ
中，转至步骤4，否则重新选择用户设备ue，转至步骤2。
[0062]
步骤4：如果集合ω
τ
＝φ，则算法结束，否则转至步骤5。
[0063]
步骤5：随机在集合ω
τ
里选择一个核心用户设备ueo，初始化一个当前核心用户设备集合初始化簇内成员集合更新k
τ
＝k
τ
1，更新未访问样本集合γ
τ
＝γ
τ-ueo。
[0064]
步骤6：如果当前簇内核心用户集合则更新则更新转至步骤4，否则更新集合转至步骤7。
[0065]
步骤7：在集合取出一个核心用户ue
o'
，找出其集合令更新当前集群更新未访问用户集合γ
τ
＝γ
τ-m，更新转至步骤6。
[0066]
最终，得到第τ轮联邦学习的用户设备簇群
[0067]
此时类别内第i个用户设备表示为未被划入类别内的用户设备集合表示为对计算其位置度量速度度量链路保持时间度量与时延
[0068]
根据位置坐标位置坐标的位置坐标计算计算公式如下：
[0069][0070]
其中，表示内除以外的用户集合。
[0071]
假设第τ轮联邦学习从用户开始本地训练模型到上传模型参数进行聚合的时间为期间每隔时间长度记录一次此刻位置坐标总共记录次，可得在次记录的位移为：
[0072][0073][0074]
由此可得的速率值和位移角度如下式所示：
[0075][0076][0077]
可得在时间内的速度集合如下式所示：
[0078][0079]
接着计算和簇内其他用户的相对速度，如下式所示：
[0080][0081]
最后计算的速度度量如下式所示：
[0082][0083]
用户和的速度矢量为和和和分别表示和的速率，α和β分别表示和的运动方向。
[0084]
设置一个链路长度l，带入如下公式得到链路保持时间度量
[0085][0086]
其中，的计算公式如下所示：
[0087][0088]
的计算公式如下所示：
[0089][0090]
的计算公式如下所示
[0091][0092]
对于的时延由用户设备执行训练任务运行时延和上传参数时延
构成，边缘服务器已知用户间信道噪声功率谱密度n和信道带宽每个用户设备执行的程序内存大小为e
i,k
，的计算公式如下：
[0093][0094]
其中，表示和之间通信所需要的时延，表示执行程序所需要的时延，计算公式如下：
[0095][0096]
其中，表示和发送的数据量，表示它们之间的信道传输速率，表示用户设备间信道带宽，表示用户间噪声功率谱密度，表示的功率。
[0097]
可得的计算公式如下：
[0098][0099]
其中，η为权值。
[0100]
计算的得分值
[0101][0102]
其中，其中，为权值，保证和为1。
[0103]
假设此时处于第τ轮联邦学习中，那么该轮的评分阈值如下式所示：
[0104][0105]
其中，pk表示预设的选为簇头概率百分比，g表示最近轮没有成为簇头的用户集合。
[0106]
若评分值小于阈值则用户设备选入簇头集合，否则选入簇内成员集合。将簇内成员集合内的用户设备分配给与其欧氏距离最近的簇头，将集合中的用户设备分配给与其欧氏距离最近的簇头，完成移动用户设备的分簇。
[0107]
第t个簇ζ
t
内第s个用户设备通过梯度下降法(参见a graph federated architecture with privacy preserving learning公式1-公式3)，将本轮训练好的本地模型参数先上传至其所属簇的簇头进行聚合，得到所属簇上的聚合模型参数(即簇模型参数)
[0108]
[0109]
其中，通过边缘服务器与其它簇头共享，更新全局模型，更新后的全局模型如下式所示：
[0110][0111]
其中，λ为权值。
[0112]
边缘服务器将以广播方式传回用户设备，若模型准确率和loss未收敛，开始下一轮联邦学习，否则结束联邦学习。
[0113]
本例中的仿真由图3-6所示，可以看出，物联网边缘环境中面向无线联邦学习的移动用户设备分簇方法(dl-cluster)相比于随机分簇(rd-cluster)和传统集中式联邦学习(base-fl)，在准确率收敛和loss收敛速度上明显增加，每轮联邦学习消耗的时间也显著减少。随着用户数的增多，无论是功率消耗的稳定性和数量值，该方法也比随机分簇和传统集中式联邦学习具有更好的表现。