一种自动梯度量化的联邦学习框架和方法与流程

1.本发明实施例涉及通信技术领域，尤其涉及一种自动梯度量化的联邦学习框架和方法。


背景技术：

2.物联网和社交网络应用的快速发展在极大方便人们生活的同时也导致网络边缘产生的数据呈指数级增长。有相关研究指出在不久的将来，数据生成量将超过现下互联网的容量。在万物互联时代，很明显的一个特征是，各种网络边缘设备的数量迅速增加。
3.在边缘计算系统当中，计算资源更加接近数据源，而边缘设备已经具有足够的计算能力来实现数据的本地处理。当前的边缘计算系统的训练架构主要是采用集中式模型聚合策略。多个边缘计算节点通过远程云服务器互连，边缘计算节点上训练自身的数据，在训练完一轮或者几轮之后将模型梯度传输至云服务器进行聚合。这种架构无需将原始数据传送到中心服务器，不仅可以降低网络传输过程当中的带宽压力，加速数据分析处理，同时还能降低终端敏感数据信息隐私泄露的风险。
4.目前，大数据处理正逐渐从以云计算为中心的集中式处理时代，转向于以万物互联为核心的边缘计算时代。然而在边缘计算系统中，通信瓶颈为人工智能模型的训练带了新的挑战：
5.1)边缘设备的网络带宽通常比中心云的网络带宽小得多。由于模型需要多轮训练，每e轮(e为本地迭代次数，e越小模型收敛效果通常越好)训练都需要向中心服务器传递模型大小的梯度数据，在边缘设备算力增强的同时，通信速度成为边缘系统训练模型的主要瓶颈。
6.2)联邦学习框架通信量庞大。集中式模型聚合策略会给中央服务器带来很大的通信和计算压力，导致可扩展性差和通信瓶颈。
7.3)不同的边缘设备往往处于不同的网络环境中，导致跨设备带宽不同，加剧了网络异构性，通信速度慢的节点拖累了整个系统的训练进程，称为”落后者”问题。
8.因此，边缘计算系统中设备带宽小和系统通信异构性成为边缘分布式训练中最严重的瓶颈之一。


技术实现要素：

9.本发明提供一种自动梯度量化的联邦学习框架和方法，以解决边缘计算系统中设备带宽小和系统通信异构的问题。
10.第一方面，本发明实施例提供了一种自动梯度量化的联邦学习框架，应用于边缘异构系统中，包括：量化指示器模块、量化策略模块以及量化优化器模块；
11.所述量化指示器模块用于确定历史模型量化指标和当前模型量化指标的量化指标差值；其中，模型量化指标由模型的权重信息和梯度信息确定；
12.所述量化策略模块用于根据所述量化指标差值和所述当前模型量化指标判断是
否需要进行量化精度调整；若是，则通过概率函数以及所述量化指标差值对模型当前的量化精度进行调整；
13.所述量化优化器模块用于根据结合调整因子的梯度下降算法对模型进行训练，以得到更新后的模型。
14.第二方面，本发明实施例还提供了一种自动梯度量化的联邦学习方法，应用于边缘异构系统中，所述方法包括：
15.每个边缘设备根据从中央服务器接收到的训练配置进行全精度训练，并在向所述中央服务发送梯度数据之前计算出历史模型量化指标和当前模型量化指标的差值；
16.量化策略模块根据所述量化指标差值和所述当前模型量化指标，确定量化精度调整幅度，从而确定当前通信轮次的梯度量化精度；
17.到达更新周期时，各边缘设备根据云端协调器所给的拓扑，发送量化后的梯度并在云端进行解码，而后进行梯度聚合，并以非阻塞的方式将同步后的模型广播给其每个边缘设备；
18.各边缘设备收到聚合完的梯度后使用量化优化器模型中的结合调整因子的梯度下降算法进行模型更新；
19.将更新后的模型继续进行联邦学习，直至模型收敛。
20.本实施例的技术方案，充考虑了模型的瞬时收敛能力和节点带宽差异，通过量化指示器模块、量化策略模块以及量化优化器模块三个模块的紧密协作来平衡各个节点每一轮迭代的通信时间，在异构边缘人工智能系统上实现了通信加速并保持模型训练的准确性。
附图说明
21.图1为本发明实施例一提供的一种自动梯度量化的联邦学习框架示意图；
22.图2为本发明实施例一中的梯度方差和mqi指标变化对比图；
23.图3为本发明实施例一中的边缘人工智系统训练模型中四个异构节点量化精度分布图。
具体实施方式
24.下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
25.实施例一
26.图1为本发明实施一提供的一种自动梯度量化的联邦学习框架示意图，应用于边缘异构系统中，包括量化指示器模块、量化策略模块以及量化优化器模块。
27.其中，所述量化指示器模块用于确定历史模型量化指标和当前模型量化指标的量化指标差值；模型量化指标由模型的权重信息和梯度信息确定。
28.本实施例中，量化指标模块的目标是找到一个能近似代表梯度方差且反映模型瞬时收敛能力的指标，并用它来确定量化精度调整的方向。通过实验发现，梯度方差的变化与权重和本地梯度高度相关，所以本实施例中使用模型量化指标mqi近似代替梯度方差，该方
法将极大降低由于计算方差带来的开销，同时使用该指标来刻画模型在控制梯度方差的情况下的收敛能力，模型量化指标mqi的公式如下：
[0029][0030]
其中，mqi是模型量化指标，代表当前模型的收敛性能，w为模型参数权重，g为梯度，||
·
||2代表第二范式函数。
[0031]
进一步参见图2，图2为梯度方差和mqi指标变化对比图。图2中处于第一行的三幅图像为mqi指标变化示意图，第二行的三幅图像为梯度方差变化示意图，前面两列图为固定量化精度，最后一列图为混合量化训练，每一幅图的横坐标表示模型训练的不同量化水平。
[0032]
从图2中可以看出，1)在固定量化精度训练中，mqi稳步提高。量化水平越小，则mqi越小，梯度方差越大。这表明mqi可以作为梯度方差的一个近似指标。
[0033]
2)在混合量化训练中，随着梯度方差的变化，mqi会产生剧烈的抖动，使得模型训练不稳定。但mqi的变化趋势也与梯度方差变化趋势成反比。这表明mqi可以用来指导量化精度的调整以稳定梯度方差。
[0034]
然而，只调整上下轮的mqi的变化程度是非常粗糙的。受adam的自适应矩估计方法的启发，矩估计的指数移动平均技术抓住了mqi值随时间变化的趋势，消除了mqi值的异常波动。该技术通过积累每一轮的mqi值来表征历史模型的收敛性，然后与当前模型的收敛性进行比较，确定是否需要调整量化等级来稳定模型训练。
[0035]
更进一步的，本实施例中将历史模型量化指标mqi
h
定义如下：
[0036][0037]
其中，t为当前迭代轮次，β为超参数，一般设置为0.95，通过比较历史mqi值和当前mqi值来来表征收敛能力的变化，量化指标差值的计算公式如下：
[0038]
δmqi＝mqi
‑
mqi
h
[0039]
本实施例中，使用mqi进行量化精度调整，可以保证自动梯度量化联邦学习的性能；对于不同的模型或不同的计算框架，训练期间的mqi趋势基本相同，这使得mqi具有高度的通用性；此外，在计算过程中只使用模型自身的权重和梯度信息，没有引入过多的计算开销。
[0040]
进一步的，量化策略模块用于根据所述量化指标差值和所述当前模型量化指标判断是否需要进行量化精度调整；若是，则通过概率函数以及所述量化指标差值对模型当前的量化精度进行调整。本实施例中，当判断所述量化指标差值的范数是否大于所述当前模型量化指标时，需要对当前模型的量化精度进行调整。
[0041]
其中，上述概率函数为b～n(b
init
,1)，n是方差为1的正态函数，将起始量化精度b
init
作为平均值，表明其被选中的概率最高。当前次迭代的量化精度值b
l
大于起始量化精度值b
init
时，量化精度采用慢增快减策略；反之，量化精度采用慢减快增策略。具体的自适应调整机制如下：
[0042]
判断规则：||δmqi||＞α*mqi
[0043]
更新方法：
[0044]
其中，b
k
为当前模型的第k轮训练使用的量化精度值，b
l
为当前模型上一轮迭代的
量化精度值，为第k
‑
1轮迭代的量化精度值，为当前节点初始量化精度值。
[0045]
当满足判断规则公式时，需要进行梯度量化精度的调整。在调整过程中，基于概率的选择函数可以保证量化精度水平尽可能接近初始量化精度b
init
，例如当δmqi＜α*mqi时，表示当前模型的泛化性能比历史模型的泛化性能差，节点会增加量化精度b来减小训练方差。同时，如果b
init
<b
l
，则精度b的调整策略为b＝b
l
1，反之，精度b的调整策略为b＝b
l
γ*(n(b
init
)
‑
n(b
l
))。
[0046]
进一步参见图3，图3为边缘人工智系统训练模型中四个异构节点量化精度分布图。四个异构节点的带宽比为[1:2:3:4]，从图3中可知，量化精度比收敛于节点带宽比，即节点物理带宽比为[1:2:3:4]时，四个节点的量化精度值的比例也趋近于[1:2:3:4]。
[0047]
量化策略模块根据模型量化指标和每个节点的物理带宽，在运行时调整量化精度变化幅度，一方面，当量化梯度的方差下降时，通过mqi的调节牺牲部分节点的通信速度可以加速模型的收敛。另一方面，当量化梯度的方差增大时，通过牺牲当前收敛精度可以获得节点通信加速，加快模型的训练过程。在使用低位量化时，虽然梯度方差增大，但也会产生类似于向模型中注入高斯噪声的影响，这对于跳出局部极小值的凸函数有积极的意义。
[0048]
进一步的，所述量化优化器模块用于根据结合调整因子的梯度下降算法对模型进行训练，以得到更新后的模型。通过实验可知，在固定的学习率下，当梯度方差较大时，mqi会减少，即模型收敛能力变差。可以通过mqi值的变化率来调整学习率，以抵消梯度偏差的影响。
[0049]
其中，所述结合调整因子的梯度下降算法的公式为:
[0050]
其中
[0051]
w
t 1
为第t 1轮的模型参数，w
t
为第t轮的模型参数，ξ
t
为学习率，为w
t
的梯度；
[0052]
ρ
t
为调整因子，μ为用于调整ρ
t
以适应学习率的超参数，为量化后的梯度与原始梯度的偏差，wd为正则化因子，g
t
代表第t轮的梯度参数，||
·
||2代表第二范式函数。
[0053]
在梯度下降算法中调整因子的原因如下：1)梯度量化前后的余弦相似度是根据梯度方向上的偏差程度指数来衰减学习率以平衡误差。2)mqi是衡量收敛能力的一个好指标。考虑到每轮量化水平s不一致会导致模型收敛能力不一致，需要根据收敛能力对学习率进行修正，mqi可以为优化器提供可靠指导。
[0054]
本实施例的技术方案，充考虑了模型的瞬时收敛能力和节点带宽差异，通过三个模块的紧密协作来平衡各个节点每一轮迭代的通信时间，在异构边缘人工智能系统上实现了通信加速并保持模型训练的准确性。
[0055]
本发明实施例还提供了一种自动梯度量化的联邦学习方法，应用于边缘异构系统中，所述方法具体包括以下步骤：
[0056]
s01、在每轮培训开始之前，中央服务器向系统中的每个边缘设备发送训练配置，训练配置中包括初始模型参数和训练参数等。
[0057]
s02、每个设备使用本地数据进行全精度训练，在发送梯度数据至中央服务器之前计算历史模型量化指标mqi
h
和当前模型量化指标mqi，得到量化指标差值δmqi用于确定量化精度调整方向。
[0058]
s03、量化策略模块根据该量化指标差值δmqi和每个节点的物理带宽决定量化精度调整幅度，从而确定当前通信轮次的梯度量化精度。
[0059]
s04、模型同步。到达更新周期时，各设备端根据云端协调器所给的拓扑发送量化后的梯度并在云端进行解码，而后进行梯度聚合，并以非阻塞的方式将同步后的模型广播给每个边缘设备。
[0060]
s05、模型更新。各边缘设备收到聚合完的梯度后使用量化优化器模型中的结合调整因子的梯度下降算法进行模型更新。
[0061]
s06、重复步骤s03到s06，直到模型收敛。
[0062]
本实施例提供的一种自动梯度量化的联邦学习方法由自动梯度量化的联邦学习框架执行，具备相应的技术手段和有益效果，不再进行赘述。
[0063]
实施例二
[0064]
本发明实施例介绍一种自动梯度量化的联邦学习在视频监控中的应用实例。
[0065]
视频监控是安防市场的重要组成，是数据的收集端。随着城市安防的持续投入，各社区、商场、银行网点、道路街边、停车场等公共环境都安装有监控摄像头，视频监控、人脸识别等功能，在安防系统中发挥着重要作用。
[0066]
随着终端设备算力的发展，可以在监控摄像头内置计算单元并通过网络互连，各个摄像头之间可以通过中央服务器进行协同训练获得先进的人工智能(artificial intelligence，ai)模型效果。然而，各个摄像头之间通常使用不同的联网方式，系统的带宽异构程度十分严重。通过引入边缘计算并应用自动梯度量化的联邦学习算法能够在本地训练原始视频流数据，避免将冗余数据上传到云端，确保数据隐私。同时，将梯度上传至云端聚合的时候，自动梯度量化的联邦学习算法可以自适应设备带宽，减少通信时间，缓解带宽异构问题，可以更快地训练模型并快速进行模型部署。另外，植入人脸识别应用，对视频数据进行解析和模型匹配，有效识别重点监控对象，这些操作都是在设备本地进行，使得终端设备由被动监控转化为与主动分析与预警相结合的安防终端系统。
[0067]
实施例三
[0068]
本发明实施例介绍一种自动梯度量化的联邦学习在智能家居系统中的应用实例。
[0069]
智能家居系统主要通过多种传感器技术，结合ai深度学习，不断做出环境适应的调整。在智能家居场景下进行联邦学习训练可以获得与时俱进的模型训练效果。针对多种异构设备，以统一命名及接口，接入到云端管理，为智能家居控制程序的开发，提供完备的抽象。目前，智能家居的实现模式主要是通过云端连接控制，然而这在联邦学习中存在几个方面的挑战。首先，将每家每户敏感的家居数据上传到云端侵犯了用户的隐私。其次，每家每户的联网方式不尽相同，设备带宽小且异构导致在进行联邦学习训练时存在通信瓶颈。
[0070]
将自动梯度量化的联邦学习算法到智能家居系统中，不仅可以降低各设备的带宽成本，也可以缓解设备同步更新训练过程中的“落后者”问题，更快地进行模型部署使用。其次，该算法不仅可以应用于参数服务器架构，也可以用于环状通信架构。当智能家居需要个性化训练时，可以在同一用户的多个家居设备间通过环状通信架构进行更快的迭代训练，
从而获得更好的个性化模型。通过各个用户的不同家居设备不断地训练，“全局ai模型”的智能化不断增强，在该过程中没有数据的流动。之后，再将全局模型分享给各个用户，由于用户的多个设备的数据不再具有隐私性，可以通过环状通信架构进行再训练实现智能设备的高度个性化，以满足不同用户的不同需求。自动梯度量化的联邦学习算法加速了模型训练过程中的通信阶段，具备在大规模传感器系统中快速进行ai模型训练和应用部署。
[0071]
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。