基于多任务联邦学习的通信成本和模型鲁棒性优化方法与流程

技术特征：
1.基于多任务联邦学习的通信成本和模型鲁棒性优化方法，其特征在于，该方法是在联邦学习的场景下单个客户机训练多个用户型任务，目标为最小化整体的通信成本和平均客户机的模型损失值，将联邦学习与多任务学习相结合，每个客户机的模型由一个共享层和多个任务特定层组成，客户机与服务器进行交互，其包括以下步骤：1)服务器从客户机列表中挑选部分或所有的客户机邀请参与本轮通信和模型聚合；2)受邀请的客户机中部分客户机回复接受并发送包含本地数据集大小的相关信息给服务器；3)在客户机进行本地训练前，服务器会向所有的客户机都发送共享层；4)若是首次进行通信，每个客户机将会根据收到的共享层和需要训练的用户型任务的数量和内容生成模型；若不是首次通信那么客户机会将收到的共享层进行反量化，与上一轮保留在本地的任务特定层组合成模型用于本地训练；5)客户机使用本地的数据集使用svrg优化算法进行模型训练；6)本地训练结束后，参与本轮通信的客户机将训练后的共享层进行量化压缩，并将量化压缩后的共享层和量化压缩过程的缩放比例传递给服务器，所有客户机同步等待服务器返回聚合结果；7)服务器收到参与本轮通信的客户机的共享层和缩放比例后，根据客户机的本地训练数据集的数量大小按照权重将共享层和缩放比例进行聚合，并将聚合后的结果返回给所有客户机；8)重复步骤1)-7)，直至达到预设通信次数或客户机的平均模型损失值小于设定值。2.根据权利要求1所述的基于多任务联邦学习的通信成本和模型鲁棒性优化方法，其特征在于，联邦学习的场景下单个客户机训练多个用户型任务，并需要同时优化通信成本和模型鲁棒性；考虑在联邦学习的场景下有m个客户机进行模型训练，其中第m个客户机一共训练t
m
个用户型任务，θ
m
为第m个客户机训练的模型且其中θ1′
为第1个用户型任务的模型，θ2′
为第2个用户型任务的模型，为第t
m
个用户型任务的模型；每个客户机训练优化模型鲁棒性的目标为最小化平均用户型任务的损失值l(θ
m
)如下：式中，t
m
为第m个客户机训练的用户型任务的数量，n
m
为第m个客户机本地的样本数量，为第m个客户机的第j个样本的特征，θ
t
′
是第t个用户型任务的模型，为第m个客户机的第j个样本中第t个用户型任务的标签，f(
·
)是根据模型参数进行预测的函数，l(
·
)是计算模型损失值的函数，λ为正则化惩罚系数，||θ
m
||2为模型的参数平方和；单个客户机与服务器之间的通信成本b
m
由上传模型的次数和单次上传的模型大小共同决定，上传通信成本b
m
如下：b
m
＝r
×
|θ
m
|
×
h(θ
m
)式中，r为通信上传模型的次数，|θ
m
|为第m个客户机的通信过程中模型的大小，h(θ
m
)为第m个客户机通信过程中上传模型的熵；综合考虑多个客户机与服务器，将联邦学习场景下训练多个用户型任务的目标函数设
计如下：目标为同时优化平均客户机的模型损失值和整体的通信成本。3.根据权利要求1所述的基于多任务联邦学习的通信成本和模型鲁棒性优化方法，其特征在于，将联邦学习与多任务学习相结合，每个客户机的模型由一个共享层和多个任务特定层组成；θ
m
为第m个客户机训练的模型，传统的单个客户机训练多个用户型任务模型为将转变成单个客户机训练单个模型，且模型由一个共享层和多个任务特定层组成，即其中θ
sh
是共享层，是任务特定层，且任务特定层能够拆分为其中θ
1*
为第1个用户型任务的任务特定层，θ
2*
为第2个用户型任务的任务特定层，为第t
m
个用户型任务的任务特定层。4.根据权利要求1所述的基于多任务联邦学习的通信成本和模型鲁棒性优化方法，其特征在于，在步骤5)中，使用svrg优化算法进行模型训练，svrg优化算法能够加快本地训练的收敛速度，在达到相同的精度的前提下，使用svrg优化算法能够减少通信的次数；在客户机进行本地训练的过程中，该svrg优化算法与多任务学习结合起来；客户机的单轮本地训练由外层循环和内层循环构成，并且在循环的过程中有两个模型，分别为模型θ和模型映像对于第t个用户型任务，外层循环计算模型映像的共享层和第t个任务特定层的全局平均梯度，分别为和其中为模型映像在共享层的全局平均梯度，为模型映像在第t个用户型任务的任务特定层的全局平均梯度；在内层循环中，随机挑选一批样本计算该样本在模型和模型映像中的梯度，并对模型进行更新，具体的更新公式如下：体的更新公式如下：式中，是第j批样本在模型θ的共享层的梯度，是第j批样本在模型映像的共享层的梯度，是第j批样本在第t个用户型任务中模型θ的任务特定层的梯度，是第j批样本在第t个用户型任务中模型映像的任务特定层的梯度，η是本地模型训练参数更新的学习率，并且在进行下一轮训练时将模型映像的参数更新为模型θ的参数。5.据权利要求1所述的基于多任务联邦学习的通信成本和模型鲁棒性优化方法，其特征在于，在步骤6)中，客户机与服务器进行通信时只上传共享层，多个任务特定层会保留在
本地，并且在上传前会对共享层进行量化压缩，将量化压缩后的共享层和量化压缩过程的缩放比例传递给服务器；量化压缩在损失极少的模型精度的前提下，能够压缩通信消息的大小提高通信效率；在每次客户机与服务器进行通信前，将要上传的共享层从32比特浮点型小数转换成8比特整数，上传的共享层所占空间能够减少4倍；具体的量化过程如下：式中，p为浮点型小数，q为整数，s为缩放比例，z为零点值，round(
·
)函数为向下取整；由于模型需要在服务器中进行聚合，聚合后返回给所有客户机进行反量化时原模型的缩放比例不再适用，因此在聚合模型的同时会将缩放比例也进行聚合。

技术总结
本发明公开了一种基于多任务联邦学习的通信成本和模型鲁棒性优化方法，在联邦学习的场景下，单个客户机需要训练多个用户型任务，其中客户机的模型由单个共享层和多个任务特定层组成；包括：1)服务器挑选并邀请客户机参与通信；2)客户机回应并发送信息给服务；3)服务器分发共享层给所有客户机；4)客户机组合模型；5)客户机使用优化算法本地训练模型；6)客户机量化压缩共享层并发送给服务器；7)服务器对共享层进行聚合；8)重复步骤1)-7)直到满足要求。本发明方法能够在单个客户机训练多个用户型任务的联邦学习场景下，同时最小化总体的通信成本和提高模型的鲁棒性。通信成本和提高模型的鲁棒性。通信成本和提高模型的鲁棒性。


技术研发人员：张幸林 欧昭婧
受保护的技术使用者：华南理工大学
技术研发日：2021.11.10
技术公布日：2022/3/21