一种基于联邦学习的域泛化方法

技术特征：
1.一种基于联邦学习的域泛化方法，其特征在于，在联邦学习架构下，基于分布式的多源域的数据跨域学习一个用于未知目标域的泛化模型，具体包括以下步骤：s1：利用对抗学习网络按类别对齐客户端的源域数据的特征分布和参考特征分布，并学习一个在源域特征上能很好分类的分类器；其中，使用分布生成器生成参考特征分布，通过对抗学习，生成的参考特征分布按类别靠近源域数据的特征分布；s2：利用联邦学习架构将多个客户端的特征提取器、分布生成器和分类器的模型参数在服务器进行平均，使得多个客户端的参考特征分布一致，且靠近所有源域数据特征分布的中心，特征提取器输出的特征分布一致，且分类器能对该特征分布的特征进行分类；s3：通过多轮的服务器与客户端数据交互，多个源域的特征分布按类别对齐，特征提取器在多个源域数据上输出的特征分布靠近生成的参考特征分布。2.根据权利要求1所述的基于联邦学习的域泛化方法，其特征在于，步骤s1具体包括以下步骤：s11：基于本地带标签的源域数据，客户端训练特征提取器和分类器，使得特征提取器提取出用于分类任务的关键数据特征，分类器能对该特征准确地分类；s12：给定特征提取器提取的源域数据特征和分布生成器输出的生成特征，两类特征携带真实数据的标签，经过随机映射后输入判别器，判别器将输出该特征作为正样本的概率；s13：特征提取器的参数更新：使用超参数λ0和λ1来平衡对抗损失和分类损失对特征提取器参数的影响；s14：分布生成器的损失函数由判别器判断生成特征h
′
是否为正样本的概率得到；在对抗训练分布生成器的过程中，给定固定参数的判别器，用于更新分布生成器的参数；s15：基于步骤s12，判别器尽可能地区分被看作负样本的源域数据特征和被看作正样本的生成特征；在步骤s13和步骤s14，固定判别器参数，训练特征提取器使得判别器误判源域特征为正样本，训练分布生成器使得判别器正确判断生成特征为正样本，重复多轮步骤s12～s14的对抗训练，使得判别器将这两类特征都判别为正样本，此时，源域特征分布和生成的参考特征分布按类别对齐，并且，生成的参考特征分布通过对抗训练按类别靠近源域特征分布。3.根据权利要求2所述的基于联邦学习的域泛化方法，其特征在于，步骤s12中，在特征提取器、分布生成器和判别器的对抗学习过程中，特征提取器提取的特征h被看作负样本，而分布生成器输出的特征h
′
被看作正样本；判别器将这两类输入特征的损失函数定义为：其中，p(h)表示特征h的分布，p(h
′
)表示特征h
′
的分布，d表示判别器模型，y表示特征h对应数据的真实标签，表示期望。4.根据权利要求3所述的基于联邦学习的域泛化方法，其特征在于，步骤s13具体包括：更新特征提取器和分类器的损失函数为其中，为分类训练过程中的损失函数，表示对抗学习过程中特征提取器的损失函数，定义为：
在对抗训练特征提取器的过程中，特征提取器的负样本h将用于欺骗判别器，使得判别器将h判别为正样本。5.根据权利要求4所述的基于联邦学习的域泛化方法，其特征在于，步骤s14中，分布生成器的损失函数用于更新分布生成器的参数，定义为：6.根据权利要求1所述的基于联邦学习的域泛化方法，其特征在于，步骤s2具体包括以下步骤：s21：服务器接收来自客户端上传的模型的参数，这些模型包括：特征提取器、分布生成器和分类器，并暂存，当接收了所有客户端上传的模型参数后，按不同模型对上传的参数进行平均，参数平均运算公式为：其中，w
t
表示在第t周期的模型参数，k表示客户端数量；s22：在服务器对所接收的所有模型参数平均计算后，服务器将得到的新模型参数分发至所有客户端，等待下一次聚合运算。7.根据权利要求1所述的基于联邦学习的域泛化方法，其特征在于，步骤s3具体包括以下步骤：s31：在客户端，本地分布生成器的输出分布靠近本地源域数据的特征分布，经参数全局平均，此时分布生成器输出的参考特征分布靠近所有源域数据分布的中心；经过多轮客户端与服务器参数交互，直至分类器在本地数据集上的较高的准确率收敛，上传模型参数至服务器；s2：服务器对特征提取器和判别器的参数进行平均。

技术总结
本发明涉及一种基于联邦学习的域泛化方法，属于计算机技术领域。该方法包括：利用对抗学习网络按类别对齐客户端的源域数据的特征分布和参考特征分布；利用联邦学习架构将多个客户端的特征提取器、分布生成器和分类器的模型参数在服务器进行平均，使得多个客户端的参考特征分布一致，且靠近所有源域数据特征分布的中心，特征提取器输出的特征分布一致，且分类器能对该分布的特征进行分类；通过多轮的服务器与客户端数据交互，多个源域的特征分布按类别对齐，此时，服务器聚合的特征提取器和分类器能很好地从多源域泛化至目标域。本发明在保护源域数据隐私的条件下，无需目标场景数据即可学习在目标域具有很好泛化能力的模型。即可学习在目标域具有很好泛化能力的模型。即可学习在目标域具有很好泛化能力的模型。


技术研发人员：黄宏宇 张莉玲
受保护的技术使用者：重庆大学
技术研发日：2021.12.28
技术公布日：2022/4/26