一种模型异构性联邦学习方法和系统

技术特征：
1.一种模型异构性联邦学习方法，其特征在于，包括以下步骤：s1：由各个客户端分别将其独立设计并训练的本地模型上传到中央服务器；s2：在中央服务器，将各个本地模型输入到变构特征生成器中生成变构特征；s3：利用生成的变构特征协同更新各个本地模型；s4：将更新完毕的本地模型返回各个客户端。2.根据权利要求1所述的一种模型异构性联邦学习方法，其特征在于，所述变构特征生成器[g
b
,t1,...,t
k
,...,t
k
]包括一个代码生成器g
b
和k个代码转换器t1,...,t
k
,...,t
k
，k∈[1,
…
,k]；其中，代码生成器g
b
用于根据各个本地模型生成相应的代码，k个代码转换器t1,...,t
k
,...,t
k
为一个顺序转换网络，用于将各个客户端对应的代码转换为变构特征为k个结构各异的特征。3.根据权利要求2所述的一种模型异构性联邦学习方法，其特征在于，由代码生成器g
b
生成的与第k个本地模型对应的代码包括共享代码和第k个客户端特有的代码则第k个特征为4.根据权利要求1所述的一种模型异构性联邦学习方法，其特征在于，通过预测损失函数和散度损失函数对变构特征生成器进行监督。5.根据权利要求4所述的一种模型异构性联邦学习方法，其特征在于，所述预测损失函数为：其中，n表示生成代码的数量，c表示标签类别，表示第k个本地模型的结果，t
k
表示第k个代码转换器，b
k,c
表示对应于第k个本地模型的第c类别代码，g
b
表示代码生成器，e
c
表示第c类的类嵌入。6.根据权利要求4所述的一种模型异构性联邦学习方法，其特征在于，所述散度损失函数为：其中，c表示标签类别，n
c
表示生成第c类代码的数量，var函数用于计算数据的偏差程度，b
c
＝g
b
(e
c
)表示生成的第c类代码，表示b
c
的期望值，表示随机噪声向量h的期望值。7.根据权利要求1所述的一种模型异构性联邦学习方法，其特征在于，通过一致性损失和通信损失保证协同更新多个本地模型之间的信息交换。8.根据权利要求7所述的一种模型异构性联邦学习方法，其特征在于，所述一致性损失函数为：
其中，n表示生成代码的数量，表示由代码b
k,(i)
在第k个本地模型中取得的预测概率，t
k
表示第k个代码转换器，b
k,(i)
＝g
b
(
(i)
)，g
b
表示代码生成器，e
(i)
表示第i个嵌入样本，表示第k个客户端所有预测概率的期望值。9.根据权利要求7所述的一种模型异构性联邦学习方法，其特征在于，所述通信损失函数为：其中，n表示生成代码的数量，c表示标签类别，表示第k个客户端本地数据的预测值，表示替换代码的异构特征的预测值，表示第k个本地模型，t
k
表示第k个代码转换器，表示替换了客户端特有代码b
sp
的代码，g
b
表示代码生成器，e
c
表示第c类的类嵌入。10.一种模型异构性联邦学习系统，其特征在于，包括一个中央服务器和多个客户端；其中，所述客户端，用于根据本地数据对其独立设计的本地模型进行本地训练，以及将本地模型上传到中央服务器；所述中央服务器，其中设置有变构特征生成器和协同模型更新模块，用于将上传的各个本地模型输入到变构特征生成器中生成变构特征，并通过协同模型更新模块利用变构特征对各个本地模型进行协同更新，以及将更新完毕的本地模型返回各个客户端。

技术总结
本发明提供一种模型异构性联邦学习方法，包括以下步骤：S1：由各个客户端分别将其独立设计并训练的本地模型上传到中央服务器；S2：在中央服务器，将各个本地模型输入到变构特征生成器中生成变构特征；S3：利用生成的变构特征协同更新各个本地模型；S4：将更新完毕的本地模型返回各个客户端。本发明还提供一种模型异构性联邦学习系统，用于实现所述的一种模型异构性联邦学习方法。本发明提供一种模型异构性联邦学习方法和系统，解决了现有的联邦学习方法在模型异构的实际情况下存在聚合效果不好的问题。好的问题。好的问题。


技术研发人员：杨宝瑶 詹伟德
受保护的技术使用者：广东工业大学
技术研发日：2022.08.17
技术公布日：2022/11/11