联邦学习的系统和方法及客户端装置与流程

技术特征：
1.一种联邦机器学习系统中的客户端装置，所述客户端装置包括：至少一个计算装置；通信接口；和处理器，连接到所述至少一个计算装置和通信接口，处理器：从全局参数组选择针对所述客户端装置的参数组，使用所述客户端装置的数据集和由所述客户端装置选择的参数组来训练模型，数据集从所述至少一个计算装置的输出形成，在训练模型之后更新权重因子字典和因子强度向量，通过通信接口向全局服务器发送客户端更新的权重因子字典和客户端更新的因子强度向量，通过通信接口从全局服务器接收全局更新的权重因子字典和全局更新的因子强度向量，和使用所述客户端装置的数据集、由所述客户端装置选择的参数组以及全局更新的权重因子字典和全局更新的因子强度向量来重新训练模型。2.根据权利要求1所述的客户端装置，其中，所述客户端装置是n个客户端装置的组的一部分，其中n是正整数。3.根据权利要求2所述的客户端装置，其中，处理器通过使用包括种子值的三个变分参数来从全局参数组选择参数组，并且使数据集的有监督学习与被选参数组和全局参数组的正则化之间的差最小化。4.根据权利要求3所述的客户端装置，其中，处理器通过接收已经从全局服务器发送到所述n个客户端装置的第一客户端装置子集的全局参数组，来从全局参数组选择参数组，所述客户端装置是第一客户端装置子集的一部分。5.根据权利要求4所述的客户端装置，其中，所述客户端装置通过接收由全局服务器发送到所述n个客户端装置的第二客户端装置子集的全局更新的权重因子字典和全局更新的因子强度向量，来接收全局更新的权重因子字典和全局更新的因子强度向量，所述客户端装置是第二客户端装置子集的一部分。6.根据权利要求4所述的客户端装置，其中，处理器通过通信接口向全局服务器发送对当前版本的全局参数组的请求，其中，处理器使用当前版本的全局参数组来更新模型，并且其中，处理器评估使用当前版本的全局参数组更新的模型，以基于所述客户端装置的数据集形成推断。7.根据权利要求1至6中的任一项所述的客户端装置，其中，数据集包括与生物特征数据、医疗数据、图像数据、语音数据、位置数据、应用使用数据、热数据、大气数据、音频数据和调查数据中的至少一个有关的信息。8.一种联邦机器学习系统，包括：全局服务器，从n个客户端装置接收权重因子字典的更新和因子强度向量的更新，并且生成全局更新的权重因子字典和全局更新的因子强度向量，其中n是正整数；和所述n个客户端装置，至少一个客户端装置中的每个客户端装置包括：至少一个计算装置，
通信接口，和处理器，连接到所述至少一个计算装置和通信接口，处理器：从全局参数组选择参数组，使用所述客户端装置的数据集和由所述客户端装置选择的参数组来训练模型，在训练模型之后更新权重因子字典和因子强度向量，通过通信接口发送客户端更新的权重因子字典和客户端更新的因子强度向量，通过通信接口从全局服务器接收全局更新的权重因子字典和全局更新的因子强度向量，和使用所述客户端装置的数据集、由所述客户端装置选择的参数组以及全局更新的权重因子字典和全局更新的因子强度向量来重新训练模型。9.根据权利要求8所述的联邦机器学习系统，其中，处理器通过使用包括种子值的三个变分参数来从全局参数组选择参数组，并且使数据集的有监督学习与被选参数组和全局参数组的正则化之间的差最小化。10.根据权利要求9所述的联邦机器学习系统，其中，处理器通过接收已经从全局服务器发送到所述n个客户端装置的第一客户端装置子集的全局参数组，来从全局参数组选择参数组，所述客户端装置是第一客户端装置子集的一部分。11.根据权利要求10所述的联邦机器学习系统，其中，客户端装置通过接收由全局服务器发送到所述n个客户端装置的第二客户端装置子集的全局更新的权重因子字典和全局更新的因子强度向量，来接收全局更新的权重因子字典和全局更新的因子强度向量，所述客户端装置是第二客户端装置子集的一部分。12.根据权利要求10所述的联邦机器学习系统，其中，处理器通过通信接口向全局服务器发送对当前版本的全局参数组的请求，其中，处理器使用当前版本的全局参数组来更新模型，并且其中，处理器评估使用当前版本的全局参数组更新的模型，以基于所述客户端装置的数据集形成推断。13.根据权利要求8至12中的任一项所述的联邦机器学习系统，其中，数据集包括与生物特征数据、医疗数据、图像数据、语音数据、位置数据、应用使用数据、热数据、大气数据、音频数据和调查数据中的至少一个有关的信息。14.一种联邦机器学习的方法，所述方法包括：在客户端装置从全局参数组选择参数组，全局参数组包括权重因子字典和因子强度向量；在所述客户端装置使用所述客户端装置的数据集和由所述客户端装置选择的参数组来训练模型；在训练模型之后更新权重因子字典和因子强度向量；将客户端更新的权重因子字典和客户端更新的因子强度向量从所述客户端装置发送到全局服务器；在所述客户端装置从全局服务器接收全局更新的权重因子字典和全局更新的因子强度向量；和在所述客户端装置使用所述客户端装置的数据集、由所述客户端装置选择的参数组以
及全局更新的权重因子字典和全局更新的因子强度向量，来重新训练模型。15.根据权利要求14所述的方法，其中，所述客户端装置是n个客户端装置的组的一部分，其中n是正整数。16.根据权利要求15所述的方法，其中，从全局参数组选择参数组的步骤还包括：使用包括种子值的三个变分参数来选择参数组；和使数据集的有监督学习与被选参数组和全局参数组的正则化之间的差最小化。17.根据权利要求16所述的方法，其中，从全局参数组选择参数组的步骤还包括：在客户端装置接收已经从全局服务器发送到所述n个客户端装置的第一客户端装置子集的全局参数组，所述客户端装置是第一客户端装置子集的一部分。18.根据权利要求17所述的方法，其中，在所述客户端装置从全局服务器接收全局更新的权重因子字典和全局更新的因子强度向量的步骤还包括：在所述客户端装置接收由全局服务器发送到所述n个客户端装置的第二客户端装置子集的全局更新的权重因子字典和全局更新的因子强度向量，所述客户端装置是第二客户端装置子集的一部分。19.根据权利要求17所述的方法，还包括：由所述客户端装置从全局服务器请求当前版本的全局参数组；接收当前版本的全局参数组；使用当前版本的全局参数组来更新模型；和评估使用当前版本的全局参数组更新的模型，以基于所述客户端装置的数据集形成推断。20.根据权利要求14至19中的任一项所述的方法，其中，数据集包括与生物特征数据、医疗数据、图像数据、语音数据、位置数据、应用使用数据、热数据、大气数据、音频数据和调查数据中的至少一个有关的信息。

技术总结
公开了联邦学习的系统和方法及客户端装置。联邦机器学习系统包括全局服务器和客户端装置。服务器从客户端接收权重因子字典和因子强度向量的更新，并且生成全局更新的权重因子字典和全局更新的因子强度向量。客户端装置从全局参数组选择参数组，并且使用客户端装置的数据集和被选参数组来训练模型。客户端装置向服务器发送客户端更新的权重因子字典和客户端更新的因子强度向量。客户端装置接收全局更新的权重因子字典和全局更新的因子强度向量，并且使用客户端装置的数据集、由客户端装置选择的参数组以及全局更新的权重因子字典和全局更新的因子强度向量来重新训练模型。局更新的因子强度向量来重新训练模型。局更新的因子强度向量来重新训练模型。


技术研发人员：凯文
受保护的技术使用者：三星电子株式会社
技术研发日：2021.05.31
技术公布日：2021/12/7