模型训练方法、装置及模型训练系统与流程

技术特征：
1.一种模型训练方法，其特征在于，应用于第一节点，所述第一节点为联邦学习系统中的任一节点，所述方法包括：接收至少一第二节点发送的训练信息；其中，每一第二节点的训练信息包括：该第二节点最新的模型参数，所述至少一第二节点为：所述联邦学习系统中除所述第一节点外的其他节点；利用所接收的模型参数，与所述第一节点内部署的机器学习模型的模型参数进行融合，得到融合后的模型参数；利用所述融合后的模型参数，更新所述机器学习模型的模型参数，得到包含融合后模型参数的机器学习模型；基于所述第一节点的数据集，对所得到的机器学习模型进行训练，并返回执行所述接收至少一第二节点发送的训练信息的步骤。2.根据权利要求1所述的方法，其特征在于，所述利用所接收的模型参数，与所述第一节点内部署的机器学习模型的模型参数进行融合，得到融合后的模型参数，包括：确定待利用的参数融合模式；按照待利用的参数融合模式，对所接收的模型参数和所述第一节点内部署的机器学习模型的模型参数进行融合，得到融合后的模型参数。3.根据权利要求2所述的方法，其特征在于，所述按照待利用的参数融合模式，对所接收的模型参数和所述第一节点内部署的机器学习模型的模型参数进行融合，得到融合后的模型参数，包括：若待利用的参数融合模式为全等同融合模式，则计算所接收的模型参数和所述第一节点内部署的机器学习模型的模型参数的均值，作为融合后的模型参数。4.根据权利要求2所述的方法，其特征在于，所述按照待利用的参数融合模式，对所接收的模型参数和所述第一节点内部署的机器学习模型的模型参数进行融合，得到融合后的模型参数，包括：若待利用的参数融合模式为节点控制模式，则确定所述联邦学习系统中每一节点针对所述第一节点的融合权重；基于各节点的融合权重，计算所接收的模型参数，与所述第一节点内部署的机器学习模型的模型参数的加权值的平均值，作为融合后的模型参数。5.根据权利要求4所述的方法，其特征在于，所述确定所述联邦学习系统中每一节点针对所述第一节点的融合权重，包括：获取所述第一节点的最近历史权重；每一节点的最近历史权重包括：在该节点进行参数融合时，所述联邦学习系统中各节点针对该节点的融合权重；针对每一第二节点，确定该第二节点的模型参数，对所述第一节点内机器学习模型的训练贡献度，作为该第二节点的训练贡献度；基于各第二节点的训练贡献度，对所述第一节点的最近历史权重中，每一节点针对所述第一节点的融合权重进行更新。6.根据权利要求5所述的方法，其特征在于，每一第二节点的训练信息还包括：在该第二节点进行参数融合时，所述第一节点针对该第二节点的融合权重；所述基于各第二节点的训练贡献度，对所述第一节点的最近历史权重中，每一节点针
对所述第一节点的融合权重进行更新，包括：基于各第二节点的模型参数的训练贡献度、所述第一节点针对各第二节点的融合权重，对所述第一节点的最近历史权重中，各节点针对所述第一节点的融合权重进行更新。7.根据权利要求5所述的方法，其特征在于，所述针对每一第二节点，确定该第二节点的模型参数，对所述第一节点内机器学习模型的训练贡献度，包括：计算所述机器学习模型的模型参数与各第二节点的模型参数的均值，得到第一参数；并测试在模型参数为所述第一参数时，所述机器学习模型的准确率，作为第一准确率；针对每一第二节点，计算所述机器学习模型的模型参数与各第三节点的模型参数的均值，得到第二参数；并测试在模型参数为所述第二参数时，所述机器学习模型的准确率，作为该第二节点对应的第二准确率；其中，所述第三节点为：各第二节点中，除该第二节点之外的节点；针对每一第二节点，计算所述第一准确率与该第二节点对应的第二准确率的差值，作为该第二节点的模型参数，对所述机器学习模型的训练贡献度。8.根据权利要求2所述的方法，其特征在于，所述确定待利用的参数融合模式，包括：随机从多种参数融合模式，选择一种参数融合模式，作为待利用的参数融合模式；或者，将最近n次被选择的参数融合模式中，被选择次数最多的参数融合模式，作为待利用的参数融合模式。9.根据权利要求5所述的方法，其特征在于，所述按照待利用的参数融合模式，对所接收的模型参数和所述第一节点内部署的机器学习模型的模型参数进行融合，得到融合后的模型参数，包括：若待利用的参数融合模式为数据权重模式，则基于各节点的数据量，确定每一节点的数据权重；基于各节点的数据权重，计算所接收的模型参数，与所述第一节点内部署的机器学习模型的模型参数的加权值的平均值，作为融合后的模型参数。10.一种模型训练系统，其特征在于，所述模型训练系统中包含多个节点；其中，第一节点，用于接收至少一第二节点发送的训练信息，其中，每一第二节点的训练信息包括：该第二节点最新的模型参数；利用所接收的模型参数，与所述第一节点内部署的机器学习模型的模型参数进行融合，得到融合后的模型参数；利用所述融合后的模型参数，更新所述机器学习模型的模型参数，得到包含融合后模型参数的机器学习模型；基于所述第一节点的数据集，对所得到的机器学习模型进行训练，并向所述至少一第二节点发送所述第一节的训练信息，以及返回执行所述接收至少一第二节点发送的训练信息的步骤；所述第一节点为所述联邦学习系统中的任一节点，所述至少一第二节点为：所述联邦学习系统中除所述第一节点外的其他节点；每一第二节点，用于向所述第一节点发送所述训练信息。11.一种模型训练装置，其特征在于，应用于第一节点，所述第一节点为联邦学习系统中的任一节点，所述方法包括：信息接收模块，用于接收至少一第二节点发送的训练信息；其中，每一第二节点的训练信息包括：该第二节点最新的模型参数，所述至少一第二节点为：所述联邦学习系统中除所
述第一节点外的其他节点；参数融合模块，用于利用所接收的模型参数，与所述第一节点内部署的机器学习模型的模型参数进行融合，得到融合后的模型参数；参数更新模块，用于利用所述融合后的模型参数，更新所述机器学习模型的模型参数，得到包含融合后模型参数的机器学习模型；模型训练模块，用于基于所述第一节点的数据集，对所得到的机器学习模型进行训练，并返回执行所述信息接收模块。

技术总结
本发明实施例提供了模型训练方法、装置及模型训练系统，应用于机器学习技术领域。该方法应用于模型训练系统中的第一节点，该方法包括：接收至少一第二节点发送的模型参数，并利用所接收的模型参数，与第一节点内部署的机器学习模型的模型参数进行融合，得到包含融合后模型参数的机器学习模型，进而基于第一节点的本地数据集，对所得到的机器学习模型进行训练，并返回执行接收至少一第二节点发送的训练信息的步骤。通过本方案，可以提高联邦学习系统中每一节点内机器学习模型的训练效果。统中每一节点内机器学习模型的训练效果。统中每一节点内机器学习模型的训练效果。


技术研发人员：王鹏 沈海珍 王讯 浦世亮
受保护的技术使用者：杭州海康威视数字技术股份有限公司
技术研发日：2021.12.29
技术公布日：2022/4/8