基于联邦学习的模型训练方法、装置、设备和介质与流程

技术特征：
1.基于联邦学习的模型训练方法，包括：获取联邦学习的各参与方通过自身训练样本进行相同模型训练所得的局部网络参数；根据各所述局部网络参数，确定各所述参与方的训练评价数据；根据各所述训练评价数据，对各所述参与方进行聚类；根据相同类别的参与方的局部网络参数，确定相应参与方的全局网络参数；将各所述参与方的全局网络参数反馈至相应参与方，以供模型训练。2.根据权利要求1所述的方法，其中，所述训练评价数据包括局部密度数据和跟随距离数据。3.根据权利要求2所述的方法，其中，根据各所述局部网络参数，确定各所述参与方的局部密度数据，包括：根据不同参与方的局部网络参数，确定不同参与方之间的参数差异数据；针对各参与方，根据该参与方对应的参数差异数据，确定该参与方的局部密度数据。4.根据权利要求3所述的方法，其中，所述根据不同参与方的局部网络参数，确定不同参与方之间的参数差异数据，包括：根据不同参与方的局部网络参数，确定不同参与方之间的参数距离数据；将邻域截断距离与不同参与方之间的参数距离数据的比值，作为不同参与方之间的参数差异数据。5.根据权利要求4所述的方法，其中，所述方法还包括：根据不同参与方之间的参数距离数据，确定所述邻域截断距离。6.根据权利要求3所述的方法，其中，所述针对各参与方，根据该参与方对应的参数差异数据，确定该参与方的局部密度数据，包括：针对各参与方，将该参与方对应的各参数差异数据映射至指数空间，得到相应密度关联数据；将该参与方的各密度关联数据进行叠加，得到该参与方的所述局部密度数据。7.根据权利要求2所述的方法，其中，根据各所述局部网络参数，确定各所述参与方的跟随距离数据，包括：根据不同参与方的局部网络参数，确定不同参与方之间的参数距离数据；针对所述局部密度数据较小的参与方，将该参与方与其他参与方之间的较小参数距离数据作为该参与方的跟随距离数据；针对所述局部密度数据较大的参与方，将该参与方与其他参与方之间的较大参数距离数据作为该参与方的跟随距离数据。8.根据权利要求2-7任一项所述的方法，其中，所述根据各所述训练评价数据，对各所述参与方进行聚类，包括：根据各参与方的局部密度数据与局部密度阈值的相对大小，以及各参与方的跟随距离数据与跟随距离阈值的相对大小，确定各聚类中心；根据各所述聚类中心，对各所述参与方进行聚类。9.根据权利要求8所述的方法，其特征在于，所述方法还包括：根据不同参与方的局部密度数据，确定所述局部密度阈值；以及，根据不同参与方的跟随距离数据，确定所述跟随距离阈值。
10.基于联邦学习的模型训练装置，包括：局部网络参数获取模块，用于获取联邦学习的各参与方通过自身训练样本进行相同模型训练所得的局部网络参数；训练评价数据获取模块，用于根据各所述局部网络参数，确定各所述参与方的训练评价数据；聚类模块，用于根据各所述训练评价数据，对各所述参与方进行聚类；全局网络参数确定模块，用于根据相同类别的参与方的局部网络参数，确定相应参与方的全局网络参数；全局网络参数反馈模块，用于将各所述参与方的全局网络参数反馈至相应参与方，以供模型训练。11.根据权利要求10所述的装置，其中，所述训练评价数据包括局部密度数据和跟随距离数据。12.根据权利要求11所述的装置，其中，所述训练评价数据获取模块，包括：参数差异数据获取单元，用于根据不同参与方的局部网络参数，确定不同参与方之间的参数差异数据；局部密度数据确定单元，用于针对各参与方，根据该参与方对应的参数差异数据，确定该参与方的局部密度数据。13.根据权利要求12所述的装置，其中，所述参数差异数据获取单元，包括：参数距离数据确定子单元，用于根据不同参与方的局部网络参数，确定不同参与方之间的参数距离数据；参数差异数据确定子单元，用于将邻域截断距离与不同参与方之间的参数距离数据的比值，作为不同参与方之间的参数差异数据。14.根据权利要求13所述的装置，其中，所述参数差异数据获取单元，还包括：邻域截断距离确定子单元，用于根据不同参与方之间的参数距离数据，确定所述邻域截断距离。15.根据权利要求12所述的装置，其中，所述局部密度数据确定单元，包括：密度关联数据确定子单元，用于针对各参与方，将该参与方对应的各参数差异数据映射至指数空间，得到相应密度关联数据；局部密度数据确定子单元，用于该参与方的各密度关联数据进行叠加，得到该参与方的所述局部密度数据。16.根据权利要求11所述的装置，其中，所述训练评价数据获取模块，包括：参数距离数据确定单元，用于根据不同参与方的局部网络参数，确定不同参与方之间的参数距离数据；跟随距离数据第一确定单元，用于针对所述局部密度数据较小的参与方，将该参与方与其他参与方之间的较小参数距离数据作为该参与方的跟随距离数据；跟随距离数据第二确定单元，用于针对所述局部密度数据较大的参与方，将该参与方与其他参与方之间的较大参数距离数据作为该参与方的跟随距离数据。17.根据权利要求11-16任一项所述的装置，其中，所述聚类模块，包括：聚类中心确定单元，用于根据各参与方的局部密度数据与局部密度阈值的相对大小，
以及各参与方的跟随距离数据与跟随距离阈值的相对大小，确定各聚类中心；聚类单元，用于根据各所述聚类中心，对各所述参与方进行聚类。18.根据权利要求17所述的装置，其特征在于，所述聚类模块，还包括：局部密度阈值确定单元，用于根据不同参与方的局部密度数据，确定所述局部密度阈值；以及，跟随距离阈值确定单元，用于根据不同参与方的跟随距离数据，确定所述跟随距离阈值。19.一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-9中任一项所述的基于联邦学习的模型训练方法。20.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使计算机执行根据权利要求1-9中任一项所述的基于联邦学习的模型训练方法。21.一种计算机程序产品，包括计算机程序，所述计算机程序处理器执行时实现权利要求1-9中任一项所述基于联邦学习的模型训练方法的步骤。

技术总结
本公开提供了一种基于联邦学习的模型训练方法、装置、设备和介质，涉及人工智能领域，尤其涉及深度学习领域。具体实现方案为：获取联邦学习的各参与方通过自身训练样本进行相同模型训练所得的局部网络参数；根据各所述局部网络参数，确定各所述参与方的训练评价数据；根据各所述训练评价数据，对各所述参与方进行聚类；根据相同类别的参与方的局部网络参数，确定相应参与方的全局网络参数；将各所述参与方的全局网络参数反馈至相应参与方，以供模型训练。根据本公开的技术，提高了所训练模型的精度和鲁棒性。型的精度和鲁棒性。型的精度和鲁棒性。


技术研发人员：彭胜波 周吉文
受保护的技术使用者：北京百度网讯科技有限公司
技术研发日：2022.09.01
技术公布日：2022/10/25