基于联邦学习的人工智能模型训练方法、装置及系统与流程

技术特征：
1.一种基于联邦学习的人工智能模型训练方法，其特征在于，应用于基于联邦学习的人工智能模型训练系统的中心节点，所述基于联邦学习的人工智能模型训练系统包括中心节点以及与中心节点通信连接的若干计算节点；所述基于联邦学习的人工智能模型训练方法包括：获取初始人工智能模型并发送至各计算节点；迭代进行更新步骤，至预设更新迭代阈值或当前人工智能模型满足预设条件时，将当前人工智能模型作为训练完成人工智能模型，并发送至各计算节点；其中，所述更新步骤包括：接收前预设数量个计算节点发送的梯度数据，进入全局参数更新过程；其中，梯度数据为计算节点根据本地训练数据，通过梯度计算得到的本地人工智能模型的各神经网络层的梯度；全局参数更新过程：根据前预设数量个计算节点发送的梯度数据，更新人工智能模型的全局参数，并将更新的全局参数发送至前预设数量个计算节点；其中，更新的全局参数用于更新计算节点的本地人工智能模型的模型参数。2.根据权利要求1所述的基于联邦学习的人工智能模型训练方法，其特征在于，所述更新步骤还包括：向在全局参数更新过程中完成梯度计算的计算节点发送反馈信息；其中，反馈信息用于触发计算节点根据本地梯度数据，更新本地人工智能模型的模型参数。3.根据权利要求1所述的基于联邦学习的人工智能模型训练方法，其特征在于，所述根据前预设数量个计算节点发送的梯度数据，更新人工智能模型的全局参数包括：平均前预设数量个计算节点发送的梯度数据，得到平均梯度数据；根据平均梯度数据，采用反向传播算法更新人工智能模型的全局参数。4.一种基于联邦学习的人工智能模型训练方法，其特征在于，应用于基于联邦学习的人工智能模型训练系统的计算节点，所述基于联邦学习的人工智能模型训练系统包括中心节点以及与中心节点通信连接的若干计算节点；所述基于联邦学习的人工智能模型训练方法包括：接收中心节点发送的初始人工智能模型，作为本地人工智能模型；迭代进行梯度计算步骤至预设梯度计算迭代阈值，并接收中心节点发送的训练完成人工智能模型，或者，迭代进行梯度计算步骤至接收到中心节点发送的训练完成人工智能模型，采用训练完成人工智能模型更新本地人工智能模型；其中，所述梯度计算步骤包括：根据本地训练数据，通过梯度计算得到本地人工智能模型的各神经网络层的梯度，并当当前节点为前预设数量个完成梯度计算的计算节点时，将本地人工智能模型的各神经网络层的梯度作为梯度数据发送至中心节点；当接收到中心节点发送的更新的全局参数时，根据更新的全局参数更新本地人工智能模型的模型参数。5.根据权利要求4所述的基于联邦学习的人工智能模型训练方法，其特征在于，所述梯度计算步骤还包括：当接收到中心节点发送的反馈信息时，响应反馈信息，根据本地梯度数据更新本地人
工智能模型的模型参数。6.根据权利要求4所述的基于联邦学习的人工智能模型训练方法，其特征在于，所述将本地人工智能模型的各神经网络层的梯度作为梯度数据发送至中心节点包括：根据本地人工智能模型的各神经网络层的梯度，得到本地人工智能模型的各神经网络层的梯度的信息熵，并根据本地人工智能模型的各神经网络层的梯度的信息熵，确定本地人工智能模型的各神经网络层的梯度阈值；根据本地人工智能模型的各神经网络层的梯度阈值，裁剪本地人工智能模型的各神经网络层的梯度中小于各神经网络层的梯度阈值的梯度，并将剪裁后的本地人工智能模型的各神经网络层的梯度作为梯度数据发送至中心节点。7.根据权利要求6所述的基于联邦学习的人工智能模型训练方法，其特征在于，所述根据将本地人工智能模型的各神经网络层的梯度，得到将本地人工智能模型的各神经网络层的梯度的信息熵，并根据本地人工智能模型的各神经网络层的梯度的信息熵，确定本地人工智能模型的各神经网络层的梯度阈值包括：获取本地人工智能模型的各神经网络层的梯度中的最大梯度和最小梯度；将最大梯度和最小梯度之间的区间划分为连续的若干子区间；将本地人工智能模型的各神经网络层的梯度根据值的大小放入各子区间中，统计每个子区间中梯度的个数，并计算各子区间中梯度个数占本地人工智能模型的各神经网络层的总梯度个数的比例，得到各子区间中梯度出现的频率p
i
；通过下式得到本地人工智能模型的各神经网络层的梯度的信息熵h
j
：其中，h为神经网络层编号，i为子区间编号，n为子区间总数；通过下式确定本地人工智能模型的各神经网络层的梯度阈值τ
j
：其中，k为预设的超参数。8.一种基于联邦学习的人工智能模型训练方法，其特征在于，应用于基于联邦学习的人工智能模型训练系统，所述基于联邦学习的人工智能模型训练系统包括中心节点以及与中心节点通信连接的若干计算节点；所述基于联邦学习的人工智能模型训练方法包括：中心节点获取初始人工智能模型并发送至各计算节点；计算节点接收中心节点发送的初始人工智能模型，作为本地人工智能模型；中心节点迭代进行更新步骤，至预设更新迭代阈值或当前人工智能模型满足预设条件时，将当前人工智能模型作为训练完成人工智能模型，并发送至各计算节点；其中，所述更新步骤包括：接收前预设数量个计算节点发送的梯度数据，进入全局参数更新过程；全局参数更新过程：根据前预设数量个计算节点发送的梯度数据，更新人工智能模型的全局参数，并将更新的全局参数发送至前预设数量个计算节点；迭代进行梯度计算步骤至预设梯度计算迭代阈值，并接收中心节点发送的训练完成人
工智能模型，或者，迭代进行梯度计算步骤至接收到中心节点发送的训练完成人工智能模型，采用训练完成人工智能模型更新本地人工智能模型；其中，所述梯度计算步骤包括：根据本地训练数据，通过梯度计算得到本地人工智能模型的各神经网络层的梯度，并当当前节点为前预设数量个完成梯度计算的计算节点时，将本地人工智能模型的各神经网络层的梯度作为梯度数据发送至中心节点；当接收到中心节点发送的更新的全局参数时，根据更新的全局参数更新本地人工智能模型的模型参数。9.根据权利要求8所述的基于联邦学习的人工智能模型训练方法，其特征在于，所述更新步骤还包括：向在全局参数更新过程中完成梯度计算的计算节点发送反馈信息；所述梯度计算步骤还包括：当接收到中心节点发送的反馈信息时，响应反馈信息，根据本地梯度数据更新本地人工智能模型的模型参数。10.根据权利要求8所述的基于联邦学习的人工智能模型训练方法，其特征在于，所述将本地人工智能模型的各神经网络层的梯度作为梯度数据发送至中心节点包括：根据本地人工智能模型的各神经网络层的梯度，得到本地人工智能模型的各神经网络层的梯度的信息熵，并根据本地人工智能模型的各神经网络层的梯度的信息熵，确定本地人工智能模型的各神经网络层的梯度阈值；根据本地人工智能模型的各神经网络层的梯度阈值，裁剪本地人工智能模型的各神经网络层的梯度中小于各神经网络层的梯度阈值的梯度，并将剪裁后的本地人工智能模型的各神经网络层的梯度作为梯度数据发送至中心节点。11.一种基于联邦学习的人工智能模型训练装置，其特征在于，应用于基于联邦学习的人工智能模型训练系统的中心节点，所述基于联邦学习的人工智能模型训练系统包括中心节点以及与中心节点通信连接的若干计算节点；所述基于联邦学习的人工智能模型训练装置包括：获取模块，用于获取初始人工智能模型并发送至各计算节点；第一迭代控制模块，用于迭代进行更新步骤，至预设更新迭代阈值或当前人工智能模型满足预设条件时，将当前人工智能模型作为训练完成人工智能模型，并发送至各计算节点；其中，所述更新步骤包括：接收前预设数量个计算节点发送的梯度数据，进入全局参数更新过程；其中，梯度数据为计算节点根据本地训练数据，通过梯度计算得到的本地人工智能模型的各神经网络层的梯度；全局参数更新过程：根据前预设数量个计算节点发送的梯度数据，更新人工智能模型的全局参数，并将更新的全局参数发送至前预设数量个计算节点；其中，更新的全局参数用于更新计算节点的本地人工智能模型的模型参数。12.根据权利要求11所述的基于联邦学习的人工智能模型训练装置，其特征在于，所述更新步骤还包括：向在全局参数更新过程中完成梯度计算的计算节点发送反馈信息；其中，反馈信息用于触发计算节点根据本地梯度数据，更新本地人工智能模型的模型参数。
13.根据权利要求11所述的基于联邦学习的人工智能模型训练装置，其特征在于，所述根据前预设数量个计算节点发送的梯度数据，更新人工智能模型的全局参数包括：平均前预设数量个计算节点发送的梯度数据，得到平均梯度数据；根据平均梯度数据，采用反向传播算法更新人工智能模型的全局参数。14.一种基于联邦学习的人工智能模型训练装置，其特征在于，应用于基于联邦学习的人工智能模型训练系统的计算节点，所述基于联邦学习的人工智能模型训练系统包括中心节点以及与中心节点通信连接的若干计算节点；所述基于联邦学习的人工智能模型训练装置包括：接收模块，用于接收中心节点发送的初始人工智能模型，作为本地人工智能模型；第二迭代控制模块，用于迭代进行梯度计算步骤至预设梯度计算迭代阈值，并接收中心节点发送的训练完成人工智能模型，或者，迭代进行梯度计算步骤至接收到中心节点发送的训练完成人工智能模型，采用训练完成人工智能模型更新本地人工智能模型；其中，所述梯度计算步骤包括：根据本地训练数据，通过梯度计算得到本地人工智能模型的各神经网络层的梯度，并当当前节点为前预设数量个完成梯度计算的计算节点时，将本地人工智能模型的各神经网络层的梯度作为梯度数据发送至中心节点；当接收到中心节点发送的更新的全局参数时，根据更新的全局参数更新本地人工智能模型的模型参数。15.根据权利要求14所述的基于联邦学习的人工智能模型训练装置，其特征在于，所述梯度计算步骤还包括：当接收到中心节点发送的反馈信息时，响应反馈信息，根据本地梯度数据更新本地人工智能模型的模型参数。16.根据权利要求14所述的基于联邦学习的人工智能模型训练装置，其特征在于，所述将本地人工智能模型的各神经网络层的梯度作为梯度数据发送至中心节点包括：根据本地人工智能模型的各神经网络层的梯度，得到本地人工智能模型的各神经网络层的梯度的信息熵，并根据本地人工智能模型的各神经网络层的梯度的信息熵，确定本地人工智能模型的各神经网络层的梯度阈值；根据本地人工智能模型的各神经网络层的梯度阈值，裁剪本地人工智能模型的各神经网络层的梯度中小于各神经网络层的梯度阈值的梯度，并将剪裁后的本地人工智能模型的各神经网络层的梯度作为梯度数据发送至中心节点。17.根据权利要求16所述的基于联邦学习的人工智能模型训练装置，其特征在于，所述根据将本地人工智能模型的各神经网络层的梯度，得到将本地人工智能模型的各神经网络层的梯度的信息熵，并根据本地人工智能模型的各神经网络层的梯度的信息熵，确定本地人工智能模型的各神经网络层的梯度阈值包括：获取本地人工智能模型的各神经网络层的梯度中的最大梯度和最小梯度；将最大梯度和最小梯度之间的区间划分为连续的若干子区间；将本地人工智能模型的各神经网络层的梯度根据值的大小放入各子区间中，统计每个子区间中梯度的个数，并计算各子区间中梯度个数占本地人工智能模型的各神经网络层的总梯度个数的比例，得到各子区间中梯度出现的频率p
i
；
通过下式得到本地人工智能模型的各神经网络层的梯度的信息熵h
j
：其中，j为神经网络层编号，i为子区间编号，n为子区间总数；通过下式确定本地人工智能模型的各神经网络层的梯度阈值τ
j
：其中，k为预设的超参数。18.一种基于联邦学习的人工智能模型训练系统，其特征在于，包括中心节点以及与中心节点通信连接的若干计算节点；中心节点内设置权利要求11至13任一项所述的基于联邦学习的人工智能模型训练装置；计算节点内设置权利要求14至17任一项所述的基于联邦学习的人工智能模型训练装置。

技术总结
本发明属于电力自动化领域，公开了一种基于联邦学习的人工智能模型训练方法、装置及系统，包括：获取初始人工智能模型并发送至各计算节点；接收中心节点发送的初始人工智能模型，作为本地人工智能模型；迭代进行更新步骤，至预设更新迭代阈值或当前人工智能模型满足预设条件时，将当前人工智能模型作为训练完成人工智能模型，并发送至各计算节点；迭代进行梯度计算步骤至预设梯度计算迭代阈值，并接收中心节点发送的训练完成人工智能模型，或者，迭代进行梯度计算步骤至接收到中心节点发送的训练完成人工智能模型，采用训练完成人工智能模型更新本地人工智能模型。通过异步模型参数更新方法提升高性能计算节点的算力利用率，提升模型训练速度。提升模型训练速度。提升模型训练速度。


技术研发人员：李道兴 王晓辉 郭鹏天 季知祥 杨会峰 陈连栋
受保护的技术使用者：国网河北省电力有限公司信息通信分公司
技术研发日：2022.03.24
技术公布日：2022/7/1