一种数据处理方法、系统、存储介质及电子设备与流程

技术特征：
1.一种数据处理方法，其特征在于，所述方法包括：在迭代计算过程中，获取各个并行设备的当前迭代次数的自适应学习速率；若所述当前迭代次数符合第一预设条件，将获取到的本地模型参数和所述自适应学习速率进行加权平均计算，得到权重和加权平均后的模型参数并将所述加权平均后的模型参数对预先获取到的本地模型参数进行更新；若所述当前迭代次数符合第二预设条件，基于所述加权平均后的模型参数所述权重和预先获取到的并行设备数的总和，得到本地模型参数并将所述本地模型参数对所述本地模型参数进行更新；通过额外梯度算法，将更新后的本地模型参数进行计算，得到随机梯度方向，并基于所述随机梯度方向，确定目标模型参数；基于所述目标模型参数，执行网络模型训练操作。2.根据权利要求1所述的方法，其特征在于，所述在迭代计算过程中，获取各个并行设备的当前迭代次数的自适应学习速率，包括：在迭代计算过程中，获取可行集的直径、预设梯度上界的估计值、预设基础学习速率和各个并行设备的当前迭代次数；当所述当前迭代次数等于预设次数时，计算得到本地模型参数本地模型参数和本地模型参数将所述可行集的直径、预设梯度上界的估计值、预设基础学习速率、各个并行设备的当前迭代次数、本地模型参数本地模型参数和本地模型参数进行计算，得到自适应学习速率。3.根据权利要求1所述的方法，其特征在于，所述若所述当前迭代次数符合第一预设条件，将获取到的本地模型参数和所述自适应学习速率进行加权平均计算，得到权重和加权平均后的模型参数并将所述加权平均后的模型参数对预先获取到的本地模型参数进行更新，包括：将所述当前迭代次数与预设次数进行求差计算，得到差值；若所述差值属于各个设备通信时间节点集合，则确定各个并行设备之间处于通信状态，所述各个设备通信时间节点集合由并行设备本地更新步数和总迭代数目确定，所述总迭代数目由并行设备间通信次数和并行设备本地更新的步数确定；在各个并行设备之间处于通信状态下，使各个并行设备发送本地模型参数和所述自适应学习速率至中心设备，触发所述中心设备将所述本地模型参数所述自适应学习速率和预先获取到的并行设备数的总和进行加权平均计算，得到权重和加权平均后的模型参数所述加权平均后的模型参数由所述权重、所述获取到的本地模型参数和所述并行设备数的总和确定；将所述加权平均后的模型参数对预先获取到的本地模型参数进行更新。
4.根据权利要求1所述的方法，其特征在于，所述若所述当前迭代次数符合第二预设条件，基于所述加权平均后的模型参数所述权重和预先获取到的并行设备数的总和，得到本地模型参数并将所述本地模型参数对所述本地模型参数进行更新，包括：将所述当前迭代次数与预设次数进行求差计算，得到差值；若所述差值不属于各个并行设备通信时间节点集合，则确定各个并行设备之间处于非通信状态，所述各个设备通信时间节点集合由并行设备本地更新步数和总迭代数目确定，所述总迭代数目由并行设备间通信次数和并行设备本地更新的步数确定；在各个设备之间处于非通信状态下，基于所述加权平均后的模型参数所述权重和预先获取到的并行设备数的总和，得到本地模型参数将所述本地模型参数对所述本地模型参数进行更新。5.根据权利要求1所述的方法，其特征在于，在所述获取各个并行设备的当前迭代次数的自适应学习速率之前，还包括：获取可行集的直径、预设基础学习速率和预设梯度上界的估计值；对所述可行集的直径、所述预设基础学习速率和预设梯度上界的估计值进行初始化计算，得到初始学习速率。6.根据权利要求1所述的方法，其特征在于，在所述获取各个并行设备的当前迭代次数的自适应学习速率之前，还包括：初始化各个并行设备的本地模型参数。7.一种数据处理系统，其特征在于，所述系统包括：获取单元，用于获取各个并行设备的当前迭代次数的自适应学习速率；第一更新单元，用于若所述当前迭代次数符合第一预设条件，将获取到的本地模型参数和所述自适应学习速率进行加权平均计算，得到权重和加权平均后的模型参数并将所述加权平均后的模型参数对预先获取到的本地模型参数进行更新；第二更新单元，用于若所述当前迭代次数符合第二预设条件，基于所述加权平均后的模型参数所述权重和预先获取到的并行设备数的总和，得到本地模型参数并将所述本地模型参数对所述本地模型参数进行更新；确定单元，用于通过额外梯度算法，将更新后的本地模型参数进行计算，得到随机梯度方向，并基于所述随机梯度方向，确定目标模型参数；执行单元，用于基于所述目标模型参数，执行网络模型训练操作。8.根据权利要求7所述的系统，其特征在于，所述获取单元，包括：获取模块，用于获取可行集的直径、预设梯度上界的估计值、预设基础学习速率和各个并行设备的当前迭代次数；第一计算模块，用于当所述当前迭代次数等于预设次数时，计算得到本地模型参数本地模型参数和本地模型参数第二计算模块，用于将所述可行集的直径、预设梯度上界的估计值、预设基础学习速
率、各个并行设备的当前迭代次数、本地模型参数本地模型参数和本地模型参数进行计算，得到自适应学习速率。9.一种存储介质，其特征在于，所述存储介质包括存储的指令，其中，在所述指令运行时控制所述存储介质所在的设备执行如权利要求1至6任意一项所述的数据处理方法。10.一种电子设备，其特征在于，包括存储器，以及一个或者一个以上的指令，其中一个或者一个以上指令存储于存储器中，且经配置以由一个或者一个以上处理器执行如权利要求1至6任意一项所述的数据处理方法。

技术总结
本发明公开了一种数据处理方法、系统、存储介质及电子设备，在迭代计算过程中，若当前迭代次数符合第一预设条件，将模型参数对本地模型参数进行更新，若当前迭代次数符合第二预设条件，将获取到的本地模型参数对本地模型参数进行更新，通过额外梯度算法将更新后的本地模型参数进行计算，得到随机梯度方向并确定目标模型参数，基于目标模型参数执行网络模型训练操作。通过上述方案，结合额外梯度算法和自适应学习速率，可同时实现在抗学习进行训练时自适应学习速率与分布式计算，降低对抗学习进行训练的局限性。此外，自适应学习速率的计算在本地上进行，无需设备之间进行通信，从而减轻工程师试错式的模型训练，提高工程实践效率。提高工程实践效率。提高工程实践效率。


技术研发人员：沈力 廖烙锋 段佳 陶大程
受保护的技术使用者：京东科技信息技术有限公司
技术研发日：2021.09.08
技术公布日：2021/12/7