数据处理方法、系统、设备及存储介质与流程

技术特征：
1.一种数据处理方法，其特征在于，应用于数据处理设备，所述数据处理设备分别与n个数据控制设备通信连接；所述方法包括：通过网络接收所述n个数据控制设备上传的n个中间模型；其中，所述n个中间模型由所述n个数据控制设备利用本地的训练数据对待训练基础模型进行训练得到；基于融合算法，将所述n个中间模型融合生成综合模型。2.根据权利要求1所述的数据处理方法，其特征在于，在所述接收所述n个数据控制设备上传的n个中间模型之前，还包括：向所述n个数据控制设备下发以下至少其中之一：策略指导信息、所述待训练基础模型；其中，所述策略指导信息用于指导所述数据控制设备选取训练所述待训练基础模型采用的训练策略。3.根据权利要求1所述的数据处理方法，其特征在于，在所述基于融合算法，将所述n个中间模型融合生成综合模型之后，还包括：对所述综合模型进行精度评估；当所述综合模型的精度指标不满足预设阈值，将所述综合模型作为所述待训练基础模型，并向所述n个数据控制设备下发所述待训练基础模型和新的策略指导信息，并接收所述n个数据控制设备利用本地的训练数据对所述待训练基础模型进行训练得到的n个新的中间模型；根据所述n个新的中间模型生成综合模型。4.根据权利要求1所述的数据处理方法，其特征在于，在所述基于融合算法，将所述n个中间模型融合生成综合模型之前，还包括：接收所述n个数据控制设备上传的所述n个中间模型的训练策略；所述中间模型的训练策略是指对所述待训练基础模型进行训练所采用的策略；所述基于融合算法，将所述n个中间模型融合生成综合模型，包括：根据所述n个中间模型的训练策略，确定所述n个中间模型在预设的融合算法中的融合参数；根据所述n个中间模型的融合参数以及所述融合算法，将所述n个中间模型进行融合，得到所述综合模型。5.根据权利要求4所述的数据处理方法，其特征在于，所述融合算法为加权算法，所述融合参数为权重值。6.根据权利要求2所述的数据处理方法，其特征在于，所述模型训练任务包括所述策略指导信息；在所述向所述n个数据控制设备下发模型训练任务之前，还包括：根据预存的数据字典与所述数据控制设备的映射关系，确定各所述数据控制设备对应的数据字典；根据各所述数据控制设备对应的数据字典，将向各所述数据控制设备下发的模型训练任务中的策略指导信息解析为能够被各所述数据控制设备识别的形式。7.一种数据处理方法，其特征在于，应用于数据控制设备，所述数据控制设备与数据处理设备通信连接；所述方法包括：利用本地的训练数据训练待训练基础模型，得到中间模型；
将所述中间模型上报至所述数据处理设备，供所述数据处理设备生成综合模型。8.根据权利要求7所述的数据处理方法，其特征在于，在所述利用本地的训练数据训练待训练基础模型之前，还包括：接收所述数据处理设备下发的策略指导信息；所述利用本地的训练数据训练待训练基础模型，得到中间模型，包括：根据所述策略指导信息以及本地的策略执行规则确定训练所述待训练基础模型的训练策略；根据所述训练策略，利用本地的训练数据训练所述待训练基础模型，得到所述中间模型。9.根据权利要求7所述的数据处理方法，其特征在于，所述利用本地的训练数据训练待训练基础模型，得到中间模型，包括：根据本地的策略执行规则确定训练所述待训练基础模型的训练策略；根据所述训练策略确定数据训练操作；对所述训练数据执行所述数据训练操作，得到所述中间模型。10.根据权利要求9所述的数据处理方法，其特征在于，所述待训练基础模型的训练策略包括：性能指标比计算策略、用于预处理所述训练数据的策略；所述根据本地的策略执行规则确定训练所述待训练基础模型的训练策略，包括：根据所述性能指标比计算策略确定本地的性能指标比；根据所述性能指标比确定出用于预处理所述训练数据的策略。11.根据权利要求10所述的数据处理方法，其特征在于，所述根据所述性能指标比计算策略获取本地的性能指标比，包括：获取本地的硬件资源使用情况，将所述硬件资源使用情况上传至所述数据处理设备；其中，所述数据处理设备根据n个数据控制设备上传的所述硬件资源使用情况生成所述性能指标比；获取所述数据处理设备发送的所述性能指标比。12.根据权利要求9所述的数据处理方法，其特征在于，在所述利用本地的训练数据训练待训练基础模型，得到中间模型之后，还包括：当所述中间模型的精度不满足预设阈值，则向所述数据处理设备拉取所述综合模型，并将拉取到的所述综合模型作为所述待训练基础模型，执行所述利用本地的训练数据训练待训练基础模型，得到中间模型。13.根据权利要求12所述的数据处理方法，其特征在于，所述将所述中间模型上报至所述数据处理设备，包括：当所述中间模型的精度满足预设阈值，对所述中间模型进行低精度处理，得到低精度的所述中间模型；将低精度的所述中间模型上报至所述数据处理设备。14.根据权利要求8或9所述的数据处理方法，其特征在于，在所述利用本地的训练数据训练待训练基础模型，得到中间模型之后，还包括：向所述数据处理设备上传所述中间模型的训练策略；其中，所述训练策略是指对所述待训练基础模型进行训练所采用的策略。
15.一种数据处理系统系统，其特征在于，包括：设置在数据处理设备中的中心模块以及分别设置在n个数据控制设备的n个代理模块；其中，所述中心模块与n个所述代理模块分别通信连接；所述中心模块，用于接收所述n个代理模块上传的n个中间模型；根据所述n个中间模型生成综合模型；所述代理模块，用于利用本地的训练数据训练待训练基础模型，得到中间模型；将所述中间模型上报至所述中心模块。16.一种设备，其特征在于，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至6中所述的数据处理方法，和/或，权利要求7至14中任一项所述的数据处理方法。17.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6中任一项所述的数据训练方法，和/或，如权利要求7至14中任一项所述的数据处理方法。

技术总结
本发明涉及通信技术领域，公开了一种数据处理方法、系统及存储介质。本发明中，数据处理方法应用于所述模型训练系统中的数据处理设备和N个数据控制设备，数据处理设备分别与N个数据控制设备通信连接。应用于数据处理设备的方法包括：接收N个数据控制设备上传的N个中间模型；其中，N个中间模型由N个数据处理设备训练得到；根据所述N个中间模型生成综合模型。应用于数据控制设备的方法包括：利用本地的训练数据训练待训练基础模型，得到中间模型；将中间模型上报至数据控制设备，供数据控制设备生成综合模型。通过上述技术手段，避免数据处理设备直接接触所有数据控制设备的数据，保证模型训练精度的同时，提高模型训练数据的隐私性。性。性。


技术研发人员：洪科 裴应明 韩锐 刘驰
受保护的技术使用者：中兴通讯股份有限公司
技术研发日：2020.06.29
技术公布日：2022/1/13