一种动态扩展的模型训练方法、装置与系统与流程

技术特征：
1.一种动态扩展的模型训练方法，所述模型训练过程还有至少一个终端设备的参与；所述方法的特征在于，包括：确定第一数据集，所述第一数据集为参与所述模型训练的终端设备信息；确定第二数据集，所述第二数据集包含至少一个第二数据，所述第二数据集包含模型深层模块参数的子集与模型浅层模块参数的子集；生成第三数据集，所述第三数据集用于在模型深层模块与模型浅层模块间作连接的连接层；根据所述第一数据集，下发所述第二数据集的浅层参数子集；接收第四数据集，所述第四数据集包含至少一个第四数据，所述第四数据集来自于所述终端设备；对模型训练作评估，所述评估的输入来自于模型深层模块的输出，所述模型深层模块的输入来自于所述连接层的输出，所述连接层的输入来自于所述第四数据集；依据所述评估结果，更新与确定所述第二数据集。2.根据权利要求1所述方法，其特征在于，确定第二数据集，还包括：所述第二数据集所包含的模型浅层模块参数，适用于终端设备；所述第二数据集所包含的模型深层模块参数，适用于非终端设备。3.根据权利要求1所述方法，其特征在于，接收第三数据集，还包括：作为模型参数，所述第三数据集适用于非终端设备。4.根据权利要求1所述方法，其特征在于，对模型训练作评估，还包括：生成第五数据集，所述第五数据集为对所述第四数据集作聚类的结果集。5.根据权利要求4所述方法，其特征在于，生成第五数据集，还包括：所述第五数据集包含至少一个第五数据；转换所述第五数据为特征表示。6.根据权利要求5所述方法，其特征在于，转换所述第五数据为特征表示，还包括：将所述特征表示作为模型深层模块的输入；得到模型深层模块的输出；使用所述模型深层模块输出作模型训练评估。7.一种计算机程序，其特征在于，所述计算机程序包含执行权利要求1-6任一所述的方法。8.一种计算机可读存储介质，其特征在于，所述计算机存储介质存储有程序指令，所述程序指令当被处理器执行时使所述处理器执行如权利要求1-6任一项所述的方法。9.一种执行计算机程序的装置，其特征在于，包括处理组件、存储组件和通信模组件，处理组件、存储组件和通信组件相互连接，其中，存储组件用于存储数据处理代码，通信组件用于与外部设备进行信息交互；处理组件被配置用于调用程序代码，执行如权利要求1-6任一项所述的方法。

技术总结
本发明提出一种动态扩展的模型训练方法，所述模型训练过程还有至少一个终端设备的参与。所述方法为：分解所述模型，得到模型浅层模块与模型深层模块；下发到所述终端设备上执行；收集来自终端设备的模型训练中间输出，聚类所述中间输出，并转换成模型深层模块的输入；得到模型训练输出，评估所述输出，根据所述评估结果调整模型参数；下发模型浅层模块的参数到终端设备，继续进行模型训练。所述将大型模型训练部署在云边端协作的分布式算力环境的动态可扩展模型训练，既提升边缘节点数据采集与处理的实时性，还降低AI应用的成本、加速AI的应用普及。AI的应用普及。


技术研发人员：林俊杰 周胜平 吴栋 吴敏 梁乔忠 仲景武
受保护的技术使用者：阿尔法云计算（深圳）有限公司
技术研发日：2020.05.08
技术公布日：2021/11/8