用于执行多机器学习任务的分布式系统及其方法与流程

技术特征：
1.一种用于执行多机器学习任务的分布式系统，包括：多个计算装置，被配置为分别获取指定数据集的不同部分数据，并共同执行多个机器学习任务；其中，每个计算装置被配置为：基于自身所获取的部分数据并行地执行所述多个机器学习任务，其中，所述多个机器学习任务为多个模型训练任务或多个模型预测任务。2.如权利要求1所述的分布式系统，其中，每个计算装置被配置为：一方面从数据源请求所述指定数据集中的数据，并对请求到的数据进行预处理后保存在本地，另一方面读取本地保存的数据，并基于读取的数据执行所述多个机器学习任务。3.如权利要求2所述的分布式系统，其中，每个计算装置被配置为：基于读取的每一条数据，并行地执行所述多个机器学习任务中需要使用该条数据的机器学习任务。4.如权利要求3所述的分布式系统，其中，每个计算装置被配置为：基于读取的每一条数据，使用向量化指令并行地执行所述多个机器学习任务中需要使用该条数据的机器学习任务。5.如权利要求1所述的分布式系统，还包括：参数服务器，被配置为维护所述多个机器学习任务所涉及的多个机器学习模型的参数，其中，机器学习模型的参数具有键值对的形式，其中，参数服务器被配置为：按照单个键对应于多个值的形式对所述多个机器学习模型的参数进行相同键合并后保存，或者，按照单个键对应于多个值的形式对所述多个机器学习模型的参数进行相同键合并，并对合并后的结果按照第一压缩方式进行压缩后保存。6.如权利要求5所述的分布式系统，其中，当所述多个机器学习任务为所述多个模型训练任务时，每个计算装置被配置为：将被合并了的训练所述多个机器学习模型所得到的结果提供给参数服务器，或者，将被合并且被按照第二压缩方式压缩了的训练所述多个机器学习模型所得到的结果提供给参数服务器，以使参数服务器更新所述多个机器学习模型的参数，其中，所述结果按照单个键对应于多个值的形式被合并。7.如权利要求5所述的分布式系统，其中，参数服务器被配置为：将被合并了的每个计算装置所需的所述多个机器学习模型的参数提供给每个计算装置，或者，将被合并且被按照第三压缩方式压缩了的每个计算装置所需的所述多个机器学习模型的参数提供给每个计算装置。8.如权利要求5所述的分布式系统，其中，当所述多个机器学习任务为所述多个模型训练任务时，参数服务器被配置为：在每个计算装置执行所述多个机器学习任务的过程中，对计算装置训练一个机器学习模型时产生的能够用于其他机器学习模型的中间计算结果进行保存，以将所述中间计算结果用于所述其他机器学习模型。9.如权利要求8所述的分布式系统，其中，所述一个机器学习模型和所述其他机器学习模型所对应的超参数中仅训练轮数不同，其中，所述一个机器学习模型所对应的训练轮数大于所述其他机器学习模型所对应的训练轮数，
其中，参数服务器被配置为：将计算装置在训练所述一个机器学习模型的过程中，训练轮数达到所述其他机器学习模型所对应的训练轮数时所得到的所述一个机器学习模型的参数，作为所述其他机器学习模型的参数。10.一种利用分布式系统来执行多机器学习任务的方法，其中，所述分布式系统包括多个计算装置，其中，所述方法包括：所述多个计算装置分别获取指定数据集的不同部分数据；所述多个计算装置基于所获取的部分数据，共同执行多个机器学习任务，其中，每个计算装置基于自身所获取的部分数据并行地执行所述多个机器学习任务，其中，所述多个机器学习任务为多个模型训练任务或多个模型预测任务。

技术总结
提供了一种用于执行多机器学习任务的分布式系统及其方法。所述分布式系统包括：多个计算装置，被配置为分别获取指定数据集的不同部分数据，并共同执行多个机器学习任务；其中，每个计算装置被配置为：基于自身所获取的部分数据并行地执行所述多个机器学习任务，其中，所述多个机器学习任务为多个模型训练任务或多个模型预测任务。根据所述分布式系统及其方法，能够有效缩短完成多个机器学习任务所需的时间。时间。时间。


技术研发人员：郑淇木 焦英翔 石光川
受保护的技术使用者：第四范式（北京）技术有限公司
技术研发日：2019.08.16
技术公布日：2022/11/15