一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

集成学习模型的训练方法、装置、系统和相关设备与流程

2022-07-30 13:17:58 来源:中国专利 TAG:

技术特征:
1.一种集成学习模型的训练方法,其特征在于,所述方法应用于模型训练系统,所述模型训练系统包括控制节点以及工作节点,所述方法包括:所述控制节点获取集成学习模型的训练请求;所述控制节点根据所述训练请求生成训练任务集合,所述训练任务集合包括多个训练任务,所述多个训练任务中每个训练任务由一个工作节点执行,每个所述训练任务用于训练所述集成学习模型中的至少一个子学习模型,不同训练任务用于训练不同的子学习模型;所述控制节点向工作节点集合中多个工作节点分别发送所述训练任务集合中训练任务。2.根据权利要求1所述的方法,其特征在于,所述训练请求包括训练所述集成学习模型的指示以及所述集成学习模型中子学习模型的数量。3.根据权利要求2所述的方法,其特征在于,所述控制节点根据所述训练请求生成训练任务集合,包括:所述控制节点根据所述训练请求包括的子学习模型的数量生成所述训练任务集合,所述训练任务集合包括的训练任务的数量与所述子学习模型的数量相等。4.根据权利要求1至3任一项所述的方法,其特征在于,所述控制节点向工作节点集合中多个工作节点分别发送所述训练任务集合中训练任务,包括:所述控制节点获取所述工作节点集合中各个工作节点的负载;所述控制节点根据所述各个工作节点的负载,向第一部分工作节点中每个工作节点发送一个训练任务,所述工作节点集合包括所述第一部分工作节点以及第二部分工作节点,所述第一部分工作节点中每个工作节点的负载小于所述第二部分工作节点中每个工作节点的负载。5.根据权利要求1至4任一项所述的方法,其特征在于,所述子学习模型包括决策树模型。6.根据权利要求5所述的方法,其特征在于,所述子学习模型的训练终止条件包括如下条件中的至少一种:子学习模型的叶子节点对应的训练样本数量均小于数量阈值;或者,用于训练子学习模型的训练样本集的不纯度指标小于不纯度阈值;或者,子学习模型中节点的深度大于等于深度阈值。7.一种集成学习模型的训练装置,其特征在于,所述装置应用于模型训练系统中的控制节点,所述模型训练系统还包括工作节点,所述装置包括:获取模块,用于获取集成学习模型的训练请求;生成模块,用于根据所述训练请求生成训练任务集合,所述训练任务集合包括多个训练任务,所述多个训练任务中每个训练任务由一个工作节点执行,每个所述训练任务用于训练所述集成学习模型中的至少一个子学习模型,不同训练任务用于训练不同的子学习模型;通信模块,用于向工作节点集合中多个工作节点分别发送所述训练任务集合中训练任务。8.根据权利要求7所述的装置,其特征在于,所述训练请求包括训练所述集成学习模型
的指示以及所述集成学习模型中子学习模型的数量。9.根据权利要求8所述的装置,其特征在于,所述生成模块,具体用于根据所述训练请求包括的子学习模型的数量生成所述训练任务集合,所述训练任务集合包括的训练任务的数量与所述子学习模型的数量相等。10.根据权利要求7至9任一项所述的装置,其特征在于,所述通信模块,具体包括:负载获取单元,用于获取所述工作节点集合中各个工作节点的负载;发送单元,用于根据所述各个工作节点的负载,向第一部分工作节点中的每个工作节点发送一个训练任务,所述工作节点集合包括所述第一部分工作节点以及第二部分工作节点,所述第一部分工作节点中每个工作节点的负载小于所述第二部分工作节点中每个工作节点的负载。11.根据权利要求7至10任一项所述的装置,其特征在于,所述子学习模型包括决策树模型。12.根据权利要求11所述的装置,其特征在于,所述子学习模型的训练终止条件包括如下条件中的至少一种:子学习模型的叶子节点对应的训练样本数量均小于数量阈值;或者,用于训练子学习模型的训练样本集的不纯度指标小于不纯度阈值;或者,子学习模型中节点的深度大于等于深度阈值。13.一种设备,其特征在于,包括处理器和存储器;所述存储器,用于存储计算机指令;所述处理器,用于根据所述计算机指令执行如权利要求1至6任一项所述方法的操作步骤。14.一种模型训练系统,其特征在于,所述模型训练系统包括如权利要求1至6任一项所述的控制节点以及工作节点。15.一种计算机可读存储介质,其特征在于,包括指令,所述指令用于实现如权利要求1至6中任一项所述方法的操作步骤。

技术总结
一种集成学习模型的训练方法,该方法应用于包括控制节点以及工作节点的模型训练系统中,在训练集成学习模型时,控制节点可以获取集成学习模型的训练请求,并根据该训练请求生成包括多个训练任务的训练任务集合,然后,控制节点向工作节点集合中的多个工作节点分别发送训练任务集合中的训练任务,其中,每个训练任务被由一个工作节点执行,每个训练任务用于训练集成学习模型中的至少一个子学习模型,不同训练任务用于训练不同的子学习模型。由于每个子学习模型的训练结果可以由一个工作节点处理,从而可以有效减少训练子学习模型过程中各个工作节点之间所需通信的数据量,提高对于集成学习模型的训练效率以及成功率。于集成学习模型的训练效率以及成功率。于集成学习模型的训练效率以及成功率。


技术研发人员:余思 贾佳峰 熊钦 王工艺
受保护的技术使用者:华为技术有限公司
技术研发日:2021.01.28
技术公布日:2022/7/29
再多了解一些

本文用于企业家、创业者技术爱好者查询,结果仅供参考。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献