异构GPU执行域间的训练任务切换方法、系统及程序产品与流程
本申请涉及深度学习训练,尤其涉及一种异构gpu执行域间的训练任务切换方法、系统及程序产品。
背景技术:
1、随着深度学习模型规模和训练数据量不断增加,训练任务通常需要依托由多个gpu构成的计算环境运行。训练任务的执行周期较长,在计算资源调整、设备维护、运行环境变化或者训练资源重新分配等情况下,可能需要改变训练任务所使用的gpu执行域。
2、不同gpu执行域在gpu型号、训练并行配置、计算精度、算子执行方式及通信环境等方面可能存在差异。上述差异可能使同一训练任务在不同gpu执行域中的数值计算过程和训练状态演化过程产生偏差,并且偏差可能随着训练任务的持续执行而累积,从而影响后续训练过程。
3、因此,在训练任务由源gpu执行域切换至异构目标gpu执行域时,如何判断目标gpu执行域能否保持与源gpu执行域一致的训练更新语义,并在不影响正式训练状态的情况下完成验证和训练任务接续,成为需要解决的技术问题。
技术实现思路
1、本申请的一个目的是提供一种异构gpu执行域间的训练任务切换方法、系统及程序产品,至少用以解决不同训练并行配置下的训练更新过程难以进行有效比较、难以根据实际参数变化和持久训练状态变化判断源gpu执行域与目标gpu执行域的训练更新语义是否一致,以及难以避免验证过程改变正式训练状态并使目标gpu执行域可靠接续训练任务的技术问题。
2、为实现上述目的,本申请的一些实施例提供了以下几个方面:
3、第一方面,本申请的一些实施例提供了一种异构gpu执行域间的训练任务切换方法,所述方法包括:
4、在源gpu执行域完成一次优化器更新后、开始下一次优化器更新前,暂停训练任务并冻结当前训练状态;
5、获取与所述当前训练状态对应的冻结检查点以及训练更新语义记录,所述训练更新语义记录包括有序逻辑输入序列、损失归约规则、随机规则和逻辑分组;
6、使所述源gpu执行域和异构目标gpu执行域从所述冻结检查点恢复,并依据所述训练更新语义记录,在预设探针窗口内分别执行不提交正式训练结果的探针更新;
7、比较所述源gpu执行域和所述目标gpu执行域各自在所述探针更新中的实际参数变化,以及各自的持久训练状态在所述探针更新前后的变化,当比较结果满足预设一致性条件时,确定所述目标gpu执行域与所述源gpu执行域的训练更新语义一致;
8、在确定所述目标gpu执行域与所述源gpu执行域的训练更新语义一致时,将所述目标gpu执行域的训练状态恢复为所述冻结检查点对应的训练状态,并使所述目标gpu执行域接续执行所述训练任务。
9、第二方面,本申请的一些实施例还提供了一种异构gpu执行域间的训练任务切换系统,包括控制服务器组、源gpu服务器、目标gpu服务器、检查点存储和状态发布网关;
10、所述源gpu服务器形成源gpu执行域,所述目标gpu服务器形成异构目标gpu执行域;
11、所述控制服务器组、所述源gpu服务器、所述目标gpu服务器、所述检查点存储和所述状态发布网关相互配合,以执行上述任一项所述的训练任务切换方法;
12、所述状态发布网关用于将探针更新产生的数据与正式训练结果相隔离,并根据所述控制服务器组的控制,在所述源gpu执行域与所述目标gpu执行域之间切换所述正式训练结果的发布权限。
13、第三方面,本申请的一些实施例还提供了一种计算机程序产品,包括计算机程序/指令,该计算机程序/指令被处理器执行时实现如上所述方法的步骤。
14、与相关技术相比,本申请实施例提供的方案中,通过在相邻两次优化器更新之间冻结训练状态,使源gpu执行域和目标gpu执行域具有相同的探针更新起点;通过训练更新语义记录约束两个gpu执行域的输入、损失归约、随机操作和逻辑分组,使两个gpu执行域在具有可比性的条件下执行探针更新;通过比较实际参数变化和持久训练状态变化,能够从训练更新过程及其状态转移角度判断目标gpu执行域是否保持训练更新语义一致;并且,在完成比较后将目标gpu执行域恢复至冻结检查点对应的训练状态,能够避免探针更新结果进入正式训练状态,从而提高异构gpu执行域间训练任务切换的可靠性。
1.一种异构gpu执行域间的训练任务切换方法,其特征在于,所述方法包括:
2.根据权利要求1所述的训练任务切换方法,其特征在于,依据所述训练更新语义记录中的有序逻辑输入序列和逻辑分组执行所述探针更新,包括:
3.根据权利要求1所述的训练任务切换方法,其特征在于,依据所述训练更新语义记录中的随机规则执行所述探针更新,包括:
4.根据权利要求1所述的训练任务切换方法,其特征在于,所述比较结果的确定包括:
5.根据权利要求4所述的训练任务切换方法,其特征在于,确定所述比较结果满足所述预设一致性条件,包括:
6.根据权利要求5所述的训练任务切换方法,其特征在于,在确定所述目标gpu执行域与所述源gpu执行域的训练更新语义一致之后、将所述目标gpu执行域的训练状态恢复为所述冻结检查点对应的训练状态之前,所述方法还包括:
7.根据权利要求6所述的训练任务切换方法,其特征在于,在所述语义一致性证书通过核验时,所述方法还包括:
8.根据权利要求7所述的训练任务切换方法,其特征在于,在所述目标gpu执行域接续执行所述训练任务之后,所述方法还包括:
9.一种异构gpu执行域间的训练任务切换系统,其特征在于,包括控制服务器组、源gpu服务器、目标gpu服务器、检查点存储和状态发布网关;
10.一种计算机程序产品,包括计算机程序/指令,其特征在于,该计算机程序/指令被处理器执行时实现权利要求1至8中任意一项所述方法的步骤。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com