针对模型训练的调度方法、装置、电子设备和存储介质与流程

技术特征：
1.一种针对模型训练的调度方法，包括：将待训练模型切分为依次连接的三个模型分区；将依次连接的所述三个模型分区分别缓存至构成三级缓存空间的三个空间；其中，所述三个空间包括针对图形处理器的显示内存空间、针对处理器的内存空间和硬盘存储空间；以及在所述待训练模型的训练过程中，动态调整所述三个空间各自缓存的模型分区，并调度使得针对所述三个模型分区的训练以具有交叠的方式执行，其中，针对所述三个模型分区中每个模型分区的训练涉及参数更新任务；所述具有交叠的方式包括：针对两个模型分区的训练所涉及的两个参数更新任务被并行执行。2.根据权利要求1所述的方法，其中，针对所述每个模型分区的训练还涉及计算任务；所述计算任务包括前向任务和后向任务；所述具有交叠的方式还包括：针对所述三个模型分区中在前模型分区的训练所涉及的前向任务与针对在后模型分区的训练所涉及的参数更新任务并行执行。3.根据权利要求1或2所述的方法，其中，针对所述每个模型分区的训练还涉及计算任务；所述计算任务包括前向任务和后向任务；动态调整所述三个空间各自缓存的模型分区，并调度使得针对所述三个模型分区的训练以具有交叠的方式执行包括：在针对所述三个模型分区中最前模型分区的训练所涉及的第一后向任务被执行时，调整缓存至所述三个空间中的模型分区，以使得所述三个模型分区中的最后模型分区缓存于所述硬盘存储空间且所述三个模型分区中的中间模型分区缓存于所述内存空间；响应于所述第一后向任务被执行完成，向图形处理器分配针对所述最前模型分区的训练所涉及的第一参数更新任务；执行针对所述中间模型分区的训练所涉及的第二参数更新任务；响应于所述第一后向任务被执行完成，将所述最后模型分区从所述硬盘存储空间转移至所述内存空间；以及响应于所述第二参数更新任务被执行完成，执行针对所述最后模型分区的训练所涉及的第三参数更新任务。4.根据权利要求3所述的方法，其中，动态调整所述三个空间各自缓存的模型分区，并调度使得针对所述三个模型分区的训练以具有交叠的方式执行还包括：响应于所述第一参数更新任务被执行完成，向所述图形处理器发送针对所述最前模型分区的训练所涉及的第一前向任务。5.根据权利要求4所述的方法，其中，动态调整所述三个空间各自缓存的模型分区，并调度使得针对所述三个模型分区的训练以具有交叠的方式执行还包括：响应于所述第二参数更新任务被执行完成，将参数更新后的中间模型分区自所述内存空间转移至所述显示内存空间；响应于所述第一前向任务被执行完成，向所述图形处理器发送针对所述中间模型分区的训练所涉及的第二前向任务；响应于所述第三参数更新任务被执行完成，将参数更新后的最后模型分区自所述内存空间转移至所述显示内存空间；以及响应于所述第二前向任务被执行完成，向所述图形处理器发送针对所述最后模型分区
的训练所涉及的第三前向任务。6.根据权利要求5所述的方法，其中，所述动态调整所述三个空间各自缓存的模型分区，并调度使得针对所述三个模型分区的训练以具有交叠的方式执行还包括：响应于所述第一前向任务被执行完成，将参数更新后的最前模型分区自所述显示内存空间转移至所述硬盘存储空间；以及响应于所述第二前向任务被执行完成，将所述参数更新后的中间模型分区自所述显示内存空间转移至所述内存空间，其中，响应于所述第三参数更新任务被执行完成，将参数更新后的最后模型分区自所述内存空间转移至所述显示内存空间包括：响应于所述参数更新后的最前模型分区自所述显示内存空间转出，将所述参数更新后的最后模型分区自所述内存空间转移至所述显示内存空间。7.根据权利要求6所述的方法，其中，所述动态调整所述三个空间各自缓存的模型分区，并调度使得针对所述三个模型分区的训练以具有交叠的方式执行还包括：响应于所述第三前向任务被执行完成，向所述图形处理器发送针对所述最后模型分区的训练所涉及的第三后向任务；将所述参数更新后的中间模型分区自所述内存空间转移至所述显示内存空间，并从所述硬盘存储空间读取所述参数更新后的最前模型分区；响应于所述第三后向任务被执行完成，向所述图形处理器发送针对所述中间模型分区的训练所涉及的第二后向任务；响应于读取到所述参数更新后的最前模型分区，将所述参数更新后的最前模型分区缓存至所述显示内存空间；以及响应于所述第二后向任务被执行完成，向所述图形处理器发送所述第一后向任务。8.根据权利要求7所述的方法，其中，所述动态调整所述三个空间各自缓存的模型分区，并调度使得针对所述三个模型分区的训练以具有交叠的方式执行还包括：响应于所述第三后向任务被执行完成，将所述参数更新后的最后模型分区自所述显示内存空间转移至所述硬盘存储空间；其中，在针对所述三个模型分区中最前模型分区的训练所涉及的第一后向任务被执行时，调整缓存至所述三个空间中的模型分区包括：将所述参数更新后的中间模型分区自所述显示内存空间转移至所述内存空间。9.根据权利要求1所述的方法，其中，所述将待训练模型切分为依次连接的三个模型分区包括：根据所述三个空间的空间大小，将所述待训练模型切分为所述三个模型分区。10.一种针对模型训练的调度装置，包括：模型切分模块，用于将待训练模型切分为依次连接的三个模型分区；模型缓存模块，用于将依次连接的所述三个模型分区分别缓存至构成三级缓存空间的三个空间；其中，所述三个空间包括针对图形处理器的显示内存空间、针对处理器的内存空间和硬盘存储空间；以及调度调整模块，用于在所述待训练模型的训练过程中，动态调整所述三个空间各自缓存的模型分区，并调度使得针对所述三个模型分区的训练以具有交叠的方式执行，
其中，针对所述三个模型分区中每个模型分区的训练涉及参数更新任务；所述具有交叠的方式包括：针对两个模型分区的训练所涉及的两个参数更新任务被并行执行。11.根据权利要求10所述的装置，其中，针对所述每个模型分区的训练还涉及计算任务；所述计算任务包括前向任务和后向任务；所述具有交叠的方式还包括：针对所述三个模型分区中在前模型分区的训练所涉及的前向任务与针对在后模型分区的训练所涉及的参数更新任务并行执行。12.一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1～9中任一项所述的方法。13.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1～9中任一项所述的方法。14.一种计算机程序产品，包括计算机程序/指令，所述计算机程序/指令在被处理器执行时实现根据权利要求1～9中任一项所述方法的步骤。

技术总结
本公开提供了一种针对模型训练的调度方法、装置、电子设备和存储介质，涉及人工智能领域，具体涉及深度学习和云计算领域。针对模型训练的调度方法的具体实现方案为：将待训练模型切分为依次连接的三个模型分区；将依次连接的三个模型分区分别缓存至构成三级缓存空间的三个空间；其中，三个空间包括针对图形处理器的显示内存空间、针对处理器的内存空间和硬盘存储空间；以及在待训练模型的训练过程中，动态调整三个空间各自缓存的模型分区，并调度使得针对三个模型分区的训练以具有交叠的方式执行。其中，针对三个模型分区中每个模型分区的训练涉及参数更新任务；具有交叠的方式包括：针对两个模型分区的训练所涉及的两个参数更新任务被并行执行。更新任务被并行执行。更新任务被并行执行。


技术研发人员：白扬帆 沈亮 巩伟宝 吴志华 于佃海
受保护的技术使用者：北京百度网讯科技有限公司
技术研发日：2022.05.16
技术公布日：2022/8/16