大模型分布式并行动态调频联合优化方法、设备及介质与流程
本发明涉及分布式计算系统能效优化,尤其涉及一种大模型分布式并行动态调频联合优化方法、设备及介质。
背景技术:
1、随着大语言模型参数规模的持续增长与混合专家(mixture of experts,moe)架构的广泛采用,ai(artificial intelligence,人工智能)加速芯片单卡功耗与整机柜算力密度大幅攀升,数据中心机柜的供电容量、功率预算与散热条件已成为制约大规模集群部署的核心物理瓶颈。如何在保障业务服务质量与硬件供电安全的前提下,实现集群能效的最大化,是本方案所要解决的关键技术挑战。
2、现有技术普遍采用分步优化机制,即先根据性能需求确定多维分布式并行策略,再通过单一降频方式降低整机功耗。该方法存在以下技术缺陷:其一,并行策略与调频完全解耦,跨卡通信开销与互联设备功耗被锁定为固定基底开销,无法从调度层面优化通算资源配比,系统能效次优;其二,moe架构依赖大量全交换通信跨卡通信,计算与通信重叠机制导致瞬时峰值功耗远超串行执行,现有技术缺乏对该重叠区间的量化与管控,极易触发机柜瞬时供电过载;其三,现有方案仅优化平均功耗,忽略瞬时峰值功耗约束,优化后的配置存在上线宕机风险。
技术实现思路
1、本发明提供了一种大模型分布式并行动态调频联合优化方法、设备及介质,以解决并行策略与调频解耦导致能效次优及通算并行峰值功耗失控的问题。
2、根据本发明实施例的一方面,提供了一种大模型分布式并行动态调频联合优化方法,所述方法包括:
3、在需要搜索将目标大模型部署于目标集群系统时的目标配置时,构建由多维分布式并行算法的多种候选组合与芯片工作频率的多个候选档位共同组成的联合搜索空间;
4、其中,所述多维分布式并行算法为所述目标大模型部署于所述目标集群系统的多维分布式并行策略组合,所述芯片工作频率为所述目标集群系统中加速卡的多个可选工作频率档位;
5、根据目标大模型的结构参数与目标集群系统硬件的规格参数,剔除所述联合搜索空间中不满足显存可行性和并行算法合法性的配置,得到第一候选配置集合,其中,每个候选配置对应一组多维分布式并行算法组合与一个芯片工作频率档位;
6、通过预设的性能建模引擎计算所述第一候选配置集合中各第一候选配置对应的端到端运行时间和吞吐量,并通过预设的功耗建模引擎计算所述第一候选配置集合中各第一候选配置对应的系统平均功耗和系统峰值功耗;
7、根据各第一候选配置的端到端运行时间和系统平均功耗,验证各第一候选配置是否满足预设的总平均功耗预算约束、物理安全峰值功耗上限约束以及服务等级目标约束,并剔除不满足任一约束的第一候选配置,得到第二候选配置集合;
8、根据第二候选配置集合中各第二候选配置的吞吐量,选择单位功耗吞吐量最大的第二候选配置作为目标配置。
9、根据本发明实施例的另一方面,提供了一种大模型分布式并行动态调频联合优化装置,所述装置包括:
10、联合空间构建模块,用于在需要搜索将目标大模型部署于目标集群系统时的目标配置时,构建由多维分布式并行算法的多种候选组合与芯片工作频率的多个候选档位共同组成的联合搜索空间;其中,所述多维分布式并行算法为所述目标大模型部署于所述目标集群系统的多维分布式并行策略组合,所述芯片工作频率为所述目标集群系统中加速卡的多个可选工作频率档位;
11、配置预筛模块,用于根据目标大模型的结构参数与目标集群系统硬件的规格参数,剔除所述联合搜索空间中不满足显存可行性和并行算法合法性的配置,得到第一候选配置集合,其中,每个候选配置对应一组多维分布式并行算法组合与一个芯片工作频率档位;
12、双模型评估模块,用于通过预设的性能建模引擎计算所述第一候选配置集合中各第一候选配置对应的端到端运行时间和吞吐量,并通过预设的功耗建模引擎计算所述第一候选配置集合中各第一候选配置对应的系统平均功耗和系统峰值功耗;
13、约束校验模块,用于根据各第一候选配置的端到端运行时间和系统平均功耗,验证各第一候选配置是否满足预设的总平均功耗预算约束、物理安全峰值功耗上限约束以及服务等级目标约束,并剔除不满足任一约束的第一候选配置,得到第二候选配置集合;
14、全局择优模块,用于根据第二候选配置集合中各第二候选配置的吞吐量,选择单位功耗吞吐量最大的第二候选配置作为目标配置。
15、根据本发明实施例的另一方面,提供了一种电子设备,所述电子设备包括:
16、至少一个处理器;以及
17、与所述至少一个处理器通信连接的存储器;其中,
18、所述存储器存储有可被所述至少一个处理器执行的计算机程序,所述计算机程序被所述至少一个处理器执行,以使所述至少一个处理器能够执行本发明任一实施例所述的大模型分布式并行动态调频联合优化方法。
19、根据本发明实施例的另一方面,提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于使处理器执行时实现本发明任一实施例所述的大模型分布式并行动态调频联合优化方法。
20、根据本发明实施例的另一方面,还提供了一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现如本发明任一实施例所述方法的步骤。
21、本发明实施例的技术方案,通过在需要搜索将目标大模型部署于目标集群的最优配置时,构建由多维分布式并行算法的多种候选组合与芯片工作频率的多个候选档位共同组成的联合搜索空间;根据目标大模型的结构参数与目标集群硬件的规格参数,剔除联合搜索空间中不满足显存可行性和并行算法合法性的配置,得到第一候选配置集合;通过预设的性能建模引擎计算第一候选配置集合中各第一候选配置对应的端到端运行时间和吞吐量,并通过预设的功耗建模引擎计算各第一候选配置对应的平均功耗和峰值功耗;根据各第一候选配置的端到端运行时间和平均功耗,验证各第一候选配置是否满足预设的总平均功耗预算约束、物理安全峰值功耗上限约束以及服务等级目标约束,并剔除不满足任一约束的第一候选配置,得到第二候选配置集合;根据第二候选配置集合中各第二候选配置的吞吐量,选择单位功耗吞吐量最大的第二候选配置作为目标配置;解决了现有技术中并行策略与调频解耦导致能效次优、通算并行引发峰值功耗失控以及缺乏瞬时峰值约束的问题,取得了在满足多重约束下实现全局能效最优的有益效果。
22、应当理解,本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征,也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。
1.一种大模型分布并行动态调频联合优化方法,其特征在于,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,构建由多维分布式并行算法的多种候选组合与芯片工作频率的多个候选档位共同组成的联合搜索空间,包括:
3.根据权利要求2所述的方法,其特征在于,根据目标大模型的结构参数与目标集群系统硬件的规格参数,剔除所述联合搜索空间中不满足显存可行性和并行算法合法性的配置,得到第一候选配置集合,包括:
4.根据权利要求1所述的方法,其特征在于,通过预设的性能建模引擎计算所述第一候选配置集合中各第一候选配置对应的端到端运行时间和吞吐量,包括:
5.根据权利要求4所述的方法,其特征在于,根据每一层中各算子的算子类型,计算当前第一候选配置下,每一层中各算子在各模型阶段的执行时间,包括:
6.根据权利要求5所述的方法,其特征在于,在当前第一候选配置下,分别计算出目标算子在目标模型阶段的计算时间和访存时间,包括:
7.根据权利要求4所述的方法,其特征在于,根据与各模型阶段分别对应的端到端运行时间,计算当前第一候选配置下,与各模型阶段分别对应的吞吐量,包括:
8.根据权利要求1所述的方法,其特征在于,通过预设的功耗建模引擎计算所述第一候选配置集合中各第一候选配置对应的系统平均功耗,包括:
9.根据权利要求1所述的方法,其特征在于,通过预设的功耗建模引擎计算所述第一候选配置集合中各第一候选配置对应的系统平均功耗和系统峰值功耗,包括:
10.根据权利要求9所述的方法,其特征在于,根据各第一候选配置的端到端运行时间和系统平均功耗,验证各第一候选配置是否满足预设的总平均功耗预算约束、物理安全峰值功耗上限约束以及服务等级目标约束,并剔除不满足任一约束的第一候选配置,得到第二候选配置集合,包括:
11.根据权利要求4所述的方法,其特征在于,根据第二候选配置集合中各第二候选配置的吞吐量,选择单位功耗吞吐量最大的第二候选配置作为目标配置,包括:
12.一种大模型分布式并行动态调频联合优化装置,其特征在于,包括:
13.一种电子设备,其特征在于,所述电子设备包括:
14.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于使处理器执行时实现权利要求1-11中任一项所述的大模型分布式并行动态调频联合优化方法。
15.一种计算机程序产品,其特征在于,所述计算机程序产品包括计算机程序,所述计算机程序在被处理器执行时实现根据权利要求1-11中任一项所述的大模型分布式并行动态调频联合优化方法。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com