混合专家模型梯度聚合优化方法、装置、硬件系统及介质与流程
本发明涉及人工智能,尤其涉及一种混合专家模型梯度聚合优化方法、装置、硬件系统及介质。
背景技术:
1、混合专家模型(mixture-of-experts,moe)是当前大语言模型(llm)提升参数规模和推理性能的主流架构。在moe的前向传播过程中,系统根据门控网络(gate)的输出,通过gather(收集/索引提取)操作将输入序列中的token分发(permute/route)到对应的专家(expert)进行计算,计算完成后再将结果恢复(unpermute)到原始顺序。
2、在深度学习框架(如jax、tensorflow、pytorch)的自动微分(automaticdifferentiation,ad)机制中,gather操作的反向传播通常被默认实现为分散累加(scatter-add)操作。即:如果前向传播中token a被发送到了位置x和y,那么反向传播时,需要将位置x和y的梯度加回到token a对应的内存地址上。
3、然而,在实现本发明的过程中,现有技术在tpu、gpu及npu等并行计算硬件上存在严重的性能瓶颈,主要体现在以下几个方面:
4、第一,原子操作冲突(atomic contention)。scatter-add需要对内存进行随机写访问。当多个梯度需要累加到同一个源token时,硬件必须使用原子操作(atomicoperations)来保证数据一致性。这会导致严重的内存访问冲突和序列化等待,极大地降低了硬件的并行计算效率。
5、第二,确定性与原子锁的矛盾。为了避免结果的不确定性,某些框架在执行scatter前需要进行昂贵的加锁操作。而在tpu、npu等高带宽内存(hbm)架构的硬件上,原子锁会导致严重的流水线停顿,无法发挥高带宽的内存优势。
6、第三,无法识别置换特性。在moe的unpermute阶段,操作本质上是一个一一对应的“置换(permutation)”或双射(bijective)变换。然而,标准ad框架无法识别这一数学特性,仍将其视为普通的scatter操作,导致不必要的计算和通信开销。
7、因此,现有的基于scatter-add的梯度回传方案无法适应moe模型大规模训练的需求,尤其是在专家数量和top-k值较大的场景下,原子冲突概率呈指数级上升,严重制约了模型的训练效率。因此,亟需一种能够消除原子操作冲突、适配并行计算硬件特性的梯度聚合优化方案。
技术实现思路
1、本发明的目的旨在提出一种面向并行计算硬件的混合专家模型梯度聚合优化方法、装置、系统和介质,至少在一定程度上解决上述的技术问题之一。
2、为达到上述目的,本发明的第一方面提供一种混合专家模型梯度聚合优化方法,所述优化方法包括:前向传播时,记录token路由的索引映射关系;反向传播时,调用自定义反向传播算子旁路默认的分散累加路径,并根据所述索引的映射关系的类型重构梯度回传路径,其中,在所述映射关系为一对多分发时,对所述索引执行排序以生成排列映射,基于所述排列映射将梯度重排至连续内存,并沿专家维度执行归约求和,以聚合归属于同一token的梯度;在所述映射关系为一对一置换,对所述索引执行排序以生成逆置换索引,基于所述逆置换索引执行收集操作,直接获得原始顺序梯度。
3、根据本发明的一个实施例,所述索引映射关系由门控网络基于softmax策略或sigmoid策略计算路由权重后生成,所述路由权重与所述索引映射关系共同作为中间变量保留,供反向传播时复用。
4、根据本发明的一个实施例,基于排序生成的排列映射将梯度重排至连续内存,包括:利用所述排列映射对输出梯度张量执行收集操作,使归属于同一token且对应不同专家的梯度在物理内存中相邻排列,形成一维梯度序列。
5、根据本发明的一个实施例,所述沿专家维度执行归约求和之前,所述优化方法还包括:采用零值对所述一维梯度序列进行填充,使填充后的序列长度为token总数和top-k值的乘积的整数倍;基于所述token数量、所述top-k值和隐藏层维度将填充后的一维梯度序列重塑为三维规则张量,使归属于同一token的梯度排列于所述专家数量维度上。
6、根据本发明的一个实施例,所述采用零值对所述一维梯度序列进行填充,包括:若存在被路由过滤的token,则使用零值对所述一维梯度序列进行填充对齐,以确保序列长度符合所述三维规则张量的维度要求。
7、根据本发明的一个实施例,所述基于所述逆置换索引执行收集操作,包括:在token恢复阶段,响应于前向传播构成双射变换,对所述前向传播记录的置换索引执行参数排序,生成所述逆置换索引;依据所述逆置换索引对输出梯度执行收集操作,以替代分散累加操作,消除内存写冲突。
8、根据本发明的一个实施例,所述自定义反向传播算子为深度学习框架自动微分计算图中的自定义向量雅可比积算子。
9、根据本发明的一个实施例,所述对索引执行排序的操作采用以下任一种方式实现:参数排序、基数排序,或基于预计算查找表的索引生成。
10、为达到上述目的,本发明的第二方面提供一种混合专家模型梯度聚合优化装置,所述优化包括:记录模块,用于前向传播时,记录token路由的索引映射关系;重构模块,用于反向传播时,调用自定义反向传播算子旁路默认的分散累加路径,并根据所述索引的映射关系的类型重构梯度回传路径,其中,所述重构模块包括:分发单元,用于在所述映射关系为一对多分发时,对所述索引执行排序以生成排列映射,基于所述排列映射将梯度重排至连续内存,并沿专家维度执行归约求和,以聚合归属于同一token的梯度;置换单元,用于在所述映射关系为一对一置换,对所述索引执行排序以生成逆置换索引,基于所述逆置换索引执行收集操作,直接获得原始顺序梯度。
11、为达到上述目的,本发明的第三方面提供一种并行计算硬件系统,包括存储器和一个或多个处理器,所述一个或多个处理器包括tpu、gpu或npu中的至少一种,所述存储器存储有计算机程序,所述计算机程序被所述一个或多个处理器执行时实现如第一方面所述的优化方法。
12、为达到上述目的,本发明的第四方面提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被并行计算硬件执行时实现如第一方面所述的优化方法。
13、可见,本发明相比于现有技术具有如下优点:
14、1)本发明能够替代传统的scatter-add操作,彻底避免了多线程对同一内存地址的随机写冲突及原子锁等待,显著提升了并行效率;
15、2)本发明将反向传播中低效的随机写访问转化为硬件友好的连续读访问,梯度数据经重排后在物理内存中连续存储,优化了内存访问模式,充分发挥了tpu、gpu及npu的显存带宽优势,提高了带宽利用率。
16、3)本发明随着随着moe模型中专家数量和top-k值的增加,排序与归约开销仅呈线性增长,从而更适配大规模模型的训练需求
17、4)本方案不仅适用于moe的permute/unpermute操作,其还可推广至稀疏注意力机制(sparse attention)及图神经网络的节点聚合等涉及索引重排与梯度回传的场景,通用性高,适用范围广泛。
18、本发明附加的方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com