一种混合专家模型的令牌重排控制装置及方法与流程

摘要: 本发明涉及人工智能领域,更具体涉及一种混合专家模型的令牌重排控制装置及方法。背景技术:1、近年来,以transformer为基础的大型语言模型在自然语言处理、计...
一种混合专家模型的令牌重排控制装置及方法与流程

本发明涉及人工智能领域,更具体涉及一种混合专家模型的令牌重排控制装置及方法。

背景技术:

1、近年来,以transformer为基础的大型语言模型在自然语言处理、计算机视觉、多模态理解等领域取得了突破性进展。从openai的gpt系列、google的gemini,到meta的llama系列、中国的deepseek系列,模型参数规模已从数十亿膨胀至数千亿甚至万亿级别。然而,模型规模的爆炸式增长也带来了训练与推理成本的急剧攀升,使得如何在有限算力下实现更大模型容量成为人工智能领域的核心挑战之一。

2、混合专家模型(mixture-of-experts,moe)作为一种极具潜力的模型扩展技术应运而生,其核心思想是将传统transformer中的单一前馈网络层替换为多个并行的专家子网络,同时引入一个轻量级的门控网络,即路由器(router),负责为每个输入令牌(token)动态地、稀疏地选择一小部分最适合的专家进行计算。这种条件计算机制使得模型的总参数量可以极大扩展,因为每次推理仅激活部分参数,从而能够在保持单次推理计算量基本不变的前提下,大幅提升模型的容量和性能。

3、然而,moe模型存在路由负载不均衡与低激活率专家闲置的问题。热门专家过载使其计算队列堆积大量待处理token,成为整个moe层的延迟瓶颈,而其他专家的计算资源闲置,硬件整体利用率下降;低激活率专家长时间不被激活,其存储的知识无法被有效利用,造成计算资源浪费,并可能降低模型输出质量。

4、为解决上述问题,目前主要提出了以下技术方案:基于软件调度的scatter-gather方案,该方案在软件层面实现token的重排与分发;基于dma控制器的scatter-gather方案,利用芯片内已有的dma引擎执行非连续内存访问操作;基于通用稀疏计算硬件的加速方案,利用已有的稀疏计算硬件来加速moe中的稀疏操作;基于大容量片上存储与高带宽互连的“以空间换时间”方案,通过提供海量片上sram和高带宽互连网络来缓解数据重排压力;基于预取与推测的软件优化方案,通过推测token的专家路由路径,预先将token重排至目标专家的本地内存,然后利用轻量级transformer预测器一次性预测所有层的路由路径,实现主动式专家预取与跨批次token重新编排;基于软件随机数的路由负载均衡方案,采用在路由器输出的logit值上添加软件生成的随机噪声,然后通过复杂的浮点softmax概率计算来重新分配token。

5、虽然现有技术方案具有一定的优势,但仍具有以下的明显缺陷:1)无法避免软件scatter-gather开销与cpu回退:按专家排序分组和逐token索引搬运全部由软件或cpu承担,控制延迟随token数增长,成为moe算子端到端延迟的重要组成部分,算子形状不支持时的cpu整层回退进一步放大延迟;2)非连续访问带宽浪费:非连续token特征需多次小粒度读写,若经临时重排缓冲区中转,则数据被“读出—写入—再读出”二次搬运,片上sram有效带宽利用率显著下降,并产生大量无效动态功耗;3)流水线气泡:路由、分组、计算三阶段串行执行,pe array在软件分组期间空转;且不同专家被选中的token数动态不均,各专家通用矩阵乘法尺寸差异大,逐专家串行或分批执行进一步加剧气泡,阵列利用率低;4)可扩展性受限:token数与专家数增长时,软件分组开销近似线性增长,难以匹配npu计算吞吐的持续提升,moe算子在端侧与边缘npu上难以发挥稀疏激活带来的算力收益。

技术实现思路

1、本发明的目的在于提供一种混合专家模型的令牌重排控制装置及方法,以消除软件scatter-gather开销与cpu回退,提升片上有效带宽利用率,消除硬件流水线气泡,并提高可扩展性。

2、本发明提供一种混合专家模型的令牌重排控制装置,包括:

3、路由掩码解析单元,配置为实时捕获专家分发目标信息,并解析生成专家目标位图;

4、动态索引偏移生成器,配置为根据所述专家目标位图,计算目标专家切片内的局部偏移和基地址,生成每个token对应的打包写地址;

5、多专家仲裁器,配置为对多专家并发打包请求进行仲裁;

6、跨接矩阵,配置为根据所述多专家仲裁器的仲裁结果,对数据通路进行切换;

7、打包读写数据通路,配置为以逻辑地址重映射方式,在数据加载与数据回写阶段完成零拷贝打包。

8、进一步地,所述路由掩码解析单元包括:

9、专家索引解码器,配置为从路由日志缓冲单元按token顺序流式读取路由记录,从所述路由记录中获取token序号、k个专家索引和门控权重,k个专家索引传输至e位译码网络,e位译码网络对每个专家索引译码生成one-hot向量;其中,1≤k≤kmax,kmax为硬件支持的每token最大分发专家数;

10、位图组装逻辑单元,配置为接收同一token对应的k个one-hot向量,并将k个one-hot向量合并为该token的e位专家目标位图;

11、掩码sram,配置为将所述专家目标位图按token顺序存放。

12、进一步地,所述掩码sram采用多bank分块组织,bank的数量等于所述动态索引偏移生成器的并行读端口数,每个bank在每个周期读出m个token的专家目标位图,m由数据通路宽度与专家目标位图位宽确定。

13、进一步地,所述路由掩码解析单元采用流式控制逻辑,与所述路由器之间采用valid-ready流式握手与背压机制。

14、进一步地,所述动态索引偏移生成器包括:

15、并行前缀和树计算单元,配置为接收e列专家目标位图,对e列专家目标位图采用并行前缀和树计算,得到各列专家目标位图的前缀和末值;每一列专家目标位图经过并行前缀和树计算得到的前缀和末值,表示该专家切片的切片长度;每一列的前缀和表示对应token的局部偏移量;

16、专家计数累加器,配置为根据所有专家切片的切片长度,按专家顺序进行累加计算,得到各专家切片在所述全局缓冲单元专家切片区内的基地址,存储至基地址表;

17、写地址组装逻辑单元,配置为接收所述并行前缀和树计算单元输出的token局部偏移量和所述基地址表中的基地址,针对每个token生成打包写地址。

18、进一步地,所述并行前缀和树计算单元采用brent-kung并行前缀和树计算,树深度为o(log t),t为批内token数量。

19、进一步地,所述写地址组装逻辑单元还配置为输出写使能信号与字节掩码,以供打包写端口按位压缩写入。

20、进一步地,所述多专家仲裁器包括:

21、加权轮询仲裁单元,配置为将权重取值对应专家切片的token计数;

22、反饥饿计数器,配置为限定专家切片的最大等待拍数;

23、bank冲突消解器,配置为当多个打包写请求在同一周期访问同一sram bank时,将多个打包写请求错拍调度。

24、进一步地,所述打包读写数据通路配置为:在加载阶段,根据所述动态索引偏移生成器生成的打包写地址,将所述全局缓冲单元中非连续分布的token特征拼接至连续专家切片区;在回写阶段,根据打包时保留的映射关系,将专家输出逆映射回原始token顺序位置,完成全链路零拷贝。

25、本发明还提供一种混合专家模型的令牌重排控制方法,包括:

26、步骤s1,基于上述令牌重排控制装置,moe层前向计算时,路由器获取token序号专家索引和门控权重,生成路由日志存储至路由日志缓存单元;

27、步骤s2,路由掩码解析单元流式读取所述路由日志,将每个token的专家索引解码为e位专家目标位图,按token顺序紧凑写入掩码sram;

28、步骤s3,动态索引偏移生成器对每列专家目标位图执行并行前缀和,得到各token在其目标专家切片内的局部偏移,同时专家计数累加器统计各切片长度,生成各专家切片对应的基地址;

29、步骤s4,多专家仲裁器对多专家并发打包写请求进行仲裁,跨接矩阵根据所述步骤s3得到的基地址和局部偏移,将全局缓冲单元中非连续分布的token特征在数据加载阶段以周期级流水拼接至连续的专家切片区;

30、步骤s5,处理单元阵列依次读取各专家切片,执行稠密gemm;

31、步骤s6,专家输出按打包时保留的映射关系逆映射回原始token顺序位置,完成全链路零拷贝。

32、本发明在全局缓冲单元与处理单元阵列之间嵌入硬件流式令牌重排控制装置,由硬件实时捕获路由器输出的专家分发目标,以周期级流水方式将非连续分布的token特征自动拼装为紧凑连续的专家切片,实现零cpu介入的动态scatter-gather。本发明能够实现专家分发目标的实时硬件捕获与解析、非连续token特征的零拷贝紧凑打包、多专家并发打包时的公平仲裁与冲突消解、专家负载不均衡导致各专家切片长度差异大时的自适应拆分调度与流水线气泡消除。