一种跨专家连续化融合执行方法、装置、终端及介质与流程

本发明涉及人工智能深度学习，尤其涉及一种跨专家连续化融合执行方法、装置、终端及介质。

背景技术：

1、随着大语言模型高速发展，模型容量扩容与推理效率优化成为序列建模领域的核心研究方向。混合专家模型（mixture of experts, moe）凭借稀疏激活的核心机制，可在提升模型参数容量、强化模型特征学习能力的同时，有效降低推理阶段的计算开销，摆脱了传统稠密模型容量与计算成本强绑定的痛点，目前已衍生出mixtral-8x7b、qwen3.5-moe、deepseek-moe等一系列主流高性能模型。moe架构核心基于sparsemoeblock模块实现稀疏计算，通过router路由网络的top-k门控机制为每个文本token筛选适配的专家子集，由多个并行的mlp前馈网络专家完成特征计算，并结合路由权重聚合输出结果，凭借高效的算力利用率，广泛应用于各类大模型预训练与推理落地场景。为进一步优化序列建模效率、解决传统transformer架构二次复杂度的算力瓶颈，状态空间模型（state space model, ssm）作为新兴序列建模架构快速发展，代表性模型包括mamba系列、s4、s5等。ssm通过隐藏状态的时序递归传播方式构建序列依赖关系，以线性时间复杂度完成序列建模，既凭借隐藏状态迭代更新机制赋予模型强大的长序列记忆能力，又相较于传统稠密模型降低了长文本处理的计算开销，成为替代传统mlp结构、优化序列建模性能的核心技术方案。为融合moe稀疏激活与ssm线性复杂度的双重优势，业界逐步开展两类架构的融合研究，提出了moe-mamba、blackmamba、swimba等moe-ssm混合架构，将传统moe模块中的mlp专家替换为ssm专家，使各专家具备独立隐藏状态，以期实现大容量、低开销、高效率的序列建模效果。现阶段主流moe优化技术均针对传统mlp专家架构设计，基于mlp专家token独立、天然并行、无状态的核心特性，通过grouped gemm、token packing、expert batching等优化策略，实现跨专家矩阵乘法融合与内存布局连续化，有效提升了传统moe模型的推理速度与算力利用率，可充分满足mlp类专家的批量并行计算需求，成为传统moe模型的通用加速方案。然而，现有moe-ssm混合架构在实际应用中仍存在固有技术缺陷，ssm专家的时序递归依赖特性，使其无法直接复用传统moe的优化方案，衍生出诸多难以规避的技术瓶颈，严重制约了混合架构的推理性能与落地效果。具体而言，首先存在核心的状态更新串行化瓶颈，ssm专家隐藏状态存在严格的时序依赖关系，当前时刻状态需基于上一时刻状态迭代更新，形成长距离串行依赖链，多专家同时激活时需独立串行完成状态更新，无法实现批量并行计算，且传统tokenpacking优化会造成跨专家状态污染，是moe-ssm架构独有的核心技术难题。其次，现有方案算子调度开销极大，需循环遍历多个激活专家，每个ssm专家的计算流程包含多次独立算子调用与内核启动，多专家场景下固定调度开销持续累积，拖慢推理效率。同时，模型存在内存访问不连续问题，token按原始序列分散存储，跨专家计算需频繁通过索引 gathers操作收集数据，导致缓存命中率低、内存访问效率差，进一步加剧了模型推理延迟。

2、综上，现有moe-ssm混合架构受限于ssm专家的时序递归特性，无法适配传统moe优化策略，存在状态更新串行化、算子调度开销高、内存访存效率低等多重缺陷，尤其是独有串行依赖瓶颈导致模型并行计算能力受限，无法充分发挥moe稀疏激活与ssm线性建模的双重优势，难以满足大模型高效、低延迟、高吞吐的推理落地需求。

3、因此，现有技术还有待改进和提高。

技术实现思路

1、本发明要解决的技术问题在于，针对现有技术的上述缺陷，提供一种跨专家连续化融合执行方法、装置、终端及介质，旨在解决moe-ssm架构下ssm专家与mlp专家存在结构差异，难以实现跨专家连续化执行，算子调用开销大且状态更新流程串行执行，造成模型推理效率偏低的问题。

2、为了解决上述技术问题，本发明所采用的技术方案如下：

3、第一方面，本发明提供一种跨专家连续化融合执行方法，其中，所述方法包括：

4、对词元序列执行路由求解、词元统计归集、连续缓存排布与索引表构建操作，得到路由权重、连续词元缓存区、专家偏移表以及恢复索引表；

5、基于所述连续词元缓存区及所述专家偏移表，进行全部激活专家的输入投影计算，得到分段连续排布的连续投影缓存区；

6、基于所述专家偏移表及所述连续投影缓存区，进行单位元边界置入以及并行前缀扫描，得到有效扫描结果序列；

7、以所述有效扫描结果序列为输入，依据所述恢复索引表执行索引逆映射，并利用所述路由权重对多专家输出进行加权聚合，得到按原始词元序列顺序排布的目标输出序列。

8、在一种实现方式中，所述方法，还包括：

9、基于所述专家偏移表及所述有效扫描结果序列，定位提取各激活专家分段对应的更新后隐藏状态，并以专家标识为键覆写至状态缓存，得到更新后的状态缓存。

10、在一种实现方式中，所述对词元序列执行路由求解、词元统计归集、连续缓存排布与索引表构建操作，得到路由权重、连续词元缓存区、专家偏移表以及恢复索引表，包括：

11、基于输入词元序列，通过路由网络计算各词元针对各个专家的路由概率，并根据路由概率确定每个词元的专家标识列表及对应的路由权重；

12、对所述专家标识列表进行遍历统计，确定每个激活专家对应的词元数量，得到专家词元计数数组；

13、依据专家词元计数数组分配连续内存并划分各专家对应区间，将属于同一专家的词元按照原始序列顺序依次拷贝至所属区间，得到各专家词元分段连续排布的连续词元缓存区；

14、基于所述专家词元计数数组及所述连续词元缓存区的布局信息，生成专家偏移表与恢复索引表。

15、在一种实现方式中，所述基于所述连续词元缓存区及所述专家偏移表，进行全部激活专家的输入投影计算，得到分段连续排布的连续投影缓存区，包括：

16、从专家参数集合中提取各激活专家的输入投影权重矩阵，得到按专家顺序排列的权重列表；

17、以连续词元缓存区为输入数据，依据专家偏移表对输入数据进行分组，并以权重列表为计算参数，通过单次内核启动执行分组通用矩阵乘法运算，完成全部激活专家的输入投影计算，得到分段连续排布的连续投影缓存区。

18、在一种实现方式中，所述基于所述专家偏移表及所述连续投影缓存区，进行单位元边界置入以及并行前缀扫描，得到有效扫描结果序列，包括：

19、基于所述专家偏移表及所述连续投影缓存区，进行单位元边界置入，得到包含单位元的扩展二元组序列；

20、对扩展二元组序列进行并行前缀扫描，得到扫描结果序列；

21、基于所述扫描结果序列，剔除所有因插入恒等占位元产生的扫描项，并截取预设数量有效词元位置对应的前缀扫描结果，得到有效扫描结果序列。

22、在一种实现方式中，所述基于所述专家偏移表及所述连续投影缓存区，进行单位元边界置入，得到包含单位元的扩展二元组序列，包括：

23、遍历连续投影缓存区的所有词元位置，依据各词元位置对应的归属专家状态空间模型参数，计算各词元位置对应的状态更新二元组，生成由全部状态更新二元组构成的二元组序列；

24、通过专家偏移表对二元组序列开展各分段边界定位，在二元组序列的相邻分段之间插入单位元，得到包含单位元的扩展二元组序列。

25、在一种实现方式中，所述以所述有效扫描结果序列为输入，依据所述恢复索引表执行索引逆映射，并利用所述路由权重对多专家输出进行加权聚合，得到按原始词元序列顺序排布的目标输出序列，包括：

26、以所述有效扫描结果序列为输入，依据所述恢复索引表执行索引逆映射，将连续布局顺序的扫描结果逆映射回原始词元序列顺序，得到按原始顺序排列的结果序列；

27、基于所述结果序列，利用所述路由权重对多专家输出进行加权聚合，得到按原始词元序列顺序排布的目标输出序列。

28、第二方面，本发明实施例还提供一种跨专家连续化融合执行装置，其中，所述装置包括：

29、路由权重、连续词元缓存区、专家偏移表以及恢复索引表获取模块，用于对词元序列执行路由求解、词元统计归集、连续缓存排布与索引表构建操作，得到路由权重、连续词元缓存区、专家偏移表以及恢复索引表；

30、连续投影缓存区获取模块，用于基于所述连续词元缓存区及所述专家偏移表，进行全部激活专家的输入投影计算，得到分段连续排布的连续投影缓存区；

31、有效扫描结果序列获取模块，用于基于所述专家偏移表及所述连续投影缓存区，进行单位元边界置入以及并行前缀扫描，得到有效扫描结果序列；

32、目标输出序列获取模块，用于以所述有效扫描结果序列为输入，依据所述恢复索引表执行索引逆映射，并利用所述路由权重对多专家输出进行加权聚合，得到按原始词元序列顺序排布的目标输出序列。

33、第三方面，本发明实施例还提供一种终端，其中，所述终端包括存储器、处理器及存储在所述存储器中并可在所述处理器上运行的跨专家连续化融合执行程序，处理器执行跨专家连续化融合执行程序时，实现上述方案中任一项所述的跨专家连续化融合执行方法的步骤。

34、第四方面，本发明实施例还提供一种计算机可读存储介质，其中，计算机可读存储介质上存储有跨专家连续化融合执行控制程序，所述跨专家连续化融合执行程序被处理器执行时，实现上述方案中任一项所述的跨专家连续化融合执行方法的步骤。

35、有益效果：本发明提供了一种跨专家连续化融合执行方法，与现有技术相比，本发明首先对词元序列执行路由求解、词元统计归集、连续缓存排布与索引表构建操作，得到路由权重、连续词元缓存区、专家偏移表以及恢复索引表，从数据底层实现了离散词元数据的连续化、结构化存储，改善了传统技术中词元存储无序、数据检索低效、专家对应关系模糊的问题，为后续所有计算环节提供规整、统一、可快速调用的数据基础与索引支撑，从源头规避了数据混乱导致的计算偏差与资源浪费；接着，基于所述连续词元缓存区及所述专家偏移表，进行全部激活专家的输入投影计算，得到分段连续排布的连续投影缓存区，该步骤基于前置结构化数据实现了激活专家输入投影的批量、规整计算，摒弃了传统逐词元、逐专家分散计算的模式，有效统一了各专家输入数据的排布格式，降低投影计算的碎片化开销，提升多专家输入投影计算的整体效率，同时保障各激活专家输入数据的完整性与对应准确性，为后续扫描运算筑牢计算基础；随后，基于所述专家偏移表及所述连续投影缓存区，进行单位元边界置入以及并行前缀扫描，得到有效扫描结果序列，通过精准界定各词元、各专家计算单元的边界范围，实现多单元前缀扫描的并行协同运算，突破了传统串行扫描效率低下、边界识别模糊、无效计算量大的技术瓶颈，提升了数据扫描处理的并行度与运算速度，同时精准筛选留存有效数据、剔除无效冗余信息，保障扫描结果的有效性、精准性与完整性；然后，以所述有效扫描结果序列为输入，依据所述恢复索引表执行索引逆映射，并利用所述路由权重对多专家输出进行加权聚合，得到按原始词元序列顺序排布的目标输出序列，该步骤通过索引逆映射修复了前期分段计算、规整排布过程中打乱的词元顺序，保证输出序列与原始输入序列的排布一致性，同时基于精准的路由权重完成多专家输出的差异化加权融合，规避了传统平均聚合、固定权重聚合导致的特征丢失、输出精度不足的问题，提升输出结果的准确性与适配性；整体而言，本发明通过前置数据结构化规整、中段高效并行计算、后端精准排序聚合的全流程优化，构建了一套完整的多专家词元序列处理体系，从数据存储、运算架构、处理逻辑、输出精度多个维度全面优化了传统技术的缺陷，有效降低了多专家模型词元处理的计算冗余与资源损耗，提升了序列处理的并行运算效率、数据处理精度与输出稳定性，实现了离散词元数据的高效规整处理、多专家计算的协同并行推进以及输出序列的精准还原与优质聚合，全方位提升了多专家模型在词元序列处理任务中的整体运行性能与应用效果。