基于全局基底矩阵的弹性分流专家并行加速方法及装置与流程

本技术涉及人工智能，尤其涉及一种基于全局基底矩阵的弹性分流专家并行加速方法及装置。

背景技术：

1、在人工智能领域，混合专家模型（mixture of experts，moe）凭借其稀疏激活的特性，已成为构建超大规模参数模型的主流架构之一。为了支撑moe模型在海量数据上的高效训练与推理，业界广泛采用专家并行（expert parallelism，ep）策略。该策略通过将不同的专家网络分布部署在多个计算设备（如gpu）上，利用all-to-all通信实现信息在不同专家间的路由与分发。随着模型规模与集群规模的不断扩大，如何有效降低跨节点通信开销、提升设备利用率以及维持大规模分布式训练的稳定性和吞吐率，成为该领域亟待解决的核心需求。

2、针对上述需求，相关技术主要从两个方向进行优化。一是动态负载均衡优化，通过实时监控各专家的调用率与计算耗时，设置负载阈值并将过载专家的token动态分流至轻载专家，或动态增减专家数量、引入梯度均衡与专家正则化等手段，缓解冷热专家造成的资源不均问题。二是路由算法升级，通过专家主动筛选token、自适应调整分配的专家数量（动态k值）、引入正则化与平滑函数抑制路由噪声等方式，提升token与专家的匹配精度，减少无效路由。

3、然而，上述相关技术仍存在以下核心问题：token路由仍依赖all-to-all通信，跨节点传输时延较高；负载均衡方案需实时采集状态信息，增加计算与调度开销，且存在数据滞后性，难以彻底解决冷热专家导致的设备利用率不均；路由算法升级进一步增加了门控网络与路由匹配的计算压力，且泛化性较差。更为根本的是，在相关专家并行架构下，token必须等待其目标专家所在的物理gpu完成通信后才能开始计算，当目标gpu或网络路径发生拥塞时，计算流程被通信阻塞所制约，系统整体负载均衡能力与延迟性能受限。因此，亟需一种能够在不等待跨节点通信完成的前提下，利用集群中空闲计算资源实时处理发往过载专家的token，从而打破通信拥塞对计算流程的阻塞。

技术实现思路

1、本技术提供一种基于全局基底矩阵的弹性分流专家并行加速方法及装置，以解决物理网络拥塞和计算资源等待导致的系统效率低下的问题。

2、本技术第一方面提供一种基于全局基底矩阵的弹性分流专家并行加速方法，所述方法包括：

3、获取待处理的输入信息，并确定所述输入信息的目标专家以及所述目标专家所在的目标计算设备；

4、监测所述目标计算设备的实时拥塞状态，并根据所述实时拥塞状态判断是否触发拥塞条件；

5、当判定触发所述拥塞条件时，拦截所述输入信息的传输，并在当前计算设备中启动虚拟专家生成流程；

6、从本地存储的共享基底矩阵集合中提取与所述目标专家对应的系数向量，并利用所述共享基底矩阵和所述系数向量动态重构虚拟专家权重矩阵；

7、利用所述虚拟专家权重矩阵对所述输入信息执行本地正向计算，以生成第一计算结果；

8、将所述第一计算结果传递至下一层计算算子，并对所述输入信息进行降维处理，生成降维特征向量；

9、将所述降维特征向量通过后台通信方式发送至所述目标计算设备，以供所述目标计算设备执行残差补偿计算。

10、本方案监测目标计算设备的拥塞状态并触发拥塞条件，拦截输入信息的传输，在当前计算设备中启动虚拟专家生成流程，利用本地存储的共享基底矩阵和系数向量动态重构虚拟专家权重矩阵并执行本地正向计算，将第一计算结果传递至下一层计算算子，同时生成降维特征向量并异步发送至目标计算设备进行残差补偿计算，从而缓解物理网络拥塞对计算流程的阻塞，降低跨节点通信等待延迟，改善系统整体负载均衡性和计算效率。

11、可选的，在所述获取待处理的输入信息之前，所述方法还包括：

12、获取混合专家模型中的多个原始专家权重矩阵；

13、对所述多个原始专家权重矩阵进行数学分解，提取出共享基底矩阵以及每个所述原始专家权重矩阵对应的独有系数向量和残差矩阵；

14、将所述共享基底矩阵分发并存储至分布式系统中的每一个计算设备，并将每个所述原始专家权重矩阵对应的独有系数向量关联至对应的专家标识信息进行存储。

15、本方案在获取待处理的输入信息之前，通过对混合专家模型中的多个原始专家权重矩阵进行数学分解，提取出共享基底矩阵以及每个原始专家权重矩阵对应的独有系数向量和残差矩阵，再将共享基底矩阵分发并存储至分布式系统中的每一个计算设备，并将每个原始专家权重矩阵对应的独有系数向量关联至对应的专家标识信息进行存储，从而为后续计算设备在本地动态重构虚拟专家提供预置的共享基底和系数向量，降低专家权重跨节点全量传输的通信开销，缓解因专家权重拷贝带来的存储冗余问题。

16、可选的，所述监测所述目标计算设备的实时拥塞状态，并根据所述实时拥塞状态判断是否触发拥塞条件，包括：

17、读取底层网络互联协议的硬件拥塞寄存器，获取所述目标计算设备的网络接口卡发送队列深度或网络链路利用率；

18、将所述发送队列深度与预设拥塞阈值进行比较，或者判断所述网络链路利用率是否超过预设带宽上限；

19、当所述发送队列深度大于所述预设拥塞阈值，或者所述网络链路利用率超过所述预设带宽上限时，判定触发所述拥塞条件。

20、本方案通过读取底层网络互联协议的硬件拥塞寄存器，获取目标计算设备的网络接口卡发送队列深度或网络链路利用率，并将发送队列深度与预设拥塞阈值进行比较或者判断网络链路利用率是否超过预设带宽上限，当发送队列深度大于预设拥塞阈值或者网络链路利用率超过预设带宽上限时判定触发拥塞条件，从而实现对目标计算设备网络拥塞状态的实时、底层硬件级感知，为后续拦截传输并触发本地虚拟专家代算提供准确的触发依据，降低基于软件预测或负载采样的滞后性，改善拥塞检测的及时性和准确性。

21、可选的，所述利用所述共享基底矩阵和所述系数向量动态重构虚拟专家权重矩阵，包括：

22、调用当前计算设备中的张量计算核心单元；

23、加载所述共享基底矩阵，并获取与所述目标专家相关联的特定系数向量；

24、执行线性加权运算，将所述特定系数向量与所述共享基底矩阵进行点积或加权求和，以生成所述虚拟专家权重矩阵，所述虚拟专家权重矩阵为所述目标专家权重矩阵的低秩近似。

25、本方案通过调用当前计算设备中的张量计算核心单元，加载共享基底矩阵并获取与目标专家相关联的特定系数向量，再执行线性加权运算将特定系数向量与共享基底矩阵进行点积或加权求和，以生成虚拟专家权重矩阵，且该虚拟专家权重矩阵为目标专家权重矩阵的低秩近似，从而在当前计算设备本地快速合成用于处理输入信息的虚拟专家权重，降低对跨节点全量专家权重传输的依赖，减少物理网络带宽占用，改善本地代算执行效率。

26、可选的，所述方法还包括：

27、当判定未触发所述拥塞条件时，将所述输入信息压入常规通信发送队列；

28、通过高速互连网络将所述输入信息传输至所述目标计算设备，以供所述目标计算设备中的真实专家执行计算。

29、本方案当判定未触发拥塞条件时，将输入信息压入常规通信发送队列，并通过高速互连网络将输入信息传输至目标计算设备，以供目标计算设备中的真实专家执行计算，从而在网络状态正常时保持原有的专家并行通信与计算路径，保障稀疏模型的标准执行流程不受干扰，实现拥塞场景下本地代算与正常场景下物理传输两种模式之间的动态切换，改善系统在不同网络负载条件下的自适应调节能力。

30、可选的，所述对所述输入信息进行降维处理，生成降维特征向量，包括：

31、构建一个降维投影变换矩阵，所述降维投影变换矩阵的维度远小于原始输入信息的特征维度；

32、将所述输入信息的特征向量与所述降维投影变换矩阵进行矩阵乘法运算，生成一个具有极低维度的压缩特征向量，所述压缩特征向量的维度为原始特征维度的十六分之一或更小。

33、本方案通过构建一个降维投影变换矩阵且该矩阵维度远小于原始输入信息的特征维度，再将输入信息的特征向量与降维投影变换矩阵进行矩阵乘法运算，生成一个具有极低维度的压缩特征向量且该压缩特征向量的维度为原始特征维度的十六分之一或更小，从而将本地虚拟专家处理过的输入信息转化为轻量的压缩表示，降低异步后台通信的数据量，减少对网络带宽的占用，缓解高优先级通信流量的拥塞压力，改善残差补偿阶段的数据传输效率。

34、可选的，所述将所述降维特征向量通过后台通信方式发送至所述目标计算设备，以供所述目标计算设备执行残差补偿计算，包括：

35、检测网络链路的空闲状态或碎片化传输窗口；

36、当检测到所述网络链路存在可用带宽时，发送携带所述降维特征向量的异步数据包；

37、所述目标计算设备在完成主要计算任务的间隙，利用所述降维特征向量和预先存储的残差矩阵计算残差补偿量，并将所述残差补偿量与所述第一计算结果进行融合，以恢复计算精度。

38、本方案通过检测网络链路的空闲状态或碎片化传输窗口，当检测到网络链路存在可用带宽时发送携带降维特征向量的异步数据包，目标计算设备在完成主要计算任务的间隙利用降维特征向量和预先存储的残差矩阵计算残差补偿量，并将残差补偿量与第一计算结果进行融合以恢复计算精度，从而充分利用网络空闲带宽和计算设备的闲置计算间隙完成精度闭环，降低异步补偿过程对主通信路径和主计算任务的干扰，改善系统整体资源利用效率和最终计算结果的准确性。

39、可选的，所述方法适用于图形处理器内部的计算单元之间、不同图形处理器之间、或者不同计算节点之间的专家并行计算场景。

40、本方案将所述方法适用于图形处理器内部的计算单元之间、不同图形处理器之间或者不同计算节点之间的专家并行计算场景，从而在不同粒度的分布式计算层级上统一应用拥塞感知、本地虚拟专家重构与异步补偿机制，拓展所述方法在单卡内部多计算单元、多卡互联以及跨节点集群等多种硬件拓扑环境下的适用范围，改善专家并行加速方案在不同部署规模下的兼容性和可迁移性。

41、可选的，所述共享基底矩阵通过奇异值分解或主成分分析方法从多个原始所述专家权重矩阵中提取得到，所述共享基底矩阵具有正交特性且被配置为常驻于每个计算设备的静态随机存取存储器或二级缓存中。

42、本方案中共享基底矩阵通过奇异值分解或主成分分析方法从多个原始专家权重矩阵中提取得到，且共享基底矩阵具有正交特性并被配置为常驻于每个计算设备的静态随机存取存储器或二级缓存中，从而以数学最优的低秩分解方式获取高精度的共享表示，并将该正交基底矩阵存储于高速缓存层级，降低本地虚拟专家重构过程中的数据读取延迟，改善虚拟专家权重矩阵的动态生成速度。

43、本技术第二方面提供一种基于全局基底矩阵的弹性分流专家并行加速装置，应用于第一方面所述的基于全局基底矩阵的弹性分流专家并行加速方法，所述装置包括：

44、信息获取模块，用于获取待处理的输入信息，并确定所述输入信息的目标专家以及所述目标专家所在的目标计算设备；

45、拥塞监测模块，用于监测所述目标计算设备的实时拥塞状态，并根据所述实时拥塞状态判断是否触发拥塞条件；

46、分流控制模块，用于当判定触发所述拥塞条件时，拦截所述输入信息的传输，并在当前计算设备中启动虚拟专家生成流程；

47、虚拟专家构建模块，用于从本地存储的共享基底矩阵集合中提取与所述目标专家对应的系数向量，并利用所述共享基底矩阵和所述系数向量动态重构虚拟专家权重矩阵；

48、本地计算模块，用于利用所述虚拟专家权重矩阵对所述输入信息执行本地正向计算，以生成第一计算结果；

49、异步通信模块，用于将所述第一计算结果传递至下一层计算算子，并对所述输入信息进行降维处理，生成降维特征向量，并将所述降维特征向量通过后台通信方式发送至所述目标计算设备，以供所述目标计算设备执行残差补偿计算。

50、本技术第二方面提供的基于全局基底矩阵的弹性分流专家并行加速装置，通过信息获取模块确定输入信息的目标专家及目标计算设备，拥塞监测模块监测实时拥塞状态并判断是否触发拥塞条件，分流控制模块在触发拥塞时拦截传输并启动虚拟专家生成流程，虚拟专家构建模块从本地存储中提取系数向量并动态重构虚拟专家权重矩阵，本地计算模块利用该矩阵执行本地正向计算生成第一计算结果，异步通信模块将第一计算结果传递至下一层算子并对输入信息降维处理后放入低优先级后台队列异步发送至目标计算设备以供残差补偿计算，从而实现拥塞场景下从物理传输到本地代算的完整装置级流程支撑，降低跨节点通信等待延迟，改善专家并行计算效率。

51、由以上技术方案可知，本技术提供一种基于全局基底矩阵的弹性分流专家并行加速方法及装置，通过获取待处理的输入信息，并确定所述输入信息的目标专家以及所述目标专家所在的目标计算设备；监测所述目标计算设备的实时拥塞状态，并根据所述实时拥塞状态判断是否触发拥塞条件；当判定触发所述拥塞条件时，拦截所述输入信息的传输，并在当前计算设备中启动虚拟专家生成流程；从本地存储的共享基底矩阵集合中提取与所述目标专家对应的系数向量，并利用所述共享基底矩阵和所述系数向量动态重构虚拟专家权重矩阵；利用所述虚拟专家权重矩阵对所述输入信息执行本地正向计算，以生成第一计算结果；将所述第一计算结果传递至下一层计算算子，并对所述输入信息进行降维处理，生成降维特征向量；将所述降维特征向量通过后台通信方式发送至所述目标计算设备，以供所述目标计算设备执行残差补偿计算，解决物理网络拥塞和计算资源等待导致的系统效率低下的问题。