混合专家MoE模型参数调度方法、装置、系统及电子设备与流程

本公开涉及计算机，尤其涉及人工智能、自然语言、大模型、深度学习等，尤其涉及一种混合专家moe模型参数调度方法、装置、系统及电子设备。

背景技术：

1、moe（mixture-of-experts，混合专家）模型已成为大语言模型扩展参数规模的主流技术路线。moe模型内部集成了数百个独立专家（又可以称为专家、路由专家等），在模型处理每个请求时，仅针对当前token（词元）选择性激活其中少量专家（通常为8~16个），从而在有效控制推理计算开销的前提下，实现了模型参数规模的大幅扩展。

2、然而，moe模型在实际推理部署中仍面临诸多技术挑战，其中，对专家的模型参数调度尤为关键。

技术实现思路

1、本公开提供了一种混合专家moe模型参数调度方法、装置、系统及电子设备。

2、根据本公开的一方面，提供了一种混合专家moe模型参数调度方法，应用于部署有所述moe模型的计算节点，其中，所述计算节点中包括lec（local expert cache，本地缓存专家），所述方法包括：针对任一批次的推理请求，对所述moe模型对所述批次的推理请求执行推理处理时可能访问的专家进行预测，得到多个第一预测专家；从所述多个第一预测专家中确定待加载的第一目标专家；通过高速互连网络向池化存储节点中的gep（globalexpert pool，全局专家池）发送第一参数读取请求；其中，所述第一参数读取请求用于请求获取所述第一目标专家的模型参数，所述gep存储有所述moe模型所关联的全部专家的模型参数；将获取的所述模型参数加载到所述lec；其中，所述lec中存储的模型参数用于所述moe模型对所述批次的推理请求执行推理处理。

3、根据本公开的另一方面，提供了一种混合专家moe模型参数调度方法，应用于包括全局专家池gep的池化存储节点，所述方法包括：响应于计算节点通过高速互连网络发送的第一参数读取请求，确定待加载的第一目标专家；其中，所述计算节点部署有所述moe模型，所述第一参数读取请求是基于所述第一目标专家生成的；通过所述高速互连网络，向所述计算节点发送所述gep中存储的第一目标专家的模型参数；其中，所述gep存储有所述moe模型所关联的全部专家的模型参数；其中，所述第一目标专家是所述计算节点针对任一批次的推理请求，对所述moe模型对所述批次的推理请求执行推理处理时可能访问的专家进行预测，得到第一预测结果，并从第一预测结果所包括的多个第一预测专家中确定的。

4、根据本公开的另一方面，提供了一种混合专家moe模型参数调度装置，应用于部署有所述moe模型的计算节点，其中，所述计算节点中包括本地专家缓存lec，所述装置包括：第一预测模块，用于针对任一批次的推理请求，对所述moe模型对所述批次的推理请求执行推理处理时可能访问的专家进行预测，得到多个第一预测专家；第一确定模块，用于从所述多个第一预测专家中确定待加载的第一目标专家；发送模块，用于通过高速互连网络向池化存储节点中的全局专家池gep发送第一参数读取请求；其中，所述第一参数读取请求用于请求获取所述第一目标专家的模型参数，所述gep存储有所述moe模型所关联的全部专家的模型参数；第一加载模块，用于将获取的所述模型参数加载到所述lec；其中，所述lec中存储的模型参数用于所述moe模型对所述批次的推理请求执行推理处理。

5、根据本公开的另一方面，提供了一种混合专家moe模型参数调度装置，应用于包括全局专家池gep的池化存储节点，所述装置包括：确定模块，用于响应于计算节点通过高速互连网络发送的第一参数读取请求，确定待加载的第一目标专家；其中，所述计算节点部署有所述moe模型，所述第一参数读取请求是基于所述第一目标专家生成的；第一发送模块，用于通过所述高速互连网络，向所述计算节点发送所述gep中存储的第一目标专家的模型参数；其中，所述gep存储有所述moe模型所关联的全部专家的模型参数；其中，所述第一目标专家是所述计算节点针对任一批次的推理请求，对所述moe模型对所述批次的推理请求执行推理处理时可能访问的专家进行预测，得到第一预测结果，并从第一预测结果所包括的多个第一预测专家中确定的。

6、根据本本公开的另一方面，提供了一种参数调度系统，包括计算节点和池化存储节点；其中，所述计算节点包括预取引擎、部署有混合专家moe模型的图形处理器gpu以及位于所述gpu的片上存储器中的本地专家缓存lec，所述预取引擎包括路由预测模块和预取决策模块；所述池化存储节点包括全局专家池gep，所述gep中存储有构成所述moe模型的全部专家的模型参数；所述路由预测模块，用于针对任一批次的推理请求，对所述moe模型对所述批次的推理请求执行推理处理时所述gpu可能访问的专家进行预测，得到多个第一预测专家；所述预取决策模块，用于从所述多个第一预测专家中确定所需加载的第一目标专家；所述gpu，用于通过高速互连网络向所述gep发送第一参数读取请求，以请求获取所述第一目标专家的模型参数，并将获取的所述模型参数加载所述lec；其中，所述lec中存储的模型参数用于所述moe模型对所述批次的推理请求执行推理处理。

7、根据本公开的另一方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本公开上述一方面提出的混合专家moe模型参数调度方法，或另一方面提出的混合专家moe模型参数调度方法。

8、根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使计算机执行本公开上述提出的混合专家moe模型参数调度方法，或另一方面提出的混合专家moe模型参数调度方法。

9、根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现本公开上述提出的混合专家moe模型参数调度方法或另一方面提出的混合专家moe模型参数调度方法的步骤。

10、应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

1.一种混合专家moe模型参数调度方法，应用于部署有所述moe模型的计算节点，其中，所述计算节点中包括本地专家缓存lec，所述方法包括：

2.根据权利要求1所述的方法，其中，所述针对任一批次的推理请求，对所述moe模型对所述批次的推理请求执行推理处理时可能访问的专家进行预测，得到多个第一预测专家，包括：

3.根据权利要求2所述的方法，其中，所述门控网络包括一个线性层和softmax激活函数。

4.根据权利要求1所述的方法，其中，任一所述第一预测专家具有对应的第一预测访问概率；所述从所述多个第一预测专家中确定待加载的第一目标专家，包括：

5.根据权利要求4所述的方法，其中，所述根据所述内存状态参数、所述第一剩余存储容量、所述调度截止时间、所述剩余通信带宽以及所述多个第一预测专家对应的第一预测访问概率，确定所述第一目标专家，包括：

6.根据权利要求5所述的方法，其中，所述根据所述第二剩余存储容量、所述存储需求容量、所述调度截止时间、所述剩余通信带宽以及所述至少一个第一候选专家对应的第一预测访问概率，确定所述第一目标专家，包括：

7.根据权利要求6所述的方法，其中，所述按照所述排序序列的先后顺序，从所述至少一个第一候选专家中筛选出与所述目标容量、所述调度截止时间以及所述剩余通信带宽均匹配的所述第一目标专家，包括：

8.根据权利要求5所述的方法，其中，所述从所述lec当前缓存的专家中确定所述待逐出的专家，包括：

9.根据权利要求3所述的方法，其中，所述第一剩余存储容量的获取方法包括以下步骤：

10.根据权利要求1所述的方法，其中，任一所述第一预测专家具有对应的第一预测访问概率；所述lec包括激活缓冲区和影子缓冲区；所述方法还包括：

11.根据权利要求1所述的方法，其中，所述moe模型的推理处理过程包括预填充阶段，且所述moe模型包括多层transformer模块，任一层所述transformer模块内嵌若干所述专家；所述方法还包括：

12.根据权利要求1所述的方法，其中，所述moe模型的推理处理过程包括预填充阶段；所述方法还包括：

13.根据权利要求12所述的方法，其中，所述lec包括激活缓冲区和影子缓冲区，所述方法还包括：

14.根据权利要求12所述的方法，其中，所述方法还包括：

15.根据权利要求1所述的方法，其中，所述方法还包括：

16.根据权利要求15所述的方法，其中，所述基于所述实际专家读取数据，对各所述专家的激活频率进行修正，包括：

17.根据权利要求16所述的方法，其中，所述方法还包括：

18.根据权利要求16所述的方法，其中，所述方法还包括：

19.根据权利要求15所述的方法，其中，所述基于所述实际专家读取数据，对各所述专家的激活频率进行修正，包括：

20.根据权利要求1所述的方法，其中，所述计算节点包括多个gpu，且任一所述gpu具有对应的所述lec；所述方法还包括：

21.根据权利要求20所述的方法，其中，所述重调度策略包括短期重调度策略；所述短期重调度策略，包括：

22.根据权利要求21所述的方法，其中，所述重调度策略还包括中期重调度策略；所述中期重调度策略，包括：

23.根据权利要求22所述的方法，其中，所述副本创建条件包括以下至少一项：

24.根据权利要求22所述的方法，其中，所述根据所述批次的推理请求对应的第一监测数据，从所述其他gpu中确定第二目标gpu，包括：

25.根据权利要求22所述的方法，其中，所述第二目标gpu为至少一个，所述方法还包括：

26.根据权利要求20所述的方法，其中，所述重调度策略还包括长期重调度策略，所述长期重调度策略，包括：

27.根据权利要求1-26中任一所述的方法，其中，所述方法还包括：

28.根据权利要求1-26中任一所述的方法，其中，所述多个第一预测专家是通过所述路由预测模块预测得到的；所述方法还包括：

29.根据权利要求1-26中任一所述的方法，其中，所述计算节点包括多个gpu，且任一所述gpu具有对应的所述lec；所述方法还包括：

30.根据权利要求29所述的方法，其中，所述方法还包括：

31.根据权利要求1-26中任一所述的方法，其中，所述计算节点包括多个gpu，所述方法还包括：

32.一种混合专家moe模型参数调度方法，应用于包括全局专家池gep的池化存储节点，所述方法包括：

33.根据权利要求32所述的方法，其中，所述计算节点包括多个gpu，所述方法还包括：

34.根据权利要求32所述的方法，其中，所述方法还包括：

35.根据权利要求33所述的方法，其中，所述方法还包括：

36.一种混合专家moe模型参数调度装置，应用于部署有所述moe模型的计算节点，其中，所述计算节点中包括本地专家缓存lec，所述装置包括：

37.一种混合专家moe模型参数调度装置，应用于包括全局专家池gep的池化存储节点，所述装置包括：

38.一种参数调度系统，包括计算节点和池化存储节点；其中，

39. 一种电子设备，包括：

40.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1至31中任一项所述的方法，或权利要求32至35中任一项所述的方法。

41.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1至31中任一项所述的方法，或权利要求32至35中任一项所述的方法。