基于混合专家大语言模型的数据存取方法及相关装置与流程

本申请涉及计算机数据处理，尤其涉及一种基于混合专家大语言模型的数据存取方法及相关装置。

背景技术：

1、混合专家大语言模型（moe-llm）通过门控路由网络为每个推理步骤动态选择部分专家子网络进行计算，在降低单次计算量的同时，模型整体的专家权重规模仍然十分庞大。在端侧或边缘推理设备等高速内存资源受限的部署场景中，通常只能将少量的专家权重驻留在图形处理器显存或系统内存中，而将其余大量专家权重存储于闪存内。

2、在混合专家大语言模型推理过程中，若在路由器最终选定专家之后才从闪存按需加载专家权重，则流水线容易产生明显等待，导致延迟增加，因此，需要提供一种能够在不显著增加资源代价的前提下，降低由闪存读取带来的推理等待的机制。

技术实现思路

1、为了解决上述问题，本申请提出一种基于混合专家大语言模型的数据存取方法及相关装置，通过提前预测并预取高概率专家网络，避免了从闪存中读取导致的数据延迟，有利于提高模型推理效率。

2、本申请第一方面提供了一种基于混合专家大语言模型的数据存取，包括：

3、采集混合专家大语言模型在处理推理任务过程中的观测数据，所述混合专家大语言模型包括门控路由网络和多个专家网络；

4、获取所述多个专家网络中的每个专家网络的第一先验数据，并基于所述第一先验数据和所述观测数据，预测所述每个专家网络的后验数据；

5、基于所述后验数据，确定所述每个专家网络的类型，所述类型至少包括第一类型和第二类型，所述第一类型的专家网络被预测到的使用概率大于所述第二类型的专家网络被预测到的使用概率；

6、在所述门控路由网络选择处理当前推理任务的专家网络之前，确定类型为所述第一类型，且专家数据存储在固态存储器的闪存中的第一专家网络；

7、将所述第一专家网络的专家数据存储到图像处理器的显存和/或中央处理器的内存，以及将类型为所述第二类型的专家网络的专家数据存储到候选队列。

8、本申请第二方面提供了一种基于混合专家大语言模型的数据存取装置，包括：

9、采集单元，用于采集混合专家大语言模型在处理推理任务过程中的观测数据，所述混合专家大语言模型包括门控路由网络和多个专家网络；

10、预测单元，用于获取所述多个专家网络中的每个专家网络的第一先验数据，并基于所述第一先验数据和所述观测数据，预测所述每个专家网络的后验数据；

11、分类单元，用于基于所述后验数据，确定所述每个专家网络的类型，所述类型至少包括第一类型和第二类型，所述第一类型的专家网络被预测到的使用概率大于所述第二类型的专家网络被预测到的使用概率；

12、处理单元，用于在所述门控路由网络选择处理当前推理任务的专家网络之前，确定类型为所述第一类型，且专家数据存储在固态存储器的闪存中的第一专家网络；

13、所述处理单元，还用于将所述第一专家网络的专家数据存储到图像处理器的显存和/或中央处理器的内存，以及将类型为所述第二类型的专家网络的专家数据存储到候选队列。

14、本申请第三方面提供了一种电子设备，包括存储器和处理器；存储器与处理器连接，用于存储程序；处理器用于通过运行存储器中的程序，实现如本申请第一方面或者本申请第一方面任一可能的实现方式的基于混合专家大语言模型的数据存取方法。

15、本申请第四方面提供了一种芯片，包括处理器和数据接口，处理器通过数据接口读取并运行存储器上存储的程序，以执行如本申请第一方面或者本申请第一方面任一可能的实现方式的基于混合专家大语言模型的数据存取方法。

16、本申请第五方面提供了一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时，实现如本申请第一方面或者本申请第一方面任一可能的实现方式的基于混合专家大语言模型的数据存取方法。

17、本申请第六方面提供了一种存储介质，存储介质上存储有计算机程序，计算机程序被处理器运行时，实现如本申请第一方面或者本申请第一方面任一可能的实现方式的基于混合专家大语言模型的数据存取方法。

18、根据本申请提出的一种基于混合专家大语言模型的数据存取方法及相关装置，首先，采集混合专家大语言模型在处理推理任务过程中的观测数据，所述混合专家大语言模型包括门控路由网络和多个专家网络，其次，获取所述多个专家网络中的每个专家网络的第一先验数据，并基于所述第一先验数据和所述观测数据，预测所述每个专家网络的后验数据，接着，基于所述后验数据，确定所述每个专家网络的类型，所述类型至少包括第一类型和第二类型，所述第一类型的专家网络被预测到的使用概率大于所述第二类型的专家网络被预测到的使用概率，接着，在所述门控路由网络选择处理当前推理任务的专家网络之前，确定类型为所述第一类型，且专家数据存储在固态存储器的闪存中的第一专家网络，最后，将所述第一专家网络的专家数据存储到图像处理器的显存和/或中央处理器的内存，以及将类型为所述第二类型的专家网络的专家数据存储到候选队列。

19、通过采集混合专家大语言模型在处理推理任务过程中的观测数据，并基于观测数据和每个专家网络的先验数据做贝叶斯推断，预测得到每个专家网络的后验数据，后验数据可以确定出高概率被使用的专家网络，从而在门控路由网络做出选择之前，确定高概率被使用的专家网络并将其专家数据从闪存预取至显存或内存，同时将次高概率专家放入候选队列，避免了等待闪存按需读取导致的推理流水线停顿，有效降低了推理延迟，以及，对不同概率等级的专家实施分级预取和候选队列策略，防止了对所有可能专家权重进行盲目预取造成的闪存带宽过度占用和缓存空间浪费，从而在降低访问延迟与节约系统资源之间取得平衡，有利于提高模型的推理效率。

1.一种基于混合专家大语言模型的数据存取方法，其特征在于，包括：

2.根据权利要求1的方法，其特征在于，所述获取所述多个专家网络中的每个专家网络的第一先验数据，并基于所述第一先验数据和所述观测数据，预测所述每个专家网络的后验数据，包括：

3.根据权利要求2的方法，其特征在于，所述方法还包括：

4.根据权利要求3的方法，其特征在于，所述在所述门控路由网络选择处理当前推理任务的专家网络之后，得到所述每个专家网络的命中结果，包括：

5.根据权利要求3的方法，其特征在于，所述基于所述每个专家网络的命中结果，对所述后验数据进行更新，包括：

6.根据权利要求1的方法，其特征在于，所述将所述第一专家网络的专家数据存储到图像处理器的显存和/或中央处理器的内存，包括：

7.根据权利要求1的方法，其特征在于，所述后验数据包括预测激活概率和置信度，所述类型还包括第三类型；所述基于所述后验数据，确定所述每个专家网络的类型，包括；

8.一种基于混合专家大语言模型的数据存取装置，其特征在于，包括：

9.一种电子设备，其特征在于，包括存储器和处理器；

10.一种非易失性存储介质，其特征在于，非易失性存储介质存储有计算机程序，计算机程序包括程序指令，程序指令当被处理器执行时使处理器执行如权利要求1至7中任意一项的基于混合专家大语言模型的数据存取方法。