混合专家模型的专家权重管理方法、电子设备及存储介质与流程

本公开涉及人工智能存储、端侧大模型推理、混合专家模型缓存管理、与非（notand，nand）闪存存储优化以及人工智能固态硬盘（artificial intelligence solid-statedrive，ai ssd）协同计算，尤其涉及一种混合专家模型的专家权重管理方法、电子设备及存储介质。更具体地，本公开涉及一种根据专家激活概率对混合专家大语言模型中的专家权重进行分级压缩、nand介质存储、提前预取、动态回填和缓存级别调整的方法、系统、设备及ssd存储介质。

背景技术：

1、混合专家大语言模型（mixture of experts，moe）通过路由器或门控网络在推理时选择部分专家（即子模型）参与计算，使模型能够在参数规模较大的情况下保持稀疏激活。

2、然而，在moe部署到端侧设备（如独立显卡平台、集成gpu/npu设备或cpu+dram+nand/ssd的本地推理平台）中时，视频随机存取存储器（video random access memory，vram）和动态随机存取存储器（dynamic random access memory，dram）的容量通常难以容纳moe中所有专家的权重。为实现moe模型在容量受限设备上的运行，相关技术中常借助nand闪存等非易失存储介质作为容量扩展层，将专家权重经压缩后持久化存储在nand中，并在推理过程中按需将所需专家权重加载至高速缓存中。这种每次按需从nand介质随机读取专家权重的方式，容易产生加载等待、读放大、缓存抖动和推理延迟等问题。

技术实现思路

1、本公开的主要目的是提出一种混合专家模型的专家权重管理方法、电子设备及存储介质，旨在解决现有技术中每次按需从nand介质读取专家权重存在加载等待、推理延迟的技术问题。

2、第一方面，本公开提供了一种混合专家模型的专家权重管理方法，包括：

3、获取混合专家模型中多个子模型在未来推理窗口的激活概率；

4、基于所述激活概率确定所述多个子模型在所述未来推理窗口内分别对应的压缩等级和存储层级；

5、按照每个所述子模型对应的所述压缩等级对相应的专家权重进行压缩，得到压缩权重；

6、按照每个所述子模型对应的所述存储层级，将每个所述子模型对应的所述压缩权重存储至与所述存储层级匹配的存储介质中。

7、第二方面，本公开提供了一种电子设备，包括：处理器、视频随机存取存储器、动态随机存取存储器、非易失性存储器以及用于存储程序或指令的存储器，所述程序或指令被所述处理器执行时实现如第一方面所述的混合专家模型的专家权重管理方法。

8、第三方面，本公开提供了一种计算机可读存储介质，所述计算机可读存储介质是非易失性的，所述计算机可读存储介质上存储有程序或指令，所述程序或指令被处理器执行时实现如第一方面所述的混合专家模型的专家权重管理方法。

9、第四方面，本公开提供了一种计算机程序产品，所述计算机程序产品包括计算机程序信息，所述计算机程序信息在被处理器运行时使得所述处理器执行如第一方面所述的混合专家模型的专家权重管理方法。

10、本公开提供的技术方案与现有技术相比至少具有如下优点：

11、在本公开中，通过获取混合专家模型中多个子模型在未来推理窗口的激活概率，基于激活概率分别为各子模型确定在未来推理窗口内的压缩等级和存储层级，进而按照压缩等级对相应子模型的专家权重进行压缩得到压缩权重，并将压缩权重存储于与存储层级匹配的存储介质中，由此，实现了根据各子模型在未来推理窗口的激活概率驱动专家权重的差异化压缩和分级存储，使得高激活概率的子模型以较低压缩率进行压缩并驻留在高速缓存中以保证快速响应，从而减少请求时从nand读取专家权重造成的加载等待和推理延迟，而低激活概率的子模型则可以高压缩率存放在非易失性存储器中以降低存储占用。

1.一种混合专家模型的专家权重管理方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述获取混合专家模型中多个子模型在未来推理窗口的激活概率，包括：

3.根据权利要求1所述的方法，其特征在于，所述基于所述激活概率确定所述多个子模型在所述未来推理窗口内分别对应的压缩等级和存储层级，包括：

4.根据权利要求3所述的方法，其特征在于，所述基于每个所述子模型的所述存储精度等级和在所述未来推理窗口内的所述激活概率，确定每个所述子模型对应的所述压缩等级，包括：

5.根据权利要求3所述的方法，其特征在于，所述基于每个所述子模型在所述未来推理窗口内的所述激活概率，确定每个所述子模型在所述未来推理窗口内对应的所述存储层级，包括：

6.根据权利要求5所述的方法，其特征在于，所述方法还包括：

7.根据权利要求6所述的方法，其特征在于，所述方法还包括：

8.根据权利要求1-7任一项所述的方法，其特征在于，所述方法还包括：

9.一种电子设备，其特征在于，包括：处理器、视频随机存取存储器、动态随机存取存储器、非易失性存储器以及用于存储程序或指令的存储器，所述程序或指令被所述处理器执行时实现如权利要求1至8任一项所述的混合专家模型的专家权重管理方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质是非易失性的，所述计算机可读存储介质上存储有程序或指令，所述程序或指令被处理器执行时实现如权利要求1至8任一项所述的混合专家模型的专家权重管理方法。