独立显卡架构专家模型的权重处理方法、装置及相关设备与流程

本技术涉及人工智能，特别涉及一种独立显卡架构专家模型的权重处理方法、装置、电子设备及存储介质。

背景技术：

1、在大语言模型推理领域中，混合专家模型的所有专家权重的总体规模通常远超端侧或本地推理设备中图形处理器显存和系统内存的可用容量。为了在资源受限的端侧设备上部署规模更大的混合专家模型，通常需要利用大容量固态硬盘等非易失性存储介质对专家权重进行缓存。

2、相关技术中，常采用将全部或大部分专家权重存放在固态硬盘中，并在推理时按需加载到显存或内存的方案。但该方案在推理过程中逐步加载，将严重增加推理延迟，同时，该方案将产生大量不必要的从固态硬盘随机读取操作，增大了读取放大效应。

3、上述情形使得在端侧或本地设备上部署大规模混合专家模型时，推理延迟难以预测和控制，存储带宽和容量利用效率低下。因此，如何在混合专家模型推理过程中有效降低随机读取开销和等待时间，成为一项亟需解决的技术问题。

技术实现思路

1、基于上述现有技术的缺陷和不足，本技术提出一种独立显卡架构专家模型的权重处理方法、装置电子设备及存储介质。

2、本技术第一方面提供了一种独立显卡架构专家模型的权重处理方法，包括：在专家模型的推理过程中，根据路由输出确定至少一个候选专家及各候选专家的激活概率；根据所述候选专家的激活概率更新所述候选专家的元数据，所述元数据包括所述候选专家的激活概率，所述元数据还包括访问频次、最近访问时间、层级优先级中的一个或多个；根据所述候选专家的元数据对所述候选专家的权重在vram、dram 和nand构成的存储层级之间的存储位置执行缓存管理操作；根据缓存管理操作后的候选专家执行所述专家模型的推理过程。

3、在一实施例中，根据路由输出确定至少一个候选专家及各候选专家的激活概率包括：根据所述路由输出确定路由器评估的激活概率大于预设阈值的专家作为候选专家，并确定各所述候选专家的激活概率。

4、在一实施例中，所述元数据还包括访问频次、最近访问时间、层级优先级、当前推理阶段和缓存容量状态；根据所述候选专家的元数据对所述候选专家的权重在vram、dram和nand构成的存储层级之间的存储位置执行缓存管理操作包括：根据所述候选专家的元数据确定所述各候选专家的优先级评分；根据所述候选专家的优先级评分对所述候选专家的权重在vram、dram 和nand构成的存储层级之间的存储位置执行缓存管理操作；其中，所述缓存管理操作包括预取、提升、降级、淘汰、和回填中的一个或多个。

5、在一实施例中，根据所述候选专家的元数据确定所述候选专家的优先级评分包括：利用预设评分方式对所述候选专家的激活概率、访问频次、最近访问时间、层级优先级、当前推理阶段和缓存容量状态中的一个或多个进行处理，获得所述候选专家的优先级评分；其中，预设评分方式包括规则评分、加权评分、学习型预测器、最不经常使用算法、最近最少使用算法中的一种或多种。

6、在一实施例中，所述缓存管理操作包括预取和提升，根据所述候选专家的优先级评分对所述候选专家的权重在vram、dram 和nand构成的存储层级之间的存储位置执行缓存管理操作包括：若所述候选专家的优先级评分大于或等于第一评分阈值，则将所述候选专家的权重预取至dram或vram；或者，若所述候选专家的优先级评分大于或等于第二评分阈值且低于第一评分阈值，则将所述候选专家的权重从nand 提升至vram；其中，第一评分阈值大于第二评分阈值。

7、在一实施例中，所述元数据还包括压缩状态；将所述候选专家的权重从nand 提升至 dram或vram包括：若根据元数据中压缩状态确定所述候选专家的权重以压缩形式或量化形式存储于nand中，则将所述候选专家的权重从nand读取至dram后，执行解压或反量化并提升至vram。

8、在一实施例中，所述缓存管理操作包括降级和淘汰，根据所述候选专家的优先级评分对所述候选专家的权重在vram、dram 和nand构成的存储层级之间的存储位置执行缓存管理操作包括：根据所述候选专家的优先级评分和历史专家访问序列，预测获得各候选专家的短期复用概率；若所述候选专家的短期复用概率小于或等于第一复用概率阈值，且根据所述候选专家的元数据中缓存容量状态确认所述候选专家的权重所在存储层级的可用容量低于容量阈值，则将所述候选专家的权重从vram降级至 dram，或从dram降级至nand；或者，若所述候选专家的短期复用概率小于第二复用概率阈值，且根据所述候选专家的元数据中缓存容量状态确认所述候选专家的权重所在存储层级的可用容量低于容量阈值，则将所述候选专家的权重淘汰至nand；其中，第一复用概率阈值大于第二复用概率阈值。

9、在一实施例中，所述元数据还包括压缩状态；将所述候选专家的权重从淘汰至nand包括：若所述候选专家的短期复用概率低第三复用概率阈值，则将所述候选专家的权重压缩后淘汰至nand；其中，第三复用概率阈值小于第二复用概率阈值。

10、在一实施例中，所述方法还包括：在执行缓存管理操作后，根据所述缓存管理操作对存储层级之间内各专家的元数据进行更新。

11、本技术第二方面提供了一种独立显卡架构专家模型的权重处理装置，包括：候选专家确定单元，用于在专家模型的推理过程中，根据路由输出确定至少一个候选专家及各候选专家的激活概率；元数据更新单元，用于根据所述候选专家的激活概率更新所述候选专家的元数据，所述元数据包括所述候选专家的激活概率，所述元数据还包括访问频次、最近访问时间、层级优先级中的一个或多个；缓存管理操作单元，用于根据所述候选专家的元数据对所述候选专家的权重在vram、dram 和nand构成的存储层级之间的存储位置执行缓存管理操作；模型推理单元，用于根据缓存管理操作后的候选专家执行所述专家模型的推理过程。

12、本技术第三方面提供了一种电子设备，包括存储器和处理器；存储器与处理器连接，用于存储程序；处理器用于通过运行存储器中的程序，实现上述第一方面任一实现方式提供的独立显卡架构专家模型的权重处理方法。

13、本技术第四方面提供了一种存储介质，存储介质上存储有计算机程序，计算机程序被处理器运行时，实现上述第一方面任一实现方式提供的独立显卡架构专家模型的权重处理方法。

14、本技术提出的独立显卡架构专家模型的权重处理方法，在专家模型的推理过程中，根据路由输出确定至少一个候选专家及各候选专家的激活概率，能够预测接下来的推理过程可能需要用到的候选专家的专家权重，并根据候选专家的激活概率更新候选专家的元数据，并维护至少包括候选专家的激活概率元数据，实时更新各候选专家的激活状态，利用该更新的元数据对候选专家的权重在vram、dram 和nand构成的存储层级之间的存储位置执行缓存管理操作；能够在推理过程执行前提前将使用概率较大的候选专家读取至读取速度较快的层级，进而在根据缓存管理操作后的候选专家执行所述专家模型的推理过程时，能够很大程度上降低推理延迟。同时，本方法基于候选权重的激活概率、以及访问频次、最近访问时间、层级优先级中的一个或多个因素对专家权重在存储层级间进行调取，能够充分考虑候选权重的使用可能性，实现候选专家与当前的推理过程的精准匹配，避免大量不必要的读取操作，降低读取开销。