UMA架构专家模型推理请求处理方法、装置及相关设备与流程

本申请涉及人工智能，特别涉及一种uma架构专家模型的推理请求处理方法、装置、电子设备及可读介质。

背景技术：

1、随着混合专家（moe，mixture of experts）模型在端侧设备、个人工作站及边缘服务器等场景中的部署需求日益增长，需要在统一内存架构（unified memoryarchitecture，uma）的异构计算平台上，以较低的硬件成本运行包含海量参数的大规模模型。但此类平台中加速器的本地高速内存（如vram）容量高度受限，通常难以承载模型的全部专家权重，因此，需要借助容量更大但访问速度较慢的系统内存（dram）乃至nand内存统一寻址或页迁移机制来管理跨不同存储层级的数据流动。对于moe模型的推理过程，通常是在路由层完全确定当前输入所激活的专家后，再进行相应专家权重的读取操作。当所需专家权重位于nand介质上时，该过程会引入一系列必须顺序完成的耗时操作，包括从nand介质读取、可能的解压缩恢复以及将数据直接内存访问（dma）搬运至高速内存等步骤。该流程将导致在模型执行token推理的关键时间路径上产生延迟，减缓整体响应时间。

2、综上，如何降低统一内存架构专家模型的响应延迟是目前亟待解决的技术问题。

技术实现思路

1、基于上述现有技术的缺陷和不足，本申请提出一种ma架构专家模型的推理请求处理方法、装置、电子设备和可读介质。

2、本申请第一方面提供了一种uma架构专家模型的推理请求处理方法，包括：获取专家模型的推理请求；基于专家模型中各专家权重被路由选中的历史记录，确定专家模型中各专家的元数据；根据专家模型的推理请求确定当前计算窗口的当前token隐状态和路由结果，路由结果包括至少一个激活专家；根据当前token隐状态、路由结果和历史专家调用序列在专家模型的各专家中，预测获得至少一个候选专家；在根据至少一个激活专家执行当前计算窗口的推理计算时，根据至少一个候选专家的元数据将候选专家的专家权重从nand读取至vram或dram中；在推理请求的下一计算窗口中，根据已读取的候选专家执行下一token的推理计算。

3、在一实施例中，基于专家模型中各专家权重被路由选中的历史记录，确定专家模型中各专家的元数据包括：根据各专家权重的层级位置、访问热度、历史路由命中记录、激活概率和层级内存压力确定各专家的元数据；其中，层级位置是各专家权重在由vram、dram和nand组成的存储层级中的存储位置；路由结果还包括各激活专家对应的激活概率；访问热度是根据历史专家调用序列获得的。

4、在一实施例中，访问热度包括热状态、温状态和冷状态；根据至少一个候选专家的元数据将候选专家的专家权重从nand读取至vram或dram中包括：将访问热度为热状态的候选专家，以及根据路由结果确定的至少一个激活专家的专家权重读取至vram；和/或，将访问热度为温状态的候选专家的专家权重读取至dram；和/或，将访问热度为冷状态的候选专家的专家权重保留在nand。

5、在一实施例中，将访问热度为冷状态的候选专家保留在nand包括：将存储状态为冷状态的候选专家的专家权重以压缩或量化形式保留在nand。

6、在一实施例中，所述方法还包括：确定专家模型中各专家权重的模型分区，模型分区包括公共层、注意力层、路由层和专家层；根据各专家权重的模型分区，以及各专家的元数据中的一个或多个元素确定各专家权重的存储位置；根据各专家权重的存储位置对各专家权重进行存储。

7、在一实施例中，根据当前token隐状态、路由结果和历史专家调用序列在专家模型的各专家中，预测获得至少一个候选专家包括：根据当前token隐状态确定当前token的语义特征；根据当前token的语义特征、至少一个激活专家的激活概率和历史专家调用序列预测获得至少一个候选专家。

8、在一实施例中，根据至少一个候选专家的元数据将候选专家的专家权重从nand读取至vram或dram中包括：根据当前token隐状态和路由结果更新候选专家的元数据；基于更新后的候选专家的元数据将候选专家的专家权重从nand读取至vram或dram中。

9、本申请第二方面提供了一种uma架构专家模型的推理请求处理装置，包括：请求获取单元，用于获取专家模型的推理请求；元数据维护单元，用于基于专家模型中各专家权重被路由选中的历史记录，确定专家模型中各专家的元数据；路由处理单元，用于根据专家模型的推理请求确定当前计算窗口的当前token隐状态和路由结果，所述路由结果包括至少一个激活专家；候选专家确定单元，用于根据所述当前token隐状态、所述路由结果和历史专家调用序列在所述专家模型的各专家中，预测获得至少一个候选专家；权重读取单元，用于在根据所述至少一个激活专家执行当前计算窗口的推理计算时，根据所述至少一个候选专家的元数据将所述候选专家的专家权重从nand读取至vram或dram中；推理执行单元，用于在所述推理请求的下一计算窗口中，根据已读取的所述候选专家执行下一token的推理计算。

10、本申请第三方面提供了一种电子设备，包括存储器和处理器；存储器与处理器连接，用于存储程序；处理器用于通过运行存储器中的程序，实现上述第一方面任一实现方式提供的uma架构专家模型的推理请求处理方法。

11、本申请第四方面提供了一种存储介质，存储介质上存储有计算机程序，计算机程序被处理器运行时，实现上述第一方面任一实现方式提供的uma架构专家模型的推理请求处理方法。

12、本申请提出的uma架构专家模型的推理请求处理方法，在处理推理请求时，通过基于各专家权重被路由选中的历史记录确定各专家的元数据，并在当前计算窗口根据当前token隐状态、路由结果和历史专家调用序列预测未来计算窗口可能使用的至少一个候选专家，进而在执行当前激活专家的推理计算时，并行地根据候选专家的元数据将候选专家的专家权重从nand异步读取至vram或dram中，在下一计算窗口中直接使用已预取的候选专家执行推理计算。由此，nand读取、解压恢复和搬运的延迟被隐藏在已有的当前计算窗口的计算时间中，下一token的专家计算无需等待nand加载，显著降低推理过程的响应延迟，提升响应速度。

1.一种uma架构专家模型的推理请求处理方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，基于专家模型中各专家权重被路由选中的历史记录，确定专家模型中各专家的元数据包括：

3.根据权利要求2所述的方法，其特征在于，所述访问热度包括热状态、温状态和冷状态；根据所述至少一个候选专家的元数据将所述候选专家的专家权重从nand读取至vram或dram中包括：

4.根据权利要求3所述的方法，其特征在于，将访问热度为冷状态的候选专家保留在nand包括：

5.根据权利要求2所述的方法，其特征在于，还包括：

6.根据权利要求2所述的方法，其特征在于，根据所述当前token隐状态、所述路由结果和历史专家调用序列在所述专家模型的各专家中，预测获得至少一个候选专家包括：

7.根据权利要求1所述的方法，其特征在于，根据所述至少一个候选专家的元数据将所述候选专家的专家权重从nand读取至vram或dram中包括：

8.一种uma架构专家模型的推理请求处理装置，其特征在于，包括：

9.一种电子设备，其特征在于，包括存储器和处理器；

10.一种存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程序被处理器运行时，实现如权利要求1至7中任意一项所述的uma架构专家模型的推理请求处理方法。