电子设备、计算机实施的混合专家大语言模型推理方法及存储介质与流程
本公开的实施例涉及计算机，具体涉及一种电子设备、计算机实施的混合专家大语言模型推理方法及计算机可读存储介质。
背景技术：
1、混合专家（mixture-of-experts，moe）大语言模型（large language model，llm）推理时，因端侧设备快速存储器容量有限，通常将大部分专家权重存放于与非型（not-and，nand）闪存介质的大容量存储器中，并在路由确定所需专家后按需加载至快速存储器；此种方式导致每次专家前馈计算均须等待权重从nand加载，造成推理过程出现停顿、令牌级时延增加及系统吞吐率受限的问题。
技术实现思路
1、本公开实施例提供一种电子设备、计算机实施的混合专家大语言模型推理方法及非瞬态计算机可读存储介质，能够通过预测式异步预取隐藏专家权重加载延迟，从而降低推理时延并提高吞吐率。
2、本公开实施例的第一方面，提供了一种电子设备，包括：处理器；快速存储器；nand大容量存储器，用于存储混合专家大语言模型的专家权重；其中，处理器被配置为：在当前层或当前token的计算过程中，获取预测证据，预测证据包括路由器输出、隐藏状态特征、历史专家激活轨迹或批次上下文中的至少一项；基于预测证据，预测后续层或后续token可能访问的专家集合；在继续执行当前计算的同时，异步地从nand大容量存储器读取专家集合对应的专家权重，并将专家权重预取至快速存储器，快速存储器相对于nand大容量存储器具有较低的访问延迟；响应于后续的专家前馈计算被触发，若所需的实际专家权重已在快速存储器中就绪，则执行专家前馈计算，否则从nand大容量存储器按需加载实际专家权重；根据实际专家激活结果更新运行时元数据，运行时元数据包括激活概率、缓存状态、传输状态、命中记录、未命中记录或时延信息中的至少一项，且运行时元数据用于后续的预测或预取决策。
3、在一实施例中，快速存储器包括dram和/或vram。
4、在一实施例中，处理器进一步被配置为：将推理过程拆分为路由计算、注意力计算、专家前馈计算、专家权重加载以及数据搬运的任务单元；根据cpu、gpu、npu、dram、vram和nand大容量存储器的能力及运行时状态，将任务单元动态分配至相应的硬件资源上执行，以最大化计算与传输的重叠度。
5、在一实施例中，处理器被配置为针对候选任务-资源映射方案评估代价函数，并选取使期望时延最低或吞吐率最高的方案，代价函数用于综合预测执行时间、内存占用、传输时间、队列深度、能耗预算、热状态、期限裕量或回退风险中的至少一项。
6、在一实施例中，处理器被配置为预测后续层或后续token可能访问的专家集合包括：检测同一批次内多个请求的预测专家集合之间的重叠专家；提升重叠专家在预取时的优先级，使得共享的专家权重被预取一次后能在批次内多次复用。
7、在一实施例中，处理器被配置为异步地从nand大容量存储器读取专家集合对应的专家权重，并将专家权重预取至快速存储器包括：根据预测的置信度和专家即将被使用的紧迫度，在vram、dram和nand之间选择差异化的目标放置层级，其中高置信度或即将执行的专家权重被提升至vram，中等优先级的专家权重被暂存于dram，低优先级的专家权重被保留在nand。
8、在一实施例中，处理器还被配置为：当vram压力上升或专家不再即将执行时，执行降级操作以将专家权重从vram移入dram或标记为失效；当缓存容量不足时，淘汰低优先级或未使用的预取权重。
9、在一实施例中，处理器被配置为根据实际专家激活结果更新运行时元数据包括：在回退加载实际专家权重后，记录实际激活的专家、缺失的预测专家以及引入的延迟；对于与回退上下文相似的预测，提高漏预测专家的激活概率，并降低未使用预测模式的置信度。
10、在一实施例中，运行时元数据被组织为统一的专家运行时元数据表，元数据表至少包括专家标识、层标识、激活概率、缓存位置、传输状态、物理位置和压缩状态；处理器还被配置为：基于专家运行时元数据表，根据容量、带宽、时延期限和回退风险，统一生成预取、提升、降级及淘汰控制操作。
11、在一实施例中，物理位置用于指示专家权重在nand大容量存储器中的物理位置；并且，处理器被配置为：发起预取请求时，依据物理位置以及nand队列深度对读取请求进行重排序，以降低随机读取延迟。
12、在一实施例中，压缩状态用于指示专家权重是未压缩、已压缩、已量化或部分解码状态；并且，处理器被配置为：在决定是否预取以及选择目标放置层级时，结合压缩状态估计专家权重加载、解码及执行就绪的完整时间成本。
13、在一实施例中，处理器还被配置为：在ssd侧控制器、cpu、npu或gpu上对处于压缩状态的专家权重进行解码或解压缩，并将解码或解压缩后的权重暂存于目标存储器，解码的时机被纳入预取期限的计算。
14、在一实施例中，处理器执行的策略控制引擎与异构协同调度器、以及预测引擎联动，使得专家运行时元数据表成为整个预取和资源管理的共享状态基础，从而在系统层面实现自适应的计算-存储协同。
15、在一实施例中，处理器预测的专家集合还包括置信度分数和预取期限，预取期限用于指示对应专家权重必须在何时之前就绪。
16、在一实施例中，处理器被配置为异步地从nand大容量存储器读取专家集合对应的专家权重，并将专家权重预取至快速存储器进一步包括：对读取出的专家权重进行解码、解压缩和数据搬运中的至少一项处理。
17、在一实施例中，处理器还被配置为：接收来自nand大容量存储器的队列深度信息，并将队列深度信息提供给异构协同调度器，以用于调整任务单元的动态分配。
18、在一实施例中，处理器还被配置为：在异步读取期间，根据快速存储器的当前可用容量，动态调整预取权重的大小或数量。
19、在一实施例中，处理器为gpu，快速存储器包括vram，并且nand大容量存储器通过pcie接口耦合至gpu。
20、本公开实施例的第二方面，提供了一种计算机实施的混合专家大语言模型推理方法，包括：在当前层或当前token的计算过程中，获取预测证据，预测证据包括路由器输出、隐藏状态特征、历史专家激活轨迹或批次上下文中的至少一项；基于预测证据，预测后续层或后续token可能访问的专家集合；在继续执行当前计算的同时，异步地从nand大容量存储器读取专家集合对应的专家权重，并将专家权重预取至快速存储器，快速存储器相对于nand大容量存储器具有较低的访问延迟；响应于后续的专家前馈计算被触发，若所需的实际专家权重已在快速存储器中就绪，则执行专家前馈计算，否则从nand大容量存储器按需加载实际专家权重；根据实际专家激活结果更新运行时元数据，运行时元数据包括激活概率、缓存状态、传输状态、命中记录、未命中记录或时延信息中的至少一项，且运行时元数据用于后续的预测或预取决策。
21、本公开实施例的第三方面，提供了一种非瞬态计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述第二方面提供的推理方法。
22、本公开实施例提供了一种电子设备、计算机实施的混合专家大语言模型推理方法及计算机可读存储介质，通过在当前层或当前token计算期间获取路由器输出、隐藏状态特征、历史专家激活轨迹或批次上下文等预测证据，并基于该预测证据预测后续可能访问的专家集合，在继续执行当前计算的同时异步地从nand大容量存储器预取相应专家权重至低延迟快速存储器，当后续专家前馈计算所需实际专家权重已在快速存储器中就绪则直接执行，否则按需加载，同时利用实际激活结果更新运行时元数据以优化后续预测和预取决策，从而将专家权重在实际需要之前提前搬运到快速存储器中，可以消除直接从nand按需加载造成的推理停顿，从而可以有效降低token级推理时延、提高吞吐率，并在预测错误时通过回退加载确保推理正确性，利用运行时元数据持续修正预测精度，使得该电子设备能够在有限快速存储器容量下支持大规模混合专家模型的推理。