一种基于GB10芯片的MoE-RAG驻留与内存调度方法及系统与流程

本发明涉及计算机，具体涉及一种基于gb10芯片的moe-rag驻留与内存调度方法及系统。

背景技术：

1、moe-rag是混合专家模型（moe，mixture of experts）与检索增强生成（rag，retrieval-augmented generation）两类技术的结合，其推理过程既依赖rag模块从企业知识库中检索相关证据拼入上下文，又依赖moe模块在推理时按需激活部分专家参数参与计算。gb10芯片是面向本地ai计算设备的系统级芯片，其cpu-gpu一致统一内存架构使rag上下文、kv cache、moe专家缓存与i/o预取缓冲共享同一有限内存池，同时专家参数需在gpu近邻页、cpu可访问页与本地nvme冷层之间分层放置。该架构使单台设备即可运行moe-rag任务，但也将驻留位置选择与内存预算分配两个问题深度耦合，任何一方的决策偏差都会直接传导至另一方并放大资源冲突。

2、在gb10统一内存架构下运行moe-rag任务，现有技术存在以下问题：其一，现有moe专家缓存与预取方案（如依据历史频率或内部激活轨迹进行热点缓存与预取卸载）不感知rag检索结果，导致检索已明确归属某知识域时相关专家却未被优先驻留；其二，现有rag优化方案（如检索策略调整与重排序）仅关注检索质量，不涉及统一内存中上下文、kv cache、专家缓存及i/o缓冲之间的预算让渡，任一资源的过度分配均挤占其他资源，过度依赖nvme冷加载则造成解码抖动；其三，硬分区技术仅提供静态资源边界，无法感知gb10统一内存的页迁移开销、nvme带宽竞争、功耗温度限制以及moe-rag会话级的置信度变化与路由命中率波动。可见，现有方案将gb10平台特性、moe调度策略与rag检索特征割裂处理，对此，亟需一种面向三者融合场景的联合驻留与内存调度框架。

技术实现思路

1、有鉴于此，本发明的目的在于提供一种基于gb10芯片的moe-rag驻留与内存调度方法及系统，基于rag检索态与gb10硬件态的联合控制，实现统一内存预算与专家参数分层驻留的协同调度，能够提升专家命中率、避免资源挤占与解码抖动，并以原始参数加载保障模型语义无损。

2、根据本发明实施例的第一方面，提供一种基于gb10芯片的moe-rag驻留与内存调度方法，应用于单台搭载gb10芯片的本地ai计算设备，所述设备具有cpu-gpu统一内存、本地固态存储及推理软件栈，包括：

3、接收用户对话请求信息，所述对话请求信息至少包含用户问题；

4、根据所述用户问题执行rag检索，获得检索结果，基于所述检索结果生成检索态，其中，所述检索态是指对所述检索结果进行特征提取后得到的一组用于调度决策的结构化参数；

5、采集所述设备的硬件态，其中，所述硬件态是指对所述设备运行时硬件资源状态进行采集后得到的一组用于调度决策的结构化参数；

6、基于所述检索态与所述硬件态生成联合控制向量，所述联合控制向量至少用于指示所述检索结果的知识归属领域、检索可靠程度以及所述设备当前的资源余量；

7、根据所述联合控制向量，在所述统一内存中对各竞争性资源模块执行预算分配，其中，所述竞争性资源模块至少包含专家参数缓存区以及上下文存储区，所述检索可靠程度与所述专家参数缓存区的预算成正比，所述检索可靠程度与所述上下文存储区的预算成反比；

8、根据所述预算分配的结果及所述联合控制向量，将混合专家模型中专家参数块划分为高速存储区和冷层，所述冷层位于所述本地固态存储中，所述高速存储区由图形处理器本地页和中央处理器可访问页构成；其中，所述检索可靠程度越高，所述知识归属领域对应的专家参数块划入所述高速存储区的数量越多、划入所述冷层的数量越少；所述检索可靠程度越低，划入所述高速存储区的数量越少、划入所述冷层的数量越多；

9、调用所述推理软件栈执行混合专家模型推理：所需专家参数从所述高速存储区获取，当所述高速存储区未命中时，从所述冷层加载原始专家参数执行。

10、根据本发明实施例的第二方面，提供一种基于gb10芯片的moe-rag驻留与内存调度系统，应用于单台搭载gb10芯片的本地ai计算设备，所述设备具有cpu-gpu统一内存、本地固态存储及推理软件栈，包括：

11、信息接收单元，用于接收用户对话请求信息，所述对话请求信息至少包含用户问题；

12、检索态生成单元，用于根据所述用户问题执行rag检索，获得检索结果，基于所述检索结果生成检索态，其中，所述检索态是指对所述检索结果进行特征提取后得到的一组用于调度决策的结构化参数；

13、硬件态采集单元，采集所述设备的硬件态，其中，所述硬件态是指对所述设备运行时硬件资源状态进行采集后得到的一组用于调度决策的结构化参数；

14、联合向量生成单元，用于基于所述检索态与所述硬件态生成联合控制向量，所述联合控制向量至少用于指示所述检索结果的知识归属领域、检索可靠程度以及所述设备当前的资源余量；

15、预算分配单元，用于根据所述联合控制向量，在所述统一内存中对各竞争性资源模块执行预算分配，其中，所述竞争性资源模块至少包含专家参数缓存区以及上下文存储区，所述检索可靠程度与所述专家参数缓存区的预算成正比，所述检索可靠程度与所述上下文存储区的预算成反比；

16、驻留决策单元，用于根据所述预算分配的结果及所述联合控制向量，将混合专家模型中专家参数块划分为高速存储区和冷层，所述冷层位于所述本地固态存储中，所述高速存储区由图形处理器本地页和中央处理器可访问页构成；其中，所述检索可靠程度越高，所述知识归属领域对应的专家参数块划入所述高速存储区的数量越多、划入所述冷层的数量越少；所述检索可靠程度越低，划入所述高速存储区的数量越少、划入所述冷层的数量越多；

17、模型推理单元，用于调用所述推理软件栈执行混合专家模型推理：所需专家参数从所述高速存储区获取，当所述高速存储区未命中时，从所述冷层加载原始专家参数执行。

18、根据本发明实施例的第三方面，提供一种单台搭载gb10芯片的本地ai计算设备，包括：

19、至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，

20、所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述的方法。

21、根据本发明实施例的第四方面，提供一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使计算机执行上述的方法。 本发明的实施例提供的技术方案可以包括以下有益效果：

22、本发明提供的基于gb10芯片的moe-rag驻留与内存调度方法，通过融合rag检索态与gb10硬件态生成联合控制向量，使专家驻留与当前检索的知识域精准对齐，提升了专家命中率；通过联合控制向量驱动的预算分配与专家分层驻留的协同调度，根据检索可靠程度动态调节专家缓存与上下文存储区的预算比例，并根据预算分配结果和联合控制向量调整高速存储区与冷层的划分数量，避免了上下文、kv缓存与专家缓存间的资源挤占，有效抑制了解码延迟波动；通过高速存储区与冷层的双层驻留设计，以及未命中时从冷层加载原始专家参数的方式，在保持原模型路由选择与专家权重不变的前提下，既提升了推理速度又保障了生成语义的无损，最终实现了gb10芯片统一内存架构下多类资源的协同调度，有效提升了moe-rag推理的稳定性和生成质量。

23、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。