大模型的推理方法、装置、设备以及存储介质与流程

本申请涉及计算机领域，尤其涉及一种大模型的推理方法、装置、设备以及存储介质。

背景技术：

1、当前的大语言模型多采用混合专家moe（mixture of experts）架构，在moe推理的通信阶段，每张gpu（图形处理器，graphics processing unit）需同时与数十甚至上百张远端gpu建立连接，大量并发的小粒度数据传输使得网络链路利用率低下、拥塞频繁发生。由此跨节点的远程直接内存访问rdma，remote direct memory access链路成为服务吞吐的硬瓶颈，计算集群规模越大、专家分布越分散，通信时延占端到端推理时延的比例越高。

技术实现思路

1、本申请的多个方面提供一种大模型的推理方法、装置、设备以及存储介质。

2、本申请实施例提供一种大模型的推理方法，所述大模型包括多个网络层，所述网络层包括多个专家网络，所述专家网络包括共享专家网络以及路由专家网络，所述方法包括：获取多个待处理词元，在所述网络层中，根据多个待处理词元以及注意力机制计算对应的隐藏状态结果，在计算的过程中，以作为一批数据中的待处理词元为单元计算对应的隐藏状态结果；根据所述隐藏状态结果以及门控网络，确定所述待处理词元对应的路由决策，用于确定路由专家网络；针对作为一批数据中的待处理词元，创建多个并行处理的任务队列；将所述一批数据对应的所述隐藏状态结果发送至第一任务队列，以及将所述一批数据对应的所述路由决策以及所述待处理词元对应的隐藏状态结果发送至第二任务队列；通过所述第一任务队列中的隐藏状态结果以及所述共享专家网络确定所述一批数据对应的第一计算结果；通过所述第二任务队列中的路由决策，将所述待处理词元对应的隐藏状态结果发送至对应路由专家网络所部署的gpu，以计算所述一批数据对应的第二计算结果；根据所述第一计算结果以及所述第二计算结果，确定所述一批数据对应的所述网络层的输出结果。

3、本申请实施例提供一种大模型的推理装置，所述大模型包括多个网络层，所述网络层包括多个专家网络，所述专家网络包括共享专家网络以及路由专家，所述装置包括：计算模块，用于获取多个待处理词元，在所述网络层中，根据多个待处理词元以及注意力机制计算对应的隐藏状态结果，在计算的过程中，以作为一批数据中的待处理词元为单元计算对应的隐藏状态结果；第一确定模块，用于根据所述隐藏状态结果以及门控网络，确定所述待处理词元对应的路由决策，用于确定路由专家网络；创建模块，用于针对作为一批数据中的待处理词元，创建多个并行处理的任务队列；第一发送模块，用于将所述一批数据对应的所述隐藏状态结果发送至第一任务队列，以及将所述一批数据对应的所述路由决策以及所述待处理词元对应的隐藏状态结果发送至第二任务队列；第二确定模块，用于通过所述第一任务队列中的隐藏状态结果以及所述共享专家网络确定所述一批数据对应的第一计算结果；第二发送模块，用于通过所述第二任务队列中的路由决策，将所述待处理词元对应的隐藏状态结果发送至对应路由专家网络所部署的gpu，以计算所述一批数据对应的第二计算结果；第三确定模块，用于根据所述第一计算结果以及所述第二计算结果，确定所述一批数据对应的所述网络层的输出结果。

4、本申请实施例提供一种设备，包括：存储器、处理器；所述存储器，用于存储计算机程序；所述处理器，用于执行所述计算机程序，以用于：获取多个待处理词元，在大模型的网络层中，根据多个待处理词元以及注意力机制计算对应的隐藏状态结果，在计算的过程中，以作为一批数据中的待处理词元为单元计算对应的隐藏状态结果，所述网络层包括多个专家网络，所述专家网络包括共享专家网络以及路由专家网络；根据所述隐藏状态结果以及门控网络，确定所述待处理词元对应的路由决策，用于确定路由专家网络；针对作为一批数据中的待处理词元，创建多个并行处理的任务队列；将所述一批数据对应的所述隐藏状态结果发送至第一任务队列，以及将所述一批数据对应的所述路由决策以及所述待处理词元对应的隐藏状态结果发送至第二任务队列；通过所述第一任务队列中的隐藏状态结果以及共享专家网络确定所述一批数据对应的第一计算结果；通过所述第二任务队列中的路由决策，将所述待处理词元对应的隐藏状态结果发送至对应路由专家网络所部署的gpu，以计算所述一批数据对应的第二计算结果；根据所述第一计算结果以及所述第二计算结果，确定所述一批数据对应的所述网络层的输出结果。

5、本申请实施例提供一种存储有计算机程序的计算机可读存储介质，其特征在于，所述计算机程序被一个或多个处理器执行时，致使所述一个或多个处理器实现上述方法中的步骤。

6、在本公开的技术方案，获取多个待处理词元，在网络层中，根据多个待处理词元以及注意力机制计算对应的隐藏状态结果，在计算的过程中，以作为一批数据中的待处理词元为单元计算对应的隐藏状态结果；根据隐藏状态结果以及门控网络，确定待处理词元对应的路由决策，用于确定路由专家网络；针对作为一批数据中的待处理词元，创建多个并行处理的任务队列；将一批数据对应的隐藏状态结果发送至第一任务队列，以及将一批数据对应的路由决策以及待处理词元对应的隐藏状态结果发送至第二任务队列；通过第一任务队列中的隐藏状态结果以及共享专家网络确定一批数据对应的第一计算结果；通过第二任务队列中的路由决策，将待处理词元对应的隐藏状态结果发送至对应路由专家网络所部署的gpu，以计算一批数据对应的第二计算结果；根据第一计算结果以及第二计算结果，确定一批数据对应的网络层的输出结果。

7、其中，将一批数据对应的隐藏状态结果发送至第一任务队列，以及将一批数据对应的路由决策以及待处理词元对应的隐藏状态结果发送至第二任务队列；通过第一任务队列中的隐藏状态结果以及共享专家网络确定一批数据对应的第一计算结果；通过第二任务队列中的路由决策，将待处理词元对应的隐藏状态结果发送至对应路由专家网络所部署的gpu，以计算一批数据对应的第二计算结果，且两个队列属于并行处理队列。使得在面对一批数据的处理过程中，实现与部署有路由专家网络gpu通信的同时，持续执行共享专家网络的计算操作，使得通信时延被隐藏在计算时间之内，从根本上消除串行执行模型中通信等计算、计算等通信的互等待问题。

1.一种大模型的推理方法，其特征在于，所述大模型包括多个网络层，所述网络层包括多个专家网络，所述专家网络包括共享专家网络以及路由专家网络，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，在所述多个网络层的层排列中，第一网络层为第二网络层的前一个网络层，在确定出第一网络层的输出结果后，所述方法还包括：

3.根据权利要求1所述的方法，其特征在于，所述方法应用在分布式集群，所述分布式集群包括多个分布在不同设备上的gpu，用于部署共享专家网络以及路由专家网络；所述共享专家网络部署在每个gpu上，所述路由专家网络分布部署在多个gpu上。

4.根据权利要求1或3所述的方法，其特征在于，所述通过所述第一任务队列中的隐藏状态结果以及所述共享专家网络确定所述一批数据对应的第一计算结果，包括：

5.根据权利要求1或3所述的方法，其特征在于，所述通过所述第二任务队列中的路由决策，将所述待处理词元对应的隐藏状态结果发送至对应的路由专家网络所部署的gpu，包括：

6.根据权利要求1或5所述的方法，其特征在于，所述方法还包括：

7.根据权利要求1或5所述的方法，其特征在于，所述方法还包括：

8.根据权利要求7所述的方法，其特征在于，至少一个gpu享有一组对应的所述第三任务队列和所述第四任务队列，所述至少一个gpu是指共享专家网络所在gpu。

9.根据权利要求1所述的方法，其特征在于，所述方法还包括：

10.根据权利要求1所述的方法，其特征在于，所述方法还包括：

11.一种大模型的推理装置，其特征在于，所述大模型包括多个网络层，所述网络层包括多个专家网络，所述专家网络包括共享专家网络以及路由专家，所述装置包括：

12.一种设备，其特征在于，包括：存储器、处理器；

13.一种存储有计算机程序的计算机可读存储介质，其特征在于，所述计算机程序被一个或多个处理器执行时，致使所述一个或多个处理器实现权利要求1-10所述方法中的步骤。