一种混合专家大语言模型的路由感知量化异构推理方法与流程

本技术涉及大语言模型推理优化，具体涉及混合专家大语言模型的量化与异构推理，尤其涉及一种混合专家大语言模型的路由感知量化异构推理方法、装置、设备及计算机可读存储介质。

背景技术：

1、随着模型规模持续扩大，大语言模型的参数量、激活数据量以及推理过程中的缓存数据量也迅速增加，使得模型推理面临显存占用高、计算开销大、跨设备通信量大和部署成本高等问题。特别是在自回归生成场景中，模型需要逐token生成输出，推理过程通常包括预填充阶段和解码阶段，其中预填充阶段通常具有较大的矩阵计算规模，而解码阶段往往具有较小的批量或token数，但需要频繁访问模型权重、激活数据和键值缓存，因此容易受到内存带宽和数据传输开销的限制。

2、为降低大语言模型的存储和计算开销，现有技术提出了多种量化方法，这些方法主要关注模型权重或矩阵乘计算本身的低比特表示，能够在一定程度上降低显存占用和计算开销；另一方面，随着上下文长度增加，键值缓存也成为大语言模型推理中的重要存储和带宽瓶颈，现有技术针对键值缓存的数值分布特点提出了相应的低比特量化方法。

3、此类技术说明，除模型权重外，推理过程中的中间状态和缓存数据同样需要通过低比特表示降低存储和访存压力。除密集大语言模型外，混合专家模型也被广泛用于扩大模型容量并降低单token激活计算量。

4、混合专家模型在每层通过路由为每个token选择少量专家进行计算，从而在保持较低激活参数量的同时提升模型容量。混合专家模型虽然减少了每个token的激活计算量，但通常包含大量专家参数，部署时会带来显存占用高、专家调度复杂、token到专家的数据重排开销大等问题。

5、为解决大模型显存不足的问题，现有系统也提出了模型卸载或异构推理方案，即将部分专家权重放置在中央处理器内存中，由图形处理器执行部分计算或调度逻辑，中央处理器执行被激活专家的计算，从而降低图形处理器显存压力。

6、然而，现有技术仍存在如下问题:

7、第一，现有量化方法通常以减少模型存储或矩阵乘计算开销为目标，较少将量化过程与跨设备传输过程进行统一设计；在异构推理中，如果第一处理器计算得到的隐藏状态仍以浮点格式传输至第二处理器，则会产生较大的跨设备带宽开销，尤其是在混合专家模型中，每层都可能发生第一处理器与第二处理器之间的隐藏状态传输，该传输开销可能抵消专家计算放置在第二处理器上所带来的收益。

8、第二，常见做法是第一处理器将浮点隐藏状态传输到第二处理器，第二处理器再根据本地低比特矩阵乘的需求重新执行激活量化，导致跨设备传输和第二处理器端量化重复发生，增加了推理延迟和系统开销。

9、第三，混合专家模型中路由已经为每个token产生top-k专家标识和门控权重，这些信息反映了token将被哪些专家处理以及不同专家分支的重要程度，但现有量化方法通常不利用路由结果来决定跨设备传输格式，也未根据专家的量化敏感度、调用频率或权重布局，为不同token或专家分支选择不同的量化精度，因此难以在传输带宽、计算效率和模型精度之间取得更细粒度的平衡。

10、第四，在多非统一内存访问节点部署场景下，不同专家可能分布在不同节点上，现有技术通常在第二处理器端根据专家标识再执行数据重排，没有在第一处理器侧根据路由结果和专家的节点归属提前进行量化分桶和传输布局优化，从而导致额外的数据搬移、跨节点访问或同步开销。因此，亟需一种能够将量化、传输与专家计算融合的异构推理方法以解决上述技术问题。

技术实现思路

1、为了解决所述现有技术的不足，本技术提供了一种混合专家大语言模型的路由感知量化异构推理方法、装置、设备及计算机可读存储介质。

2、本技术所要达到的技术效果通过以下方案实现：

3、本技术的第一方面：

4、提供一种混合专家大语言模型的路由感知量化异构推理方法，应用于包括第一处理器和第二处理器的异构计算系统，包括：

5、所述第一处理器对当前混合专家层的输入隐藏状态执行注意力计算得到注意力输出，并对所述注意力输出执行混合专家路由，得到待输入专家模块的隐藏状态、每个token对应的top-k专家标识和门控权重；

6、所述第一处理器按token维度对所述隐藏状态统计激活幅值特征；

7、根据所述top-k专家标识、所述门控权重、所述激活幅值特征以及离线校准得到的各专家的量化敏感度，为每个token或每个token-专家分支确定量化格式与量化粒度；

8、所述第一处理器按所述量化格式与量化粒度将所述隐藏状态量化为低比特激活数据，生成与所述低比特激活数据对应的尺度因子和元数据，并按所述top-k专家标识将所述低比特激活数据分桶；

9、将分桶后的所述低比特激活数据、所述尺度因子和所述元数据异步传输至所述第二处理器；

10、所述第二处理器根据所述元数据，直接使用所述低比特激活数据和所述尺度因子执行低比特专家矩阵乘计算，得到各专家的专家输出；

11、所述第二处理器按所述门控权重对所述专家输出进行加权聚合，得到混合专家输出，并将所述混合专家输出回传所述第一处理器作为下一混合专家层的输入。

12、优选地，所述注意力计算包括：对所述输入隐藏状态依次执行归一化、qkv 投影、位置编码、kv cache读写、注意力分数计算、归一化指数运算以及输出投影，得到所述注意力输出；所述混合专家路由包括：对所述注意力输出执行路由计算，为每个token选择激活的top-k个专家并输出所述top-k个专家各自对应的门控权重。

13、优选地，所述激活幅值特征包括：最大绝对值、均方根值、离群分数和离群比例中的至少一种；其中，所述最大绝对值为对应token在隐藏维度上各元素绝对值的最大值，所述均方根值为对应token在隐藏维度上各元素平方的均值的算术平方根，所述离群分数为所述最大绝对值与所述均方根值之比，所述离群比例为对应token中绝对值超过预设离群门限的元素数量占隐藏维度大小的比例；所述激活幅值特征的统计过程与量化尺度因子的计算过程相融合。

14、优选地，根据所述激活幅值特征和当前层的量化敏感度计算token量化风险分数；根据所述top-k专家标识对应的专家量化敏感度和所述门控权重计算专家加权敏感度，并结合所述token量化风险分数得到总体量化风险；将所述总体量化风险与预设的第一阈值和第二阈值进行比较，对量化风险高的token或token-专家分支选择精度较高的量化格式或较细的量化粒度，对量化风险低的token或token-专家分支选择比特数较低的量化格式。

15、优选地，所述量化粒度包括按token量化、按通道量化和按组或按块量化中的一种；所述按所述top-k专家标识将所述低比特激活数据分桶包括：将各token的低比特激活数据写入其被路由到的专家所对应的桶；当所述第二处理器包含多个非统一内存访问节点时，根据各专家所在的非统一内存访问节点将所述低比特激活数据进一步分桶；当同一token被路由至多个专家时，所述隐藏状态被量化一次并由多个专家分支共享同一份低比特激活数据和尺度因子，所述元数据记录各专家分支对所述低比特激活数据的引用关系。

16、优选地，所述异步传输通过锁页内存、零拷贝内存、统一虚拟地址或异步直接内存访问实现，并将属于不同的非统一内存访问节点的低比特激活数据分别传输至对应节点所绑定的内存区域；所述第二处理器上预先以低比特格式存储各专家的权重及所述权重对应的权重尺度因子，所述第二处理器直接使用所述低比特激活数据和所述尺度因子，结合预先存储的所述权重和所述权重尺度因子，依次执行门投影、上投影、激活函数运算和下投影计算，得到所述专家输出。

17、优选地，所述回传包括：将所述混合专家输出转换为浮点格式后回传所述第一处理器；或者，将所述混合专家输出量化为低比特格式并生成输出尺度因子后回传所述第一处理器，由所述第一处理器在下一层的算子中融合执行反量化。

18、本技术的第二方面：

19、提供一种混合专家大语言模型的路由感知量化异构推理装置，应用于包括第一处理器和第二处理器的异构计算系统，包括：

20、第一处理器计算模块，被配置为控制所述第一处理器对当前混合专家层的输入隐藏状态执行注意力计算得到注意力输出，并对所述注意力输出执行混合专家路由，得到待输入专家模块的隐藏状态、每个token对应的top-k专家标识和门控权重；

21、路由感知量化决策模块，被配置为控制所述第一处理器按token维度对所述隐藏状态统计激活幅值特征；以及被配置为根据所述top-k专家标识、所述门控权重、所述激活幅值特征以及离线校准得到的各专家的量化敏感度，为每个token或每个token-专家分支确定量化格式与量化粒度；

22、量化激活生成与专家分桶模块，被配置为控制所述第一处理器按所述量化格式与量化粒度将所述隐藏状态量化为低比特激活数据，生成与所述低比特激活数据对应的尺度因子和元数据，并按所述top-k专家标识将所述低比特激活数据分桶；

23、异步传输模块，被配置为将所述低比特激活数据、所述尺度因子和所述元数据异步传输至所述第二处理器；

24、第二处理器专家计算模块，被配置为控制所述第二处理器根据所述元数据，直接使用所述低比特激活数据和所述尺度因子执行低比特专家矩阵乘计算，得到各专家的专家输出；

25、输出聚合与回传模块，被配置为控制所述第二处理器按所述门控权重对所述专家输出进行加权聚合，得到混合专家输出，并将所述混合专家输出回传所述第一处理器作为下一混合专家层的输入。

26、本技术的第三方面：

27、提供一种电子设备，所述电子设备包括：一个或多个处理器；以及存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现本技术第一方面所述的混合专家大语言模型的路由感知量化异构推理方法。

28、本技术的第四方面：

29、提供一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现本技术第一方面所述的混合专家大语言模型的路由感知量化异构推理方法。

30、与现有技术相比，采用以上方案的有益效果为：

31、其一，第一处理器在完成注意力计算和路由计算后先将待传输隐藏状态量化为低比特格式再传输，与直接传输半精度浮点隐藏状态相比，在采用8比特整型格式时隐藏状态主数据传输量可约减少一半，在采用4比特整型格式时可进一步降低，从而缓解跨设备互联链路的带宽压力、降低传输延迟；

32、其二，第一处理器侧生成与第二处理器专家计算格式兼容的低比特激活数据和尺度因子，使第二处理器无需重新量化即可直接执行低比特专家矩阵乘，减少了第二处理器上的重复量化开销；

33、其三，利用路由输出的专家标识、门控权重和专家量化敏感度为不同token或分支选择不同量化格式与粒度，在保证精度的同时进一步降低传输量与计算开销；

34、其四，根据运行时带宽状态与量化风险自适应调整高精度格式与低比特格式的使用比例；

35、其五，根据专家所在的非统一内存访问节点提前分桶，减少跨节点访问与数据重排开销，从而提高异构混合专家大语言模型推理的端到端效率；其六，本发明不限定具体低比特格式、处理器类型、互联方式或专家结构，具有良好的扩展性和兼容性。