一种受限资源环境下的大语言模型推理系统及方法与流程

本发明属于计算机，涉及人工智能推理加速与数据存储调度，具体涉及一种受限资源环境下的大语言模型推理系统及方法。

背景技术：

1、大语言模型的参数规模持续增长，千亿参数量级模型的权重数据在fp16精度下约为200gb，在int8量化精度下仍约有100gb；同时，推理过程中用于缓存注意力键值对的键值缓存（kv cache）随上下文长度线性增长，十万级令牌上下文的键值缓存可达数十gb。上述权重数据与键值缓存的双重容量压力，使大语言模型的部署长期依赖配备大容量显存的数据中心级图形处理器。

2、权重卸载方案通过将模型权重或键值缓存存放于主机内存或固态硬盘，推理时经pcie总线逐层载入图形处理器。此类方案的数据搬运须经主机软件栈与主机内存中转，pcie带宽成为瓶颈，主机处理器占用率高，且在主机内存容量有限的场景下无法运行权重总量超过主机内存的模型。分布式键值缓存池方案将集群中闲置的内存与固态硬盘组织为共享缓存池，由主机侧软件后台进程按周期将被挤出的键值缓存对象下沉至本地固态硬盘，并在命中时经rdma网络在节点间搬运。此类方案面向数据中心集群设计，依赖rdma网卡与专用元数据服务，键值缓存的索引、匹配、驱逐均由主机软件完成，持续消耗主机处理器与内存资源，不适用于无rdma网络、主机内存有限的单节点受限环境。计算存储盘方案在固态硬盘内集成通用fpga等计算资源，将部分注意力计算下沉至盘内执行。此类方案中通用fpga成本高、功耗大，且盘内计算资源与外部推理芯片各自为战，缺乏统一的对象调度与端到端直接数据通路，系统整体效率受限。

3、存算一体芯片通过在存储阵列内完成矩阵乘加运算，具有高能效、低功耗的特性，适合受限环境下的推理计算；但此类芯片的本地内存容量有限，无法容纳千亿参数量级模型的权重数据，亟需与大容量存储介质形成高效协同。另一方面，固态硬盘控制器芯片具备多通道闪存管理、直接存储器访问及一定规模的片上算力，但现有固态硬盘控制器仅提供块级读写接口，不具备面向大语言模型推理的对象级缓存管理能力。

4、因此，如何在无rdma网络、主机内存与芯片本地内存均远小于模型权重总量的受限环境下，使存算一体推理芯片与固态硬盘高效协同，运行千亿参数量级大语言模型并降低长上下文场景的首令牌时延，是本领域亟待解决的技术问题。

技术实现思路

1、针对现有技术的不足，本发明提出了一种受限资源环境下的大语言模型推理系统及方法，将键值缓存管理与权重调度从主机软件下沉至固态硬盘控制器芯片的硬件逻辑，并在固态硬盘与存算一体推理芯片之间建立不经过主机的端到端直接数据通路，从而在受限环境下以低功耗运行千亿参数量级大语言模型。

2、第一方面，本发明提供一种受限资源环境下的大语言模型推理系统，包括：

3、主机，运行包括推理请求调度、分词与采样输出的控制面程序；

4、存算一体推理芯片，包括存算一体计算阵列和本地内存，其中存算一体计算阵列以存内计算的方式，对未命中的后缀令牌执行增量计算。所述本地内存用于存放当前活跃层的权重数据与热点键值缓存块，其地址窗口被映射为智能固态硬盘控制器芯片可直接寻址的目标空间。

5、智能固态硬盘控制器芯片，连接主机、存算一体推理芯片和nand闪存阵列，包括缓存管理引擎、预取调度引擎和直传dma引擎。

6、所述缓存管理引擎用于对存储于所述nand闪存阵列中的权重数据对象和键值缓存块对象进行统一对象编址、索引维护与命中判决，包括前缀哈希匹配单元和租约缓冲管理单元。所述前缀哈希匹配单元以硬件并行比对链式前缀哈希值并判决最长可复用前缀。所述租约缓冲管理单元以带租约时限的缓冲槽位管理直传数据并自动回收超时槽位。

7、作为优选，所述链式前缀哈希值的计算方式为：将令牌序列按固定长度分块，第i块的哈希值由第i块的令牌内容与第i-1块的哈希值共同计算得到，从而任一前缀块的哈希值唯一标识从开始到该块的完整前缀。

8、作为优选，所述最长可复用前缀的判决方法为：由最长前缀块向最短前缀块依次比对，首次命中即为最长可复用前缀。

9、所述预取调度引擎根据推理计算进度调度权重数据对象的预取。

10、作为优选，所述预取调度引擎包括专家预测单元与层间流水调度单元，对混合专家模型的专家权重执行预测性预取，并使计算、预取与下沉三条流水并行。

11、所述直传dma引擎经端到端直接数据通路在nand闪存阵列与存算一体推理芯片的本地内存之间搬运数据，不经过主机的处理器和内存。主机仅经所述智能固态硬盘控制器芯片提交对象级读写请求，键值缓存块的前缀匹配、下沉、驱逐与预取调度均在存储侧由智能固态硬盘控制器芯片完成。

12、作为优选，所述端到端直接数据通路为pcie点对点通路或专用串行高速链路。

13、作为优选，所述缓存管理引擎按预定周期主动向所述主机或所述存算一体推理芯片查询新生成的键值缓存块，经所述直传dma引擎从本地内存拉取所述键值缓存块，并异步写入所述nand闪存阵列；所述异步写入与推理计算并行执行，且不占用所述主机的处理器资源。

14、作为优选，所述缓存管理引擎还包括水位线驱逐单元，用于在所述nand闪存阵列的键值缓存区用量超过预设高水位时，按先进先出或最近最少使用策略选择待驱逐的键值缓存块对象，先更新所述索引表使所述待驱逐对象不可命中，再删除对应的闪存数据，直至用量降至预设低水位。

15、作为优选，所述智能固态硬盘控制器芯片还包括量化压缩单元，在键值缓存块写入nand闪存阵列前进行int8或int4量化压缩。

16、第二方面，本发明提供一种受限资源环境下的大语言模型推理方法，应用于上述系统，包括以下步骤：

17、步骤1、主机接收推理请求，分词生成令牌序列。

18、步骤2、主机按令牌块计算链式前缀哈希值，经主机接口向智能固态硬盘控制器芯片提交前缀匹配查询。若命中则进入步骤3，若未命中进入步骤4。

19、步骤3、直传dma引擎将命中的键值缓存块直传至存算一体推理芯片的本地内存，由存算一体计算阵列对未命中的后缀令牌执行增量计算，进入步骤5。

20、步骤4、存算一体计算阵列对全部令牌执行完整计算，进入步骤5。

21、步骤5、存算一体推理芯片逐令牌解码生成结果，并将新生成的键值缓存块写入本地内存。

22、步骤6、智能固态硬盘控制器芯片按预定周期主动查询并拉取新生成的键值缓存块，经量化压缩单元压缩后异步写入nand闪存阵列的键值缓存区。

23、步骤7、当键值缓存区用量超过高水位时，由缓存管理引擎的水位线驱逐单元按驱逐策略将用量降至低水位，且先更新索引后删除数据。

24、步骤8、将解码生成结果传输到主机进行输出。

25、本发明具有以下有益效果：

26、1、权重数据与键值缓存数据在闪存与推理芯片本地内存之间经端到端直接数据通路搬运，不经过主机内存中转，消除了主机软件栈与pcie中转的带宽瓶颈，主机处理器占用显著降低；

27、2、键值缓存的索引、前缀匹配、下沉与驱逐由固态硬盘控制器芯片的硬件逻辑完成，主机内存与处理器资源占用极小，系统可在主机内存不超过权重总量四分之一的受限环境下运行；

28、3、不依赖rdma网络与集群部署，单节点即可工作；

29、4、前缀命中时可复用键值缓存块直接直传至本地内存，多轮对话与长上下文场景的首令牌时延大幅降低；

30、5、存算一体芯片的低功耗特性与固态硬盘的大容量低成本特性相结合，使千亿参数量级模型可在加固终端、车载机载设备、边缘节点等功耗与体积受限环境中部署。