基于存内计算的上下文推理方法、系统、设备及介质与流程
本发明涉及大语言模型,尤其涉及一种基于存内计算的上下文推理方法、系统、设备及介质。
背景技术:
1、随着大语言模型(large language model,llm)技术的快速发展,以gpt、llama等为代表的自回归生成模型在长文档理解、多轮对话、代码生成等场景中得到广泛应用。上述应用场景对模型处理的上下文长度提出了持续增长的需求,当前主流模型的上下文窗口已从早期的2k词元(token)扩展至128k乃至百万级token。
2、然而,长上下文推理面临严峻的访存瓶颈:在自回归解码(decode)阶段,模型每生成一个新token,均需访问全量历史上下文对应的键值缓存(kv-cache)数据。kv-cache的数据规模随上下文长度线性增长,在128k token、70b参数规模下,单次推理步骤所需访问的kv-cache总量可达42 gb量级,远超现有计算单元片上缓存容量,导致推理系统的性能瓶颈从计算单元算力转移至存储带宽,系统计算强度降至1~2 flop/byte的极低水平。
3、当前针对长上下文llm推理的主要技术方法均以“将kv-cache数据搬运至计算单元”为基本执行范式。随上下文长度增长,高带宽内存(high bandwidth memory, hbm)至计算单元之间的数据搬运量持续线性增长,带宽墙(memory wall)问题无法从根本上消除。
技术实现思路
1、本发明提供了一种基于存内计算的上下文推理方法、系统、设备及介质,以解决现有技术中缺乏一种能够从根本上改变kv-cache数据搬运模式的长上下文推理方案,难以突破带宽墙对长上下文推理性能的根本制约。
2、第一方面,本发明实施例提供了一种基于存内计算的上下文推理方法,应用于部署大语言模型的上下文推理系统,所述方法包括:
3、响应于推理请求,对输入的提示词序列进行前向计算,获得所述大语言模型的各注意力头的键值缓存数据,并将所述键值缓存数据以键值缓存分片的形式写入多个存内计算模块各自的本地存储区;
4、将所述提示词序列中的当前词元的查询向量通过配置有静态通信路由的互连网络广播至各所述存内计算模块,触发所述存内计算模块执行解码步骤;所述解码步骤包括:通过所述存内计算模块基于所述查询向量和本地存储区中驻留的键值缓存分片计算所述当前词元的注意力分数;并通过所述互连网络对所述注意力分数进行归约,得到全局注意力状态;根据所述全局注意力状态确定下一个词元;
5、将所述下一个词元作为所述当前词元,重复执行将所述提示词序列中的当前词元的查询向量通过配置有静态通信路由的互连网络广播至各所述存内计算模块,并触发所述存内计算模块执行解码步骤,直至满足预设的停止条件,获得所述提示词序列对应的响应序列。
6、第二方面,本发明实施例提供了一种上下文推理系统,部署有大语言模型,且用于执行如任一实施例所述的方法,所述系统包括:调度控制器、互连网络和多个存内计算模块;各所述存内计算模块包含本地存储区和计算单元;
7、所述调度控制器,用于响应于推理请求发起预填充操作,对输入的提示词序列进行前向计算,并将计算得到的键值缓存数据写入各所述存内计算模块的本地存储区;
8、所述互连网络,配置有静态通信路由,用于将所述查询向量广播至各所述存内计算模块,以及在所述存内计算模块与所述互连网络的交换节点之间传输所述注意力分数归约得到的全局注意力状态;
9、所述本地存储区用于以键值缓存分片的形式存储所述大语言模型的各注意力头的键值缓存数据;所述计算单元用于基于查询向量和本地存储区中驻留的键值缓存分片计算提示词序列中的当前词元的注意力分数。
10、第三方面,本发明实施例提供了一种电子设备,所述电子设备包括:
11、至少一个处理器;
12、以及与所述至少一个处理器通信连接的存储器;
13、其中,所述存储器存储有可被所述至少一个处理器执行的计算机程序,所述计算机程序被所述至少一个处理器执行,以使所述至少一个处理器能够执行本发明任一实施例所述的基于存内计算的上下文推理方法。
14、第四方面,本发明实施例提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于使处理器执行时实现本发明任一实施例所述的基于存内计算的上下文推理方法。
15、第五方面,本发明实施例提供了一种计算机程序产品包括计算机程序,所述计算机程序在被处理器执行时实现本发明任一实施例所述的基于存内计算的上下文推理方法。
16、本发明实施例的技术方案,通过响应于推理请求,对输入的提示词序列进行前向计算,获得大语言模型的各注意力头的键值缓存数据,并将键值缓存数据以键值缓存分片的形式写入多个存内计算模块各自的本地存储区;将提示词序列中的当前词元的查询向量通过配置有静态通信路由的互连网络广播至各存内计算模块,触发存内计算模块执行解码步骤;解码步骤包括:通过存内计算模块基于查询向量和本地存储区中驻留的键值缓存分片计算当前词元的注意力分数;并通过互连网络对注意力分数进行归约,得到全局注意力状态;根据全局注意力状态确定下一个词元;将下一个词元确定为当前词元,重复执行将提示词序列中的当前词元的查询向量通过配置有静态通信路由的互连网络广播至各存内计算模块,并触发存内计算模块执行解码步骤,直至满足预设的停止条件,获得提示词序列对应的响应序列。通过将键值缓存数据静态驻留(即永久驻留)于存内计算模块中、以查询广播触发各存内计算模块就地执行近存计算,将推理执行范式从“键值缓存数据搬运至计算单元”转变为“查询广播触发存内计算模块就地计算”,使得每个解码步骤的跨存内计算模块的数据搬运量从o(l×d_head)量级降低至o(d_head)量级,显著缓解了随上下文长度线性增长的带宽瓶颈问题,从根本上突破了带宽墙对长上下文推理性能的制约,从而提高了长上下文推理的带宽利用率和效率。
17、应当理解,本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征,也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。
1.一种基于存内计算的上下文推理方法,应用于部署大语言模型的上下文推理系统,其特征在于,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,在响应于推理请求之前还包括:
3.根据权利要求2所述的方法,其特征在于,根据算子的算术强度和规约范围对所述有向无环图中的算子进行分类,获得算子分类图,包括:
4.根据权利要求3所述的方法,其特征在于,所述强度阈值为所述存内计算模块的峰值浮点算力与存储读取带宽的比值。
5.根据权利要求2所述的方法,其特征在于,所述物理分片描述符包括权重分片描述符和键值缓存分片描述符;所述根据所述算子分类图为权重数据和键值缓存数据分别生成面向所述存内计算模块的物理分片描述符,包括:
6.根据权利要求5所述的方法,其特征在于,为所述算子分类图中的目标类型算子的权重数据生成面向所述存内计算模块的权重分片描述符,包括:
7.根据权利要求5所述的方法,其特征在于,为所述算子分类图中的第一类型算子中的注意力计算算子的键值缓存数据生成面向所述存内计算模块的键值缓存分片描述符,包括:
8.根据权利权利要求7所述的方法,其特征在于,所述分片参数包括:存内计算模块组的划分数量和每个存内计算模块组内的存内计算模块数量;
9.根据权利要求5所述的方法,其特征在于,根据所述物理分片描述符和互连网络的拓扑结构生成静态通信路由,包括:
10.根据权利要求9所述的方法,其特征在于,所述物理路径序列的生成步骤包括:
11.根据权利要求9所述的方法,其特征在于,还包括如下至少一项:
12.根据权利要求1所述的方法,其特征在于,所述静态通信路由为各存内计算模块配置备用路由路径;
13.根据权利要求5所述的方法,其特征在于,对输入的提示词序列进行前向计算,获得所述大语言模型的各注意力头的键值缓存数据,并将所述键值缓存数据以键值缓存分片的形式写入多个存内计算模块各自的本地存储区,包括:
14.根据权利要求13所述的方法,其特征在于,触发图形处理器执行矩阵-矩阵乘法路径的预填充计算,并在完成预填充计算后按照所述键值缓存分片描述符将计算得到的键值缓存数据以键值缓存分片的形式写入各所述存内计算模块各自的本地存储区,包括:
15.根据权利要求13所述的方法,其特征在于,触发各所述存内计算模块以分块方式执行矩阵-向量乘法路径的预填充计算,且每完成一个分块的预填充计算立即按照所述键值缓存分片描述符将对应的键值缓存数据以键值缓存分片的形式写入各所述存内计算模块各自的本地存储区,包括:
16.根据权利要求15所述的方法,其特征在于,在根据所述查询分片和本地存储区中驻留的历史键分片执行因果注意力计算,包括:
17.根据权利要求13所述的方法,其特征在于,触发图形处理器执行矩阵-矩阵乘法路径的预填充计算的情况下,在完成预填充计算后,还包括:
18.根据权利要求13所述的方法,其特征在于,所述长度阈值的确定步骤包括:
19.根据权利要求13所述的方法,其特征在于,所述分块方式的分块参数包括目标分块大小:所述目标分块大小的确定步骤包括:
20.根据权利要求19所述的方法,其特征在于,还包括:
21.根据权利要求1所述的方法,其特征在于,还包括:
22.根据权利要求19或21所述的方法,其特征在于,所述键值缓存淘汰流程包括:
23.根据权利要求21所述的方法,其特征在于,所述方法还包括:
24.根据权利要求1所述的方法,其特征在于,将所述提示词序列中的当前词元的查询向量通过配置有静态通信路由的互连网络广播至各所述存内计算模块时,各所述存内计算模块并行执行将当前词元的键向量和值向量追加写入各自的本地存储区的键值缓存分片末尾的操作。
25.根据权利要求1所述的方法,其特征在于,通过所述存内计算模块基于所述查询向量和本地存储区中驻留的键值缓存分片计算所述当前词元的注意力分数;并通过所述互连网络对注意力分数进行归约,得到全局注意力状态,包括:
26.根据权利要求25所述的方法,其特征在于,对所述键值缓存分片中的各键向量与所述查询向量执行点积运算,获得所述当前词元的注意力分数,包括:
27.根据权利要求26所述的方法,其特征在于,所述存内计算模块包括第一类型存内计算模块和第二类型存内计算模块,所述第一类型存内计算模块的存储访问延迟低于所述第二类型存内计算模块的存储访问延迟;
28.根据权利要求25所述的方法,其特征在于,所述归约操作包括:
29.根据权利要求1所述的方法,其特征在于,根据所述全局注意力状态确定下一词元,包括:
30.根据权利要求1所述的方法,其特征在于,在所述存内计算模块执行解码步骤的过程中,采用多级流水线并行执行各网络层的计算;
31.根据权利要求30所述的方法,其特征在于,各网络层分别存储各自的键值缓存数据;当相邻网络层的键值缓存数据之间的余弦相似度超过预设相似度阈值时,所述相邻网络层共享部分的键值缓存数据的物理存储页;所述存内计算模块维护层间共享地址映射表,所述层间共享地址映射表用于指示所述相邻网络层共享的物理存储页的映射关系。
32.根据权利要求30所述的方法,其特征在于,在响应于推理请求之前,所述方法还包括:由编译器生成停顿处理配置,所述停顿处理配置包括权重分段预取配置和等待同步配置,并固化至各所述存内计算模块的调度寄存器中;
33.根据权利要求1所述的方法,其特征在于,还包括:
34.根据权利要求1所述的方法,其特征在于,还包括:
35.一种上下文推理系统,其特征在于,部署有大语言模型,且用于执行如权利要求1-34中任一项所述的方法,所述系统包括:调度控制器、互连网络和多个存内计算模块;各所述存内计算模块包含本地存储区和计算单元;
36.一种电子设备,其特征在于,所述电子设备包括:
37.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于使处理器执行时实现权利要求1-34中任一项所述的基于存内计算的上下文推理方法。
38.一种计算机程序产品,其特征在于,所述计算机程序产品包括计算机程序,所述计算机程序在被处理器执行时实现权利要求1-34中任一项所述的基于存内计算的上下文推理方法。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com