面向线性注意力的存算一体加速计算系统及方法
本发明涉及人工智能,尤其涉及一种面向线性注意力的存算一体加速计算系统及方法。
背景技术:
1、随着人工智能技术的深度发展,大语言模型(large language model, llm)在自然语言处理、符号推理、代码开发等领域实现了突破性进展,但长上下文推理场景下的计算与存储瓶颈日益凸显。传统基于非线性激活函数softmax的自注意力机制存在平方计算复杂度o(l2),即计算量随序列长度l呈平方增长,当序列长度l大幅增加时,不仅会产生海量计算开销,还会带来巨大的键值(kv)缓存内存压力,无法满足长上下文实时推理需求。在此背景下,线性注意力机制应运而生,其核心是通过简化自注意力的计算流程、摒弃softmax函数,实现了o(ld2)(d为token隐藏维度)的线性计算复杂度,大幅降低了长序列推理的计算与存储开销,成为当前llm长上下文优化的核心技术方向。但原始的线性注意力存在内存空间有限导致的表征退化问题,难以兼顾推理速度与精度,为此,差量delta规则被引入线性注意力机制中,形成基于delta规则的线性注意力(deltanet),其通过递归更新内部状态矩阵s,模拟记忆的学习与遗忘过程,有效解决了原始线性注意力的表征能力退化的问题,进一步实现了推理速度与精度的平衡。
2、存算一体(computing-in-memory,cim)架构作为突破传统冯·诺依曼架构存储墙瓶颈的关键技术,凭借计算与存储深度融合的核心优势,使数据在存储位置直接完成运算,大幅减少数据在存储与计算单元间的传输,降低数据搬移开销,显著提升计算能效,成为适配线性注意力大规模并行计算的理想硬件架构。
3、目前,已有多款以cim架构为核心、支持线性注意力加速的加速架构,一种是基于现场可编程门阵列(fpga)平台,采用推测解码技术加速mamba模型推理,优化数据流以减少计算延迟,适配长序列推理需求,核心优势是针对长序列推理的延迟优化;一种是采用28nm全数字电路设计,通过可重构架构适配mamba模型的计算需求,针对性优化了元素操作和非线性函数,核心优势是可重构性强,能够适配不同神经网络层的计算需求;另一种是基于reram的存算一体宏单元,采用22nm工艺,基于多级reram设计非易失性存算一体宏单元,支持mamba、transformer、cnn等多模型加速,具备高存储密度、高能效的优势。现有技术方案均未针对delta线性注意力的数据流核心需求进行优化,未能实现高效硬件加速。
4、然而,基于delta规则的线性注意力引入动态状态矩阵s,与静态权重矩阵共同构成两类核心数据,导致长上下文推理中需传输的数据量大幅增加,进一步加剧了数据搬移损耗,无法支撑线性注意力低功耗、高吞吐的长上下文推理需求,也给存算一体(cim)架构的硬件加速带来了新的挑战,未能充分发挥cim计算与存储融合,减少数据搬移的优势,且现有存算一体架构大都采用单一存储介质,未能实现多类存储单元的灵活适配与合理分工,无法同时兼顾静态权重的高密度低漏流存储需求与动态状态矩阵的高频读写、高耐久、低功耗更新需求,导致存储利用率低、功耗冗余。
5、另外,delta线性注意力的状态矩阵更新存在较强的递归数据依赖,当前词元token的状态更新依赖上一时刻状态矩阵,下一token计算需等待当前状态更新完成,形成串行执行链,而传统存算一体电路采用固定计算粒度与数据流,仅适配静态权重的矩阵向量乘(mvm)操作,无法适配delta线性注意力“读状态矩阵-计算-写回更新”的闭环递归计算流程,而传统脉动阵列、固定流水线cim架构及现有相近技术方案,均无法解耦上述递归依赖,导致计算过程频繁停顿,硬件资源闲置率高、推理吞吐率低、延迟无法满足长上下文实时推理需求;同时,基于delta规则的线性注意力具有独特的静态权重结合动态状态矩阵的混合数据特征、递归更新规则,现有存算一体技术多针对传统自注意力或常规神经网络设计,多针对mamba等模型优化,未能充分适配线性注意力的计算数据流,更未针对delta规则的递归更新逻辑进行专项优化,进一步加剧了硬件资源利用率低、推理延迟高、功耗冗余等问题,限制了线性注意力机制在llm长上下文推理中的高效部署。
技术实现思路
1、本发明提供一种面向线性注意力的存算一体加速计算系统及方法,用以解决现有技术中delta线性注意力数据搬移频繁、且无法解耦delta线性注意力的递归依赖以致计算过程频繁停顿无法满足长上下文实时推理需求的缺陷,通过解耦delta规则的递归依赖,实现状态更新与计算并行,消除数据搬运延迟与模块间的空闲等待。
2、本发明提供一种面向线性注意力的存算一体加速计算系统,包括双波脉动存算流水线控制模块、铁电权重存算模块和动态状态存算模块,其中:双波脉动存算流水线控制模块,用于分别向铁电权重存算模块和动态状态存算模块发送调度指令,以控制铁电权重存算模块和动态状态存算模块的工作时序,以及控制将输入词元输入铁电权重存算模块中;铁电权重存算模块,用于基于接收的调度指令,将输入词元与在先存储的差量delta线性注意力模型的静态权重进行原位乘累加运算,得到对应查询向量、键向量和值向量;输入词元是基于输入的对话数据得到的;动态状态存算模块,基于接收的调度指令,调用上一时刻的状态数据,并结合键向量和值向量更新状态数据,以及根据查询向量和更新后的状态数据,得到对应输入词元的注意力计算结果。
3、根据本发明提供的一种面向线性注意力的存算一体加速计算系统,动态状态存算模块,包括:状态读取单元,用于基于接收的调度指令,选择目标状态存储单元,并读取对应存储的上一时刻的状态数据;状态存算单元,用于基于上一时刻的状态数据,结合键向量,得到旧状态值;向量处理单元,用于根据旧状态值和值向量,确定更新差值,并结合衰减系数,确定值更新向量;状态存算单元,还用于根据值更新向量和键向量,对上一时刻的状态数据进行更新,并根据查询向量和更新后的状态数据,得到对应输入词元的注意力计算结果。
4、根据本发明提供的一种面向线性注意力的存算一体加速计算系统,动态状态存算模块采用分层架构,动态状态存算模块还包括多个按列排列的存储更新组件,存储更新组件包括更新单元和多个状态存储单元,其中:状态存储单元包括第一预设数量的运算簇,且每个运算簇包括第二预设数量的存储列,每个存储列包括第三预设数量的双晶体管2t嵌入式动态随机存取存储器edram,同一行中目标数量的2t edram为一组,用于共同存储与目标数量对应位数的状态数据;更新单元,用于通过写字线wwl施加写电压,将更新后的状态数据写入对应目标状态存储单元的2t edram中,完成状态矩阵的原位更新。
5、根据本发明提供的一种面向线性注意力的存算一体加速计算系统,双波脉动存算流水线控制模块,还用于:接收输入的运算模式,确定运算模式为脉动模式时,控制查询向量、键向量和值向量按序输入动态状态存算模块的各存储更新组件,以使状态存算单元按对应存储更新组件的数据接收顺序进行乘累加运算,得到对应输入词元的注意力计算结果;或者,确定运算模式为归约模式时,控制所有查询向量、键向量和值向量同时送入动态状态存算模块的所有存储更新组件,以使各存储更新组件对应的状态存算单元并行完成乘累加运算,得到对应输入词元的注意力计算结果。
6、根据本发明提供的一种面向线性注意力的存算一体加速计算系统,双波脉动存算流水线控制模块,还用于:确定运算模式为脉动模式时,将查询向量、键向量和值向量作为输入数据,并根据状态存储单元的数量对输入数据进行分组,得到各分组数据;将第一组分组数据输入存储更新组件中第一列的第一个状态存储单元中,以供对应状态存算单元基于输入第一列的第一个状态存储单元的第一组分组数据和第一列的第一个状态存储单元存储的上一时刻的状态数据进行乘累加运算,得到对应中间计算结果;将第二组分组数据输入存储更新组件中第一列的第二个状态存储单元中,以供对应状态存算单元基于输入第一列的第二个状态存储单元的第二组分组数据和第一列的第二个状态存储单元存储的上一时刻的状态数据进行乘累加运算,得到对应中间计算结果,并结合对应列前一状态存储单元得到的中间计算结果进行累加运算,得到中间缓存结果,将第一组分组数据输入存储更新组件中第二列的第一个状态存储单元中,以及将下一第一组分组数据输入存储更新组件中第一列的第一个状态存储单元中,以供对应状态存算单元基于第二列的第一个状态存储单元输入的第一组分组数据和第二列的第一个状态存储单元存储的上一时刻的状态数据进行乘累加运算,得到对应中间计算结果;按上述时序循环控制数据在同列和后续列存储更新组件传递与计算,直至各列存储更新组件中最后一个状态存储单元输出对应中间缓存结果,得到对应输入词元的注意力计算结果。
7、根据本发明提供的一种面向线性注意力的存算一体加速计算系统,动态状态存算模块还包括布斯booth编码器,其中:booth编码器,用于分别对查询向量、键向量和值向量进行编码,生成对应向量的控制信号;控制信号包括负信号、倍增信号和零信号;状态存算单元,用于根据负信号,对对应向量取反后参与运算,根据倍增信号,将对应向量进行预设移位操作后参与运算,和/或,根据零信号,跳过对应向量的运算。
8、根据本发明提供的一种面向线性注意力的存算一体加速计算系统,铁电权重存算模块包括第一权重存算单元、第二权重存算单元和第三权重存算单元,用于分别根据输入词元结合对应存储的静态权重进行原位乘累加运算,得到对应查询向量、键向量和值向量,各权重存算单元包括:字线解码器,用于基于接收的调度指令,将输入的地址转换为字线的使能信号;权重存算单元,用于基于接收的调度指令,根据字线的使能信号,将对应权重存储单元存储的权重数据与输入词元进行原位乘累加运算,得到对应查询向量、键向量或值向量。
9、根据本发明提供的一种面向线性注意力的存算一体加速计算系统,权重存算单元采用交叉阵列结构,包括第四预设数量的交叉阵列块,每个交叉阵列块包括第五预设数量的权重存内计算wcim列,每个wcim列包括源线、位线、位线电容、使能端、模数转换器、移位加法器和第六预设数量权重存储单元,其中:使能端,用于根据字线的使能信号,将各交叉阵列块的源线拉至读取电压,以基于接收的调度指令,将输入词元逐比特输入交叉阵列块中;针对每个交叉阵列块,通过字线将输入的词元比特数据广播至所有wcim列中,实现并行计算;并行计算包括:针对各wcim列,确定对应wcim列中存在目标权重存储单元的阈值电压小于预设电压阈值时,目标权重存储单元导通,向对应位线提供电流,以将对应存储的权重数据与对应输入的词元比特数据进行乘法运算,得到对应乘积结果;确定对应wcim列中存在目标权重存储单元的阈值电压大于或等于预设电压阈值时,目标权重存储单元截止,不产生电流,对应存储的权重数据不参与与对应输入的词元比特数据的乘法运算;位线电容,用于在目标权重存储单元导通时,积累所有目标权重存储单元的电荷,得到电荷总和;模数转换器,用于对电荷总和进行量化,得到部分和;移位加法器,用于汇总交叉阵列块中所有wcim列模数转换器输出的部分和,进行累加量化,得到对应查询向量、键向量或值向量。
10、根据本发明提供的一种面向线性注意力的存算一体加速计算系统,系统还包括量化与反量化模块,其中:双波脉动存算流水线控制模块,还用于从全局缓冲区中提取浮点型输入词元,并输入量化与反量化模块中;量化与反量化模块,用于将输入的浮点型输入词元转换为整型。
11、本发明还提供一种面向线性注意力的存算一体加速计算方法,应用于如上任一所述的面向线性注意力的存算一体加速计算系统中,包括:将输入词元与在先存储的差量delta线性注意力模型的静态权重进行原位乘累加运算,得到对应查询向量、键向量和值向量;输入词元是基于输入的对话数据得到的;根据键向量和值向量,结合上一时刻的状态数据更新状态数据,并根据查询向量和更新后的状态数据进行乘累加运算,得到对应输入词元的注意力计算结果。
12、本发明还提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如上述任一种所述面向线性注意力的存算一体加速计算方法。
13、本发明还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如上述任一种所述面向线性注意力的存算一体加速计算方法。
14、本发明还提供一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现如上述任一种所述面向线性注意力的存算一体加速计算方法。
15、本发明提供的面向线性注意力的存算一体加速计算系统及方法,通过双波脉动存算流水线控制模块分别向铁电权重存算模块和动态状态存算模块发送调度指令以控制工作时序及输入词元的流转,以解耦delta规则的递归依赖,实现状态更新与计算并行,消除数据搬运延迟与模块间的空闲等待;通过铁电权重存算模块将输入词元与在先存储的差量delta线性注意力模型的静态权重进行原位乘累加运算,以利用铁电存储的非易失性与原位计算优势,规避频繁权重读取带来的高能耗与带宽瓶颈,实现对查询、键、值向量的高能效与高密度并行生成;以及,通过动态状态存算模块调用上一时刻状态数据并结合键向量和值向量进行更新,再与查询向量交互得到注意力计算结果,从而精准捕捉对话数据中随时间步动态演变的上下文依赖,实现线性注意力机制下状态信息的低延迟压缩与高效迭代。
16、另外,通过铁电权重存算模块和动态状态存算模块的异构存储架构,铁电权重存算模块用于静态权重的高密度、低漏流存储,动态状态存算模块用于动态状态矩阵的高频读写与递归更新,以灵活适配静态权重与动态状态矩阵的差异化需求,克服存储介质与数据特征不匹配的缺陷,避免了将大量权重数据从存储器搬运到计算单元的过程,实现了数据原地计算,从而极大地减少数据搬移,通过双波脉动流水控制统筹、铁电原位静态权重存算和动态状态时序演化的深度耦合,确保数据在需要的时候被正确地传递,从而最大限度地减少模块间的数据搬移次数和延迟,避免因等待而造成的资源浪费和数据堆积,进而在严格保证注意力计算精度的前提下,赋予该系统在处理长序列对话数据时突破内存墙限制、实现极低功耗与高吞吐率推理的卓越能力。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com