面向LoRA微调的Transformer加速器及数据处理方法与流程
本发明涉及人工智能芯片,特别涉及一种面向lora微调的transformer加速器及数据处理方法。
背景技术:
1、随着大型语言模型(llm)的快速发展,低秩适应(lora)微调技术因其高效性而被广泛应用。在现有的transformer架构中,为了支持lora微调,通常需要在硬件上实现稠密权重计算与低秩适配计算的协同工作。传统的加速器设计往往将稠密计算单元与lora计算单元独立设置,或者采用通用的张量处理单元来同时处理这两类任务。
2、然而,现有技术存在以下问题:首先,传统架构在处理lora前向与反向计算时,中间状态往往需要频繁写入片外存储器,造成巨大的带宽瓶颈和能耗浪费;其次,lora的逻辑秩具有动态变化特性,而现有硬件的物理通道数通常是固定的,缺乏灵活的解耦机制,导致资源利用率低下或计算延迟增加;最后,现有的非线性处理模块通常缓存完整层张量,无法有效支持流式处理,限制了整体吞吐率。
技术实现思路
1、本发明的目的在于提供一种面向lora微调的transformer加速器及数据处理方法,以解决现有技术在lora微调过程中存在的片上存储压力大、数据搬运开销高以及硬件资源利用率低的技术问题。其具体方案如下:
2、第一方面,本发明提供了一种面向lora微调的transformer加速器,其特征在于,包括:
3、稠密权重驻留阵列,用于对输入激活执行transformer主干网络的稠密投影计算,得到稠密输出行;
4、lora侧辅单元,与所述稠密权重驻留阵列并列设置,所述lora侧辅单元的物理通道数与lora逻辑秩解耦,用于对所述输入激活并行执行lora低秩适配的前向计算与反向计算,得到低秩增量行,并将前向计算得到的前向中间状态与反向计算得到的反向中间状态驻留在所述lora侧辅单元的本地寄存器中,以在lora前向、反向与权重梯度生成阶段之间保持片上驻留;
5、标签匹配行合并单元,用于接收携带行标签的所述稠密输出行与所述低秩增量行,将行标签匹配的稠密输出行与低秩增量行合并,得到合并输出行;
6、流式非线性引擎,与所述标签匹配行合并单元耦合,用于对所述合并输出行执行非线性处理,保存活跃行块及算子统计元数据。
7、可选地,所述lora侧辅单元包括处理单元硬件和本地寄存器;所述处理单元硬件用于以第一模式对输入激活与第一低秩矩阵执行矩阵乘法,得到所述前向中间状态,以及以第二模式对所述前向中间状态与第二低秩矩阵执行矩阵乘法,得到所述低秩增量行,所述第一模式与所述第二模式复用所述处理单元硬件;所述本地寄存器用于驻留所述前向中间状态和所述反向中间状态。
8、可选地,所述lora侧辅单元具有多个物理秩通道,所述物理秩通道的数量与所述lora逻辑秩解耦;当所述lora逻辑秩不超过所述物理秩通道的数量时,未使用的物理秩通道执行时钟门控;当所述lora逻辑秩超过所述物理秩通道的数量时,通过时间折叠分多遍执行lora低秩适配计算。
9、可选地,所述标签匹配行合并单元包括浅缓冲,用于对比所述稠密输出行与所述低秩增量行的行标签,在行标签匹配时对二者执行相加合并,在行标签到达时序不匹配时,将先到达的行暂存于所述浅缓冲中,等待配对行到达后执行合并。
10、可选地,所述流式非线性引擎包括阶段路由器、行头全局集群和局部集群;所述阶段路由器用于将所述合并输出行路由至所述行头全局集群或所述局部集群;所述行头全局集群用于处理跨元素规约算子;所述局部集群用于处理局部算子。
11、可选地,所述流式非线性引擎还包括统计元数据寄存器,所述统计元数据寄存器用于存储前向计算得到的算子统计元数据,所述算子统计元数据供反向计算复用。
12、可选地,还包括片上存储子系统,所述片上存储子系统用于缓存等待更新的部分和、暂存于浅缓冲的未匹配行、侧辅单元驻留的中间状态以及非线性算子统计元数据,不分配存储完整层激活的存储容量。
13、可见,本发明的有益效果为:通过lora侧辅单元实现中间状态的片上驻留,显著降低了片外存储访问带宽需求;通过物理通道与逻辑秩解耦,提高了硬件资源的灵活性和利用率;通过流式非线性引擎和标签匹配行合并单元,实现了高效的数据流处理,提升了整体计算吞吐率。
14、第二方面,本发明提供了一种面向lora微调的transformer数据处理方法,应用于前述的transformer加速器,包括:
15、通过稠密权重驻留阵列对输入激活执行transformer主干网络的稠密投影计算,得到稠密输出行;
16、通过lora侧辅单元对所述输入激活并行执行lora低秩适配的前向计算与反向计算,得到低秩增量行,其中所述lora侧辅单元的物理通道数与lora逻辑秩解耦,前向计算得到的前向中间状态与反向计算得到的反向中间状态驻留在所述lora侧辅单元的本地寄存器中,在lora前向、反向与权重梯度生成阶段之间保持片上驻留;
17、通过标签匹配行合并单元,将携带行标签的所述稠密输出行与所述低秩增量行按照行标签进行匹配合并,得到合并输出行;
18、通过流式非线性引擎对所述合并输出行执行非线性处理,保存活跃行块及算子统计元数据。
19、可选地,对所述输入激活并行执行lora低秩适配的前向计算与反向计算,包括:以第一模式对输入激活与第一低秩矩阵执行矩阵乘法,得到所述前向中间状态;以第二模式对所述前向中间状态与第二低秩矩阵执行矩阵乘法,得到所述低秩增量行;对输出梯度与所述第二低秩矩阵的转置执行矩阵乘法,得到所述反向中间状态;基于所述反向中间状态与所述前向中间状态计算低秩适配矩阵的梯度。
20、可选地,所述方法还包括:在推理阶段与lora微调阶段复用同一套硬件数据通路,通过面向工作集的层调度,使稠密投影计算、lora低秩适配计算、行合并与非线性处理流水线重叠执行。
21、本发明的有益效果为:该方法通过并行执行前向与反向计算并保持中间状态片上驻留,有效减少了数据搬运延迟;通过复用硬件数据通路和流水线重叠执行,进一步提高了硬件利用率和系统吞吐量。
1.一种面向lora微调的transformer加速器,其特征在于,包括:
2.根据权利要求1所述的面向lora微调的transformer加速器,其特征在于,所述lora侧辅单元包括处理单元硬件和本地寄存器;所述处理单元硬件用于以第一模式对输入激活与第一低秩矩阵执行矩阵乘法,得到所述前向中间状态,以及以第二模式对所述前向中间状态与第二低秩矩阵执行矩阵乘法,得到所述低秩增量行,所述第一模式与所述第二模式复用所述处理单元硬件;所述本地寄存器用于驻留所述前向中间状态和所述反向中间状态。
3.根据权利要求1所述的面向lora微调的transformer加速器,其特征在于,所述lora侧辅单元具有多个物理秩通道,所述物理秩通道的数量与所述lora逻辑秩解耦;当所述lora逻辑秩不超过所述物理秩通道的数量时,未使用的物理秩通道执行时钟门控;当所述lora逻辑秩超过所述物理秩通道的数量时,通过时间折叠分多遍执行lora低秩适配计算。
4.根据权利要求1所述的面向lora微调的transformer加速器,其特征在于,所述标签匹配行合并单元包括浅缓冲,用于对比所述稠密输出行与所述低秩增量行的行标签,在行标签匹配时对二者执行相加合并,在行标签到达时序不匹配时,将先到达的行暂存于所述浅缓冲中,等待配对行到达后执行合并。
5.根据权利要求1所述的面向lora微调的transformer加速器,其特征在于,所述流式非线性引擎包括阶段路由器、行头全局集群和局部集群;所述阶段路由器用于将所述合并输出行路由至所述行头全局集群或所述局部集群;所述行头全局集群用于处理跨元素规约算子;所述局部集群用于处理局部算子。
6.根据权利要求5所述的面向lora微调的transformer加速器,其特征在于,所述流式非线性引擎还包括统计元数据寄存器,所述统计元数据寄存器用于存储前向计算得到的算子统计元数据,所述算子统计元数据供反向计算复用。
7.根据权利要求1所述的面向lora微调的transformer加速器,其特征在于,还包括片上存储子系统,所述片上存储子系统用于缓存等待更新的部分和、暂存于浅缓冲的未匹配行、侧辅单元驻留的中间状态以及非线性算子统计元数据,不分配存储完整层激活的存储容量。
8.一种面向lora微调的transformer数据处理方法,其特征在于,应用于如权利要求1至7任一项所述的面向lora微调的transformer加速器,包括:
9.根据权利要求8所述的面向lora微调的transformer数据处理方法,其特征在于,对所述输入激活并行执行lora低秩适配的前向计算与反向计算,包括:以第一模式对输入激活与第一低秩矩阵执行矩阵乘法,得到所述前向中间状态;以第二模式对所述前向中间状态与第二低秩矩阵执行矩阵乘法,得到所述低秩增量行;对输出梯度与所述第二低秩矩阵的转置执行矩阵乘法,得到所述反向中间状态;基于所述反向中间状态与所述前向中间状态计算低秩适配矩阵的梯度。
10.根据权利要求8所述的面向lora微调的transformer数据处理方法,其特征在于,所述方法还包括:在推理阶段与lora微调阶段复用同一套硬件数据通路,通过面向工作集的层调度,使稠密投影计算、lora低秩适配计算、行合并与非线性处理流水线重叠执行。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com