基于软硬协同与流式非线性优化的端侧大模型加速方法及系统
本发明属于人工智能与边缘计算,具体涉及一种基于软硬协同与流式非线性优化的端侧大模型加速方法及系统。
背景技术:
1、近年来,以生成式预训练transformer(变换器)为代表的大语言模型(简称“大模型”)推动了人工智能领域的重要发展。大语言模型在自然语言处理、逻辑推理和多模态交互等任务中表现出极强的泛化能力。然而,当前大模型的主流部署模式高度依赖云端高算力gpu集群。这种云端推理模式在实际应用中正面临日益严峻的挑战:一方面,海量数据在终端与云端之间传输带来的网络延迟,无法满足工业控制、自动驾驶等实时性要求极高的边缘场景;另一方面,云端处理涉及敏感数据的上传,引发了用户对数据隐私与信息安全的广泛担忧。此外,高昂的服务器维护成本和网络带宽压力也限制了大模型向更广泛的末端设备普及。
2、为了打破大模型落地的瓶颈,将大模型直接部署在靠近数据源头的边缘端设备上成为了必然趋势。端侧部署不仅能实现更快的响应速度,还能在离线状态下保障数据的本地化隐私处理,极大地拓宽了人工智能的应用边界。本文所述端侧大模型,是指部署于边缘设备或资源受限嵌入式计算平台上的轻量化生成式预训练语言模型。该类模型通常采用基于transformer解码器的网络结构,由多个串联堆叠的transformer块组成,每个transformer块包括自注意力计算模块和前馈网络模块。其中,自注意力模块通过查询向量q、键向量k和值向量v之间的交互实现上下文信息建模,是端侧大模型推理过程中的主要计算负载。
3、然而,实现大模型在端侧设备的高效运行仍然面临重大技术瓶颈。大模型巨大的计算量和显存占用,与边缘设备有限的计算资源、片上存储和访存带宽之间存在着显著的矛盾,具体形成了“计算墙”和“存储墙”两大突出问题:
4、第一,边缘端计算算力与前沿大模型架构之间存在不匹配的问题,面临“计算墙”挑战。大模型每一层都涉及大规模的矩阵-向量乘法。传统的嵌入式cpu由于其串行执行机制和有限的向量执行单元,算力极其有限,难以处理transformer架构中密集的矩阵运算;而专用的嵌入式npu虽然具备一定的矩阵乘加效率,但其硬件架构往往是静态固化的,缺乏针对前沿大模型特有结构的动态灵活性和高并行适配能力,导致底层算力资源的复用率低下。
5、第二,自回归解码阶段的频繁片外访存以及传统的非线性算子极易引发“存储墙”瓶颈。在大模型“逐token”生成的自回归推理过程中,每轮token的生成都需要从片外存储器中重新全量加载一次巨大的模型权重文件和键值缓存,导致系统性能严重受制于内存总线的吞吐速率。与此同时,自注意力机制中的传统softmax算子为了寻求序列的全局最大值和归一化底数,在算法层面上要求在计算每个元素的输出前必须遍历整个输入向量,表现为多遍扫描的特性。这意味着硬件加速器必须开辟巨大的片上缓冲区来暂存中间计算结果,随着输入序列长度的增加,极易导致片上存储资源溢出和严重的流水线停顿。
6、第三,在端侧异构协同系统中,处理器系统与可编程逻辑之间的数据交互模型与存储一致性管理机制不够完善。传统的直接内存访问数据搬运模式往往由cpu主动发起,增加了处理器的控制开销;若处理系统(ps)端与可编程逻辑(pl)端之间的数据接口位宽、地址排布未与大模型的特征头维度及量化位宽进行物理层面的严格对齐,会导致总线的突发传输效率大幅滑坡,产生频繁的地址握手与行预充电延迟。此外,为了保障ps端二级缓存与pl端直接操作片外内存之间的数据一致性,若采用复杂的硬件一致性总线,会造成高昂的底层物理资源抢占与动态功耗激增。
7、综上所述,现有的边缘端部署与加速方法在面对参数规模较大的大模型时,由于片上存储极度匮乏、片外访存带宽受限、非线性算子阻塞流水线以及异构数据吞吐不畅等问题,难以在严格的低功耗预算下实现满足实时交互要求的端侧加速。因此,亟需一种能够从软硬协同、高并行计算矩阵流重构、流式非线性算子优化以及异构内存分区映射等多维度进行协同校正的大模型端侧部署与硬件加速系统。
技术实现思路
1、为了解决现有大语言模型在边缘端部署时面临的“计算墙”与“存储墙”双重瓶颈,以及传统非线性算子带来的极高访存延迟和异构系统交互效率低下等问题,本发明提出了一种基于软硬协同与流式非线性优化的端侧大模型加速方法及系统,针对transformer块中的自注意力计算流程,通过对查询-键(qk)点积、概率-值(pv)加权聚合过程进行硬件流水化设计,实现端侧大模型推理加速。
2、实现本发明的技术方案如下:
3、第一方面,本发明一种基于软硬协同与流式非线性优化的端侧大模型加速方法,包括:
4、任务异构划分:将处理系统ps端配置为核心控制域,将可编程逻辑pl端配置为计算加速执行域,在硬件层面上将端侧大模型transformer块中的注意力机制的计算流解耦为查询-键qk点积与概率-值pv加权聚合两个独立的流水线执行阶段;
5、qk点积计算:将qk点积计算流程解耦为数据预取与缓存、并行向量点积计算、结果寄存与时序对齐、以及动态缩放与饱和截断四个处理环节;其中,基于分组查询注意力(gqa)架构设置多个64路并行点积计算单元,64路并行点积计算单元将对应的64维查询向量q和共享键向量k执行8位定点乘加运算,并通过流水化加法树得到注意力得分;
6、pv加权聚合:在pl端物理电路上并行实例化基于流式online softmax与指数查找表的非线性计算重构模块,当接收qk点积计算输出的注意力得分定点数据时,通过定点指数查找表得到当前指数权重项和历史状态衰减因子,更新归一化分母累加状态,同时与经过片外存储器预取并完成时序对齐的值向量共同参与流式加权累加,更新当前的pv加权累加状态;归一化分母累加状态用于对同步获得的 pv 加权累加状态进行归一化。
7、可选地,本发明数据预取与缓存、并行向量点积计算、结果寄存与时序对齐、以及动态缩放与饱和截断四个处理环节的具体处理过程为:
8、数据预取与缓存环节从片外存储器连续读取量化后的键向量k,在一个完整的64维键向量k到达时将其锁存至片内寄存器;
9、并行向量点积计算环节将64维键向量k并发广播至多个点积计算单元,各点积计算单元将对应的64维查询向量q和共享的键向量k执行8位定点乘加运算,并通过流水化加法树得到注意力得分;
10、结果寄存与时序对齐环节对注意力得分进行寄存,同时按照点积流水线的计算延迟对输入有效信号进行同步延迟,使注意力得分与输入有效信号的有效标志在输出端保持时序一致;
11、动态缩放与饱和截断环节根据ps端下发的层级缩放因子和移位参数对所述注意力得分执行自适应移位和归一化截断,将其饱和映射至后级非线性计算重构模块所需的定点数值范围内。
12、可选地,本发明在ps端中将属于同一token的键向量k与值向量v进行交错连续排布,端侧大模型在自注意力计算时,在单次突发周期内联合提取键与值向量对。
13、可选地,本发明在总线交互架构方面,构建控制平面与数据平面隔离的双层总线交互模型;控制平面采用axi-lite协议接口,由ps端向映射在物理内存地址空间中的从设备控制寄存器组动态下发推理任务配置参数;数据平面将pl端硬件加速引擎配置为aximaster主设备模式,并将总线数据位宽设为512位,在单拍时钟周期内完整传输整段64维量化特征向量,实现点积计算单元与总线带宽的位宽级对齐突发传输。
14、可选地,本发明点积计算单元将对应的64维查询向量q和共享的键向量k执行8位定点乘加运算表示为:
15、
16、其中,表示向量分量的并行索引通道编号,表示查询向量q中第个8位定点特征分量,表示键向量k中第个8位定点特征分量,为可调硬件偏置项。
17、可选地,本发明当非线性计算重构模块接收来自前级qk点积计算输出的第个注意力得分定点数据时,首先根据当前注意力得分定点数据与前一局部最大值更新局部最大值,并基于定点指数查找表分别得到当前指数权重项以及历史状态衰减因子;非线性计算重构模块按照递推更新归一化分母累加状态,为更新前归一化分母累加状态;
18、同时,所述指数权重项及历史状态衰减因子被同步送入pv乘加计算,与经过片外存储器预取并完成时序对齐的值向量共同参与流式加权累加,按照更新当前的pv加权累加状态,为更新前的pv加权累加状态;
19、归一化分母累加状态作为 softmax 归一化分母,用于对同步获得的 pv加权累加状态进行softmax归一化,从而得到当前注意力头对应的注意力输出。
20、可选地,本发明在片外存储器中实施基于连续物理地址空间的分区映射策略,在端侧大模型权重与特征向量存储方面,利用连续内存分配技术在底层申请完全连续的物理缓冲区,并将axi主接口的突发传输长度配置为28。
21、可选地,本发明在pl端硬件加速计算启动前,ps端驱动程序显式对输入缓冲区执行清空操作,强制将二级缓存中的最新数据回写至片外存储器;在pl端完成计算、回写结果并由状态寄存器反馈完成位信号后,ps端驱动程序立即对输出缓冲区执行无效化操作,强制清除旧缓存内容并从片外存储器中重新加载加速结果。
22、可选地,本发明pv加权聚合计算结果经输出缓存及axi主接口写回片外存储器。
23、第二方面,本发明提供一种基于软硬协同与流式非线性优化的端侧大模型加速系统,其搭载于片上处理器系统与可编程逻辑阵列深度耦合的异构异质系统级芯片上,包括:搭载于可编程逻辑pl端的qk点积计算模块和pv加权聚合模块;
24、qk点积计算模块,用于将qk点积计算流程解耦为数据预取与缓存、并行向量点积计算、结果寄存与时序对齐、以及动态缩放与饱和截断四个处理环节;其中,基于分组查询注意力gqa架构设置多个64路并行点积计算单元,64路并行点积计算单元将对应的64维查询向量q和共享键向量k执行8位定点乘加运算,并通过流水化加法树得到注意力得分;
25、pv加权聚合模块是在pl端物理电路上并行实例化的、基于流式online softmax与指数查找表的非线性计算重构模块,用于在接收qk点积计算输出的注意力得分定点数据时,通过定点指数查找表得到当前指数权重项和历史状态衰减因子,更新归一化分母累加状态,同时与经过片外存储器预取并完成时序对齐的值向量共同参与流式加权累加,更新当前的pv加权累加状态;归一化分母累加状态用于对同步获得的 pv 加权累加状态进行归一化。
26、有益效果:
27、第一,本发明建立了端侧大模型自回归解码阶段的软硬协同全栈优化架构,通过将自注意力计算图在硬件物理层面上严格解耦为面向分组查询注意力的流水化qk点积阶段与pv乘加阶段,使硬件加速引擎的动态演进特征与大模型在极低资源边界下的特征表示退化机制相匹配,从底层打破了制约边缘智能普及的“计算墙”与“存储墙”瓶颈。
28、第二,本发明提出的基于局部状态递推的流式online softmax硬件架构及特征头并行空间布线,能够减少非线性算子对全量特征矩阵的中间暂存需求,降低片上存储资源占用,并有助于缓解序列长度增加带来的存储压力;同时,64路并行点积计算单元的级联设计配合多路并发拓扑,有助于提高数字信号处理(dsp)算子的利用效率,并使通用触发器(ff)和分布式存储(lutram)等逻辑资源得到合理利用。
29、第三,本发明构建的针对gqa架构的1对7多路广播计算拓扑与片上数据复用机制,实现了键向量片段的单次片外加载、七路并发复用,在物理层面上直接将q点积计算阶段的有效片外存储带宽提升了7倍。此外,在片外存储区实施的键向量k与值向量v交叉相邻存储排布,契合512位宽axi总线的线性地址突发传输节拍(单次突发长度配置为28),将存储器的物理行缓冲利用率大幅飙升了约40%,显著遏制了自回归解码阶段由于跨区域频繁行激活与预充电带来的带宽开销。
30、第四,本发明通过高能效比的定点化指数查找表近似方案与量化缩放动态增益补偿,切断了超越函数浮点迭代在芯片底层引发的高频翻转电流,取代了昂贵的cordic算法或多项式逼近逻辑。实验测试显示,整台异构系统在执行高强度推理任务时的片上总功耗被完美控制在3.21w的低能耗水平内,核心结温仅为32.4°c,在具备52.6°c(22.4w)高热余量的同时彻底摆脱了外部复杂散热设计的束缚,适配便携式手持终端、无人控制终端及工业边缘设备对高能效比的严苛要求。
31、第五,在边缘端极致有限的物理硬件约束下,本发明依然具有高响应吞吐与高算法保真度。实测数据表明,自回归解码的单token平均生成延迟被稳定截断在1.85s左右,处在设定的5s硬性实用化阈值内,相较于传统嵌入式处理器上的纯软件推理方案获得了更高的端到端吞吐加速比;且依托底层原生的动态位移截断缩放补偿,输出特征向量的综合文本生成准确率高达90.94%,显著优于预设的85%准确率保护阈值,确保了离线场景下端侧大模型系统级交互的功能稳定度与语义可靠性。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com