一种基于FPGA的多核并行压缩系统设计

摘要: 本发明涉及数据压缩与硬件加速,具体涉及一种基于fpga的多核并行压缩系统,尤其涉及一种采用多路独立通道结构、以固定页粒度进行数据处理的类lz4无损压缩硬件加速装...
一种基于FPGA的多核并行压缩系统设计

本发明涉及数据压缩与硬件加速,具体涉及一种基于fpga的多核并行压缩系统,尤其涉及一种采用多路独立通道结构、以固定页粒度进行数据处理的类lz4无损压缩硬件加速装置,可应用于内存数据压缩及通用pcie加速卡场景。

背景技术:

1、在大数据时代,海量数据的存储与传输对系统带宽和算力资源提出了严峻挑战。无损数据压缩作为减少数据体积、提升有效带宽的核心手段,已广泛应用于内存数据压缩、数据库页存储、网络通信及高速存储加速等场景。lz4(lempel-ziv 4)算法以其极高的压缩速度和低解压延迟著称,成为对吞吐率敏感场景的首选算法。

2、在软件实现层面,lz4官方实现通过simd指令集(如avx2、neon、sse)加速批量数据比较与内存拷贝,并结合多线程分块并行与编译器深度优化,在现代高性能服务器上已将单核压缩速度提升至数百mb/s至近gb/s量级。然而,即便经过充分优化,软件方案仍存在本质瓶颈:多线程并行时存在线程调度开销与内存带宽竞争,且压缩任务持续占用大量通用cpu周期,在数据中心场景下可消耗集群总cpu周期的显著比例;随着nvme ssd、高速网络和pcie 4.0/5.0接口的普及,内存带宽与cpu算力日益成为瓶颈,软件方案难以满足数十gbps级线速压缩的严苛需求。

3、近年来,随着异构计算架构在数据中心的广泛部署,将压缩任务从通用cpu卸载到专用硬件成为新趋势。专用集成电路(asic)通过深度定制化的数据通路和固定功能逻辑,为压缩算法提供了极致的能效比和吞吐率,如部分智能网卡与存储卸载引擎中集成的硬件压缩单元。asic将算法关键路径硬化为专用电路,具备高吞吐、低功耗、高面积效率的显著优势。然而,asic的不足也同样突出:流片后功能完全固定,缺乏可重构性,无法适应压缩算法参数或数据格式的迭代调整;非重复工程成本(nre)高昂,开发周期冗长,通常需要一年以上才能完成从设计到流片的完整流程;且仅在大规模量产时具备成本优势,对于中小批量部署或需要快速验证迭代的场景适应性极差,这限制了其在通用加速和算法演进频繁场景中的广泛应用。

4、为了弥补asic在灵活性与开发周期方面的不足,研究者开始转向现场可编程门阵列(fpga)平台实现压缩硬件加速。fpga无需流片即可部署,开发周期相对较短,可现场重编程以支持算法迭代升级,可直接以pcie加速卡形态插入服务器,实现即插即用的算力卸载。同时,fpga兼具丰富的并行处理能力和深度流水线能力,能够针对数据流进行定制化硬件设计,在吞吐率与灵活性之间取得了较好平衡。现有fpga压缩方案在提升单核性能方面作出了诸多努力:通过增大单周期并行处理宽度,将每周期处理字节数从单字节扩展到多字节;通过优化哈希计算流水线与多端口哈希表设计,提升匹配查找效率;部分方案将单核压缩吞吐提升至数gbps乃至十余gbps。然而,现有fpga方案仍存在明显不足:其一,单核架构受限于算法固有的反馈环路和关键路径延迟,时钟频率与并行度存在理论天花板,难以仅靠单核满足更高带宽场景;其二,多核扩展方案通常采用数据分块后跨核分发、乱序重排再聚合输出的架构,引入了复杂的中央调度器和重排序缓冲,显著增加了资源消耗和端到端延迟;其三,数据在跨核分发过程中,原本连续的数据流被切分到不同压缩核,导致同一数据流中的匹配历史记录分散在不同核的字典中,后续匹配机会丢失,造成压缩比下降;其四,现有方案为处理变长数据流,需要复杂的页边界管理和状态对齐逻辑,进一步增加了系统复杂度与资源开销。

5、综上所述,现有软件方案受限于cpu负载和内存带宽,asic方案受限于灵活性和开发成本,而现有fpga方案虽具备可重构优势,但在单核性能瓶颈、多核调度开销、压缩比保持及工程实现简洁性方面仍未取得有效平衡。因此,亟需一种兼具高吞吐率、线性可扩展性、低资源消耗及简洁工程架构的fpga多核并行压缩系统,以应对内存数据压缩及通用pcie加速场景对线速、低延迟、高压缩比和易部署的严苛需求。

技术实现思路

1、本发明意在提供一种基于fpga的多核并行压缩系统设计,以解决上述背景技术中提出的问题。

2、为达到上述目的,本发明提供如下技术方案:

3、一种基于fpga的多核并行压缩系统设计,包括以下步骤:

4、s1.构建多路独立直连通道的顶层架构,各通道经xdma的h2c(host to card)接口接收主机下发数据,以固定4kb页为处理粒度进行页标识分配与页边界管理,并将数据送入对应独立压缩核;各压缩核完成压缩后,经对应独立的c2h(card to host)接口将结果原路返回主机,各通道间数据流互不干扰,无需跨核分发与乱序重排;

5、s2.在各独立压缩核内构建匹配-打包一体化引擎,所述引擎包括匹配器与打包器两个子模块;所述匹配器通过多端口页随机存取存储器缓存原始数据,并启动多路并行哈希计算,经多存储体哈希表完成重复序列查找与扩展匹配,输出压缩序列描述符;所述打包器根据压缩序列描述符从字面量随机存取存储器中读取原始数据,经状态机控制完成描述符封装与数据组包;

6、s3.在所述匹配器内实施四路并行哈希与四存储体哈希表查询机制,每周期从页随机存取存储器中并行读取多组4字节序列,分别计算哈希值,并通过存储体选择逻辑将哈希请求分散至四个独立存储体;所述哈希表采用简单双端口存储器实现,一读一写,读端口查旧表项,写端口覆写新表项,并配置为读优先模式,以保证同址读写冲突时获取旧表项进行匹配判断;命中条件包括有效位校验、页id校验及4字节原文比对;

7、s4.在所述匹配器内实施扩展匹配与序列生成,对哈希命中的候选位置启动多行数据拼接扩展比较,在当前位置与历史位置各读取多行数据构成比较窗口,在窗口内逐字节比对确定最大匹配长度,并结合当前位置与历史位置信息生成包含字面量位置、字面量长度、偏移量和匹配长度的压缩序列描述符;

8、s5.在所述打包器内实施字面量缓存与128比特组包输出,通过双读口字面量随机存取存储器缓存原始页数据,根据压缩序列描述符中的字面量位置与长度发起读请求,经两级流水线对齐后,通过移位网络按字节偏移提取有效数据;采用128比特组包拼接缓冲器将8字节描述符与字面量数据连续拼接,当缓冲数据量达到16字节或遇到数据尾标志时触发输出。

9、更进一步的,所述步骤s1中的多路独立直连通道架构包括:顶层设置若干路独立的数据通道,每一路对应一组h2c输入接口与c2h输出接口;每路通道配置独立的页标识计数器,当检测到新的数据页起始时,将当前页标识锁定为活动页标识并递增下一页标识,当检测到数据尾标志时释放活动页标识;各路通道分别实例化独立的压缩核,压缩核的输入侧直接与对应h2c通道相连,输出侧直接与对应c2h通道相连,数据从输入到输出在同一通道内完成,不经过跨核调度模块。

10、更进一步的,所述步骤s2中的匹配-打包一体化引擎包括:所述匹配器设置有多端口页随机存取存储器,采用单写多读结构,写端口接收来自h2c通道的原始数据并按行地址顺序写入,多个读端口供哈希读取和扩展匹配读取并行访问;所述匹配器内嵌四路并行哈希计算单元,每路对不同的4字节序列执行乘法哈希运算;所述打包器内嵌压缩序列描述符先进先出缓存器,用于缓存匹配器输出的序列信息,并设置有双读口字面量随机存取存储器,两个读端口独立寻址以支持连续读取。

11、更进一步的,所述步骤s3中的四路并行哈希与四存储体哈希表包括:所述四路并行哈希计算单元每周期处理四个独立的4字节序列,每个序列经乘法散列后截取高位作为哈希值;将哈希值的低两位作为存储体选择信号,将剩余高位作为存储体内地址,使四路哈希请求自然分散至四个存储体;每个存储体采用简单双端口存储器,读端口用于查询旧表项,写端口用于写入新表项,读延迟经流水线打拍后与请求信号对齐;命中判断在第三拍执行,比较旧表项中的4字节原文与当前请求的4字节原文是否一致,并校验有效位和页id号。

12、更进一步的,所述步骤s4中的扩展匹配与序列生成包括:当哈希命中后,根据命中位置信息分别计算当前位置和历史位置的基础行地址,从多端口页随机存取存储器中读取当前侧三行数据和历史侧三行数据;将读取的多行数据拼接为比较窗口,从哈希已确认的4字节之后开始逐字节比对;采用分组优先级编码方式确定首个不等字节位置,从而得到扩展匹配长度;将字面量长度、偏移量、匹配长度及字面量起始位置打包为压缩序列描述符送入下游先进先出缓存器。

13、更进一步的,所述步骤s5中的打包器包括:所述打包器设置有状态机,依次为空闲态、描述符输出态、字面量请求态、字面量排空态和刷新态;在字面量请求态,根据压缩序列描述符中的字面量位置和长度计算读地址,通过双读口字面量随机存取存储器读取原始数据;读取的数据经两级流水线传递,第一级记录字节偏移和读取长度,第二级通过多级移位网络按字节偏移对齐有效数据;所述128比特组包拼接缓冲器维护一个256比特拼接缓冲区和长度计数器,新数据经掩码后与缓冲区低位按长度计数器左移拼接,当总长度达到16字节或遇到尾标志时,截取低128比特输出并更新缓冲区。

14、与现有技术相比,本发明具有如下有益效果:

15、本发明的技术优势体现在架构简洁性、多核线性扩展能力、高匹配并行度和紧凑组包效率方面。通过多路独立直连通道架构,数据从输入到输出在同一通道内原路完成,避免了跨核分发和乱序重排带来的调度开销、重排序缓冲资源消耗和端到端延迟;通过固定4kb页粒度和页标识管理,简化了边界处理逻辑,天然适配内存页压缩和存储页面对齐场景;通过四路并行哈希和四存储体哈希表,将单核匹配查找并行度提升至每周期四组序列,同时以存储体分散机制规避了多端口存储器的访问冲突;通过多端口页随机存取存储器和双端口字面量随机存取存储器,实现了原始数据、哈希读取、扩展匹配和字面量读取的高并发访问;通过128比特组包拼接缓冲器,将8字节描述符与变长字面量数据连续拼接为128比特对齐输出,提升了输出总线利用率。本发明通过上述技术协同,在保持较高压缩比的同时,实现了多核线性扩展能力和更低的系统复杂度,为内存数据压缩及通用pcie加速场景提供了高吞吐、低延迟、易部署的硬件压缩解决方案。