基于CPU和FPGA协同架构的多盘高并发存储控制方法及装置与流程
本发明涉及数据存储与计算机,尤其涉及一种基于cpu和fpga协同架构的多盘高并发存储控制方法及装置。
背景技术:
1、随着大数据、人工智能等领域的快速发展,计算机系统对数据处理能力和实时性的要求不断提高。cpu(central processing unit,通用处理器)虽然具有良好的控制能力和软件灵活性,但在处理发规模并行计算、流水线化数据处理时,存在处理效率低、延迟大、功耗高等问题。fpga(field programmable gate array,现场可编程门阵列)具有硬件级别的并行处理能力,可实现高吞吐量、低延迟的专用逻辑加速,适合执行规则性强、计算密集型的任务。然而fpga在复杂任务调度、操作系统交互等不规则逻辑处理方面不如cpu灵活,且单独使用fpga将大幅增加开发难度和维护成本。
2、为了实现高带宽的数据存储与管理,通常的处理方法是采用cpu与fpga相结合的方式,结合fpga的并行处理能力和cpu的通用管理能力。如中国专利公开号cn106776403a中,采用microblaze(fpga中由逻辑资源实现的小型cpu)和fpga逻辑资源相结合的架构实现多硬盘存储,内部采用axi(advanced extensible interface,高级可扩展接口)总线接口进行数据交互,该方案架构中多个硬盘仍然只能单个访问,无法最大化利用总线带宽。在公开号为cn111475436 a的发明专利中,提出的一种基于pcie交换网络的高速存储系统,利用pcie交换芯片将cpu与fpga和sata(serial advanced technology attachment,串行硬盘接口)存储阵列相连,实现多盘存储,该方案使用cpu进行文件管理,但是多个sata硬盘仍然只能单个访问fpga内存,多个硬盘共用pcie 3.0×4的数据带宽,无法最大化利用系统带宽。
3、在如图1所示的基于cpu与fpga的多盘存储架构图中,通常包含cpu 、pcie桥片、fpga和ssd等设备,fpga挂载有足够容量的内存缓存,除此之外还包括光纤数据卡用于数据接收。除内存之外,其余各个芯片设备之间全都采用pcie接口相连。
4、外部数据经光纤数据接口输入到光纤数据卡中,完成数据解析后通过pcie5接口输出,经pcie桥片转接后,从pcie4接口输入到fpga,fpga完成处理后通过ddr接口写入内存中。与此同时cpu通过pcie1接口查询fpga写入内存的数据量,当达到存盘阈值后,cpu再通过pcie2接口转pcie6、pcie7、 pcie8、pcie9中的其中一个,例如pcie6,给对应ssd1发送数据存盘指令。ssd1主动通过pcie6经过pcie桥片转接后从pcie3接口访问fpga的内存数据,将数据读出并写入到ssd1中对应的存储空间。
5、在上述存储架构和处理流程中,受限于cpu有限的地址空间,分配给 pcie6的地址范围通常远小于fpga的内存存储容量,使得ssd无法自由访问fpga完整的ddr缓存空间,限制了系统的存储带宽。在公开号为cn 120469938 b的发明专利中,利用双窗口滑动的方式实现了全内存数据的访问,由于其采用cpu与fpga共同维护数据类型缓冲区的方式导致cpu与fpga之间交互过于频繁,其滑动窗口内为某种数据类型的全部缓冲区导致其效率仍受到cpu有限的地址空间而影响,整个控制方法中任一环交互出现阻塞就会导致存储链路阻塞。
6、为了进一步提高存储性能的稳定性及容错性,有必要提出一种新的存储控制方法。
技术实现思路
1、本发明的目的之一是提出一种基于cpu和fpga协同架构的多盘高并发存储控制方法,将内存数据拆分为数据块,采用接收、状态管理、存储分布式设计减少耦合性,利用多窗口并行访问的方式,提升多硬盘存储高带宽的稳定性。本发明的目的之二是提出一种基于cpu和fpga协同架构的多盘高并发存储控制装置。
2、本发明的目的之一是通过以下技术方案实现的:
3、该种基于cpu和fpga协同架构的多盘高并发存储控制方法,是在cpu端配置数据接收控制模块、数据缓存状态管理模块、写盘请求管理模块和高并发存储模块,同时在fpga端配置循环缓存控制模块和滑动窗口模块;所述方法采用数据接收、状态管理、数据存储的分布式设计以降低模块间的耦合性;
4、数据接收阶段是由cpu端的数据接收控制模块与fpga端的循环缓存控制模块共同完成外部设备数据的接收并存入内存数据块;
5、状态管理阶段是由cpu端的数据缓存状态管理模块和写盘请求管理模块、fpga端的循环缓存控制模块协同完成缓存数据量的监测,并根据监测结果通过所述写盘请求管理模块生成块写请求;
6、所述数据存储阶段由所述高并发存储模块与所述滑动窗口模块协同完成数据块定位,并将数据写入固态硬盘。
7、进一步的,所述数据接收阶段的具体操作方式为:
8、数据接收控制模块包含接收主服务器任务以及所述接收主服务器任务为每一外部设备动态创建的客户链接任务;当外部设备发起建链请求时,所述接收主服务器任务处理建链事件并启动对应的客户链接任务;所述外部设备完成确认建链后,向所述客户链接任务发送握手信息;所述客户链接任务解析所述握手信息,在合法性校验通过后为所述外部设备分配rdma地址和心跳发送地址;所述客户链接任务实时检测所述外部设备的心跳报文,当收到断链事件或在预设超时时间内未检测到有效心跳,则删除对应的客户链接任务;在链接正常的状态下,所述外部设备通过rdma将数据传输至所述rdma地址对应的fpga端内存映射地址;所述循环缓存控制模块查询内存中的空闲数据块,将接收数据存储至空闲数据块,并将该空闲数据块的块编号放入对应数据类型的队列中,当前数据块存满时则寻找下一空闲数据块继续存储。
9、进一步的,所述状态管理阶段的具体操作方式为:
10、数据缓存状态管理模块通过指令传输pcie通道向fpga端的循环缓存控制模块发送指定数据类型的缓存数据量查询命令,接收返回的该数据类型已占用的数据块个数和最后一块数据块内数据占用量;若所述数据块个数为0,则返回重新发送缓存数据量查询命令;若所述数据块个数不为0,则所述数据缓存状态管理模块计算当前缓存数据总量;当所述当前缓存数据总量达到设定值时,所述数据缓存状态管理模块计算写请求数据量并向所述写盘请求管理模块下发写请求指令;当所述当前缓存数据总量不足设定值且连续超过设定的时间仍不足设定值时,所述数据缓存状态管理模块向fpga端的循环缓存控制模块发送带锁数据量查询命令,所述循环缓存控制模块锁定当前数据类型已占用的全部数据块,并反馈已锁定的数据块个数和最后一块数据块内数据占用量,所述数据缓存状态管理模块根据所述已锁定的数据块个数和最后一块数据块内数据占用量计算锁定数据量,并将所述锁定数据量作为写请求下发至所述写盘请求管理模块;所述写盘请求管理模块将收到的写请求拆分为块写请求,放入块写请求队列中。
11、进一步的,所述数据存储阶段的具体操作方式为:
12、利用高并发存储模块中的窗口交互模块判断所述块写请求队列是否为空,若非空则获取一条块写请求,所述块写请求至少包含数据类型信息和目标固态硬盘编号信息;所述窗口交互模块将所述数据类型通过指令传输pcie通道向fpga端对应的滑动窗口发送获取滑动指令,所述滑动窗口根据所述数据类型滑动至该数据类型最早存储的数据块处;所述窗口交互模块同时根据所述目标固态硬盘编号通过设定的pcie通道向目标固态硬盘下发写盘指令,并配置该目标固态硬盘的p2p通信地址为所述滑动窗口映射地址后发起dma写操作;在dma写操作完成后,所述窗口交互模块释放已写数据块为空闲块,返回重新判断所述块写请求队列是否为空,以继续处理下一块写请求。
13、进一步的,为确保接收的最大带宽,所有数据类型采用先到先得的形式共用内存中的数据块,每个数据块最多存储与设定值容量相同的数据。
14、进一步的,所述高并发存储模块拥有n个独立窗口交互模块,每个独立窗口交互模块与fpga端的一个固定滑动窗口交互,n为大于等于2的正整数。
15、进一步的,所述cpu端与fpga端之间包括指令传输pcie通道和数据传输pcie通道,所述指令传输pcie通道用于传输控制指令,所述数据传输pcie通道用于传输数据流,实现控制指令与数据流的物理分离。
16、本发明的目的之二是通过以下技术方案实现的:
17、基于cpu和fpga协同架构的多盘高并发存储控制装置,用于实现如前所述的方法,所述装置包括cpu端和fpga端;
18、所述cpu端包括数据接收控制模块、数据缓存状态管理模块、写盘请求管理模块、高并发存储模块;
19、所述数据接收控制模块包含接收主服务器任务单元以及所述接收主服务器任务单元为每一外部设备动态创建的客户链接任务单元;所述接收主服务器任务单元用于处理外部设备的建链事件并启动对应的客户链接任务;所述客户链接任务用于与外部设备完成握手及合法性校验、分配rdma地址和心跳发送地址,并用于检测外部设备心跳报文及在超时后删除对应的客户链接任务;
20、所述数据缓存状态管理模块用于通过指令传输pcie通道向fpga端的循环缓存控制模块发送缓存数据查询命令,接收返回的数据块状态信息,计算当前缓存数据总量,并在满足预设判决条件时下发写请求指令或锁定指令;
21、所述写盘请求管理模块用于根据数据缓存状态管理模块下发的写请求指令,将写请求拆分为块写请求并放入块写请求队列;
22、所述高并发存储模块包括n个独立窗口交互模块,每个窗口交互模块与fpga端的一个固定滑动窗口交互,用于判断块写请求队列是否为空、获取块写请求、向滑动窗口发送获取滑动指令、向固态硬盘下发写盘指令、配置p2p通信地址及发起dma写操作;
23、所述fpga端包括循环缓存控制模块和滑动窗口模块,所述循环缓存控制模块用于查询内存中的空闲数据块、将接收数据存储至空闲数据块、将块编号放入对应数据类型的队列中,并响应cpu端的状态查询命令及数据块锁定指令;所述滑动窗口模块包括与所述n个独立窗口交互模块一一对应的n个滑动窗口,每个滑动窗口用于根据接收到的数据类型滑动至该数据类型最早存储的数据块处。
24、进一步的,所述cpu端与fpga端之间包括指令传输pcie通道和数据传输pcie通道,所述指令传输pcie通道用于传输控制指令,所述数据传输pcie通道用于传输数据流,实现控制指令与数据流的物理分离。
25、进一步的,所述数据缓存状态管理模块为每种数据类型独立维护状态信息,所述循环缓存控制模块为每种数据类型独立维护对应的数据块编号队列。
26、本发明的有益效果是:
27、本发明采用数据接收、状态管理、数据存储三模块分布式解耦设计,各模块功能独立、职责清晰,降低了模块间耦合性,提升了系统容错性和可维护性;
28、同时采用控制指令与数据流分离的pcie通道设计,避免了控制指令与数据流争抢带宽,进一步提升了pcie带宽利用率和系统整体吞吐量。
29、(3)发明将内存数据拆分为固定大小的数据块(优选16mb),采用“先到先得”的共用内存策略,将传统循环缓冲区管理更换为数据块管理,减少了cpu与fpga之间的频繁交互,降低了cpu占用率,提高了数据接收的效率和稳定性,同时避免ssd盘频繁写入小数据量导致ssd盘性能下降的问题;
30、(4)本发明在数据接收阶段采用接收主服务器任务为每一外部设备动态创建独立客户链接任务的架构,通过合法性校验分配rdma地址,并结合心跳超时自动回收任务机制,实现了多外部设备接入场景下的资源隔离与精准管理,避免了无效链接长期占用系统资源,提升了多源数据并发接收的稳定性。
31、(5)本发明在状态管理阶段引入了缓存数据量阈值判决机制,当缓存数据量达到16m时,正常下发完整数据块的写请求;当缓存数据量不足16m且连续超过设定时间仍不足16m时,通过带锁数据量查询命令锁定当前数据块后强制下发写请求。该机制一方面尽量将数据累积至16m满块再发起写请求,减少了小数据块写入次数,提升了ssd写入带宽和寿命;另一方面通过判定超时强制下发机制避免了数据积压;在保证数据一致性的前提下最大程度减少了锁定操作对数据接收流程的影响,提升了系统整体效率。
32、(6)本发明在数据存储阶段采用窗口交互模块与滑动窗口双路并行控制架构,通过配置p2p通信地址发起dma写操作,实现了数据从fpga端内存至ssd的零cpu中转直写;配合dma完成后循环返回处理下一请求的连续工作模式,充分发挥了多窗口并行与dma传输的硬件加速能力,显著提升了多盘存储系统的整体写入吞吐量和带宽稳定性。
33、本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述,并且在某种程度上,基于对下文的考察研究对本领域技术人员而言将是显而易见的,或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com