基于缓冲区分层结构的FPGA卷积神经网络系统的制作方法
本申请涉及系统架构设计领域,具体地,涉及一种基于缓冲区分层结构的fpga卷积神经网络系统。
背景技术:
1、在图像识别和目标检测的任务中,卷积神经网络的核心优势在于通过多层网络层自动学习并提取图像中的特征,其典型拓扑由卷积层、池化层和全连接层协同构成。然而,随着神经网络模型的深度与宽度的不断增加以及数据规模的持续扩大,对计算资源和存储能力提出了更高的要求。在此背景下,如何在有限的计算与存储资源下,将高吞吐量的卷积神经网络模型有效部署至终端设备进行高效推理,成为当前研究的关键挑战。
2、同时,在应用中利用处理器(gpu或者高性能cpu)+fpga的协同计算架构常被用于卷积神经网络的部署,该架构依托处理器进行软件层面算法任务与数据调度,由fpga承担计算密集型操作。但是在特定应用环境下,例如空间辐射环境,处理器由于其高功耗特性在一些低功耗等资源受限应用场景中难以部署,例如星载智能处理、在轨遥感图像处理等;同时又因设计成本高,难以对处理器进行有效抗辐照防护设计,导致该架构下的系统可靠性显著下降。
技术实现思路
1、为了克服现有技术中的至少一个不足,本申请提供一种基于缓冲区分层结构的fpga卷积神经网络系统。
2、在一个实施例中,一种基于缓冲区分层结构的fpga卷积神经网络系统,包括:积模块、池化模块和全连接模块;
3、卷积模块包括多个依次连接的卷积层,通过卷积运算逐层提取输入图像的空间特征;每个卷积层配备独立的控制电路,结合分层缓冲电路实现数据调度,利用卷积算子执行卷积运算,实现从底层边缘纹理到高层语义特征的层次化提取;
4、池化模块包括多个依次连接的池化层,对卷积模块输出的特征图进行选择与压缩,在保留显著特征的同时降低特征图维度;每个池化层配备独立的控制电路,结合分层缓冲电路实现数据调度,利用池化算子执行池化运算,实现特征图的选择与降维;
5、全连接模块包括多个依次连接的全连接层,将池化模块输出的多维特征图展平为一维特征向量,通过多层非线性映射完成特征融合和决策;每个全连接层配备独立的控制电路,结合分层缓冲电路实现数据调度,利用全连接算子执行全连接运算,得到全连接运算结果。
6、在一个实施例中,卷积层的控制电路包括读数据控制模块和写数据控制模块;
7、将训练好且精度为半精度浮点数的卷积权重参数、偏置参数以及半精度浮点格式的特征图存入ddr中;
8、读数据控制模块计算当前滑动卷积窗口在输入特征图和卷积权重参数中对应的位置,生成相应的ddr读数据地址,通过axi总线向ddr发起读请求;
9、主缓冲区通过axi总线接收从ddr读取的数据,根据读数据控制模块给出的控制信号,区分特征图、卷积权重参数和偏置参数,整理成原始的特征图数据段、权重参数数据段以及偏置参数数据段;
10、主缓冲区将原始的特征图数据段、卷积权重参数数据段以及偏置参数数据段送入多个次缓冲区,同时进行数据组织管理,形成与滑动卷积窗口相对应的窗口化数据;
11、卷积算子与次缓冲区数据一一对应,接收窗口化的特征图、卷积权重参数以及偏置参数,多通道并行执行卷积运算;
12、卷积模块的最后一个卷积层执行卷积运算后,生成的卷积结果送入写数据控制模块,写数据控制模块根据滑动卷积窗口的位置信息生成相应的ddr写数据地址,并通过axi总线向ddr发起写请求,将卷积结果写入ddr中。
13、在一个实施例中,池化层的控制电路包括读数据控制模块和写数据控制模块;
14、通过读数据控制模块计算当前池化运算窗口在输入特征图中对应的位置,生成相应的ddr读数据地址,并通过axi总线向ddr发起读请求;
15、主缓冲区通过axi总线接收批量数据,整理成原始的特征图;
16、主缓冲区将原始的特征图送入多个次缓冲区,同时进行数据组织管理,形成与池化运算窗口相对应的窗口化数据;
17、池化算子接收对应的次缓冲区窗口化的特征图,多通道并行执行池化运算;
18、池化模块的最后一个池化层执行池化运算后,生成的池化结果送入写数据控制模块,写数据控制模块根据池化运算窗口的位置信息生成相应的ddr写数据地址,并通过axi总线向ddr发起写请求,将池化结果写入ddr中。
19、在一个实施例中,全连接层的控制电路包括读数据控制模块和写数据控制模块;
20、将训练好且精度为半精度浮点数的全连接权重参数存入ddr中;
21、读数据控制模块获取输入的当前网络层特征图和全连接权重参数在ddr中存储的基地址,并按基地址分别生成相应的ddr读数据地址,并通过axi总线向ddr发起读请求;
22、根据读数据控制模块给出的控制信号,主缓冲区接收从ddr读取的数据,并区分特征图与全连接权重参数,整理成原始的特征图和全连接权重参数;
23、主缓冲区将原始的特征图和全连接权重参数送入次缓冲区做进一步数据组织管理;
24、全连接算子接收次缓冲区组织后的特征图和全连接权重参数,利用多通道并行执行全连接运算,得到全连接运算结果。
25、在一个实施例中,卷积算子采用多级树状卷积算子,结构为:第一级卷积窗口的特征图与卷积核参数进行逐元素并行乘法运算,第二级卷积窗口将第一级卷积窗口输出的乘法运算结果通过循环累加结构进行求和,第三级卷积窗口将第二级卷积窗口的累加结果与输入卷积窗口中卷积偏置参数进行相加,最终输出卷积窗口运算结果。
26、相对于现有技术而言,本申请具有以下有益效果:本申请的基于缓冲区分层结构的fpga卷积神经网络系统,基于fpga内部构建block ram缓冲区分层结构,从外部源数据存储区ddr与fpga可编程逻辑电路之间实现高吞吐量、低延迟的并行高效数据交互,同时将卷积神经网络算法转变为依靠高可靠逻辑架构设计的电路系统,为宇航环境且资源受限场景下的设计应用提供有价值的解决方案。
1.一种基于缓冲区分层结构的fpga卷积神经网络系统,其特征在于,包括:积模块、池化模块和全连接模块;
2.如权利要求1所述的系统,其特征在于,所述卷积层的控制电路包括读数据控制模块和写数据控制模块;
3.如权利要求1所述的系统,其特征在于,所述池化层的控制电路包括读数据控制模块和写数据控制模块;
4.如权利要求1所述的系统,其特征在于,所述全连接层的控制电路包括读数据控制模块和写数据控制模块;
5.如权利要求1所述的系统,其特征在于,所述卷积算子采用多级树状卷积算子,结构为:第一级卷积窗口的特征图与卷积核参数进行逐元素并行乘法运算,第二级卷积窗口将第一级卷积窗口输出的乘法运算结果通过循环累加结构进行求和,第三级卷积窗口将第二级卷积窗口的累加结果与输入卷积窗口中卷积偏置参数进行相加,最终输出卷积窗口运算结果。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com