一种基于FPGA的卷积神经网络图像处理方法及装置与流程

技术特征：
1.一种基于fpga的卷积神经网络图像处理方法，其特征在于，步骤包括：s1.获取卷积层配置文件和权重参数，对卷积神经网络进行初始化；s2.fpga获取待检测目标图像输入至初始化后的卷积神经网络，对输入特征图使用预先构建的卷积逻辑核实现卷积运算，得到输出特征图，所述卷积逻辑核通过将cnn卷积层分解为多个逻辑运算以及加法运算所转换得到，卷积计算过程中将输入特征图、输出特征图分别存储在片内两组指定的存储空间中。2.根据权利要求1所述的基于fpga的卷积神经网络图像处理方法，其特征在于，所述步骤s2中，在卷积计算过程中，计算一层卷积时，从片内第一组存储空间中读取出输入特征图，卷积结果写入片内第二组存储空间中，计算下一层卷积时，从所述片内第二组存储空间中读取出数据以得到当前输入特征图，将卷积结果写入所述片内第一组存储空间中。3.根据权利要求1所述的基于fpga的卷积神经网络图像处理方法，其特征在于，所述步骤s2中,卷积计算时还包括根据片内所述存储空间的大小将输入特征图划分为多组的步骤。4.根据权利要求1所述的基于fpga的卷积神经网络图像处理方法，其特征在于，所述步骤s2中，将输入特征图输入至初始化后的卷积神经网络后，依次进行卷积计算、激活函数以及池化计算，得到预测结果；对所述预测结果进行后处理，得到目标识别结果，并将识别结果通过软核处理器进行传输，上述输入特征图的输入、卷积神经网络的计算以及后处理各步骤并行执行。5.根据权利要求1～4中任意一项所述的基于fpga的卷积神经网络图像处理方法，其特征在于，所述步骤s2中，在fpga中使用多个lut分别实现所述逻辑运算以及加法运算，以实现所述n*n卷积逻辑核，所述n*n卷积逻辑核通过将所述cnn卷积层中量化激活值按照预设量化位数进行按位拆分，分解为多个同或运算与多个加法运算的组合得到。6.根据权利要求1～4中任意一项所述的基于fpga的卷积神经网络图像处理方法，其特征在于，所述步骤s1中，使用训练服务器训练卷积神经网络中卷积层配置文件和权重参数，传输给软核处理器，并存储在所述ddr中，fpga从ddr中获取初始化所需的卷积层配置文件和权重参数，fpga输出的识别结果通过ddr传输给所述软核处理器。7.一种基于fpga的卷积神经网络图像处理装置，包括fpga，其特征在于，所述fpga上配置有：输入模块，用于获取卷积层配置文件和权重参数对卷积神经网络进行初始化，以及获取待检测目标图像；cnn计算模块，用于将待检测目标图像输入至初始化后的卷积神经网络，对输入特征图使用预先构建的n*n卷积逻辑核实现n*n卷积运算，得到输出特征图，所述n*n卷积逻辑核通过将cnn卷积层分解为多个逻辑运算以及加法运算所转换得到；两组片内存储空间，用于分别存储卷积计算过程中输入特征图、输出特征图。8.根据权利要求7所述的基于fpga的卷积神经网络图像处理装置，其特征在于，还包括依次连接的训练服务器、软核处理器以及ddr，所述ddr的另一端与所述fpga连接，所述训练服务器用于训练卷积神经网络中卷积层配置文件和权重参数，传输给所述软核处理器，并存储在所述ddr中，所述cnn计算模块的输出结果通过所述ddr传输给所述软核处理器。9.根据权利要求7或8所述的基于fpga的卷积神经网络图像处理装置，其特征在于，所
述cnn计算模块包括用于实现所述n*n卷积逻辑核的量化卷积核单元，所述量化卷积核单元包括：第一lut单元，包括多个lut，用于计算将ccn卷积层转换为n*n卷积逻辑核中的逻辑运算，所述n*n卷积逻辑核为通过将cnn卷积层分解为逻辑运算与加法运算的组合转换得到；第二lut单元，包括多个lut，用于计算将cnn卷积层转换为n*n卷积逻辑核中的加法运算；加法器单元，用于对所述第一lut单元、第二lut单元输出的数据进行求和，得到最终的结果。10.根据权利要求9所述的基于fpga的卷积神经网络图像处理装置，其特征在于，所述第一lut单元包括9个lut62，所述lut62由2个lut6构成，lut6为fpga最小可编程单元，所述第二lut单元包括1个lut64，所述lut64使用4个lut6构成，所述第一lut单元的输出端还设置有位拼接电路，所述第二lut单元的输出端还设置有末位补0电路，由所述位拼接电路将各所述lut62的各位数据结合在一起，通过末位补0电路将0数据拼接到数据末尾。

技术总结
本发明公开一种基于FPGA的卷积神经网络图像处理方法及装置，该方法步骤包括：获取卷积层配置文件，对卷积神经网络进行初始化；FPGA获取待检测目标图像输入至初始化后的卷积神经网络，对输入特征图使用预先构建的卷积逻辑核实卷积运算，得到输出特征图，所述卷积逻辑核通过将CNN卷积层分解为多个逻辑运算以及加法运算所转换得到，卷积计算过程中将输入特征图、输出特征图分别存储在片内两组指定的存储空间中。本发明具有实现方法简单、处理效率以及精度高且能够实现高帧率与低延迟等优点。点。点。


技术研发人员：李世星 安向京 渠军 孟德远
受保护的技术使用者：长沙行深智能科技有限公司
技术研发日：2021.11.30
技术公布日：2022/3/8