一种基于FPGA的可变膨胀卷积运算硬件系统的制作方法

技术特征：
1.一种基于fpga的可变膨胀卷积运算硬件系统，其特征在于，包括数据重排列单元(1)和卷积流水计算单元(2)，其中，所述数据重排列单元(1)用于将原始图像中随膨胀率变化的随机空域采样点整理成列向量，所述数据重排列单元(1)包括多级数据选择器(11)、读写双向移位缓存(12)和有限状态机(13)，所述有限状态机(13)能够对限定膨胀率范围内的膨胀率进行遍历并控制所述多级数据选择器(11)对所述随机空域采样点进行数据选择，所述读写双向移位缓存(12)用于获取并存储多级数据选择的数据以完成数据重排列；所述卷积流水计算单元(2)用于根据所述重排列的数据和卷积核参数进行卷积流水计算，并获得输出数据。2.根据权利要求1所述的基于fpga的可变膨胀卷积运算硬件系统，其特征在于，所述多级数据选择器(11)为n组k列多级数据选择器，用于根据所述随机空域采样点的中心点膨胀率从原始图像的一行n个像素点中选择中心点所需的k个空域采样点，其中，k为可变膨胀卷积的卷积核尺寸，n为所述卷积运算单元的列并行度；所述n组k列多级数据选择器的选择端为中心点的膨胀率，输入端用于输入对应膨胀率范围下的空域采样点。3.根据权利要求2所述的基于fpga的可变膨胀卷积运算硬件系统，其特征在于，所述读写双向移位缓存(12)包括n组k行k列个寄存器，其中，每组寄存器之间相互独立；在一组寄存器中，写方向由第m行中k列寄存器分别指向第m
‑
1行中对应的k列寄存器，其中m为2～k中的任意实数，读方向由第m个寄存器指向第m
‑
1个寄存器，其中m为2～k
×
k中的任意实数；所述读写双向移位缓存(12)第k行的n组k列寄存器的输入与所述n组k列多级数据选择器的输出连接，并由所述有限状态机(13)控制传输通路是否开启。4.根据权利要求1所述的基于fpga的可变膨胀卷积运算硬件系统，其特征在于，所述有限状态机(13)包括idle状态、rd_dilation状态、dilation状态和conv_calcu状态，其中，idle状态为初始状态，等待数据重排列开始信号；rd_dilation状态用于读取一行n个中心点的膨胀率；dilation状态用于依次完成限定膨胀率范围内所有膨胀率下空域采样点数据的选择并将选择后的数据传入读写双向移位缓存中以完成数据重排列；conv_calcu状态用于读取所述读写双向移位缓存中的数据以进行卷积计算。5.根据权利要求1所述的基于fpga的可变膨胀卷积运算硬件系统，其特征在于，所述卷积流水计算单元(2)包括n
×
m个数字信号处理子单元，所述n
×
m个数字信号处理子单元均连接所述读写双向移位缓存(12)和权重缓存，能够同时获取存放在所述读写双向移位缓存(12)中列并行度为n的特征图像数据的对应值以及存放在权重缓存中输出并行度为m的卷积核参数的对应值，以进行并行度为n
×
m的数据乘加运算。6.根据权利要求5所述的基于fpga的可变膨胀卷积运算硬件系统，其特征在于，所述数字信号处理子单元执行数据乘加运算的运算公式为a*b c，其中，a为像素点，b为对应的卷积核参数，c为前一次a*b c的计算结果，且第一次计算时c取0。7.根据权利要求1至6中任一项所述的基于fpga的可变膨胀卷积运算硬件系统，其特征在于，所述读写双向移位缓存(12)包括第一读写双向移位缓存单元和第二读写双向移位缓
存单元，所述第一读写双向移位缓存单元和所述第二读写双向移位缓存单元基于乒乓缓存的机制运行。8.根据权利要求7所述的基于fpga的可变膨胀卷积运算硬件系统，其特征在于，基于乒乓缓存的机制具体包括：对所述第一读写双向移位缓存单元进行写入，完成后所述有限状态机通知所述卷积流水计算单元读取所述第一读写双向移位缓存单元中的数据，并向所述第二读写双向移位缓存单元写入数据，完成后等待所述卷积流水计算单元读完所述第一读写双向移位缓存单元中的数据再向所述第一读写双向移位缓存单元中写入数据，同时卷积流水计算单元读取所述第二读写双向移位缓存单元中的数据，直至输入数据完全重排列完成。

技术总结
本发明公开了一种基于FPGA的可变膨胀卷积运算硬件系统，包括数据重排列单元和卷积流水计算单元，其中，数据重排列单元用于将原始图像中随膨胀率变化的随机空域采样点整理成列向量，数据重排列单元包括多级数据选择器、读写双向移位缓存和有限状态机，有限状态机能够对限定膨胀率范围内的膨胀率进行遍历并控制多级数据选择器对随机空域采样点进行数据选择，读写双向移位缓存用于获取并存储多级数据选择器选择的数据以完成数据重排列；卷积流水计算单元用于根据重排列的数据和卷积核参数进行卷积流水计算，并获得输出数据。本发明利用基于多级MUX和读写双向移位缓存的控制逻辑实现了可变膨胀卷积硬件加速，最大程度地实现了数据高效缓存重排列与卷积并行流水计算。现了数据高效缓存重排列与卷积并行流水计算。现了数据高效缓存重排列与卷积并行流水计算。


技术研发人员：赖睿 卢阳 官俊涛 袁野 常可铮 徐昆然 李奕诗
受保护的技术使用者：西安电子科技大学
技术研发日：2021.06.29
技术公布日：2021/11/4