硬件友好型YOLO26无人机小目标检测算法与高效部署系统

摘要: 本发明涉及数字图像处理、数字集成电路、电子信息与深度学习,特别是基于yolo26的小目标检测算法软硬件协同部署的方法。背景技术:1、近年来,随着民用无人机(ua...
硬件友好型YOLO26无人机小目标检测算法与高效部署系统

本发明涉及数字图像处理、数字集成电路、电子信息与深度学习,特别是基于yolo26的小目标检测算法软硬件协同部署的方法。

背景技术:

1、近年来,随着民用无人机(uav)在各个领域的大规模应用,用于辅助无人机自动化执行任务的目标检测深度学习算法成为目标检测方向的热门领域。虽然有大量性能良好的目标检测算法问世,但如fast cnn、yolov11等算法的开发方向主要面向软件,其较高的计算复杂度和较大的模型体积使其难以在无人机的边缘处理器上运行,需要设计专用的硬件系统。为此,我们提出了一种面向无人机小目标检测的改进型yolo26算法,及其配套的fpga部署所需硬件电路,实现目标检测算法在无人机边缘平台上的低功耗实时推理部署。

技术实现思路

1、本发明的目的在于针对无人机所需目标检测算法计算复杂且体积较大,难以部署在资源严重受限的无人机上的问题,提出了一种针对无人机目标检测特性的yolo26改进算法,并提出配套算法优化策略和运行所需fpga设计,从而实现目标检测算法在无人机上的高效部署。

2、一种硬件友好型yolo26无人机小目标检测算法与高效部署系统,其特征在于,包括:针对小目标重构的yolo26算法框架、针对fpga部署的硬件友好优化方法、pc端数据格式重排算法,数据重排模块、运算数据缓冲器、脉动阵列运算单元、运算后处理单元、数据流控制器、dma单元;

3、所述针对小目标重构的yolo26算法框架,旨在强化微小特征的捕获能力,增加流入检测头的小目标信息量,实现小目标检测精度的提升;

4、所述针对fpga部署的硬件友好优化方法,通过大量使用线性计算模块取代原有非线性模块,减少在fpga部署时由于非线性计算带来的精度损失并降低硬件资源开销;

5、所述pc端数据格式重排算法,用于将输入权重与输入数据转化为便于fpga高速读取的数据流;

6、所述数据重排模块,包含指令寄存器、数据行缓存和输出选择器,用于将图像数据转化为脉动阵列计算单元所需的数据格式;

7、所述运算数据缓冲器,由fifo组成,数量与脉动阵列运算单元一致,用于将dma搬运的权重以及重排之后的数据按顺序缓存并缓慢送入脉动阵列计算单元;

8、所述脉动阵列运算单元,包含n×n个pe运算单元,每个pe运算单元由dsp计算单元和寄存器组成,用于完成系统的全部卷积和矩阵乘法运算;

9、所述运算后处理单元,包含激活模块和量化模块,由dsp计算单元和移位寄存器组成,用于将脉动阵列运算单元的输出进行激活、缩放和重新量化;

10、所述数据流控制器,指令生成器和流程记录器,用于按照设定好的流程,指挥各个模块实现数据搬移、数据重排、运算、后处理和结果输出;

11、所述dma单元,基于axi4接口设计,用于片外ddr与片内模块之间的数据搬运。

12、本发明所采用的技术方案具有的优点和有益效果是:

13、实现了在应用于无人机上的小目标检测算法及其fpga部署所需的硬件电路,降低了无人机机载端自主完成目标检测任务的部署难度与硬件开发门槛。该技术以基于yolo26的目标检测算法在fpga上的高效部署为核心目标,从软件层面深度优化小目标检测效果,降低计算复杂度,减少模型体积,从硬件层面设计专用的运算模块以及数据流,从而实现目标检测算法的高效部署。

1.一种硬件友好型yolo26无人机小目标检测算法与高效部署系统,其特征在于,包括:针对小目标重构的yolo26算法框架、针对fpga部署的硬件友好优化方法、pc端数据格式重排算法,数据重排模块、运算数据缓冲器、脉动阵列运算单元、运算后处理单元、数据流控制器、dma单元;

2.根据权利要求1所述一种硬件友好型yolo26无人机小目标检测算法与高效部署系统,其特征在于,所述针对小目标重构的yolo26算法框架,通过裁剪大目标检测层的模块,并增加小目标检测层的特征输出和特征融合,以在压缩模型冗余度的同时,提升小目标特征图的空间分辨率保持能力。

3.根据权利要求1所述一种硬件友好型yolo26无人机小目标检测算法与高效部署系统,其特征在于,所述针对fpga部署的硬件友好优化方法,通过将非线性注意力模块重构为线性注意力模块,移除大量对fpga压力较大的非线性计算,并通过静态量化将模型的32位浮点数量化为8位整型,以使模型推理过程中的全部乘加运算均可在定点流水线内完成,避免浮点运算单元介入。

4.根据权利要求1所述一种硬件友好型yolo26无人机小目标检测算法与高效部署系统,其特征在于,所述pc端数据格式重排算法,根据ddr擅长连续地址读写的特性,将图像数据和卷积权重按通道顺序重新排列为可以连续读取并直接送入脉动阵列计算单元的格式,简化数据流控制逻辑。

5.根据权利要求1所述一种硬件友好型yolo26无人机小目标检测算法与高效部署系统,其特征在于,所述数据重排模块,包含由大尺寸ram构成的行缓存,根据数据流控制器下发的图像数据尺寸和卷积核尺寸,将ddr中读入的图像数据按顺序读入到行缓存中,并通过指令寄存器控制数据选择器,将所述行缓存中的数据输出为卷积运算所需的连续数据流,送入运算数据缓冲器,用于后续计算。

6.根据权利要求1所述一种硬件友好型yolo26无人机小目标检测算法与高效部署系统,其特征在于,所述运算数据缓冲器,由2×n个大型fifo组成,共存储由数据重排模块产生的n条数据,以及由dma单元从ddr中搬运而来的2×n条权重,并根据脉动阵列运算单元的需求按预设时序流水线式供给。

7.根据权利要求1所述一种硬件友好型yolo26无人机小目标检测算法与高效部署系统,其特征在于,所述脉动阵列运算单元,由n×n个pe单元组成,pe单元由dsp构成,pe单元在每个时钟根据输入的数据和权重进行一次乘法运算和累加运算;每个pe单元内置缓存,用于存储乘法运算和累加运算的中间结果;pe阵列的数据和权重由运算数据缓冲器按预设时序流水线式供给,计算完成的结果输出到运算后处理单元。

8.根据权利要求1所述一种硬件友好型yolo26无人机小目标检测算法与高效部署系统,其特征在于,所述运算后处理单元,由移位寄存器和乘法器组成,将脉动阵列运算单元的输出结果进行激活,与dma从ddr中取出的缩放系数相乘并截断得到量化后的结果,并通过dma单元将量化后结果写回片外ddr存储器中,以供后续处理。

9.根据权利要求1所述一种硬件友好型yolo26无人机小目标检测算法与高效部署系统,其特征在于,所述数据流控制器,由ram和状态机构成,ram内部存储有硬件执行流程指令、每次计算所需的数据量以及当前所处的阶段,根据当前所处的阶段,将卷积和矩阵乘法所需的数据和权重通过dma调配给数据重排模块和运算数据缓冲器,并根据运算后处理单元的运行状态改变所处的阶段。