一种图像目标检测方法及系统

技术特征：
1.一种图像目标检测方法，其特征在于，包括以下步骤：s1、构建用于图像目标检测的第一网络模型、第二网络模型和第三网络模型；所述第一网络模型、第二网络模型和第三网络模型中包括特征提取模块、特征融合模块和输出模块；其中，所述第一网络模型和第二网络模型中的特征提取模块均包含轻量型特征提取主干网；所述第二网络模型中的特征提取模块在所述轻量型特征提取主干网上引入瓶颈结构，所述第三网络模型中的特征提取模块和特征融合模块采用fpn结构；s2、根据所述第一网络模型、第二网络模型和第三网络模型分别生成相应的数字集成电路ip核，然后将所述数字集成电路ip核搭载在硬件系统上；s3、获取待进行目标检测的图像并对其进行预处理，根据所述图像的规格调用所述硬件系统上适配的数字集成电路ip核执行图像目标检测运算，输出得到目标检测结果。2.根据权利要求1所述的图像目标检测方法，其特征在于，所述轻量型特征提取主干网中包括若干特征提取卷积层，其中所有分辨率尺寸的特征提取卷积层压缩为1层。3.根据权利要求1所述的图像目标检测方法，其特征在于，所述第三网络模型中的fpn结构包含一个自底向上的特征提取路径和一个自顶向下的特征融合路径；所述特征提取模块设置在所述特征提取路径上对尺寸递减的特征图进行特征提取和抽样，所述特征融合模块设置在所述特征融合路径上对尺寸递增的特征图进行特征融合。4.根据权利要求1所述的图像目标检测方法，其特征在于，所述特征提取模块包括conv基本卷积单元和resblock残差单元；所述输出模块包括多个并行的输出端结构，用于生成对应尺寸的特征图解码信息以实现目标预测；所述输出端结构至少包括依次连接的特征图通道数调整层、归一化层、非线性转换层和特征整合层；所述输出模块通过将多个所述输出端结构输出的所述特征图解码信息进行融合判断得到最终目标检测结果。5.根据权利要求1所述的图像目标检测方法，其特征在于，所述s3步骤中，所述硬件系统运行时执行以下步骤：(1)数据导入：导入比特流文件，读取所述硬件配置文件，并为即将使用的权重、图像、偏置数据申请内存；(2)图像预处理：对读取的图片数据进行加工与重组，将任意尺寸的图片按比例缩放为预设的尺寸大小后储存为数组；并将用于储存图片数据的数组由三维空间变量压缩为一维变量，同时进行数值变换，将浮点数变换为硬件可计算的无符号整型数；(3)搭建网络及参数设置：基于所述第一网络模型、第二网络模型和第三网络模型中各模块进行硬件层次调用以及网络运行所需的参数设置，所述参数包括层数、层类型、特征图输入输出尺寸以及硬件资源地址访问信息；(4)特征提取：根据所述第一网络模型、第二网络模型和第三网络模型以及设置的参数对预处理图片的卷积与池化操作，得到图像待检测目标分类与定位信息；(5)图像后处理：对图像待检测目标分类与定位信息的数据结果进行分析，消除重合度较高的冗余预测框；根据图像待检测目标分类与定位信息，计算预测框的预测值，并根据所述预测值进行修正，得到检测目标的精确定位，并在图像中显示检测框。6.根据权利要求1～5任一项所述的图像目标检测方法，其特征在于，所述s2步骤包括：根据所述第一网络模型、第二网络模型和/或第三网络模型，分别进行数字硬件电路设计，在完成硬件电路设计后综合成数字集成电路ip核；
导入生成的数字集成电路ip核并构建相应的数字电路计算单元，创建顶层文件以及添加计算资源约束后进行综合仿真，最终生成目标检测硬件电路的比特流文件；根据所述比特流文件进行系统环境配置，包括创建计算资源支持包并建立应用工程进行功能开发与测试，生成可执行文件；将所述比特流文件和所述可执行文件下载到板载芯片上，得到用于图像目标检测的硬件系统。7.根据权利要求6所述的图像目标检测方法，其特征在于，所述硬件系统包括用于数据传输以及分配流程的状态控制端、用于卷积与采样计算的功能运算端，以及用于负责数据的读写和时序逻辑控制的数据总线；其中，所述功能运算端包括用于加速网络计算的卷积ip核和采样ip核，所述卷积ip核和采样ip核中包括数据输入模块、数据输出模块、输入输出缓存模块和权重缓存模块，所述采样ip核还包括用于执行第一网络模型、第二网络模型或第三网络模型中上采样与下采样计算的采样计算模块，所述卷积ip核还包括用于执行第一网络模型、第二网络模型或第三网络模型的卷积计算模块；在启动所述功能运算端中所有ip核进行计算加速前，所述状态控制端根据当前网络模型的结构信息通过数据总线对其进行初始化配置，输入数据模块将输入的图片数据与权重数据按照地址分别存入相应的缓存中；卷积计算模块和/或采样计算模块调用缓存中的数据工作，生成卷积和/或采样结果后按照地址分别存入相应的缓存中；数据输出模块按照地址将缓存中的结果通过数据总线输出到片外存储器中；当所有数据完成输出后，所述ip核通过数据总线输出停止信号，暂停或结束设备运行。8.根据权利要求1～5任一项所述的图像目标检测方法，其特征在于，所述s2步骤包括：设计所述第一网络模型、第二网络模型和/或第三网络模型的计算模块并进行验证，封装为独立运算的数字集成电路ip核；对各个独立运算的数字集成电路ip核进行搭建与连接仿真，生成硬件配置文件；通过以太网连接开发板，导入所述硬件配置文件，设计数据导入、图像预处理、参数设置、后处理以及特征提取功能的调用程序，整合完成用于图像目标检测的硬件系统。9.根据权利要求8所述的图像目标检测方法，其特征在于，所述硬件系统包括用于执行图像目标检测的功能运算端；所述功能运算端包括计算模块、时序控制模块、逻辑控制模块和传输协议模块；其中，所述计算模块包含所述第一网络模型、第二网络模型和/或第三网络模型的数字集成电路ip核；所述数字集成电路ip核包括数据加载单元、卷积单元、池化单元、重整单元、输出单元，以及若干存储块；则，所述步骤s3中调用硬件系统上适配的数字集成电路ip核执行图像目标检测运算的过程包括：所述传输协议模块通过以太网从片外存储器获取图像数据与权重数据并传输至计算模块；所述计算模块对输入的图像数据与权重数据分别通过不同的数据加载单元进行接收，并将图像数据和权重数据分别存放在多个并行的存储块中；卷积单元从相应的存储块中提取所需的图像数据与权重数据对不同尺寸的图像进行特征提取或对特征图进行卷积运算，并在网络迭代过程中与池化单元进行交互，实现特征
降维；采用流水线技术对所述卷积单元的层内卷积进行并行优化，以及，采用循环展开技术对所述池化单元的池化循环进行并行优化；使用数组形式对所述卷积单元和所述池化单元产生的数据进行存储，并将所述数组进行完全分割，为每个数组元素分配一个寄存器进行数据存储；在所述卷积单元和池化单元工作过程中，通过重整单元对特征图进行尺寸及维度调整；最后所述卷积单元将包含图像待检测目标分类与定位信息的数据结果传输至输出单元，由所述输出单元通过一个或多个存储块对检测结果进行存储及输出。10.一种图像目标检测系统，其特征在于，应用于权利要求1～9任一项所述的图像目标检测方法，所述系统包括搭载有用于对输入的图像进行目标检测的数字集成电路ip核；所述数字集成电路ip核中包括基于第一网络模型、第二网络模型和第三网络模型中任一模型的经过数字电路连接设计的计算模块；其中，所述第一网络模型、第二网络模型和第三网络模型中包括特征提取模块、特征融合模块和输出模块；其中，所述第一网络模型和第二网络模型中的特征提取模块均包含轻量型特征提取主干网；所述第二网络模型中的特征提取模块在所述轻量型特征提取主干网上引入瓶颈结构，所述第三网络模型中的特征提取模块和特征融合模块采用fpn结构。

技术总结
本发明涉及机器视觉技术领域，提出一种图像目标检测方法及系统，包括以下步骤：构建用于图像目标检测的第一网络模型、第二网络模型和第三网络模型；其中，第一网络模型、第二网络模型和第三网络模型中包括特征提取模块、特征融合模块和输出模块；其中，第一网络模型中的特征提取模块经过网络压缩得到，第二网络模型中的特征提取模块引入瓶颈结构，第三网络模型中的特征提取模块和特征融合模块采用FPN结构；根据第一网络模型、第二网络模型和第三网络模型分别生成相应的IP核，然后将IP核经过设计后搭载在硬件系统上；获取待检测的图像并对其进行预处理，根据图像的规格调用硬件系统上适配的IP核执行图像目标检测，输出得到目标检测结果。测结果。测结果。


技术研发人员：骆爱文 李媛 路畅 刘旭彬 陈之奂 郑烨 易清明
受保护的技术使用者：暨南大学
技术研发日：2022.08.10
技术公布日：2022/12/8