火焰烟雾检测网络的部署验证方法和装置、设备及介质

摘要: 本发明实施例涉及目标检测,尤其涉及一种火焰烟雾检测网络的部署验证方法和装置、设备及介质。背景技术:1、森林火灾检测是森林资源和生态环境安全中的重要研究课题。基于...
火焰烟雾检测网络的部署验证方法和装置、设备及介质

本发明实施例涉及目标检测,尤其涉及一种火焰烟雾检测网络的部署验证方法和装置、设备及介质。

背景技术:

1、森林火灾检测是森林资源和生态环境安全中的重要研究课题。基于图像的火焰与烟雾识别通过提取火焰、烟雾的边缘、形态、颜色、纹理和空间位置特征,将火情早期判断问题转化为计算机视觉目标检测问题,可服务于森林防火、无人机巡检、智慧农业等应用。森林火灾图像通常采集于开放场景,易受到目标尺度、光照变化、云层遮挡、树木背景等因素影响。火灾早期阶段的火焰区域面积较小,烟雾目标边界模糊、纹理较弱,容易与云雾、阴影和复杂背景产生视觉混淆,从而带来误检、漏检风险。

2、传统森林火灾监测主要依赖人工巡检、传感器探测等方式,但在开放林区场景中容易受到覆盖范围、响应时延和环境干扰等限制。yolo 系列模型采用单阶段端到端检测思想,兼具检测精度和推理效率。现有火灾检测研究常通过增强特征融合、引入注意力机制等方式提升检测精度,但这些方法通常会增加网络结构复杂度、参数量和计算开销,不利于部署在zynq7020等资源受限fpga平台上。

技术实现思路

1、本发明实施例提供了一种火焰烟雾检测网络的部署验证方法和装置、设备及介质,能够在降低参数量、计算量和硬件映射复杂度的同时,保持对火焰形态、烟雾弱纹理、浅层边缘和局部轮廓信息的检测表达能力,并实现bn融合、int16定点量化和zynq7020 fpga板端部署验证。

2、第一方面,本发明实施例提供了一种火焰烟雾检测网络的部署验证方法,包括:

3、构建用于火焰烟雾检测的yolo-dsdfe检测网络,其中,所述yolo-dsdfe检测网络采用yolov4-tiny双尺度检测框架,以mobilenetv2轻量化主干网络作为主干网络,并在所述主干网络输出的深层特征处连接深度可分离深层特征增强模块;

4、利用火焰烟雾数据集对所述yolo-dsdfe检测网络进行训练,选取验证集上性能最优的权重模型;

5、对训练后的权重模型进行批归一化融合,将批归一化层的参数融合进卷积层的权重和偏置中,得到融合后的浮点参数;

6、按照预设缩放系数将所述融合后的浮点参数转换为int16定点参数,并导出为fpga板端可读取的二进制文件;

7、在fpga端通过ps/pl协同调度执行推理,ps端负责逐层配置卷积ip核的参数、管理特征图缓存地址及控制数据流向,pl端加载所述二进制文件,并利用自定义的可配置卷积ip核执行卷积计算;

8、在pc端读取fpga端输出的双尺度检测头原始数据,按照预设的锚框、置信度阈值及非极大值抑制阈值进行解码与后处理,完成检测结果的评估与验证。

9、在一些实施例中,所述yolo-dsdfe检测网络包括:

10、yolov4-tiny双尺度检测框架,包括高分辨率检测分支和低分辨率检测分支;

11、mobilenetv2轻量化主干网络,用于替换原yolov4-tiny的主干网络,所述mobilenetv2轻量化主干网络输出浅层特征和深层特征;其中,所述浅层特征的尺寸为26×26,经1×1逐点卷积调整至256通道后接入所述高分辨率检测分支;所述深层特征的尺寸为13×13,经1×1逐点卷积调整至512通道后接入所述低分辨率检测分支;

12、深度可分离深层特征增强模块,连接于所述mobilenetv2轻量化主干网络的深层特征输出端,用于对深层语义特征进行轻量化增强;所述深度可分离深层特征增强模块包括并行设置的第一分支和第二分支,所述第一分支依次串联有第一3×3深度卷积层、relu6激活函数层和第二3×3深度卷积层;所述第二分支串联有第三3×3深度卷积层;所述第一分支的输出端与所述第二分支的输出端连接至逐元素相加单元,所述逐元素相加单元用于对所述第一分支和所述第二分支的输出在通道维度和空间维度对齐后进行相加,生成增强后的深层特征输出至低分辨率检测分支。

13、在一些实施例中,所述高分辨率检测分支和所述低分辨率检测分支中均采用规则算子构建,所述规则算子包括1×1逐点卷积、3×3深度可分离卷积、relu6激活函数、上采样层及特征拼接层,且不包含注意力机制或动态分支结构。

14、在一些实施例中,所述卷积ip核支持标准卷积、逐点卷积及深度可分离卷积三种计算模式;

15、所述卷积ip核内部集成有输入缓存、权重缓存、偏置缓存、并行乘加阵列、偏置与激活单元及输出缓存;

16、所述卷积ip核通过axi总线接口与ps端及ddr存储器进行数据交互,所述ps端通过axi总线配置卷积核类型、步长、填充方式及特征图尺寸,所述pl端通过axi主机读写接口搬运特征图与参数数据。

17、在一些实施例中,所述在fpga端通过ps/pl协同调度执行推理,包括:

18、ps端从ddr存储器中读取输入图像数据及int16定点参数,并将参数加载至pl端卷积ip核的对应缓存中;

19、ps端逐层向pl端发送启动指令,配置当前层的输入特征图地址、输出特征图地址、卷积类型及步长参数;

20、pl端接收到指令后,启动卷积计算,计算完成后通过中断信号通知ps端,并将输出特征图写回ddr存储器的指定地址;

21、ps端根据网络拓扑结构,控制特征图在高分辨率检测分支、低分辨率检测分支及特征拼接层之间的流转,直至完成全部网络层的计算。

22、在一些实施例中,所述在pc端读取fpga端输出的双尺度检测头原始数据,按照预设的锚框、置信度阈值及非极大值抑制阈值进行解码与后处理,完成检测结果的评估与验证,包括:

23、在pc端构建与pytorch训练环境完全一致的后处理协议,包括相同的锚框尺寸、类别顺序、置信度过滤阈值及非极大值抑制交并比阈值;

24、对比fpga端输出的定点推理结果与pytorch端输出的浮点推理结果,计算两者在边界框坐标、置信度及类别概率上的偏差;

25、若偏差在预设容错范围内,则判定软件端与硬件端输出一致,模型适配成功。

26、在一些实施例中,所述方法还包括:

27、当特征图尺寸超出fpga片上块随机存储器bram的缓存容量时,ps端控制pl端对特征图进行分块处理,依次将图像块搬运至片上缓存进行计算,计算结果写回ddr存储器对应位置,通过重叠数据搬运和计算过程掩盖存储器访问延迟。

28、第二方面,本发明实施例还提供了一种火焰烟雾检测网络的部署验证装置,所述装置包括:

29、构建模块,用于构建用于火焰烟雾检测的yolo-dsdfe检测网络,其中,所述yolo-dsdfe检测网络采用yolov4-tiny双尺度检测框架,以mobilenetv2轻量化主干网络作为主干网络,并在所述主干网络输出的深层特征处连接深度可分离深层特征增强模块;

30、训练模块,用于利用火焰烟雾数据集对所述yolo-dsdfe检测网络进行训练,选取验证集上性能最优的权重模型;

31、融合模块,用于对训练后的权重模型进行批归一化融合,将批归一化层的参数融合进卷积层的权重和偏置中,得到融合后的浮点参数;

32、转换模块,用于按照预设缩放系数将所述融合后的浮点参数转换为int16定点参数,并导出为fpga板端可读取的二进制文件;

33、推理模块,用于在fpga端通过ps/pl协同调度执行推理,ps端负责逐层配置卷积ip核的参数、管理特征图缓存地址及控制数据流向,pl端加载所述二进制文件,并利用自定义的可配置卷积ip核执行卷积计算;

34、验证模块,用于在pc端读取fpga端输出的双尺度检测头原始数据,按照预设的锚框、置信度阈值及非极大值抑制阈值进行解码与后处理,完成检测结果的评估与验证。

35、第三方面,本发明实施例还提供了一种电子设备,包括:存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如第一方面所述的火焰烟雾检测网络的部署验证方法。

36、第四方面,本发明实施例还提供了一种计算机可读存储介质,存储有计算机可执行指令,所述计算机可执行指令用于执行如第一方面所述的火焰烟雾检测网络的部署验证方法。

37、根据本发明实施例提供的火焰烟雾检测网络的部署验证方法和装置、设备及介质,其中,火焰烟雾检测网络的部署验证方法包括:构建用于火焰烟雾检测的yolo-dsdfe检测网络,其中,yolo-dsdfe检测网络采用yolov4-tiny双尺度检测框架,以mobilenetv2轻量化主干网络作为主干网络,并在主干网络输出的深层特征处连接深度可分离深层特征增强模块;利用火焰烟雾数据集对yolo-dsdfe检测网络进行训练,选取验证集上性能最优的权重模型;对训练后的权重模型进行批归一化融合,将批归一化层的参数融合进卷积层的权重和偏置中,得到融合后的浮点参数;按照预设缩放系数将融合后的浮点参数转换为int16定点参数,并导出为fpga板端可读取的二进制文件;在fpga端通过ps/pl协同调度执行推理,ps端负责逐层配置卷积ip核的参数、管理特征图缓存地址及控制数据流向,pl端加载二进制文件,并利用自定义的可配置卷积ip核执行卷积计算;在pc端读取fpga端输出的双尺度检测头原始数据,按照预设的锚框、置信度阈值及非极大值抑制阈值进行解码与后处理,完成检测结果的评估与验证。基于此,本发明实施例能够在降低参数量、计算量和硬件映射复杂度的同时,保持对火焰形态、烟雾弱纹理、浅层边缘和局部轮廓信息的检测表达能力,并实现bn融合、int16定点量化和zynq7020 fpga板端部署验证。