一种基于FSDG-YOLO的无人机森林火灾烟雾检测方法及装置
本发明涉及计算机视觉、图像处理与智能森林防火,特别是涉及一种基于fsdg-yolo的无人机森林火灾烟雾检测方法及装置。
背景技术:
1、森林火灾具有发生突然、蔓延速度快和影响范围广等特点,火灾早期通常表现为远距离弱小火焰、局部烟雾或二者叠加。传统人工巡检、固定瞭望和卫星遥感在巡检效率、时空分辨率或部署灵活性方面存在限制。无人机具有机动性强、观测范围大和可快速抵近目标区域等特点,能够持续获取森林和山地区域的高分辨率图像,为森林火灾早期预警提供数据基础。
2、现有基于深度学习的火焰和烟雾检测方法通常由通用目标检测网络改进得到,并通过注意力机制、特征金字塔或增加小目标检测层增强检测能力。但是无人机视角下的火焰与烟雾具有明显不同的视觉特性:火焰通常具有局部亮度响应、尖锐边缘和不规则细长结构,且远距离火焰可能仅占据少量像素;烟雾则具有低对比度、弥散分布和边界模糊等特点,更依赖较大范围的上下文信息。
3、在连续空间下采样过程中,通用步长卷积容易在语义表示尚未充分形成之前削弱弱小火焰的细粒度结构;在多尺度特征融合过程中,固定的相加或拼接方式难以根据图像内容协调火焰细节与烟雾上下文,复杂植被纹理还可能随高分辨率特征进入检测头;直接增加p2检测分支虽然能够保留更多空间信息,但也会引入大量背景响应,从而影响小尺度火焰的定位稳定性。
4、因此,现有技术仍需解决以下问题:一是如何在下采样时同时保留小尺度火焰细节和大范围烟雾上下文;二是如何针对场景内容自适应地选择并融合细节、上下文与混合表征;三是如何在保留高分辨率p2预测能力的同时抑制复杂森林背景干扰,提高对弱小、不规则火焰的感知能力。
技术实现思路
1、为了解决上述现有技术存在的问题,本发明的目的是提供一种基于fsdg-yolo的无人机森林火灾烟雾检测方法及装置,通过火烟双流下采样、动态引导融合和火焰感知高分辨率引导三个阶段,对火焰和烟雾的异质视觉特征进行针对性处理。
2、为实现上述目的,本发明提供了如下方案:
3、一种基于fsdg-yolo的无人机森林火灾烟雾检测方法,包括:
4、采集待检测森林区域的图像或视频流,对所述待检测森林区域的图像或视频流进行预处理,获得标准化图像序列;
5、将所述标准化图像序列输入基于fsdg-yolo的目标检测模型,获得火焰和烟雾目标的类别标签、边界框坐标及置信度;所述目标检测模型利用训练集训练获得;所述训练集包括:数据增强后的原始图像以其元数据标签;
6、其中,所述目标检测模型以yolov11模型为基础检测框架,所述yolov11模型包括:骨干网络、颈部网络和多尺度检测头;将火烟双流下采样模块设置于骨干网络的p2阶段的入口,用于替换由p1阶段向p2阶段传递特征时原有的步长为2的下采样操作,用以执行火焰与烟雾双流下采样,并将动态引导融合模块设置于所述颈部网络的至少一个跨尺度融合节点,用以将当前尺度特征与上下文尺度特征进行动态融合,同时在所述多尺度检测头的输入端设置火焰感知引导模块,用以对所述骨干网络中p2检测分支输出的原始高分辨率特征进行空间选择性增强。
7、可选地,获得所述标准化图像序列包括:
8、按照预设帧率对所述待检测森林区域的图像或视频流进行帧采样,获取采样图像,将所述采样图像在保持长宽比的基础上缩放并填充至预设输入尺寸,随后将图像像素值进行归一化,获得所述标准化图像序列,并为每帧标准化图像关联时间戳、无人机位置和视频帧标识中的至少一种信息。
9、可选地,所述火烟双流下采样模块包括:
10、火焰细节保持分支,用于将所述骨干网络中p1阶段的最后特征提取单元的输出特征作为输入特征,并利用第一目标卷积将所述输入特征映射至目标维通道空间,再依次利用第二深度可分离卷积和预设扩张率的第三深度可分离卷积提取火焰边缘、尖端及不规则局部结构,并利用预设步长的第二目标卷积执行空间下采样,获得火焰细节保持特征;
11、烟雾上下文建模分支,用于利用第三目标卷积对所述输入特征执行通道投影,再采用目标核大小和步长的平均池化进行平滑下采样,随后依次通过第四深度可分离卷积、预设扩张率的第五深度可分离卷积和第三目标卷积,获得烟雾上下文特征:
12、特征拼接单元,用于将所述火焰细节保持特征和所述烟雾上下文特征沿通道维度进行拼接,得到双流拼接特征。
13、可选地,所述火烟双流下采样模块还包括:
14、通道重标定单元,用于对所述双流拼接特征执行全局平均池化,并依次经过两层通道映射、silu激活和sigmoid激活,得到通道注意力权重,利用所述通道注意力权重对所述双流拼接特征进行重标定,随后将重标定特征依次通过第四目标卷积和第六深度可分离卷积,形成融合特征;
15、快捷分支,用于利用预设步长的第五目标卷积对所述输入特征进行下采样,得到下采样特征;
16、特征相加单元,用于将所述融合特征和所述下采样特征逐元素相加,并通过预设卷积进行特征细化,得到dsdm输出特征,用以输入骨干网络中p2阶段的c3k2特征提取单元,继续提取p2层级的浅层空间细节和局部结构特征。
17、可选地,所述动态引导融合模块包括:
18、特征压缩单元,用于将当前尺度原始输入特征和上下文尺度特征分别利用第六目标卷积映射至隐藏通道空间,得到当前尺度压缩特征和上下文压缩特征;所述当前尺度压缩特征和所述上下文压缩特征的空间尺寸不一致时,采用最近邻插值将所述上下文压缩特征调整至与所述当前尺度压缩特征相同的空间尺寸;
19、细节增强分支,用于对所述当前尺度压缩特征进行通道平均,并利用固定sobel卷积核计算水平方向梯度和垂直方向梯度,并执行归一化,得到梯度幅值;
20、根据所述梯度幅值生成梯度引导门,并利用所述梯度引导门对所述当前尺度压缩特征进行空间加权,加权后的特征依次经过第七深度可分离卷积、预设扩张率的第八深度可分离卷积、由不同深度卷积组成的第一非对称卷积块和第二非对称卷积块,将不同感受野的输出通过可学习权重融合,并经过空间门控处理,获得细节增强特征;
21、上下文平滑分支,用于对所述当前尺度压缩特征和所述上下文压缩特征分别进行局部平均池化,并执行对齐操作;
22、将对齐后的特征沿通道维度拼接,并依次经过第七目标卷积、通道注意和第八卷积,获得上下文平滑特征;
23、混合分支,用于对所述当前尺度压缩特征依次经过第九目标卷积、第九深度可分离卷积、目标逐点卷积和通道注意,获得混合特征。
24、可选地,所述动态引导融合模块还包括:
25、动态路由单元,用于对所述当前尺度压缩特征执行全局平均池化,并通过动态路由映射生成三个路由值,随后经softmax归一化后得到动态路由权重;
26、利用所述动态路由权重对所述细节增强特征、所述上下文平滑特征和所述混合特征进行加权求和,得到动态融合特征;
27、保持门单元,用于通过空间保持门映射对所述当前尺度压缩特征进行特征变换,并经sigmoid激活生成空间保持门;所述空间保持门用于控制动态融合特征在不同空间位置的注入强度;
28、将所述空间保持门与所述动态融合特征逐元素相乘,并通过输出通道投影函数恢复至所述当前尺度原始输入特征的通道数,随后与所述当前尺度原始输入特征建立残差连接,并通过silu激活函数,得到dgfm输出结果,并作为所述颈部网络的p4融合节点的输出,一路输入所述多尺度检测头的p4检测分支,用以检测中等尺度的火焰和烟雾目标,另一路经过预设目标卷积下采样后输入颈部网络的p5融合单元,生成p5尺度特征。
29、可选地,所述火焰感知引导模块包括:
30、火焰定向增强干路,用于利用第十目标卷积压缩通道,再通过第十一目标卷积提取所述原始高分辨率特征的局部结构,随后利用由不同深度卷积组成的第三非对称卷积块捕获细长、不规则及具有方向延展特性的火焰结构,并经过空间门控和第十二目标卷积恢复通道后,得到火焰感知增强特征;
31、空间对齐门,用于利用第一层的第十三目标卷积压缩增强特征的通道数,再利用第二层的第十四目标卷积生成单通道空间响应,并通过sigmoid函数,得到空间引导门;
32、将经过所述空间引导门选择的火焰感知增强特征以残差方式注入所述p2检测分支输出的原始p2特征。
33、可选地,所述多尺度检测头包括:
34、多尺度检测单元,用于对经所述火焰感知引导模块增强的p2尺度融合特征,以及所述颈部网络输出的p3、p4和p5尺度融合执行类别预测和边界框回归,得到各尺度的候选检测框、类别置信度和位置参数,随后删除类别置信度低于预设阈值的候选框,并对剩余候选框执行非极大值抑制,获得所述火焰和烟雾目标的类别标签、边界框坐标及置信度。
35、可选地,该方法还包括:
36、根据预设图像缩放比例和填充偏移量将所述边界框坐标由网络输入坐标系映射回原始图像坐标系,并将检测结果与对应图像帧的时间戳、视频帧标识和无人机位置信息进行结构化封装,获得结构化检测结果;
37、其中,所述结构化检测结果至少包括目标类别、边界框左上角坐标、边界框右下角坐标和检测置信度,还包括图像采集时间、无人机经纬度、飞行高度、航向角、巡检任务编号以及原始图像索引。
38、本发明还提供了一种基于fsdg-yolo的无人机森林火灾烟雾检测装置,包括:
39、感知输入子装置,用于采集待检测森林区域的图像或视频流;
40、数据规整子装置,用于对所述待检测森林区域的图像或视频流进行预处理,获得标准化图像序列;
41、近端推理子装置,用于将所述标准化图像序列输入基于fsdg-yolo的目标检测模型,获得火焰和烟雾目标的类别标签、边界框坐标及置信度;所述目标检测模型利用训练集训练获得;所述训练集包括:数据增强后的原始图像以其元数据标签;
42、其中,所述目标检测模型以yolov11模型为基础检测框架,所述yolov11模型包括:骨干网络、颈部网络和多尺度检测头;在所述骨干网络的p2阶段将火烟双流下采样模块替换常规下采样操作,用以执行火焰与烟雾双流下采样,并将动态引导融合模块设置于所述颈部网络的至少一个跨尺度融合节点,用以将当前尺度特征与上下文尺度特征进行动态融合,同时在所述多尺度检测头的输入端设置火焰感知引导模块,用以对所述骨干网络中p2检测分支输出的原始高分辨率特征进行空间选择性增强。
43、本发明的有益效果为:
44、本发明通过在p2阶段设置火烟双流下采样模块,使火焰细节保持分支在下采样前提取局部结构,并使烟雾上下文建模分支在平滑下采样后扩大感受野,降低统一下采样对异质目标表征的不利影响。
45、本发明通过动态引导融合模块的三分支表征、输入自适应路由和保持门,在不同场景及不同尺度下动态协调局部火焰细节、连续烟雾语义和稳定混合信息,减少固定融合方式带来的特征冲突。
46、本发明通过火焰感知引导模块仅增强高分辨率p2特征,并保留p3、p4和p5预测分支,能够在不改变原有多尺度检测流程的情况下提高弱小火焰感知能力,同时抑制复杂植被背景响应。
47、本发明提出的模型保持端到端检测结构,可部署于无人机机载计算单元或地面边缘计算设备,适用于森林火灾巡检、早期预警和持续监测。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com