兼容多源监控设备的火焰识别方法和系统与流程

摘要: 本技术涉及视频火灾监测,尤其涉及一种兼容多源监控设备的火焰识别方法和系统。背景技术:1、火焰识别常用于仓储、厂区、园区、公共建筑、交通通道等已部署视频监控的场所...
兼容多源监控设备的火焰识别方法和系统与流程

本技术涉及视频火灾监测,尤其涉及一种兼容多源监控设备的火焰识别方法和系统。

背景技术:

1、火焰识别常用于仓储、厂区、园区、公共建筑、交通通道等已部署视频监控的场所。现有方案通常利用可见光摄像头采集视频画面,根据火焰的颜色、亮度、形态、运动变化或目标检测模型识别火焰;也有方案结合红外或热成像信息,用于发现烟雾、夜间或光照较差条件下的异常高温区域。

2、然而,现有技术在复杂监控场景下仍存在如下缺陷。

3、其一,低码率或经远程传输、多次转码的监控视频中容易出现块状压缩干扰。视频经过有损压缩后,编码块边界两侧的亮度会出现台阶式跳变,编码块内部原本连续的纹理被截断而呈现断续状态。在连续帧中,这种沿编码块边界规律分布的亮度跳变和纹理断裂,会表现为类似火焰闪烁的局部明暗变化,若直接送入基于颜色、亮度或运动的火焰识别环节,容易被误认为火焰频闪而产生误报。

4、其二,浓烟或灰白烟雾遮挡会削弱火焰在可见光画面中的特征。烟雾会使被遮挡区域的颜色饱和度下降、边缘清晰度下降、可见面积减小,真实火焰在可见光画面中可能仅表现为若隐若现的弱变化。单纯依靠颜色阈值、轮廓提取或单帧目标检测模型,容易因单帧特征不足而漏检远距离微小火焰或被浓烟包裹的火焰。

5、其三,热成像视频虽然能够发现高温区域,但生产车间中的固定加热设备、热管线、热反光表面、大功率灯具等非火灾热源同样会在热成像中形成持续高温异常。若仅依据温度阈值或静态高温斑点进行判断,容易把长期存在的固定热源误判为火焰。

6、其四,现有多模态方案往往只是将可见光识别结果与热成像识别结果作简单并列或加权融合,缺少针对时间、位置、移动方向、范围扩展和温度变化的轨迹级关联,既无法解释某个可疑区域为何应当被保留、削弱或排除,也难以利用热区域的动态特征去区分真实燃烧与固定热源。

7、其五,现有目标检测模型通常直接对整帧图像进行推理,存在算力消耗高、对存量多品牌监控设备适配成本高的问题;并且在电焊闪光、车灯、反光、红色物体等干扰频发的复杂工业现场,缺少对识别结果进行语义级复核和告警分级控制的手段,容易频繁触发无效告警。

技术实现思路

1、针对现有技术直接将混杂画面变化送入火焰识别环节而容易误报、真实火焰被烟雾遮挡而容易漏检、固定热源被误判为火焰、以及整帧推理算力消耗高且缺少语义复核的问题,本技术提供一种兼容多源监控设备的火焰识别方法和系统。其总体思路是:先对可见光连续帧的画面变化进行可解释分解,把低码率压缩造成的块状异常、烟雾遮挡造成的特征弱化与可能来自真实火焰的连续弱变化区分开;再借助热成像视频中高温区域的动态热变化轨迹进行时空关联,只有当可见光变化与热变化在时间、位置和变化趋势上相互支撑的区域才被确认,从而在识别之前排除干扰、补偿遮挡并抑制固定热源。

2、本技术第一方面提供一种兼容多源监控设备的火焰识别方法,包括:

3、获取同一监控区域的可见光视频和热成像视频;

4、依据所述可见光视频中编码块边界两侧的亮度差变化、编码块内部的纹理断续变化、颜色饱和度下降以及边缘清晰度下降,对连续帧的画面变化进行分解,得到压缩干扰影响区域、烟雾遮挡影响区域和火焰弱变化区域;

5、基于所述压缩干扰影响区域削弱所述火焰弱变化区域中的块状异常变化,并基于所述烟雾遮挡影响区域补偿所述火焰弱变化区域中被遮挡的连续变化,得到可见光火焰候选区域;

6、依据所述热成像视频中高温区域在连续帧中的位置变化、范围变化和温度变化,生成热变化轨迹;

7、将所述可见光火焰候选区域与所述热变化轨迹在时间和位置上进行关联,依据关联结果修正所述可见光火焰候选区域的边界和可信程度,以降低固定热源对应的热异常影响,得到火焰确认区域;

8、根据所述火焰确认区域输出火焰识别结果。

9、在一种可能的实现方式中,所述依据所述可见光视频中编码块边界两侧的亮度差变化、编码块内部的纹理断续变化、颜色饱和度下降以及边缘清晰度下降,对连续帧的画面变化进行分解,得到压缩干扰影响区域、烟雾遮挡影响区域和火焰弱变化区域,包括:

10、按照所述可见光视频的编码块排列方式对连续帧进行分块处理,提取候选块边界两侧的亮度差变化和候选块内部的纹理断续变化,形成压缩干扰影响区域;

11、在扣除所述压缩干扰影响区域对应的块状异常变化后,对画面中的颜色饱和度下降、边缘清晰度下降和灰白覆盖范围变化进行连续帧累积,形成烟雾遮挡影响区域;

12、根据所述压缩干扰影响区域和所述烟雾遮挡影响区域对画面变化的影响程度,提取连续帧中仍保持局部变化延续性的剩余变化区域,形成火焰弱变化区域。

13、在一种可能的实现方式中,所述将所述可见光火焰候选区域与所述热变化轨迹在时间和位置上进行关联,依据关联结果修正所述可见光火焰候选区域的边界和可信程度,以降低固定热源对应的热异常影响,得到火焰确认区域,包括:

14、将所述可见光火焰候选区域换算至热成像视频中的对应位置;

15、根据所述热成像视频中高温区域在连续帧中的移动方向、范围扩展状态和温度变化状态,形成所述热变化轨迹;

16、将所述可见光火焰候选区域在连续帧中的变化过程与所述热变化轨迹进行对应,生成可见光变化与热变化之间的关联关系;

17、根据所述关联关系调整所述可见光火焰候选区域的边界和可信程度,使缺少热变化支撑的块状异常变化被削弱,并使固定热源对应的热异常影响被降低,得到火焰确认区域。

18、在一种可能的实现方式中,所述根据所述火焰确认区域输出火焰识别结果,包括:

19、根据所述火焰确认区域在可见光视频中的位置,从对应的原始可见光视频帧中裁剪局部图像;

20、对所述局部图像进行尺寸归一化,并根据所述局部图像的亮度、噪点和曝光状态进行亮度增强、降噪或高光压缩处理;

21、将处理后的所述局部图像输入预先训练的yolo目标检测模型,所述yolo目标检测模型的训练样本包括远距离微小火焰图像、烟雾遮挡火焰图像、浓烟包裹火焰图像以及不同燃烧物形成的火焰图像;

22、由所述yolo目标检测模型输出火焰目标位置、火焰类别和目标置信度,并根据所述火焰目标位置与所述火焰确认区域的重合程度生成火焰识别结果。

23、在一种可能的实现方式中,所述按照所述可见光视频的编码块排列方式对连续帧进行分块处理,提取候选块边界两侧的亮度差变化和候选块内部的纹理断续变化,形成压缩干扰影响区域,包括:

24、在相邻帧中沿所述候选块边界提取边界两侧的亮度差变化,并在所述候选块内部提取纹理断续变化;

25、将所述亮度差变化与所述纹理断续变化进行组合,得到每一所述候选块对应的压缩影响值;

26、按照编码块排列位置对连续多帧的所述压缩影响值进行累积,并将累积后的所述压缩影响值回填至对应画面位置,形成压缩干扰影响区域。

27、在一种可能的实现方式中,所述在扣除所述压缩干扰影响区域对应的块状异常变化后,对画面中的颜色饱和度下降、边缘清晰度下降和灰白覆盖范围变化进行连续帧累积,形成烟雾遮挡影响区域,包括:

28、根据所述压缩干扰影响区域对可见光视频帧中的块状亮度变化和块状纹理断续变化进行扣减,得到扣减后的画面变化;

29、在扣减后的所述画面变化中提取颜色饱和度下降量、边缘清晰度下降量和灰白覆盖范围变化量;

30、将所述颜色饱和度下降量、所述边缘清晰度下降量和所述灰白覆盖范围变化量在连续帧中进行累积,得到烟雾遮挡影响区域。

31、在一种可能的实现方式中,所述根据所述压缩干扰影响区域和所述烟雾遮挡影响区域对画面变化的影响程度,提取连续帧中仍保持局部变化延续性的剩余变化区域,形成火焰弱变化区域,包括:

32、根据所述压缩干扰影响区域对连续帧中的块状亮度变化和块状纹理断续变化进行削弱处理;

33、根据所述烟雾遮挡影响区域对连续帧中被遮挡的颜色变化和边缘变化进行补偿处理;

34、将削弱处理和补偿处理后的画面变化进行连续帧累积,提取其中满足局部位置连续、变化方向连续和范围变化连续中的至少两种连续性的区域,形成火焰弱变化区域。

35、在一种可能的实现方式中,在根据所述火焰目标位置与所述火焰确认区域的重合程度生成所述火焰识别结果之后,还包括:

36、将所述火焰识别结果、所述火焰确认区域对应的局部图像以及所述局部图像在连续多帧中的变化片段,按照预设复核模板组织为包括检测框、目标置信度、火焰确认区域可信程度、热变化轨迹动态特征和待排除干扰类型的复核输入,并输入多模态视觉语言复核模型;

37、由所述多模态视觉语言复核模型输出结构化复核结果,所述结构化复核结果包括目标类别标签、复核置信度、干扰类型和建议告警控制动作;

38、当所述结构化复核结果表征目标属于电焊闪光、灯光、反光或红色物体干扰时,依据所述目标置信度、复核置信度、火焰确认区域可信程度以及预设告警控制规则,降低所述火焰识别结果对应的告警等级或抑制告警输出;

39、当所述结构化复核结果表征目标具有持续燃烧的视觉特征和动态变化特征时,依据所述目标置信度、复核置信度和火焰确认区域可信程度输出火焰告警信息。

40、本技术第二方面提供一种兼容多源监控设备的火焰识别系统,包括视频获取模块、画面分解模块、候选区域形成模块、热轨迹生成模块、区域修正模块和结果输出模块,各模块用于执行上述方法的相应步骤。

41、本技术第三方面提供一种电子设备,包括存储器和处理器,所述存储器用于存储计算机程序,所述处理器用于执行所述计算机程序时实现上述方法的步骤。

42、本技术提供的技术方案,通过在火焰识别之前先将可见光画面变化分解为压缩干扰影响区域、烟雾遮挡影响区域和火焰弱变化区域,并利用热成像高温区域的动态热变化轨迹进行时空关联修正,能够在低码率压缩、浓烟遮挡和固定热源共存的复杂场景中,削弱块状伪影造成的误报、补偿被遮挡火焰的连续变化证据、抑制固定热源造成的热异常误报;进一步通过局部裁剪送入yolo目标检测模型以及视觉大模型语义复核,在降低算力消耗的同时提高抗干扰能力,减少误报和漏报。