火焰目标检测方法、电子设备、存储介质与流程

1.本发明属于计算机图像处理技术领域，具体涉及一种火焰目标检测方法、电子设备、存储介质。


背景技术：

2.在现实生活中，火灾给我们的人身安全，财产安全带来巨大的威胁，如果火灾不及时控制，甚至会引起社会不安，所以火灾检测是安防监控领域的一个重要方向。
3.现有的火焰检测方法主要可以分为两大类：
4.(1)机器视觉技术还没大规模应用的时，火灾检测通常是通过安装相应的传感器装置，利用传感器来监测火灾产生的烟雾，高温，亮光等特征，从而实现火灾的检测，但是由于设备高度的限制，覆盖范围等因素，导致检测范围的局限性，如果想多场景覆盖，设备上的增加，必然带来成本上的压力。
5.(2)随着现在机器视觉技术的发展，利用机器视觉来实现火灾的检测成为一种可能，而且也有一些现有的技术方案：在传统视觉技术方面，有利用火焰特征来进行监测的。例如利用采用rgb颜色来分析分析火焰，将采集的火焰图片分别提取rgb通道，利用火焰的rgb分布特征来设定相应的阈值，从而达到检测的作用。还有结合火焰动态频率特征，来实现火焰的判别。随着机器学习、深度学习的发展，也有利用神经网络，尤其是卷积神经网络来训练火焰检测模型，利用训练的模型，来实现火焰目标的检测。
6.现有的一些火焰检测算法，不管是利用传统图像方法或者卷积神经网络方法的火焰检测算法具有较高误报的问题，例如：
7.(一)传统的机器视觉方法采用人工的先验知识，利用火焰的通道特征、边缘特征来进行火焰判断，但是基于图像视觉方法这种严重依赖于人工设置的阈值，抗干扰性不强，自适应不强，很容易出现漏报、误报。
8.(二)而近些年随着深度学习在机器视觉领域的深入发展，利用深度学习的方法来检测火焰也有不少方案，但是，卷积神经网络的训练是需要大量的训练数据来支撑，训练数据的样本对模型的鲁棒性具有很大的影响，同时，深度学习的本质导致模型对火焰的检测理论上并不能达到100％的准确率，一些跟火焰相似的图片也很容易被检测模型识别成火焰。而火焰检测在安防等监控场景下，具有报警属性，需要较高的准确率甚至是百分百的准确率，不然误检也会带来相应的资源浪费，比如报警后需要人员亲自去现场确认。


技术实现要素：

9.本技术的一个目的是提供一种火焰目标检测方法的新技术方案，能够提高检测效率和检测准确率。
10.本发明的第一方面，提供了一种火焰目标检测方法，包括以下步骤：s1、获得图像；s2、采用深度学习卷积神经网络进行火焰检测模型的训练，得到检测模型yolo-v5；s3、通过所述检测模型yolo-v5对每一帧所述图像进行检测，得到初步的检测结果；s4、通过基于火
焰图像特征的过滤模块对所述初步的检测结果进行过滤；s5、对符合判断条件的判断检测目标为火焰，否则判断为误判。
11.根据本发明实施例的方法，采用基于深度学习和火焰特征形态相结合的级联火焰目标检测方法，能够降低误检率。
12.根据本发明的一个实施例，步骤s1中，采用摄像头实时拍摄，获得所述图像。
13.根据本发明的一个实施例，步骤s3中，通过所述检测模型yolo-v5检测得到火焰在输入的所述图像的坐标值。
14.根据本发明的一个实施例，所述坐标值为火焰目标的四个坐标值，所述四个坐标值分别为所述火焰目标的中心点坐标x、中心点坐标y、目标框的长度和目标框的宽度。
15.根据本发明的一个实施例，步骤s2包括：s21、收集整理火焰样本图像，构建训练、测试样本集合，标注目标检测样本；s22、通过步骤s21标注的训练集合，使用yolo-v5网络进行训练，形成检测初始模型；s23、收集、整理现场场景火焰样本图像，构建训练、测试样本集合，标注目标检测样本；s24、通过步骤s23标注的训练集合，在步骤s2训练的所述检测初始模型的基础上进行模型微调，得到火焰检测模型。
16.根据本发明的一个实施例，步骤s4中，基于火焰图像特征的过滤模块从火焰的动态特征和静态特征对火焰检测模块检测的火焰区域进行判别过滤。
17.根据本发明的一个实施例，所述动态特征为频率特征、能量特征，所述静态特征为rgb彩色分量特征和hsi颜色分量特征。
18.根据本发明的一个实施例，步骤s4中，在同时满足频率特征、能量特征、rgb彩色分量特征和hsi颜色分量特征时，判断为火，否则过滤掉该误检结果。
19.本发明的第二方面，还提供了一种电子设备，包括：处理器和存储器，在所述存储器中存储有计算机程序指令，其中，在所述计算机程序指令被所述处理器运行时，使得所述处理器执行上述任一项实施例所述的方法。
20.本发明的第三方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器运行时，使得所述处理器执行上述任一项实施例所述的方法。
21.通过以下参照附图对本技术的示例性实施例的详细描述，本技术的其它特征及其优点将会变得清楚。
附图说明
22.被结合在说明书中并构成说明书的一部分的附图示出了本技术的实施例，并且连同其说明一起用于解释本技术的原理。
23.图1是本发明的一个实施例的火焰目标检测方法的流程图；
24.图2是本发明的又一个实施例的火焰目标检测方法的流程图；
25.图3a是本发明的一个实施例的检测到的火焰原图；
26.图3b是图3a中火焰的检测结果图；
27.图4是本发明的又一个实施例的火焰目标检测方法的流程图；
28.图5是本发明实施例的电子设备的工作原理图。
29.附图标记：
30.电子设备100；
31.存储器110；操作系统111；应用程序112；
32.处理器120；网络接口130；输入设备140；硬盘150；显示设备160。
具体实施方式
33.现在将参照附图来详细描述本技术的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本技术的范围。
34.以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本技术及其应用或使用的任何限制。
35.对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
36.在这里示出和讨论的所有例子中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它例子可以具有不同的值。
37.应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
38.下面首先结合附图具体描述根据本发明实施例的火焰目标检测方法。
39.如图1所示，根据本技术实施例的火焰目标检测方法，包括以下步骤：
40.s1、获得图像。根据本技术的一个实施例，步骤s1中，采用高清摄像头实时拍摄，获得图像。
41.s2、采用深度学习卷积神经网络进行火焰检测模型的训练，得到检测模型yolo-v5。
42.s3、通过检测模型yolo-v5对每一帧图像进行检测，得到初步的检测结果。也就是说，利用每一帧图像进行分析检测。并在得到检测模型yolo-v5后对高清摄像头获取的每一帧图像进行检测，得到初步的检测结果。
43.s4、通过基于火焰图像特征的过滤模块对初步的检测结果进行过滤。也就是说，利用本技术的基于火焰图像特征的过滤器对检测结果进行过滤。
44.s5、对符合判断条件的判断检测目标为火焰，否则判断为误判。也就是说，本技术利用级联多层检测方法，通过过滤器来过滤掉深度学习网络的误检结果，得到期望得到的检测结果。
45.相对于只采用卷积神经网络(cnn)检测火焰的方案，在利用cnn检测火焰时，一些和火焰非常相近的光源，例如夜间时候一些光源：灯泡，车灯等会给检测带来误报。经常的误报给实际的产品带来不好的体验。
46.需要说明的是，本技术的检测整体流程可以分为两大模块，分别为检测模型yolo-v5和过滤模块。其中检测模型yolo-v5为基于cnn的目标检测模块，过滤模块为基于火焰特征的过滤模块。
47.下面结合具体实施例对根据本技术实施例的火焰检测流程进行详细说明。
48.首先，如图2所示，输入图像至基于cnn的目标检测模块，随后检测区域，并输入基于火焰特征的过滤模块。根据是否符合判断条件，判断是否为火。
49.由此，本技术采用基于深度学习和火焰特征形态相结合的级联火焰目标检测方法，能够降低误检率。
50.在本技术的一些具体实施方式中，步骤s3中，通过检测模型yolo-v5检测得到火焰在输入的图像的坐标值。
51.如图3所示，其中图3a为检测到的火焰原图，图3b为检测结果图，检测结果中的坐标值为火焰目标的四个坐标值，四个坐标值分别为火焰目标的中心点坐标x、中心点坐标y、目标框的长度h和目标框的宽度w。
52.也就是说，在整个火焰检测的第一阶段，本技术使用检测框架yolov5来检测火焰，得到火焰在图像的坐标位置bounding-box(bounding-box是指火焰在输入图像的四个火焰目标坐标值(x,y,w,h)，其中x,y,w,h分别代表在视频图中火焰目标的中心坐标x,y、以及目标框的长度和宽度)。
53.根据本技术的一个实施例，步骤s2包括：
54.s21、收集整理火焰样本图像，构建训练、测试样本集合，标注目标检测样本。
55.s22、通过步骤s21标注的训练集合，使用yolo-v5网络进行训练，形成检测初始模型。
56.s23、收集、整理现场场景火焰样本图像，构建训练、测试样本集合，标注目标检测样本。
57.s24、通过步骤s23标注的训练集合，在步骤s2训练的检测初始模型的基础上进行模型微调，得到火焰检测模型。
58.也就是说，构建基于yolo-v5的火焰检测模型步骤可以概括为：
59.(1)收集整理火焰样本图像(公共样本集)，构建训练、测试样本集合，标注目标检测样本。
60.(2)通过(1)步骤标注的训练集合，使用yolo-v5网络进行训练，形成检测初始模型a。
61.(3)收集整理现场场景火焰样本图像，构建训练、测试样本集合，标注目标检测样本。
62.(4)通过(3)步骤标注的训练集合，在(2)训练的初始模型a基础上进行模型微调，最终得到火焰检测模型b。
63.利用检测模型b，就可以对输入的图像进行检测，得到火焰目标位置。
64.在本技术的一些具体实施方式中，步骤s4中，基于火焰图像特征的过滤模块从火焰的动态特征和静态特征对火焰检测模块检测的火焰区域进行判别过滤。
65.也就是说，基于火焰特征的过滤模块目前分别从火焰的动态特征：频率、能量以及静态特征rgb彩色分量和hsi颜色分量总共四个特征对火焰检测模块检测的火焰区域进行判别过滤。
66.根据本技术的一个实施例，动态特征为频率特征、能量特征，静态特征为rgb彩色分量特征和hsi颜色分量特征。
67.也就是说，考虑到火焰是缓慢运动的，虽然整体没有什么大的变化，但是实际测试中，火焰的外焰部分是运动的，所以火焰存在一定的频率。另外，火焰的燃烧的物理变化会带来火焰能量的不均衡分布，所以利用火焰的这两个运动特征，来区分和火焰相近光源的
非运动目标。
68.同时，通过对火焰图片的rgb彩色分量(通常一张彩色图片由三个通道组成，分别是r、g、b通道)大量统计，可以知道，大部分情况下，火焰图片的红色(r)和绿色(g)分量会很大，并且绿色(g)分量会大于蓝色(b)分量。
69.所以利用rgb的判断依据为：
70.r》r_avg&&g》g_avg&&r》g》b。其中r_avg和g_avg为图像红、绿分量的均值。
71.因为火焰具有很强的颜色特征，为了更加准确的判断火焰，引入hsi判据，其中hsi是数字图像一种评判模型，分别代表着色调(h)、饱和度(s)、亮度(i),判别依据为：
72.h_min《h《h_max&&s_min《s《s_max&&i_min《i《i_max。其中h_max和h_min为分量的高低阈值。s_max、s_min、i、i_min和i_max同理。
73.在本技术的一些具体实施方式中，步骤s4中，如图4所示，在同时满足频率特征、能量特征、rgb彩色分量特征和hsi颜色分量特征时，判断为火，否则过滤掉该误检结果。
74.总而言之，根据本技术实施例的火焰目标检测方法，首先使用cnn深度学习的方法进行火焰检测，得到目标区域后，利用本技术提出的基于火焰特征过滤模块，对目标区域进行“过滤”判别，对符合判断条件的判断检测目标为火焰，否则判断为误判。本技术提出“级联”检测的思想，对火焰进行检测判别，从而实现更准确的火焰检测方法。在实际测试中，实际测试准确率相比于单纯的深度学习目标检测算法(同一数据集)能提升9％的准确率，准确率达到95.1％。
75.另外，本发明实施例还提供了一种计算机存储介质，所述计算机存储介质包括一条或多条计算机指令，所述一条或多条计算机指令在执行时实现上述任一所述的方法。
76.也就是说，所述计算机存储介质存储有计算机程序，所述计算机程序被处理器运行时，使得所述处理器执行上述任一所述的方法。
77.如图5所示，本发明实施例提供了一种电子设备100，包括存储器110和处理器120，所述存储器110用于存储一条或多条计算机指令，所述处理器120用于调用并执行所述一条或多条计算机指令，从而实现上述任一所述的方法。
78.也就是说，电子设备100包括：处理器120和存储器110，在所述存储器110中存储有计算机程序指令，其中，在所述计算机程序指令被所述处理器运行时，使得所述处理器120执行上述任一所述的方法。
79.进一步地，如图5所示，电子设备100还包括网络接口130、输入设备140、硬盘150、和显示设备160。
80.上述各个接口和设备之间可以通过总线架构互连。总线架构可以是可以包括任意数量的互联的总线和桥。具体由处理器120代表的一个或者多个中央处理器(cpu)，以及由存储器110代表的一个或者多个存储器的各种电路连接在一起。总线架构还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其它电路连接在一起。可以理解，总线架构用于实现这些组件之间的连接通信。总线架构除包括数据总线之外，还包括电源总线、控制总线和状态信号总线，这些都是本领域所公知的，因此本文不再对其进行详细描述。
81.所述网络接口130，可以连接至网络(如因特网、局域网等)，从网络中获取相关数据，并可以保存在硬盘150中。
82.所述输入设备140，可以接收操作人员输入的各种指令，并发送给处理器120以供
执行。所述输入设备140可以包括键盘或者点击设备(例如，鼠标，轨迹球(trackball)、触感板或者触摸屏等。
83.所述显示设备160，可以将处理器120执行指令获得的结果进行显示。
84.所述存储器310，用于存储操作系统运行所必须的程序和数据，以及处理器120计算过程中的中间结果等数据。
85.可以理解，本发明实施例中的存储器110可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(rom)、可编程只读存储器(prom)、可擦除可编程只读存储器(eprom)、电可擦除可编程只读存储器(eeprom)或闪存。易失性存储器可以是随机存取存储器(ram)，其用作外部高速缓存。本文描述的装置和方法的存储器110旨在包括但不限于这些和任意其它适合类型的存储器。
86.在一些实施方式中，存储器110存储了如下的元素，可执行模块或者数据结构，或者他们的子集，或者他们的扩展集：操作系统111和应用程序112。
87.其中，操作系统111，包含各种系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务。应用程序112，包含各种应用程序，例如浏览器(browser)等，用于实现各种应用业务。实现本发明实施例方法的程序可以包含在应用程序112中。
88.上述处理器120，当调用并执行所述存储器110中所存储的应用程序和数据，具体的，可以是应用程序112中存储的程序或指令时，将第一集合和第二集合中的一者分散发送至所述第一集合和第二集合中的另一者所分布的节点，其中，所述另一者分散存储于至少两个节点；并根据所述第一集合的节点分布和所述第二集合的节点分布，分节点地进行交集处理。
89.本发明上述实施例揭示的方法可以应用于处理器120中，或者由处理器120实现。处理器120可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器120中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器120可以是通用处理器、数字信号处理器(dsp)、专用集成电路(asic)、现成可编程门阵列(fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件，可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器110，处理器120读取存储器110中的信息，结合其硬件完成上述方法的步骤。
90.可以理解的是，本文描述的这些实施例可以用硬件、软件、固件、中间件、微码或其组合来实现。对于硬件实现，处理单元可以实现在一个或多个专用集成电路(asic)、数字信号处理器dsp)、数字信号处理设备(dspd)、可编程逻辑设备(pld)、现场可编程门阵列(fpga)、通用处理器、控制器、微控制器、微处理器、用于执行本技术所述功能的其它电子单元或其组合中。
91.对于软件实现，可通过执行本文所述功能的模块(例如过程、函数等)来实现本文所述的技术。软件代码可存储在存储器中并通过处理器执行。存储器可以在处理器中或在
处理器外部实现。
92.具体地，处理器120还用于读取所述计算机程序，执行上述任一所述的方法。
93.在本技术所提供的几个实施例中，应该理解到，所揭露方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
94.另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理包括，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
95.上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述收发方法的部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read-only memory，简称rom)、随机存取存储器(random access memory，简称ram)、磁碟或者光盘等各种可以存储程序代码的介质。
96.以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。