一种基于人工智能和双目视觉的火灾识别方法及系统与流程

本发明涉及人工智能机器视觉领域，尤其是涉及一种基于人工智能和双目视觉的火灾识别方法及系统。

背景技术：

当火灾发生时，如果能够及时发现并报警，就能最大程度的减少损失。现有的火灾检测方法主要包括传感器检测法和图像检测法。

传感器检测法主要利用传感器对检测区域进行温度监测，但是传感器的安装过程以及探测范围均受到空间制约，进行室内检测时，需要多点、全范围布置传感器才能保证不遗漏任何一个角落，甚至在火焰形成一定规模时才能检测到，监测不及时、布置麻烦、安装要求较高并且成本较大，进行室外检测时，传感器的测量准确度受到火点距离影响，可靠性低，同时存在误判报警的可能，例如高温的汽车发动机以及夏天高速运转导致温度过高的车轮胎，虽然温度达到着火温度，但并未发生火灾，此时报警不能产生实用价值。

图像检测法利用网络模型对图像进行识别，判断是否发生火灾。文献“孙琛.基于视频图像的火灾检测算法研究与设计[d].山东大学,2018”先使用残差卷积神经网络进行火灾识别，再使用滑动窗口方法进行火灾定位；文献“严云洋,朱晓妤,刘以安,高尚兵.基于fasterr-cnn模型的火焰检测[j].南京师大学报(自然科学版),2018,41(03):1-5.”基于faster-rcnn模型实现了端到端的火焰检测，在多种复杂环境下均保持较高的火焰检测率，检测速度也较快；“aslan,sileyman,giidikbay,ugur,toreyin,b.ugur,etal.deepconvolutionalgenerativeadversarialnetworksbasedflamedetectioninvideo[j].arxiv:1902.01824[cs.cv],2019”利用时空火焰演化，结合真实火焰数据和生成火焰数据训练深度生成对抗网络，取得了较高的检测率和较低的虚警率。上述文献都是基于检测模型对二维图像进行检测，需要利用大量的样本数据对检测模型进行训练，此过程依赖样本数据，在样本数据不平衡的情况下，检测模型往往陷入局部最优，导致其对二维图像中火焰的提取精度不高，对于火焰边缘稀疏的地方，以及有烟雾笼罩的地方不能很好的完全检测出火焰区域，而且与火焰相似颜色的物体容易被误检，准确性和可靠性不高。

技术实现要素：

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于人工智能和双目视觉的火灾识别方法及系统，准确性好，可靠性高，安全性高，适用范围广，布设和维护成本低，提供火焰定位，提高了灭火效率。

本发明的目的可以通过以下技术方案来实现：

一种基于人工智能和双目视觉的火灾识别方法，用于对待测区域进行火灾监测，所述的待测区域附近设有双目摄像头和红外测温传感器探头，所述的方法包括：

1)利用标定好的双目摄像头拍摄待测区域的待测双目图像；

2)利用目标检测网络模型判断待测双目图像中是否存在火焰，若是则输出待测双目图像中的火焰区域图像，否则执行步骤1)；

3)利用双目视觉三维重建技术对火焰区域图像进行三维空间定位，获得火焰区域图像的三维信息；

4)根据火焰区域图像的三维信息和红外测温传感器的三维坐标计算红外测温传感器的最佳视场角；

5)控制红外测温传感器以4)计算的最佳视场角对火焰区域进行测温，获得火焰区域的温度测量值；

6)判断温度测量值是否超过设定值，若是则判定火焰区域发生火灾，否则判定火焰区域未发生火灾，执行步骤1)；

综合利用双目视觉技术和目标检测网络模型对火焰进行三维定位，根据火焰定位，控制红外测温传感器以最佳视场角对火焰区域进行测温，提高了测温的准确度，最后根据温度测量值的大小判定是否发生火灾，当发生火灾时，能够为灭火装置提供精确的火焰三维定位，协助灭火装置在火灾早期及时进行高效地灭火；

红外测温传感器能够根据火焰的三维位置调整其位姿，以调整其检测范围，检测的准确度高，同时扩大了单个红外测温传感器的检测范围，可减少红外测温传感器的布置数量，节约布设成本。

进一步地，所述的火焰区域图像的三维信息包括火焰区域的最大半径r以及火焰中心的三维坐标。

进一步地，所述的红外测温传感器的最佳视场角的计算公式为：

其中，z为火焰中心和红外测温传感器之间的距离，根据火焰中心的三维坐标以及红外测温传感器的三维坐标计算获得。

进一步地，步骤5)包括：

控制红外测温传感器对火焰区域进行多次测温，获得多个温度测量值，取多个温度测量值的加权平均值，作为火焰区域的最终的温度测量值，提高了温度测量值的可靠性和准确性。

进一步地，利用张正友标定算法对双目摄像头进行参数标定。

一种基于人工智能和双目视觉的火灾识别系统，包括双目摄像模块、图像检测模块、位姿调整模块、红外测温模块和火灾识别模块；

所述的双目摄像模块用于利用标定好的双目摄像头拍摄待测区域的待测双目图像；

所述的图像检测模块用于利用目标检测网络模型从待测双目图像中分割出火焰区域图像；

所述的位姿调整模块包括三维重建单元和位姿计算单元，所述的三维重建单元利用双目视觉三维重建技术对火焰区域图像进行三维空间定位，获得火焰区域图像的三维信息，所述的位姿计算单元根据火焰区域图像的三维信息和红外测温传感器的三维坐标计算红外测温传感器的最佳视场角；

所述的红外测温模块用于控制红外测温传感器以最佳视场角对火焰区域进行测温，获得火焰区域的温度测量值；

所述的火灾识别模块用于判断温度测量值是否超过设定值，若是则判定火焰区域发生火灾，否则判定火焰区域未发生火灾；

综合利用双目视觉技术和目标检测网络模型对火焰进行三维定位，根据火焰定位，控制红外测温传感器以最佳视场角对火焰区域进行测温，提高了测温的准确度，最后根据温度测量值的大小判定是否发生火灾，当发生火灾时，能够为灭火装置提供精确的火焰三维定位，协助灭火装置在火灾早期及时进行高效地灭火；

红外测温传感器能够根据火焰的三维位置调整其位姿，以调整其检测范围，检测的准确度高，同时扩大了单个红外测温传感器的检测范围，可减少红外测温传感器的布置数量，节约布设成本。

进一步地，所述的火焰区域图像的三维信息包括火焰区域的最大半径r以及火焰中心的三维坐标。

进一步地，所述的红外测温传感器的最佳视场角的计算公式为：

其中，z为火焰中心和红外测温传感器之间的距离，根据火焰中心的三维坐标以及红外测温传感器的三维坐标计算获得。

进一步地，所述的红外测温模块控制红外测温传感器对火焰区域进行多次测温，获得多个温度测量值，取多个温度测量值的加权平均值，作为火焰区域的最终的温度测量值，提高了温度测量值的可靠性和准确性。

进一步地，所述的双目摄像模块利用张正友标定算法对双目摄像头进行参数标定。

与现有技术相比，本发明具有以如下有益效果：

(1)本发明综合利用双目视觉技术和目标检测网络模型对火焰进行三维定位，根据火焰定位，控制红外测温传感器以最佳视场角对火焰区域进行测温，提高了测温的准确度，最后根据温度测量值的大小判定是否发生火灾，能够在火灾早期就检测到火灾，受周围环境的影响较小且探测距离远，大大减少了监控设备的布设规模，布设成本低，本发明适用于空间大、高温、气流过强、灰尘过多以及湿度过大的环境，适用范围广，同时联合图像检测和传感器检测进行综合判断，大大降低了产生火灾误判的可能性，大大提高了火灾检测的可靠性；

(2)本发明能够在发生火灾时，提供精确的火焰三维定位，可帮助消防人员对起火位置、起火原因、火势以及蔓延方向作出更加准确的判断，大大提高了发生火灾后的灭火效率，安全性高；

(3)本发明采用红外测温传感器和双目摄像头进行火灾检测，传统的传感器易老化，需定期维护和更换，红外测温传感器和双目摄像头由于其性能特点，相比于传统的传感器，往往具有较长的使用寿命，且便于维修，成本大大降低；

(4)本发明控制红外测温传感器对火焰区域进行多次测温，获得多个温度测量值，取多个温度测量值的加权平均值，作为火焰区域的最终的温度测量值，提高了温度测量值的可靠性和准确性。

附图说明

图1为本发明的方法流程图；

图2为双目摄像头成像原理图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

实施例1

一种基于人工智能和双目视觉的火灾识别方法，用于对待测区域进行火灾监测，待测区域附近设有双目摄像头和红外测温传感器探头，如图1，方法包括：

1)利用标定好的双目摄像头拍摄待测区域的待测双目图像；

2)利用目标检测网络模型判断待测双目图像中是否存在火焰，若是则输出待测双目图像中的火焰区域图像，否则执行步骤1)；

3)利用双目视觉三维重建技术对火焰区域图像进行三维空间定位，获得火焰区域图像的三维信息；

4)根据火焰区域图像的三维信息和红外测温传感器的三维坐标计算红外测温传感器的最佳视场角；

5)控制红外测温传感器以4)计算的最佳视场角对火焰区域进行多次测温，获得多个温度测量值，取多个温度测量值的加权平均值，作为火焰区域的最终的温度测量值；

6)判断最终的温度测量值是否超过设定值，若是则判定火焰区域发生火灾，否则判定火焰区域未发生火灾，执行步骤1)。

综合利用双目视觉技术和目标检测网络模型对火焰进行三维定位，根据火焰定位，控制红外测温传感器以最佳视场角对火焰区域进行测温，提高了测温的准确度，最后根据温度测量值的大小判定是否发生火灾，当发生火灾时，能够为灭火装置提供精确的火焰三维定位，协助灭火装置在火灾早期及时进行高效地灭火。

火焰区域图像的三维信息包括火焰区域的最大半径r以及火焰中心的三维坐标。

红外测温传感器的最佳视场角的计算公式为：

其中，z为火焰中心和红外测温传感器之间的距离，根据火焰中心的三维坐标以及红外测温传感器的三维坐标计算获得。

利用张正友标定算法对双目摄像头进行参数标定，双目视觉三维重建技术的原理如图2所示，左右摄像机同时对p点进行成像，目标点p在左右像平面上的投影为p2(x1,y1)和pr(xr,yr)，o1和or为分别为左右摄像机的光心，b为o1和or之间的距离，摄像机的焦距为f，z0为p点与摄像机观测位置之间的距离，利用光学几何原理可得：

其中，d为视差，d＝x1-xr。

假设p点在摄像机坐标系下的坐标为(xc,yc,zc)，则p点的坐标可以表示为：

由上式可知，可通过p点在像平面上的坐标计算得出p点在三维空间中的坐标，基于上述原理可计算出火焰中心的在三维空间中的坐标。

实施例2

一种基于人工智能和双目视觉的火灾识别系统，包括双目摄像模块、图像检测模块、位姿调整模块、红外测温模块和火灾识别模块；

双目摄像模块用于利用标定好的双目摄像头拍摄待测区域的待测双目图像；

图像检测模块用于利用目标检测网络模型从待测双目图像中分割出火焰区域图像；

位姿调整模块包括三维重建单元和位姿计算单元，三维重建单元利用双目视觉三维重建技术对火焰区域图像进行三维空间定位，获得火焰区域图像的三维信息，位姿计算单元根据火焰区域图像的三维信息和红外测温传感器的三维坐标计算红外测温传感器的最佳视场角；

红外测温模块用于控制红外测温传感器以最佳视场角对火焰区域进行多次测温，获得多个温度测量值，取多个温度测量值的加权平均值，作为火焰区域的最终的温度测量值；

火灾识别模块用于判断温度测量值是否超过设定值，若是则判定火焰区域发生火灾，否则判定火焰区域未发生火灾；

综合利用双目视觉技术和目标检测网络模型对火焰进行三维定位，根据火焰定位，控制红外测温传感器以最佳视场角对火焰区域进行测温，提高了测温的准确度，最后根据温度测量值的大小判定是否发生火灾，当发生火灾时，能够为灭火装置提供精确的火焰三维定位，协助灭火装置在火灾早期及时进行高效地灭火。

火焰区域图像的三维信息包括火焰区域的最大半径r以及火焰中心的三维坐标。

红外测温传感器的最佳视场角的计算公式为：

其中，z为火焰中心和红外测温传感器之间的距离，根据火焰中心的三维坐标以及红外测温传感器的三维坐标计算获得。

利用张正友标定算法对双目摄像头进行参数标定，双目视觉三维重建技术的原理如图2所示，左右摄像机同时对p点进行成像，目标点p在左右像平面上的投影为p2(x1,y1)和pr(xr,yr)，o1和or为分别为左右摄像机的光心，b为o1和or之间的距离，摄像机的焦距为f，z0为p点与摄像机观测位置之间的距离，利用光学几何原理可得：

其中，d为视差，d＝x1-xr。

假设p点在摄像机坐标系下的坐标为(xc,yc,zc)，则p点的坐标可以表示为：

由上式可知，可通过p点在像平面上的坐标计算得出p点在三维空间中的坐标，基于上述原理可计算出火焰中心的在三维空间中的坐标。

实施例1和实施例2提出了一种基于人工智能和双目视觉的火灾识别方法及系统，融入三维定位结合温度传感器的联动体系，大大提高了火灾检测的准确性和可靠性，同时能够在火灾早期及时发现，并对火焰进行三维定位，为后续灭火装置，例如水枪或者灭火炮，提供火焰位置，协助消防人员进行灭火，提高了灭火效率，大大提高了安全性。

以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。