基于图像融合的公路隧道火灾监测系统及方法与流程

1.本发明涉及隧道安全管理技术领域，具体涉及基于图像融合的公路隧道火灾监测系统及方法。


背景技术：

2.近年来，随着国家基础建设的完善，公路隧道的数量越来越多。公路隧道内部的车流量相对较大，且隧道内部灯光与隧道外部存在较大差异，导致隧道内部行车过程中容易发生相撞、刮擦等隧道火灾事故。同时，由于隧道的特殊性，导致隧道内部事故救援的效率低下，同时，外界车辆很难在第一时间获知隧道路况信息，一旦隧道内发生事故，造成的伤亡和损失更加惨重。因此，对公路隧道的安全监测尤为重要。
3.视频监控系统是目前公路隧道安全监测的主要技术手段，目前大部分隧道火灾事故以人工观察视频监控图像为主，其中90％及以上的视频监控图像无法得到重点关注，无法在第一时间发现运行安全事件是现有视频监控系统的主要瓶颈。为此，公开号为cn109214291a的中国专利公开了一种《隧道事故自动检测方法》，其包括：采集监控区域的视频数据并进行预处理；利用混合高斯模型进行背景建模，从原始图像分离出背景像素；从监控视频图像中提取运动目标；记录运动目标的轨迹信息，从而识别出运动目标信息，并进行标记；对标记的运动目标在隧道内的情况进行跟踪；当运动目标轨迹超过设定阈值时，发出报警信息。
4.上述现有方案中的隧道事故自动检测方法也是一种公路隧道安全监测方法，其通过对隧道的实时监控实现隧道内车辆的全方位检测。申请人发现，严重的交通事故极易引发隧道火灾事故，当隧道火灾事故发生时会产生强光并伴随高温。然而，现有公路隧道火灾监测方法采用视频监控摄像头获取视频(可见光)图像的方式，在隧道火灾事故等强光环境下采集的事故图像中会出现“亮斑”，并且无法有效获取隧道火灾事故发生的位置信息，使得难以根据可见光图像确定隧道火灾事故的规模、具体位置、伤员人数等具体事故信息，进而难以有效开展营救工作，导致公路隧道火灾监测的效果不好。因此，如何设计一种能够在能见度低、强光等恶劣环境下有效获取事故信息图像的公路隧道火灾监测方法是亟需解决的技术问题。


技术实现要素：

5.针对上述现有技术的不足，本发明所要解决的技术问题是：如何提供一种能够在能见度低、强光等恶劣环境下有效获取事故信息图像的公路隧道火灾监测方法，进而能够基于事故信息图像反映具体事故信息，从而能够提供重要的救援指导并提高公路隧道火灾监测的监测效果。
6.为了解决上述技术问题，本发明采用了如下的技术方案：
7.基于图像融合的公路隧道火灾监测系统，包括：
8.摄像头单元，用于获取隧道火灾事故的可见光图像；
9.红外扫描单元，用于获取隧道火灾事故和周边环境的热成像图像；所述红外扫描单元的红外发射方向与所述摄像头单元的拍摄方向相对应；
10.激光雷达单元，用于获取隧道火灾事故和周边环境的三维扫描图像；所述激光雷达单元的扫描端上设置有反射罩，所述反射罩用于将所述激光雷达单元发射出的激光束朝隧道火灾事故发生的方向聚集，使得所述激光雷达单元的扫描方向与所述摄像头单元的拍摄方向相对应；
11.图像融合显示单元，首先将所述热成像图像融合至所述可见光图像中得到对应的彩色融合图像；然后将所述三维扫描图像融合至所述彩色融合图像中得到对应的三维彩色融合显示图像；所述三维彩色融合显示图像中所述可见光图像、所述热成像图像和所述三维扫描图像的图像信息能够重合、同步显示。
12.优选的，所述摄像头单元、所述红外扫描单元和所述激光雷达单元三者依次竖向间隔设置，且所述摄像头单元的拍摄视角分别与所述红外扫描单元的红外发射视角和所述激光雷达单元的三维扫描视角相对应，使得所述可见光图像、所述热成像图像和所述三维扫描图像在竖向方向上的投影形状和面积尺寸保持一致。
13.优选的，公路隧道火灾监测系统还包括：
14.轨道，沿着隧道内部的通行路径布置；
15.移动机器人，设置于所述轨道上；用于带动所述摄像头单元、所述激光雷达单元和所述红外扫描单元在所述轨道上移动，以获取隧道内部对应区域的可见光图像、三维扫描图像和热成像图像。在实际应用场景下，就可以用于对融合后的图像进行判断，以取代人工监测，降低人工监视工作量。
16.本发明还公开了基于图像融合的公路隧道火灾监测方法，基于上述的公路隧道火灾监测系统实施，具体包括以下步骤：
17.s1：获取隧道火灾事故的可见光图像；
18.s2：在获取所述可见光图像的对应位置获取热成像图像和三维扫描图像；
19.s3：通过图像融合处理，首先将所述热成像图像融合至所述可见光图像中得到对应的彩色融合图像，然后将所述三维扫描图像融合至所述彩色融合图像中得到对应的三维彩色融合显示图像，并将融合处理后的三维彩色融合显示图像用于进行公路隧道的火灾监测；所述三维彩色融合显示图像中所述可见光图像、所述热成像图像和所述三维扫描图像的图像信息能够重合、同步显示。这样，轨道上的移动机器人就可以利用融合处理后的三维彩色融合显示图像，获取隧道火情信息并作决策分析，进行公路隧道的火灾监测和预警防范，做出安全预警指示。
20.优选的，通过依次竖向间隔设置的摄像头单元、红外扫描单元和激光雷达单元分别获取所述可见光图像、所述热成像图像和所述三维扫描图像；所述摄像头单元的拍摄视角分别与所述红外扫描单元的红外发射视角和所述激光雷达单元的三维扫描视角相对应，使得所述可见光图像、所述三维扫描图像和所述热成像图像在竖向方向上的投影形状和面积尺寸保持一致。
21.优选的，步骤s3中，通过如下步骤实现热成像图像和可见光图像的图像融合处理：
22.s301：对获取的可见光图像和热成像图像进行格式转换；
23.s302：对格式转换后的可见光图像和热成像图像进行图像配准；
24.s303：通过线性组合法在yuv空间对图像配准后的可见光图像和热成像图像进行初始彩色融合，得到对应的初始彩色源图像；然后选取原始的可见光图像作为参考图像，并将参考图像由rgb空间转换到yuv空间；再将参考图像的yuv分量均值和标准差传递给初始彩色源图像的yuv分量以进行色彩传递；最后将色彩传递后的初始彩色源图像从yuv空间转换到rgb空间以生成对应的彩色融合图像。
25.优选的，步骤s302中，根据所述摄像头单元和所述红外扫描单元与隧道火灾事故发生位置之间的视场角度，结合格式转换后的可见光图像和热成像图像的缩放因子进行图像配准。
26.优选的，步骤s303中：
27.可见光图像表示为vis(i,j)，热成像图像表示为ir(i,j)；
28.通过如下公式进行初始彩色融合得到初始彩色源图像(y
s
,u
s
,v
s
)：
[0029][0030]
式中：d1、e1、d2、e2、d3、e3均为正有理数，且满足d1 e1＝1；d2和e2以及d3和e3的选取则需要使u和v保持在相应的取值区间；
[0031]
通过如下公式将参考图像由rgb空间转换到yuv空间：
[0032][0033]
通过如下公式将参考图像的yuv分量均值和标准差传递给初始彩色源图像yuv分量：
[0034][0035][0036][0037]
式中：σ表示图像相应颜色空间的标准差；分别表示相应的均值；下标s和r分别表示源图像和参考图像的参数；
[0038]
通过如下公式将色彩传递后的初始彩色源图像从yuv空间转换到rgb空间：
[0039][0040]
优选的，步骤s3中，首先建立一个能够将三维扫描图像映射为二维图像的转化矩阵；然后基于所述转化矩阵将三维扫描图像映射为对应的二维场景深度扫描图像；最后将
二维场景深度扫描图像与彩色融合图像进行融合生成对应的三维彩色融合显示图像。
[0041]
优选的，彩色融合图像表示为(u,v)，维扫描图像表示为(x,y,z)；
[0042]
建立能够将三维扫描图像(x,y,z)映射为二维图像的转化矩阵m：
[0043][0044]
式中：矩阵(f
u
，f
v
，u0，v0)表示摄像头的参数，f
u
和f
v
表示xy轴方向尺度因子，u0，v0表示像平面的中心点；r表示旋转矩阵，t表示平移矢量；
[0045]
基于转化矩阵m将三维扫描图像(x,y,z)映射为对应的二维场景深度扫描图像(u,v)：
[0046][0047][0048]
通过如下公式将二维场景深度扫描图像(u,v)与彩色融合图像(u,v)进行融合生成对应的三维彩色融合显示图像：
[0049][0050]
本发明中的公路隧道火灾监测方法与现有技术相比，具有如下有益效果：
[0051]
在本发明中，将可见光图像、热成像图像和三维扫描图像进行了融合并实现了图像信息的重合、同步显示，使得能够在可见光(视频)图像中显示隧道火灾事故中心位置的红外图像信息和三维图像信息，即克服了可见光图像、热成像图像和三维扫描图像自身存在的问题，并能够有效的利用可见光图像、热成像图像和三维扫描图像各自的优势生成反映隧道内物体数量、温度场和隧道火灾事故具体三维位置等具体事故信息的三维彩色融合显示图像，从而能够提供重要的救援指导并提高公路隧道火灾监测的监测效果。同时，本发明中摄像头单元的拍摄视角分别与红外扫描单元的红外发射视角与激光雷达单元的三维扫描视角相对应，使得可见光图像、三维扫描图像和热成像图像的图像信息能够更为准确的对应融合，从而更好的辅助提升图像融合的准确性。
[0052]
在本发明中，由于激光雷达单元的扫描端是通过周向旋转的方式发射激光束进而实现扫描的，所以本发明通过反射罩聚集激光雷达单元发射出的激光束，一方面，反射罩的设置能够将各个方向的激光束朝隧道火灾事故发生方向反射，这能够避免激光的无用损
耗，从而提升激光雷达单元的扫描效率；另一方面，通过反射罩能够朝隧道火灾事故发生方向聚集激光束，使得能够在已有激光强度的基础上增强激光强度，从而提升激光雷达单元的扫描强度。
附图说明
[0053]
为了使发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步的详细描述，其中：
[0054]
图1为实施例一中公路隧道火灾监测系统的逻辑框图；
[0055]
图2和图3为实施例一中激光雷达单元的侧视图和俯视图；
[0056]
图4为实施例二中公路隧道火灾监测方法的逻辑框图；
[0057]
图5为实施例二中摄像头单元和红外扫描单元获取图像的示意图。
[0058]
附图中，各标记所代表的部件名称如下：
[0059]
1、高清摄像头；2、激光雷达；3、红外热像仪；4、图像融合处理器；5、轨道式机器人。
具体实施方式
[0060]
下面通过具体实施方式进一步详细的说明：
[0061]
实施例一：
[0062]
本实施例中公开了一种基于图像融合的公路隧道火灾监测系统。
[0063]
如图1所示，基于图像融合的公路隧道火灾监测系统，包括：
[0064]
摄像头单元，可以使用摄像机等机构单元实现，用于获取隧道火灾事故的可见光图像，以反映隧道内部的真实场景。
[0065]
红外扫描单元，可以采用红外热成像仪等机构单元实现，用于获取隧道火灾事故和周边环境的热成像图像，以获取图像的温度信息；红外扫描单元的红外发射方向与摄像头单元的拍摄方向相对应；
[0066]
激光雷达单元，可以采用激光雷达探头等机构单元实现，用于获取隧道火灾事故和周边环境的三维扫描图像或云点图像，以获取图像中各目标点的距离信息和位置信息；结合图2和图3所示，激光雷达单元的扫描端上设置有反射罩，反射罩用于将激光雷达单元发射出的激光束朝隧道火灾事故发生的方向聚集，使得激光雷达单元的扫描方向与摄像头单元的拍摄方向相对应；
[0067]
图像融合显示单元，首先将热成像图像融合至可见光图像中得到对应的彩色融合图像；然后将三维扫描图像融合至彩色融合图像中得到对应的三维彩色融合显示图像，以基于图像精准的监测隧道火灾事故，以及分析对应火灾事故的位置信息，火情大小等；三维彩色融合显示图像中可见光图像、热成像图像和三维扫描图像的图像信息能够重合、同步显示。
[0068]
具体的，摄像头单元选用现有的高清摄像头；红外扫描单元选用现有的红外热成像摄像头；具体的，激光雷达单元选用现有的激光雷达；反射罩设置于激光雷达单元扫描端的外周侧位置；反射罩选用能够反射激光束的反光材料。图像融合显示单元为现有的服务器或pc计算机，其通过相关硬件或软件来实现图像的融合处理。
[0069]
申请人发现，可见光图像能够清晰的反映隧道火灾事故周围位置的信息；但是难
以有效反映隧道火灾事故中心位置的信息(因为图像中产生了亮斑)，并且无法获取隧道火灾事故发生的位置信息。热成像图像不受能见度低、强光等影响，能够在能见度低、强光等恶劣环境下直观地反映隧道火灾事故中心位置物体表面的温度场，即能够反映隧道火灾事故发生的位置信息；但是其存在图像对比度低，分辨细节能力较差等问题。激光雷达获取的三维扫描图像探测距离较远，能够在能见度低、强光等恶劣环境下准确获取事故中心位置的具体三维信息(方向、位置和距离等)；但其容易丢失信息，并且存在图像信息中人或物体不够清晰和直观的问题。
[0070]
因此，本发明将可见光图像、热成像图像和三维扫描图像进行了融合并实现了图像信息的重合、同步显示，使得能够在可见光(视频)图像中显示隧道火灾事故中心位置的红外图像信息和三维图像信息，即克服了可见光图像、热成像图像和三维扫描图像自身存在的问题，并能够有效的利用可见光图像、热成像图像和三维扫描图像各自的优势生成反映隧道内物体数量、温度场和隧道火灾事故具体三维位置等具体事故信息的三维彩色融合显示图像，从而能够提供重要的救援指导并提高公路隧道火灾监测的监测效果。同时，本发明中摄像头单元的拍摄视角分别与红外扫描单元的红外发射视角与激光雷达单元的三维扫描视角相对应，使得可见光图像、三维扫描图像和热成像图像的图像信息能够更为准确的对应融合，从而更好的辅助提升图像融合的准确性。同时，由于激光雷达单元的扫描端是通过周向旋转的方式发射激光束进而实现扫描的，所以本发明通过反射罩聚集激光雷达单元发射出的激光束，一方面，反射罩的设置能够将各个方向的激光束朝隧道火灾事故发生方向反射，这能够避免激光的无用损耗，从而提升激光雷达单元的扫描效率；另一方面，通过反射罩能够朝隧道火灾事故发生方向聚集激光束，使得能够在已有激光强度的基础上增强激光强度，从而提升激光雷达单元的扫描强度。
[0071]
具体实施过程中，摄像头单元、红外扫描单元和激光雷达单元三者依次竖向间隔设置，且摄像头单元的拍摄视角分别与红外扫描单元的红外发射视角和激光雷达单元的三维扫描视角相对应，使得可见光图像、热成像图像和三维扫描图像在竖向方向上的投影形状和面积尺寸保持一致。激光雷达单元的反光罩结构以及图像采集单元、图像采集单元和激光雷达单元的布置关系为可见光图像、热成像图像和雷达扫描图像三者的图像融合提供了“硬件”支持。
[0072]
在本发明中，摄像头单元的拍摄视角分别与红外扫描单元的红外发射视角与激光雷达单元的三维扫描视角相对应，使得可见光图像、三维扫描图像和热成像图像在竖向方向上的投影形状和面积尺寸保持一致，进而使得可见光图像、三维扫描图像和热成像图像的图像信息能够更为准确的对应融合，从而更好的辅助提升图像融合的融合准确性。
[0073]
具体实施过程中，公路隧道火灾监测系统还包括：
[0074]
轨道，沿着隧道内部的通行路径布置；
[0075]
移动机器人，设置于轨道上；用于带动摄像头单元、激光雷达单元和红外扫描单元在轨道上移动，以获取隧道内部对应区域的可见光图像、三维扫描图像和热成像图像。在实际应用场景下，就可以用于对融合后的图像进行判断，以取代人工监测，降低人工监视工作量。具体的，移动机器人可选用现有技术中成熟使用的爬壁机器人或轨道机器人，其受控于图像融合显示单元。
[0076]
在本发明中，通过移动机器人带动摄像头单元、红外扫描单元和激光雷达单元在
隧道内部移动，能够提升火灾监测系统的监测灵活性。
[0077]
实施例二：
[0078]
本实施例在实施例一的基础上，公开了一种基于图像融合的公路隧道火灾监测方法。
[0079]
如图4所示，基于图像融合的公路隧道火灾监测方法，基于实施例一中的公路隧道火灾监测系统实施，具体包括以下步骤：
[0080]
s1：获取隧道火灾事故的可见光图像；
[0081]
s2：在获取可见光图像的对应位置获取热成像图像和三维扫描图像；
[0082]
s3：通过图像融合处理，首先将热成像图像融合至可见光图像中得到对应的彩色融合图像，然后将三维扫描图像融合至彩色融合图像中得到对应的三维彩色融合显示图像，并将融合处理后的三维彩色融合显示图像用于进行公路隧道的火灾监测；三维彩色融合显示图像中可见光图像、热成像图像和三维扫描图像的图像信息能够重合、同步显示。
[0083]
具体的，通过依次竖向间隔设置的摄像头单元、红外扫描单元和激光雷达单元分别获取可见光图像、热成像图像和三维扫描图像；摄像头单元的拍摄视角分别与红外扫描单元的红外发射视角和激光雷达单元的三维扫描视角相对应，使得可见光图像、三维扫描图像和热成像图像在竖向方向上的投影形状和面积尺寸保持一致。这样，轨道上的移动机器人就可以利用融合处理后的三维彩色融合显示图像进行公路隧道的火灾监测和预警防范，做出安全预警指示。
[0084]
申请人发现，可见光图像能够清晰的反映隧道火灾事故周围位置的信息；但是难以有效反映隧道火灾事故中心位置的信息(因为图像中产生了亮斑)，并且无法获取隧道火灾事故发生的位置信息。热成像图像不受强光的影响，能够在强光环境下直观地反映隧道火灾事故中心位置物体表面的温度场，即能够反映隧道火灾事故发生的位置信息；但是其存在图像对比度低，分辨细节能力较差等问题。激光雷达获取的三维扫描图像探测距离较远，能够准确获取事故中心位置的具体三维信息(方向、位置和距离等)；但其容易丢失信息，并且存在图像信息中人或物体不够清晰和直观的问题。
[0085]
在本发明中，将可见光图像、热成像图像和三维扫描图像进行了融合并实现了图像信息的重合、同步显示，使得能够在可见光(视频)图像中显示隧道火灾事故中心位置的红外图像信息和三维图像信息，即克服了可见光图像、热成像图像和三维扫描图像自身存在的问题，并能够有效的利用可见光图像、热成像图像和三维扫描图像各自的优势生成反映隧道内物体数量、温度场和隧道火灾事故具体三维位置等具体事故信息的三维彩色融合显示图像，从而能够进一步提升公路隧道火灾监测的监测效果。同时，本发明中摄像头单元的拍摄视角分别与红外扫描单元的红外发射视角与激光雷达单元的三维扫描视角相对应，使得可见光图像、三维扫描图像和热成像图像的图像信息能够更为准确的对应融合，从而更好的辅助提升图像融合的准确性。
[0086]
具体实施过程中，通过如下步骤实现热成像图像和可见光图像的图像融合处理：
[0087]
s301：对获取的可见光图像和热成像图像进行格式转换。具体的，格式转换是将图像转换为易于处理的格式，例如转化为opencv中图像处理标准格式iplimage。
[0088]
s302：对格式转换后的可见光图像和热成像图像进行图像配准。具体的，结合图5所示根据摄像头单元和红外扫描单元与隧道火灾事故发生位置之间的视场角度，结合格式
转换后可见光图像和热成像图像的缩放因子进行图像配准。
[0089]
分别基于水平方向的缩放因子和垂直方向的缩放因子完成图像配准：
[0090]
水平方向的缩放因子：
[0091]
垂直方向的缩放因子：
[0092]
α表示可见光摄像头与隧道火灾事故发生位置间的视场角度；β表示红外热成像摄像头与隧道火灾事故发生位置间的视场角度。
[0093]
s303：通过线性组合法在yuv空间对图像配准后的可见光图像和热成像图像进行初始彩色融合，得到对应的初始彩色源图像；然后选取原始的可见光图像作为参考图像，并将参考图像由rgb空间转换到yuv空间；再将参考图像的yuv分量均值和标准差传递给初始彩色源图像的yuv分量以进行色彩传递；最后将色彩传递后的初始彩色源图像从yuv空间转换到rgb空间以生成对应的彩色融合图像。
[0094]
在本发明中，能够对摄像头单元、红外扫描单元和激光雷达单元获取的图像进行图像配准，进而能够有效的辅助提升图像融合的准确性。同时，本发明通过上述步骤生成的彩色融合图像，能够保留隧道内部的细节纹理和背景的色彩等信息，能够在能见度较低的情况下增强图像信息的显示效果，这不仅有利于在隧道内部使用，还能够辅助提升公路隧道火灾监测的监测效果。
[0095]
具体的，可见光图像表示为vis(i,j)，热成像图像表示为ir(i,j)；
[0096]
通过如下公式进行初始彩色融合得到初始彩色源图像(y
s
,u
s
,v
s
)：
[0097][0098]
式中：d1、e1、d2、e2、d3、e3均为正有理数，且满足d1 e1＝1；d2和e2以及d3和e3的选取则需要使u和v保持在相应的取值区间；
[0099]
通过如下公式将参考图像由rgb空间转换到yuv空间：
[0100][0101]
通过如下公式将参考图像的yuv分量均值和标准差传递给初始彩色源图像yuv分量：
[0102]
[0103][0104][0105]
式中：σ表示图像相应颜色空间的标准差；分别表示相应的均值；下标s和r分别表示源图像和参考图像的参数；
[0106]
通过如下公式将色彩传递后的初始彩色源图像从yuv空间转换到rgb空间：
[0107][0108]
具体实施过程中，首先建立一个能够将三维扫描图像映射为二维图像的转化矩阵；然后基于转化矩阵将三维扫描图像映射为对应的二维场景深度扫描图像；最后将二维场景深度扫描图像与彩色融合图像进行融合生成对应的三维彩色融合显示图像。
[0109]
在本发明中，通过将三维扫描图像映射为对应的二维场景深度扫描图像的方式，能够更好的将三维扫描图像与彩色融合图像对应融合，从而能够有效的保证图像融合的准确性。
[0110]
具体的，彩色融合图像表示为(u,v)，维扫描图像表示为(x,y,z)；
[0111]
建立能够将三维扫描图像(x,y,z)映射为二维图像的转化矩阵m：
[0112][0113]
式中：矩阵(f
u
，f
v
，u0，v0)表示摄像头的参数，f
u
和f
v
是xy轴方向尺度因子(水平方向和垂直方向的有效焦距)，u0，v0表示像平面(image plane)的中心点，又称主点坐标；r表示旋转矩阵，t表示平移矢量；
[0114]
基于转化矩阵m将三维扫描图像(x,y,z)映射为对应的二维场景深度扫描图像(u,v)，根据不同姿态下定标板平面，可得到一系列的线性方程，进而能够解算得到标定参数：
[0115][0116][0117]
通过如下公式将二维场景深度扫描图像(u,v)与彩色融合图像(u,v)进行融合生成对应的三维彩色融合显示图像：
[0118][0119]
需要说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管通过参照本发明的优选实施例已经对本发明进行了描述，但本领域的普通技术人员应当理解，可以在形式上和细节上对其作出各种各样的改变，而不偏离所附权利要求书所限定的本发明的精神和范围。同时，实施例中公知的具体结构及特性等常识在此未作过多描述。最后，本发明要求的保护范围应当以其权利要求的内容为准，说明书中的具体实施方式等记载可以用于解释权利要求的内容。