基于热成像与可见光融合的火情等级判定方法及系统与流程

摘要: 本技术涉及消防火情监测与计算机视觉,尤其涉及一种基于热成像与可见光融合的火情等级判定方法及系统。背景技术:1、现有火情监测与等级判定方法存在多方面不足,包括:2...
基于热成像与可见光融合的火情等级判定方法及系统与流程

本技术涉及消防火情监测与计算机视觉,尤其涉及一种基于热成像与可见光融合的火情等级判定方法及系统。

背景技术:

1、现有火情监测与等级判定方法存在多方面不足,包括:

2、1.现有方法多采用单一热成像或单一可见光进行火区识别,单一热成像易将高温热源误判为火焰,单一可见光易受光照与烟雾干扰,火区识别准确率低;

3、2.现有方法未将热辐射信息与可见光纹理信息进行融合,无法同时利用热量分布与火焰色彩特征进行联合判断,误报率与漏报率高;

4、3.现有方法的火势等级判定多依赖人工经验或简单温度阈值划分,未综合考虑火区面积、周长、最高温、平均温与温度梯度等多维特征,等级判定精度低且一致性差;

5、4.现有方法缺乏火势蔓延方向与蔓延速度的定量计算,无法根据帧间火区变化与温度梯度分布预测火势发展趋势,难以支撑应急救援决策;

6、5.现有方法未根据火势等级与蔓延参数划定分级动态危险区,无法为人员疏散与消防力量部署提供直观的空间风险参考;

7、6.现有方法的图像配准多采用人工标定或固定参数变换,无法适应不同场景下热成像与可见光的视角差异,配准精度低且鲁棒性差。

8、因此,亟需一种方法,以解决上述至少一个问题。

技术实现思路

1、第一方面,本技术实施例提供了一种基于热成像与可见光融合的火情等级判定方法,所述方法包括:

2、采集热成像图像与可见光图像,分别执行去噪增强与色彩校正预处理;分别提取热成像图像与可见光图像的特征点与描述符,通过最近邻匹配与随机抽样一致性算法剔除误匹配,计算几何变换矩阵将可见光图像映射到热成像图像坐标系,采用拉普拉斯金字塔融合生成融合图像;

3、对融合图像逐像素执行联合判断,融合图像中像素的热量值超过高温阈值且融合图像中像素的可见光色彩落入火焰色谱区间时判定为火区像素,生成候选火区二值图并执行形态学闭运算与孔洞填充;提取候选火区二值图中火区的面积、周长、最高温度、平均温度与温度梯度参数构建火势特征向量,将火势特征向量输入预训练分类器,输出火势等级与火区掩膜及火区重心坐标;

4、存在前一帧火区掩膜时,根据当前帧火区重心与前一帧火区重心的位移矢量计算蔓延速度,融合位移方向与温度梯度主方向确定蔓延方向,根据火势等级与蔓延方向与蔓延速度划定动态危险区。

5、在一些实施例中,所述采集热成像图像与可见光图像,分别执行去噪增强与色彩校正预处理,包括:通过热成像相机采集热成像图像,通过可见光相机采集可见光图像,保证热成像图像与可见光图像的采集时刻同步;对热成像图像执行非均匀性校正与噪声去除处理,对去噪后的热成像图像执行对比度增强处理,提升热成像图像中高温区域与背景区域的区分度;对可见光图像执行白平衡校正与色彩空间转换处理,将可见光图像的色彩信息统一到标准色彩空间,保证可见光图像中火焰色彩特征的稳定性。

6、在一些实施例中,所述采集热成像图像与可见光图像,分别执行去噪增强与色彩校正预处理,包括:通过热成像相机采集热成像图像,通过可见光相机采集可见光图像,保证热成像图像与可见光图像的采集时刻同步;对热成像图像执行非均匀性校正与噪声去除处理,对去噪后的热成像图像执行对比度增强处理,提升热成像图像中高温区域与背景区域的区分度;对可见光图像执行白平衡校正与色彩空间转换处理,将可见光图像的色彩信息统一到标准色彩空间,保证可见光图像中火焰色彩特征的稳定性。

7、在一些实施例中,所述分别提取热成像图像与可见光图像的特征点与描述符,包括:对热成像图像执行高斯金字塔构建与尺度空间极值检测,提取热成像图像中的尺度不变特征点,计算热成像图像中每个特征点的梯度方向与描述符向量;对可见光图像执行高斯金字塔构建与尺度空间极值检测,提取可见光图像中的尺度不变特征点,计算可见光图像中每个特征点的梯度方向与描述符向量;对热成像图像的特征点与可见光图像的特征点执行主方向归一化处理,保证热成像图像特征点描述符与可见光图像特征点描述符的方向基准一致。

8、在一些实施例中,所述通过最近邻匹配与随机抽样一致性算法剔除误匹配,计算几何变换矩阵将可见光图像映射到热成像图像坐标系,采用拉普拉斯金字塔融合生成融合图像,包括:对热成像图像的每个特征点描述符,在可见光图像的特征点描述符集合中查找最近邻描述符与次近邻描述符,根据最近邻距离与次近邻距离的比值筛选初始匹配点对;将初始匹配点对输入随机抽样一致性算法,随机选取最小样本集计算单应性变换矩阵,根据单应性变换矩阵计算全部初始匹配点对的重投影误差,剔除重投影误差超过阈值的误匹配点对,迭代优化得到最终单应性变换矩阵;根据最终单应性变换矩阵对可见光图像执行几何变换,将可见光图像的像素坐标映射到热成像图像坐标系,生成配准后的可见光图像;对热成像图像与配准后的可见光图像分别构建拉普拉斯金字塔,将热成像图像的拉普拉斯金字塔与配准后的可见光图像的拉普拉斯金字塔按照设定融合权重执行逐层融合,对融合后的金字塔执行上采样重建生成融合图像。

9、在一些实施例中,所述对融合图像逐像素执行联合判断,融合图像中像素的热量值超过高温阈值且融合图像中像素的可见光色彩落入火焰色谱区间时判定为火区像素,生成候选火区二值图并执行形态学闭运算与孔洞填充,包括:从融合图像中提取每个像素的热量值与可见光色彩值,将融合图像中像素的热量值与预设环境高温阈值进行比对,将融合图像中像素的可见光色彩值与预设火焰色谱区间进行比对;当融合图像中像素的热量值超过环境高温阈值且融合图像中像素的可见光色彩值落入火焰色谱区间时,将融合图像中对应像素标记为候选火区像素,当融合图像中像素的热量值未超过环境高温阈值或融合图像中像素的可见光色彩值未落入火焰色谱区间时,将融合图像中对应像素标记为背景像素;根据全部候选火区像素的标记结果生成候选火区二值图,对候选火区二值图执行形态学闭运算连接相邻的候选火区区域,对形态学闭运算后的候选火区二值图执行孔洞填充,消除候选火区区域内部的背景孔洞。

10、在一些实施例中,所述提取候选火区二值图中火区的面积、周长、最高温度、平均温度与温度梯度参数构建火势特征向量,将火势特征向量输入预训练分类器,输出火势等级与火区掩膜及火区重心坐标,包括:对孔洞填充后的候选火区二值图执行连通域分析,提取每个连通域的火区掩膜,计算每个火区掩膜覆盖的像素数量作为火区面积,计算每个火区掩膜边界的像素数量作为火区周长;根据每个火区掩膜的位置从热成像图像中提取对应区域的热量值,计算火区掩膜内全部像素热量值的最大值作为火区最高温度,计算火区掩膜内全部像素热量值的平均值作为火区平均温度,计算火区掩膜内热量值的空间变化率作为火区温度梯度;将火区面积、火区周长、火区最高温度、火区平均温度与火区温度梯度按照设定顺序组合构建火势特征向量,将火势特征向量输入预训练火势分类器,预训练火势分类器输出火势等级,火势等级包括一级火星、二级初燃、三级发展、四级猛烈与五级衰退;计算每个火区掩膜的像素坐标加权平均值作为火区重心坐标,输出火势等级、火区掩膜与火区重心坐标。

11、在一些实施例中,所述存在前一帧火区掩膜时,根据当前帧火区重心与前一帧火区重心的位移矢量计算蔓延速度,包括:判断缓存中是否存在前一帧火区掩膜与前一帧火区重心坐标,存在前一帧火区掩膜时,根据当前帧火区重心坐标与前一帧火区重心坐标计算火区重心位移矢量;根据当前帧图像采集时刻与前一帧图像采集时刻计算时间间隔,将火区重心位移矢量的模长除以时间间隔,计算得到火区蔓延速度;将当前帧火区掩膜与当前帧火区重心坐标更新至缓存,作为下一帧计算的前一帧数据。

12、在一些实施例中,所述融合位移方向与温度梯度主方向确定蔓延方向,包括:根据火区重心位移矢量的坐标分量计算位移方向角,根据火区温度梯度的空间分布计算温度梯度主方向角;判断是否接入气象数据与地形数据,接入气象数据与地形数据时,根据风速、风向与可燃物分布参数对位移方向角与温度梯度主方向角执行加权修正,根据修正后的方向角确定主导蔓延方向角;未接入气象数据与地形数据时,将位移方向角与温度梯度主方向角按照设定权重执行加权平均,根据加权平均结果确定主导蔓延方向角;输出主导蔓延方向角与火区蔓延速度。

13、在一些实施例中,所述根据火势等级与蔓延方向与蔓延速度划定动态危险区,包括:根据火势等级与火区蔓延速度确定一级危险区基准半径,以当前帧火区重心为原点,沿主导蔓延方向角生成扇形一级危险区;根据热辐射衰减模型与火区蔓延速度,在一级危险区外围生成二级危险区与三级危险区,二级危险区的危险程度低于一级危险区的危险程度,三级危险区的危险程度低于二级危险区的危险程度;将一级危险区、二级危险区与三级危险区叠加到地理信息图层上,地理信息图层包括建筑分布、道路分布与消防设施分布;按照危险区等级对一级危险区、二级危险区与三级危险区执行不同色彩标注,渲染生成动态危险区图,输出动态危险区图。

14、第二方面,本技术提供了一种基于热成像与可见光融合的火情等级判定系统,所述系统包括:

15、图像采集单元,用于采集热成像图像与可见光图像,分别执行去噪增强与色彩校正预处理;分别提取热成像图像与可见光图像的特征点与描述符,通过最近邻匹配与随机抽样一致性算法剔除误匹配,计算几何变换矩阵将可见光图像映射到热成像图像坐标系,采用拉普拉斯金字塔融合生成融合图像;

16、联合判断单元,用于对融合图像逐像素执行联合判断,融合图像中像素的热量值超过高温阈值且融合图像中像素的可见光色彩落入火焰色谱区间时判定为火区像素,生成候选火区二值图并执行形态学闭运算与孔洞填充;提取候选火区二值图中火区的面积、周长、最高温度、平均温度与温度梯度参数构建火势特征向量,将火势特征向量输入预训练分类器,输出火势等级与火区掩膜及火区重心坐标;

17、危险划定单元,用于存在前一帧火区掩膜时,根据当前帧火区重心与前一帧火区重心的位移矢量计算蔓延速度,融合位移方向与温度梯度主方向确定蔓延方向,根据火势等级与蔓延方向与蔓延速度划定动态危险区。

18、本技术所提供的方法具有以下有益效果:

19、1.双模态联合识别准确率高。通过热成像与可见光双模态特征配准融合,逐像素联合判断热量值与火焰色谱特征,同时利用热辐射信息与可见光纹理信息,有效降低单一模态的误报率与漏报率,火区识别准确率显著提升。

20、2.火势等级判定精度高。综合火区面积、周长、最高温度、平均温度与温度梯度多维特征构建火势特征向量,输入预训练分类器输出五级火势等级,突破传统单一温度阈值划分的局限,等级判定精度高且一致性好。

21、3.蔓延趋势定量可预测。通过帧间火区重心位移矢量计算蔓延速度,融合位移方向与温度梯度主方向确定蔓延方向,接入气象地形数据时进一步加权修正,实现火势蔓延趋势的定量预测,为应急救援决策提供数据支撑。

22、4.动态危险区直观可用。根据火势等级与蔓延方向与蔓延速度划定扇形分级危险区,叠加建筑、道路、消防设施地理信息图层并执行色彩标注,生成直观的动态危险区图,为人员疏散路线规划与消防力量部署提供空间风险参考。

23、5.配准融合鲁棒性强。采用尺度不变特征提取与最近邻匹配加随机抽样一致性剔除误匹配的自动配准方式,结合拉普拉斯金字塔融合保留热辐射与可见光纹理,无需人工标定即可适应不同场景的视角差异,配准精度高且鲁棒性好。

24、应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本技术。