一种基于视觉反馈修正的消防三维态势构建方法及系统与流程

摘要: 本发明属于数字孪生与消防物联网交叉,具体涉及一种基于视觉反馈修正的消防三维态势构建方法及系统。背景技术:1、当前建筑消防态势可视化的主流技术路径主要包括两类:2...
一种基于视觉反馈修正的消防三维态势构建方法及系统与流程

本发明属于数字孪生与消防物联网交叉,具体涉及一种基于视觉反馈修正的消防三维态势构建方法及系统。

背景技术:

1、当前建筑消防态势可视化的主流技术路径主要包括两类:

2、一是基于二维平面图的可视化方式。大多数消防物联网平台仍采用楼层平面图或cad图纸叠加报警点位的方式呈现消防态势,报警点位仅以图标标注在平面图上,与实际监控画面无空间关联,值班人员需要手动切换查看视频,无法将视频中的火焰位置准确映射到建筑空间中。二维平面图无法呈现建筑的高度维度信息,高层建筑火灾中楼层间的烟雾垂直蔓延路径无法直观显示,且传感器报警、视频画面、建筑结构信息分散在不同页面,需要值班人员人为关联和综合判断,响应时间长、判断准确性低。

3、二是基于三维数字孪生的可视化方式。近年来,基于bim+gis的三维消防数字孪生系统逐步出现,监控视频可通过纹理贴图方式映射到三维模型表面。现有视频投影方案中,公开了将视频图像像素映射到三维模型表面的基本方法。然而,现有方案仍存在以下技术不足:

4、摄像头标定参数(尤其是外参)在长期使用中因设备震动、温度变化引起的结构热胀冷缩等因素会发生漂移,导致视频投影位置逐渐偏离真实空间位置,投影误差率常大于2%,影响火焰位置的准确判断。现有技术中虽有通过光束法平差调整相机外参以最小化重投影误差的方法,以及基于三维场景的视频融合方法,但均依赖静态标定物(如棋盘格标定板)或预先标定的参考点进行参数修正,无法在火灾应急场景中实现标定参数的在线自动修正。

5、投影误差的累积缺乏有效的检测和修正手段。摄像头标定参数的漂移是渐进累积的过程,在常规监控场景中不易察觉,但在消防应急场景中,投影偏差可能导致火焰位置在三维模型中偏移数米,值班人员依据错误的空间位置制定救援方案,后果严重。现有方案中,重投影误差通常仅在标定阶段计算,缺乏在运行时基于动态检测目标进行持续监控和自动修正的机制。

6、现有的视频投影方案中,火焰/烟雾检测框仅在视频画面中显示,未与三维模型空间建立物理关联,检测框的像素级信息无法直接转化为建筑空间中的物理级火灾信息。值班人员仍然需要“看视频猜位置”,无法在三维模型中直接获得火焰在哪栋楼、哪层、哪个房间的精确信息。

技术实现思路

1、为解决现有技术中存在的上述问题,本发明提供了一种基于视觉反馈修正的消防三维态势构建方法,

2、本发明的目的可以通过以下技术方案实现:

3、一种基于视觉反馈修正的消防三维态势构建方法,包括以下步骤:

4、获取建筑的三维模型及监控视频流,基于监控设备的内参及外参构建映射基准;

5、基于所述映射基准对视频流逆投影至三维模型表面并依据曲面微分几何属性校正纹理坐标,生成动态投影纹理;同时将视频流中火焰或烟雾检测框的角点映射至三维模型,构建封闭包围盒作为火情物理基准;

6、比对所述动态投影纹理与所述火情物理基准的空间偏差,计算多帧累积的重投影误差,超出预设容限时锁定内参,在监控设备安装位姿的物理约束下对外参迭代优化,生成映射修正基准;

7、回传所述映射修正基准以更新所述映射基准,重新执行投影与定位,依据修正后的封闭包围盒的空间位置及范围结合建筑材质属性获取火焰及烟雾的扩散态势,输出三维消防态势场景。

8、具体地,所述映射基准的构建过程具体包括:

9、在所述三维模型中标注监控设备的安装位置坐标和朝向角度作为初始外参;获取监控设备画面中至少四组已知建筑结构特征点的像素坐标,并在三维模型中标注各组特征点对应的三维空间坐标;

10、以像素坐标与三维空间坐标作为输入,得到监控设备的内参矩阵和外参矩阵,以内参矩阵和外参矩阵的逆矩阵作为像素坐标系至世界坐标系的映射基准。

11、具体地,所述动态投影纹理的生成过程具体包括:

12、计算命中点所在面的主曲率及高斯曲率,根据高斯曲率的符号判断曲面类型;

13、对于凸面,计算弧长与弦长的比值作为畸变补偿系数;对于鞍面,分别计算沿两个主曲率方向的独立弧弦比作为畸变补偿系数;对于平面,畸变补偿系数取值为1;以所述畸变补偿系数对纹理坐标进行反向校正,生成所述动态投影纹理。

14、具体地,所述将视频流中火焰或烟雾检测框的角点映射至三维模型的具体过程包括:

15、获取检测框的四个角点像素坐标,以监控设备的光心为起点,分别沿四个角点对应的射线方向执行射线投射,与三维模型表面求交得到四个三维命中点;

16、将四个三维命中点围成的空间区域确定为封闭包围盒,封闭包围盒的六个面分别平行于三维模型的坐标轴平面;提取封闭包围盒在三维模型中的空间坐标范围,作为所述火情物理基准。

17、具体地,所述重投影误差的具体计算方式包括:

18、对于每一帧,将所述动态投影纹理中检测框对应区域的颜色质心位置与火情物理基准中封闭包围盒投影至图像平面的投影中心位置之间的像素距离作为帧的单帧投影偏差,取连续单帧投影偏差的加权平均值作为所述多帧累积的重投影误差。

19、具体地,所述对外参迭代优化的具体过程包括:

20、固定监控设备的内参矩阵不变,以监控设备的安装位置坐标和朝向角度作为待优化变量;设定安装位置坐标的优化边界为以初始标定位置为中心、预设半径的空间球体范围,设定朝向角度的优化边界为以初始标定朝向为中心、预设角度的锥体范围;

21、在优化边界内,以最小化所述重投影误差为目标对外参进行迭代求解,每次迭代后判断优化变量是否超出优化边界,若超出则截断至边界值。

22、具体地,所述更新映射基准后,还包括多路视频时间同步步骤:

23、获取监控设备输出的视频流,各路视频流的每一帧携带采集时间戳;以所有视频流的最新公共时间戳为同步基准,将时间戳早于所述同步基准的视频帧缓存等待,将时间戳晚于所述同步基准的视频帧丢弃,在同步基准时刻,将多路视频流同步投影至三维模型表面。

24、具体地,所述扩散态势的获取过程具体包括:

25、以封闭包围盒的空间位置作为火源起始位置,以封闭包围盒的空间范围作为火源初始尺寸;从三维模型中获取火源所在区域的结构信息,所述结构信息包括墙体材质类型和通风条件参数;

26、根据墙体材质类型确定水平蔓延速度的第一修正系数,根据通风条件参数确定水平蔓延速度的第二修正系数,得到实际水平蔓延速度,获取未来预设时间步的火焰蔓延边界预设时间步的火焰蔓延边界以不同颜色的三维包围盒在三维模型中可视化呈现。

27、具体地,获取所述扩散态势后,还包括救援路径规划步骤:

28、将三维模型的空间离散化为三维网格;以火焰蔓延边界和烟雾扩散路径所覆盖的网格区域作为禁入区域;以走廊和楼梯通道对应的网格节点赋予第一通行代价,以狭窄通道对应的网格节点赋予第二通行代价,第二通行代价大于第一通行代价;以建筑入口为起点、以所述封闭包围盒的空间位置为终点,搜索通行代价最小的路径作为最优救援路径。

29、本发明的有益效果为:

30、本发明建立了“投影→检测→比对→修正→再投影”的视觉反馈闭环修正机制,利用动态检测到的火焰或烟雾本身作为标定参数校正的参考基准,而非依赖静态标定物。当投影纹理与检测框映射的物理基准之间的重投影误差超出容限时,系统自动触发标定参数的在线修正。与现有技术中依赖静态标定物或离线重新标定的方案相比,本发明实现了标定参数在运行过程中的自动检测与动态修正,使视频投影能够持续保持与建筑三维模型的高精度对齐。

31、本发明提出了“锁定内参、在外参物理约束下迭代优化”的修正策略。摄像头内参(焦距、主点坐标等)由出厂标定确定,受环境变化影响较小;而外参(安装位置和朝向角度)受设备震动、温度变化等因素影响较大,是标定漂移的主要来源。本发明固定内参不变、仅优化外参,并在安装位姿的物理边界约束下进行迭代求解,避免了无约束优化可能产生的奇异解,提高了修正过程的收敛速度和结果可靠性。

32、本发明将火焰或烟雾检测框的角点通过射线投射映射至三维模型表面,生成表征火情物理范围的封闭包围盒,将二维检测框的像素级火灾信息转化为三维模型空间中的物理级火灾信息。值班人员可直接在三维态势图中获取火焰所在楼层和具体空间位置,无需“看视频猜位置”,显著提升了火情判读效率和准确性。

33、本发明以修正后的封闭包围盒作为火源输入,结合三维模型中墙体材质的燃烧特性参数推演火焰蔓延边界及烟雾扩散路径,实现了从“精准定位”到“态势推演”的完整技术链条。与传统方案中视频投影与态势推演相互独立的模式相比,本发明将修正后的空间定位结果直接驱动蔓延推演,使推演结果基于精确的火源物理位置,提高了态势预测的可靠性。