基于增强现实的消防火场内部可视化指挥方法及系统与流程

摘要: 本发明涉及增强现实与消防指挥,具体涉及一种基于增强现实的消防火场内部可视化指挥方法及系统。背景技术:1、建筑火灾救援中,消防员进入火场后往往面临浓烟密布、能见度...
基于增强现实的消防火场内部可视化指挥方法及系统与流程

本发明涉及增强现实与消防指挥,具体涉及一种基于增强现实的消防火场内部可视化指挥方法及系统。

背景技术:

1、建筑火灾救援中,消防员进入火场后往往面临浓烟密布、能见度极低、建筑结构复杂等极端环境。指挥员与一线消防员之间,以及消防员彼此之间的有效感知与协同,是保障救援效率和人员安全的关键。

2、卫星定位信号在室内及地下空间中不可用,致使常规依赖全球导航卫星系统的定位方案完全失效。惯性导航系统虽可在短时间内提供相对位移,但存在累积漂移问题,误差随时间持续发散,无法独立支撑火场内长时间作业的定位需求。基于视觉或激光的即时定位与地图构建技术依赖于环境纹理特征,在浓烟、低照度或重复性结构场景中极易退化甚至完全失效。因此,如何在无卫星信号、视觉退化的火场内部实现多消防员之间精确的相对定位,是一个尚未解决的技术难点。

3、在可视化通信方面,浓烟环境导致消防员之间目视通联完全中断。现有方案主要依靠无线电语音通信进行相互确认,然而语音信息无法直观传达队员彼此的空间位置关系,尤其在突发危险时,难以快速锁定失散或倒地队友的准确方位。热成像设备虽可穿透烟雾探测人体热源,但其图像通常呈现在手持终端或头戴式小尺寸屏幕上,消防员需要主动转移视线查看,并在脑内将其与真实空间进行对应匹配,这一过程增加了认知负荷和反应延迟,且在高度紧张的救援场景下极易出错。

4、此外,在失去空间参照的封闭环境中,战术队形的维持完全依赖消防员的个人经验和判断,指挥员无法直观掌握队伍整体空间分布状态,难以及时发现队形脱节隐患并实施干预,增加了人员失散和陷入危险的风险。

5、综上所述,在无卫星信号且视线严重遮挡的火场内部,如何实现消防员之间的精确相对定位,并将这种空间关系以穿透遮挡的直观方式呈现给每位消防员,使其能够实时感知队友位置、保持战术队形,并在异常状态发生时快速定位遇险人员,已成为本领域亟待解决的关键技术问题。

技术实现思路

1、发明目的:提供一种基于增强现实的消防火场内部可视化指挥方法及系统,以解决现有技术存在的上述问题。

2、技术方案:一种基于增强现实的消防火场内部可视化指挥方法,包括以下步骤:

3、多个消防员各自配备的移动终端通过自组网络共享传感器数据,并基于多智能体协同slam算法融合imu、视觉里程计和uwb测距信息,解算出各移动终端在无卫星信号环境下的实时相对位姿;

4、针对任一第一移动终端,依据其与至少一个第二移动终端的所述实时相对位姿,以及预先构建的消防员人体几何模型,实时渲染生成该第二移动终端所对应消防员的三维虚拟轮廓化身;其中,所述渲染生成包括:利用所述第一移动终端的视觉传感器获取当前视野的环境图像,根据所述实时相对位姿将所述三维虚拟轮廓化身变换至所述第一移动终端的坐标系下,结合从环境图像中提取的深度信息或通过视觉slam恢复的稠密深度图进行逐像素的遮挡判断,对被真实物体遮挡的化身局部予以剔除,而对未被遮挡部分以半透明材质和预设警示色彩进行绘制,使得所述虚拟轮廓化身能够穿透烟雾或墙壁等遮挡物,在所述第一移动终端的增强现实显示装置中,于视野内与所述第二移动终端空间位置相对应的真实位置处呈现出立体的透视影像;

5、根据预设战术队形,在所述视野中生成队形保持的虚拟指示标识;并在检测到消防员出现异常状态时,生成指向该消防员的动态导航路径并显示其生命体征信息。

6、在进一步的实施例中,所述多智能体协同slam算法融合imu、视觉里程计和uwb测距信息,解算各移动终端的实时相对位姿,具体包括:以各移动终端位姿为节点构建因子图,最小化包含imu预积分残差、视觉重投影残差和uwb测距残差的联合目标函数,所述uwb测距残差表示为:

7、

8、其中,、为两终端的位置向量,为uwb实测距离,为根据uwb信号质量动态调整的权重系数。

9、在进一步的实施例中,所述逐像素的遮挡判断包括:

10、将所述三维虚拟轮廓化身投影至屏幕空间,获得各像素的化身深度值,从所述稠密深度图中采样对应像素的场景深度值,当满足时判定该像素被遮挡,其中容忍阈值,为基础阈值,β为与深度相关的增长系数。

11、在进一步的实施例中,所述三维虚拟轮廓化身的不透明度根据所述相对位姿中的距离d动态调整,调整函数为:

12、

13、其中,为最小不透明度,k为衰减系数,使得远处化身的透明度更高,近处化身的透明度更低。

14、在进一步的实施例中,还包括:

15、获取各消防员配备的热成像传感器采集的热红外图像,提取人体热轮廓掩膜,利用所述实时相对位姿将所述热轮廓掩膜投影至所述增强现实显示装置的视野中,与所述三维虚拟轮廓化身进行轮廓配准,并根据配准偏差修正化身的位置和姿态。

16、在进一步的实施例中,所述虚拟连线的颜色根据相对距离d与预设队形距离的偏差程度动态调整,颜色色相值h按下式计算:

17、

18、其中,为最大允许偏差,色相值120°对应绿色,0°对应红色。

19、在进一步的实施例中,所述检测到消防员出现异常状态,包括:

20、利用imu数据通过轻量级神经网络识别倒地姿态,并结合生命体征传感器检测的核心温度上升速率,当倒地概率超过阈值且温度上升速率超过预设速率阈值时,判定为热应激倒地事件。

21、一种基于增强现实的消防火场内部可视化指挥系统,用于实现上述方法,包括:

22、多个移动终端,分别配备于各消防员,集成有惯性测量单元、视觉传感器、超宽带uwb测距模块、生命体征传感器及增强现实显示装置;

23、自组网络通信模块,用于在无卫星信号环境下建立各移动终端间的数据共享链路;协同定位模块,用于融合各移动终端的imu数据、视觉里程计数据和uwb测距数据,解算各移动终端彼此的实时相对位姿;

24、化身渲染模块,用于根据所述实时相对位姿,在一第一移动终端的增强现实显示装置中渲染生成其他消防员的虚拟轮廓化身,并通过逐像素遮挡判断将所述虚拟轮廓化身以半透明形式叠加于视野中的对应空间位置;

25、队形指示模块,用于根据预设战术队形在视野中生成连接相邻消防员的虚拟连线;异常告警模块,用于在检测到消防员出现异常状态时,生成指向该消防员的动态导航路径并显示其生命体征信息。

26、在进一步的实施例中,所述协同定位模块以各移动终端位姿为节点构建因子图,最小化包含imu预积分残差、视觉重投影残差和uwb测距残差的联合目标函数;所述uwb测距残差表示为,其中、为两终端位置向量,为uwb实测距离,为根据uwb信号质量动态调整的权重系数。

27、在进一步的实施例中,所述化身渲染模块执行逐像素遮挡判断时,将所述虚拟轮廓化身投影至屏幕空间获得化身深度值,从稠密深度图采样场景深度值,当满足时判定该像素被遮挡,其中容忍阈值;且所述虚拟轮廓化身的不透明度根据所述相对位姿中的距离d动态调整,调整函数为。

28、有益效果:本发明涉及一种基于增强现实的消防火场内部可视化指挥方法及系统,具有以下有益效果:

29、1、采用多智能体协同slam因子图优化框架,将imu预积分、视觉重投影与uwb测距三类约束紧耦合融合,无需外部基站与卫星信号,即可在浓烟、低纹理的火场内部实现多消防员厘米级相对位姿解算。uwb 测距权重随信号质量动态调整,有效抑制非视距误差;多终端联合约束持续校正惯性累积漂移,解决了单机定位方案易发散、长时间作业精度不足的技术缺陷,为火场协同提供可靠的空间基准。

30、2、通过逐像素深度遮挡判别机制,结合动态深度容忍阈值,实现“透烟不透墙”的三维虚拟轮廓化身渲染,队友立体人形直接叠加于真实空间对应位置,替代传统热成像小屏查看与语音方位描述,消除人脑空间匹配的认知延迟与误差。化身不透明度随距离动态衰减,兼顾近距离辨识度与远距离视觉舒适度;叠加热成像轮廓配准修正,进一步提升浓烟环境下位姿精度,使消防员在零能见度场景下仍可直观感知队友空间分布。

31、3、基于预设战术队形生成动态变色虚拟连线,通过色相变化直观反馈队员间距偏差,辅助班组实时维持作战编队,降低失散风险。采用imu姿态识别联合核心温度速率的双模态判定机制,精准区分战术卧倒与热应激倒地事件,减少误告警。异常触发后自动在ar视野生成动态导航路径与体征悬浮显示,帮助救援人员快速锁定遇险人员方位与状态,大幅缩短搜救响应时间,全面提升火场救援的安全性与指挥效率。