基于多模态融合的消防头盔环境感知辅助装置的制作方法
本技术涉及消防辅助装置的,尤其涉及一种基于多模态融合的消防头盔环境感知辅助装置。
背景技术:
1、消防员开展火场救援作业时,会面临极端复杂的视觉环境:高温、浓烟、弱光、水雾等多重因素相互交织,会严重限制人眼的直接观察能力。为提高消防员的环境感知能力,现代消防头盔通常集成可见光摄像模组与红外热成像模组,通过光学显示系统将增强后的场景图像投射至消防员眼前,辅助其穿透烟雾、识别受困人员及危险源。
2、但单一的可见光设备在浓烟或暗光环境下几乎完全失效,而纯红外设备虽能穿透烟雾探测热源,却极易丢失场景纹理细节与空间层次感。目前,少数采用双光融合的辅助设备多依赖固定的全局融合权重或简单的图像拼接,无法根据火场中动态且空间分布不均的烟雾浓度与局部热流演进做出实时自适应调整,导致融合图像在局部区域依然模糊或丢失关键信息。
3、此外,消防员在火场奔跑、攀爬等剧烈运动状态下,头盔晃动极易引发可见光与红外相机的视差变化及图像运动模糊,现有技术缺乏基于实时运动位姿的动态补偿机制,常致使融合图像出现重影和错位。同时,传统设备大多仅将原始视频流直接投射于屏幕,需要消防员在高度紧张状态下自行分辨危险源,缺乏对异常物理结构或高温危险区的智能语义识别与视觉增强预警,人机交互极不直观,显著增加了消防员的认知负荷。
技术实现思路
1、本技术旨在至少在一定程度上解决相关技术中的技术问题之一。
2、为实现上述目的,本技术第一方面实施例提出了基于多模态融合的消防头盔环境感知辅助装置,包括:可见光采集模块,安装于消防头盔上,用于采集实时可见光图像;红外感知模块,安装于消防头盔上,用于采集实时红外图像;环境信息采集模块,安装于消防头盔上,用于采集实时烟雾颗粒物浓度;惯性测量单元,安装于消防头盔内,所述惯性测量单元用于输出六轴惯性数据;处理器,分别与所述可见光采集模块、红外感知模块、环境信息采集模块和惯性测量单元连接;所述处理器用于提取所述实时红外图像中各像素局域的红外局部信息熵;所述处理器根据所述实时烟雾颗粒物浓度、预设的烟雾浓度休眠阈值、预设的增益系数以及所述红外局部信息熵,计算每个像素点的红外融合权重,得到红外像素级融合权重矩阵;所述处理器根据所述红外像素级融合权重矩阵确定可见光像素级融合权重矩阵;利用所述红外像素级融合权重矩阵对所述实时红外图像加权,利用所述可见光像素级融合权重矩阵对所述实时可见光图像加权,并叠加得到多模态融合增强图像;将所述多模态融合增强图像输入场景语义识别网络,提取异常状态轮廓坐标,生成掩膜指令;光学显示模组,安装于消防头盔上,与所述处理器连接,用于接收并执行所述掩膜指令。
3、另外,根据本技术上述提出的基于多模态融合的消防头盔环境感知辅助装置还可以具有如下附加的技术特征:
4、在本技术的一个实施例中,所述红外像素级融合权重矩阵中坐标为()的像素点的红外融合权重的值通过如下公式确定:;其中,为所述实时烟雾颗粒物浓度,为所述预设的烟雾浓度休眠阈值,为所述预设的增益系数;为坐标为()的像素点处的所述红外局部信息熵;为坐标为()的像素点在当前时间戳下的时序热流演进梯度,由连续多帧红外图像中同一像素局域的灰度变化率计算得到;和分别为预设的熵值调节系数和热流调节系数。
5、在本技术的一个实施例中,所述处理器还用于根据所述六轴惯性数据计算所述可见光采集模块与所述红外感知模块的位姿变换矩阵,结合所述可见光采集模块的内参矩阵和所述红外感知模块的内参矩阵生成空间映射关系;根据所述空间映射关系对所述实时红外图像和所述实时可见光图像进行像素坐标反投影补偿,得到空间对齐后的红外图像和可见光图像,并基于所述空间对齐后的红外图像提取所述红外局部信息熵。
6、在本技术的一个实施例中,所述处理器在根据所述红外像素级融合权重矩阵确定可见光像素级融合权重矩阵时,具体包括:对所述红外像素级融合权重矩阵中的每一个红外融合权重的值进行归一化处理,得到归一化红外权重矩阵;根据所述六轴惯性数据计算当前时间窗口内的位姿抖动方差,并生成高频位姿抖动惩罚项;确定所述可见光像素级融合权重矩阵中坐标为的像素的可见光融合权重的值,;其中,为所述归一化红外权重矩阵中的对应元素,为所述高频位姿抖动惩罚项,为预设的抖动惩罚敏感度常数。
7、在本技术的一个实施例中,所述处理器提取所述红外局部信息熵包括:将所述实时红外图像划分为多个预设尺寸的图像区块;针对每一个所述图像区块计算灰度共生矩阵;根据所述灰度共生矩阵中各灰度级组合的联合概率密度计算该图像区块的局部信息熵,并将该局部信息熵确定为该图像区块内的所有像素点的红外局部信息熵。
8、在本技术的一个实施例中,所述处理器还用于:计算所述红外像素级融合权重矩阵的全局红外权重均值;当所述全局红外权重均值大于预设的降级保护阈值、且持续时间超过预设时间阈值时,切断所述可见光采集模块的数据获取链路,并将所述实时红外图像直接作为所述多模态融合增强图像。
9、在本技术的一个实施例中,所述掩膜指令包括以下至少一种:轮廓高亮叠加指令,用于在所述多模态融合增强图像上以预设颜色绘制所述异常状态轮廓;区域填充叠加指令,用于在所述异常状态轮廓所包围的区域内以预设透明度填充警示色;闪烁警示指令,用于指示所述异常状态轮廓或填充区域以预设频率进行闪烁显示。
10、为实现上述目的,本技术第二方面实施例提出了一种基于多模态融合的消防头盔环境感知辅助方法,包括:获取安装于消防头盔上的可见光采集模块输出的实时可见光图像、红外感知模块输出的实时红外图像、环境信息采集模块输出的实时烟雾颗粒物浓度以及惯性测量单元输出的六轴惯性数据;提取所述实时红外图像中各像素局域的红外局部信息熵;根据所述实时烟雾颗粒物浓度、预设的烟雾浓度休眠阈值、预设的增益系数以及所述红外局部信息熵,计算每个像素点的红外融合权重,得到红外像素级融合权重矩阵;根据所述红外像素级融合权重矩阵确定可见光像素级融合权重矩阵;利用所述红外像素级融合权重矩阵对所述实时红外图像加权,利用所述可见光像素级融合权重矩阵对所述实时可见光图像加权,并叠加得到多模态融合增强图像;将所述多模态融合增强图像输入场景语义识别网络,提取异常状态轮廓坐标,生成掩膜指令并发送至光学显示模组进行显示。
11、本发明提供了一种基于多模态融合的消防头盔环境感知辅助装置及方法。本发明突破了传统全局固定权重的局限,通过综合实时烟雾浓度、红外局部信息熵与热流演进梯度实现像素级自适应融合,避免了传统融合方式在局部浓烟区域掩盖物理纹理或遗漏隐蔽热源的图像融合误差,减少了消防员因视觉盲区导致的地形与火情误判风险。针对消防员运动干扰,本发明利用惯性数据生成高频位姿抖动惩罚项并进行像素反投影补偿,隔离了剧烈跑动产生的可见光模糊帧对融合画面的视觉污染,消除了由双光镜头物理间距引起的空间坐标错位。同时,系统通过场景语义识别与掩膜标注,直接免除了消防员在复杂火场图像中肉眼搜寻异常轮廓的人工判断环节,缩短了从环境探测到危险避让的反应时间。此外,系统通过全局红外权重监控触发降级保护机制,在可见光失效的极端浓烟中自动切断链路,阻断了无效噪点数据对处理器的运算挤占,避免了设备高负荷带来的死机风险,改善了系统在极限工况下的运行稳定性与持续数据输出的可靠性。
12、本技术附加的方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本技术的实践了解到。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com