一种基于ROS的动态模态切换森林火点检测方法和系统

本发明属于森林防火与多模态视觉检测，特别是涉及一种基于ros的动态模态切换森林火点检测方法和系统。

背景技术：

1、森林火灾具有突发性强、破坏性大、处置困难等特点。及时准确地检测火点是有效控制火灾、减少损失的关键。近年来，无人机和卫星平台上搭载可见光与红外热成像传感器进行火点检测已成为主流技术手段。可见光图像能够提供丰富的空间纹理细节信息，而红外图像对热辐射敏感，能够有效穿透烟雾直接检测热源，两者的互补优势可以显著提高火点检测的准确性和可靠性。然而，现有方法在实际应用中面临以下三个核心问题：

2、第一，融合策略固化。现有多模态火点检测方法大多采用固定的融合权重或单一的融合策略，无法根据实际环境条件动态调整模态贡献度。在光照良好、无遮挡条件下，可见光图像已能提供足够的检测信息，此时仍然使用复杂的跨模态融合模型会造成计算资源的浪费；而在夜晚、烟雾遮挡、强反射等恶劣条件下，单一可见光检测性能急剧下降，必须依赖红外模态的信息。现有技术中已有研究提出了基于亮度熵、对比度和温度分布标准差的环境特征提取方法，并用于生成可见光与红外的连续融合权重。然而，该方法输出的融合权重用于对双流特征进行加权求和，本质上仍属于“始终融合”的框架，无法在计算资源受限或光照良好时完全避开融合模型的计算开销。与此不同，本发明首次提出将环境特征用于离散的模态切换决策，即完全关闭融合分支、仅运行轻量级单模态检测器，从而在保证检测精度的前提下显著降低计算负载。

3、第二，模态切换缺失且缺乏防抖动机制。现有方法始终采用固定的检测策略，缺乏在不同模态之间自主或受控切换的机制，也无法与无人机飞控系统或地面站进行有效的人机协同。此外，简单基于单帧特征进行切换会导致在场景边缘频繁震荡，严重影响检测结果的稳定性。

4、第三，跨模态融合中的非理想对齐问题被忽视。现有方法大多假设红外与可见光图像已完成精确配准，但在实际无人机巡检中，由于传感器物理安装位置差异导致的视差、热扩散过程与视觉表现之间的物理时延、以及不同传感器分辨率差异，导致图像间普遍存在空间、时间和语义层面的非理想对齐问题。

5、因此，亟需一种既能根据环境动态选择最优检测策略、又能处理非理想对齐问题，同时支持人机协同且具有防模态抖动能力的森林火点检测方法和系统。

技术实现思路

1、为克服现有森林火点检测系统融合策略固化、无法自主选择检测模式、简单单帧切换导致模态抖动、以及难以处理红外与可见光图像非理想对齐的技术缺陷，提供一种基于ros的动态模态切换森林火点检测方法和系统。

2、本发明解决其技术问题采用的技术方案是：

3、一种基于ros的动态模态切换森林火点检测方法，方法包括以下步骤：

4、s100：获取同一场景下的可见光图像和红外热成像图像，并通过ros话题发布；

5、s200：订阅可见光图像和红外热成像图像，计算可见光图像的亮度熵和局部对比度均值、以及红外热成像图像的温度分布标准差，根据亮度熵、局部对比度均值和温度分布标准差生成可见光模态置信度和红外模态置信度，并存入历史置信度队列；

6、s300：判断是否接收到模态切换指令，若接收到模态切换指令且模态切换指令不为自动模式指令，则根据模态切换指令强制切换至对应的检测模式，并进入s500；若未接收到模态切换指令或模态切换指令为自动模式指令，则进入s400；其中，检测模式包括可见光单模态检测模式和跨模态融合检测模式；

7、s400：基于历史置信度队列进行时序平滑判断，当判断结果满足预设的模态切换条件时，切换当前检测模式，否则维持当前检测模式；

8、s500：根据s300或s400确定的当前检测模式，选择对应的检测子网络对可见光图像和/或红外热成像图像进行火点检测，并通过ros话题发布火点检测结果，火点检测结果包括火点位置、置信度和包围框信息。

9、优选地，s200中亮度熵的计算公式为：

10、

11、其中，为亮度熵，为将可见光图像转换为灰度图后灰度级的概率；

12、局部对比度均值的计算公式为：

13、

14、其中，为可见光图像转换得到的灰度图，为拉普拉斯算子，l为对应用拉普拉斯算子后得到的响应图像，为局部对比度均值，为对输入矩阵的所有像素值求平均值；

15、温度分布标准差的计算公式为：

16、

17、其中，为温度分布标准差，为红外热成像图像，和分别为红外热成像图像的高和宽，为红外热成像图像的温度均值，，为图像中像素的空间坐标。

18、优选地，s200中，通过多层感知机将亮度熵、局部对比度均值和温度分布标准差拼接为环境特征向量，映射为原始模态置信度，经softmax函数输出归一化的可见光模态置信度和红外模态置信度，可见光模态置信度和红外模态置信度之和为1；多层感知机依次包括全连接层、relu激活层和全连接层。

19、优选地，s200中亮度熵、局部对比度均值和温度分布标准差每n帧计算一次，n的取值为5～10。

20、优选地，s300中的模态切换指令通过ros话题或mode_switch接收，指令数值0表示强制切换至可见光单模态检测模式，指令数值1表示强制切换至跨模态融合检测模式，指令数值2表示自动模式指令；当接收到指令数值0或1时，系统立即切换至对应的检测模式并持续保持，直至接收到新的指令或系统重启。

21、优选地，s400中预设的切换条件为：

22、当历史置信度队列中所有帧的可见光模态置信度均大于第一阈值且红外模态置信度均小于第二阈值时，触发向可见光单模态检测模式切换；其中，第一阈值的取值范围为0.6～0.8，第二阈值的取值范围为0.2～0.4。

23、优选地，s400包括：

24、若当前检测模式为跨模态融合检测模式，且满足预设的切换条件时，则切换至可见光单模态检测模式；

25、若当前检测模式为可见光单模态检测模式，且历史置信度队列中连续m帧不满足预设的切换条件时，则切换回跨模态融合检测模式；其中m为预设的正整数，取值范围为3～10；

26、否则，维持当前检测模式。

27、优选地，可见光单模态检测模式通过可见光单模态检测子网络进行火点检测；可见光单模态检测子网络基于yolo系列模型构建，采用cspdarknet骨干网络提取可见光图像特征，经路径聚合网络进行特征融合后，通过检测头输出火点检测结果，可见光单模态检测子网络仅以可见光图像为输入；

28、跨模态融合检测模式通过跨模态融合检测子网络对可见光图像和红外热成像图像进行火点检测；跨模态融合检测子网络采用可见光骨干网络和热红外骨干网络分别提取可见光图像特征和红外热成像图像特征，再依次经可学习模态字典模块、多尺度跨模态对齐模块和火点感知融合模块处理，通过检测头输出火点检测结果，其中：

29、可学习模态字典模块，对每个模态构建可学习的特征原型字典，通过空间注意力机制生成查询权重，对字典原型进行加权聚合重建特征图，并与原始特征通过残差连接融合，以补偿跨模态语义差异；

30、多尺度跨模态对齐模块，预定义多个不同粒度的网格尺寸，对红外特征和可见光特征进行多尺度特征变换，计算跨尺度相似度图，生成对齐权重，实现从红外特征空间到可见光特征空间的隐式空间对齐；

31、火点感知融合模块，将经过对齐的特征输入检测头，生成初始火点置信度热力图，对热力图进行多尺度上采样，将上采样后的热力图与对应尺度的对齐特征沿通道维度拼接，经卷积处理和激活函数生成门控权重，根据门控权重对红外特征与可见光对齐特征进行自适应加权融合，以控制不同模态特征在各尺度的贡献比例，输出精化后的融合特征。

32、优选地，当从跨模态融合检测模式切换至可见光单模态检测模式时，系统保持最近若干帧的红外特征图缓存，用于在再次切回跨模态融合检测模式时提供热历史先验信息，加速跨模态融合检测子网络的火点定位。

33、一种基于ros的动态模态切换森林火点检测系统，包括：

34、图像采集发布模块，用于获取同一场景下的可见光图像和红外热成像图像，并通过ros话题发布；

35、环境感知与模态决策模块，用于订阅可见光图像和红外热成像图像，计算可见光图像的亮度熵和局部对比度均值、以及红外热成像图像的温度分布标准差，根据亮度熵、局部对比度均值和温度分布标准差生成可见光模态置信度和红外模态置信度，并存入历史置信度队列；环境感知与模态决策模块包括时序平滑单元，用于基于历史置信度队列进行时序平滑判断，当判断结果满足预设的模态切换条件时，切换当前检测模式，否则维持当前检测模式；

36、手动干预接口，用于判断是否接收到模态切换指令，若接收到模态切换指令且模态切换指令不为自动模式指令，则根据模态切换指令强制切换至对应的检测模式，并进入异构检测引擎；若未接收到模态切换指令或模态切换指令为自动模式指令，则触发时序平滑单元执行判断；其中，检测模式包括可见光单模态检测模式和跨模态融合检测模式；

37、异构检测引擎，用于根据确定的当前检测模式，选择对应的检测子网络对可见光图像和/或红外热成像图像进行火点检测，输出火点检测结果，火点检测结果包括火点位置、置信度和包围框信息；

38、系统状态发布模块，用于将火点检测结果通过ros话题发布。

39、本发明通过设置时序平滑判断步骤，仅在历史置信度队列满足预设切换条件时才切换当前检测模式，有效避免了因单帧噪声导致的模态频繁切换，同时在条件满足时切换至可见光单模态检测模式以降低计算开销；通过设置模态切换指令判断步骤，使操作员可实时注入强制切换指令并跳过时序平滑判断，手动指令与自动决策协同工作，实现了人工经验与机器决策的优势互补；根据当前检测模式自适应选择yolo单模态网络或跨模态融合检测网络，兼顾了检测效率与全天候检测精度；融合检测模式下的跨模态特征对齐有效克服了传感器视差、热扩散时延及分辨率差异造成的空间不对齐问题，提升了检测鲁棒性；基于ros架构，各步骤模块解耦，可方便地集成到现有无人机地面站系统中，支持远程监控和二次开发。