一种基于红外显著性引导特征增强的多模态林火行为实例分割方法

摘要: 涉及计算机视觉与林火智能监测,具体涉及基于红外显著性引导特征增强的多模态林火行为实例分割技术。背景技术:1、林火行为监测是计算机视觉与林火智能监测领域的重要技术...
一种基于红外显著性引导特征增强的多模态林火行为实例分割方法

涉及计算机视觉与林火智能监测,具体涉及基于红外显著性引导特征增强的多模态林火行为实例分割技术。

背景技术:

1、林火行为监测是计算机视觉与林火智能监测领域的重要技术方向。在林区巡护、实验观测和火情预警过程中,需要对林火行为的类型、位置及形态轮廓进行识别,以获得垂直蔓延、水平蔓延、飞火及峡谷火等不同林火行为的空间分布信息。现有林火监测方式主要包括人工巡护、地面传感器监测、卫星遥感监测以及基于图像的智能识别。随着深度学习技术的发展,基于图像的智能识别逐渐采用图像分类、目标检测、语义分割和实例分割等处理方式,通过对采集图像进行特征提取和分类预测,确定图像中是否存在林火行为,并进一步获得林火行为的位置或像素级区域。

2、现有基于可见光图像的林火行为识别方法通常利用卷积神经网络提取颜色、纹理和轮廓特征,并通过分类网络、目标检测网络或分割网络输出识别结果。其中,图像分类方法主要用于判断图像中是否存在林火行为,目标检测方法通常以边界框标示林火行为的位置,语义分割方法能够对林火区域进行像素级划分,实例分割方法则能够进一步区分不同林火实例并获得相应的形态轮廓。由于林火边界具有不规则、动态变化和局部模糊等特点,仅采用分类结果或边界框难以完整表征林火行为的空间形态,因而实例分割逐渐被用于林火行为的精细识别。

3、然而,可见光图像的成像结果容易受到烟雾遮挡、低照度、强光反射以及复杂背景纹理的影响。在夜间、浓烟或背景中存在灯光、反光区域及火焰相似物体的情况下,可见光特征中与林火行为相关的纹理信息容易被背景信息干扰。为提高林火行为识别的可靠性,现有技术开始引入红外图像,并利用红外图像反映热辐射分布的特点,与可见光图像所包含的纹理和轮廓信息进行互补。常见的多模态处理方式包括在输入端拼接红外图像与可见光图像、对两种图像分别进行特征提取后直接拼接特征,或者利用注意力机制对不同模态的特征进行加权融合。

4、现有多模态融合方法通常采用相对对称的融合方式,对红外图像和可见光图像中的高亮区域、高频纹理及边缘信息进行统一保留或增强。该类方法在用于林火行为实例分割时,容易将环境光源、太阳反射、高温烟气和受热背景等非林火区域的响应同时引入融合特征,使背景热噪声与林火纹理发生混淆。对于飞火等尺度较小、像素占比较低且存在运动模糊的林火行为,其有效响应通常较为稀疏,若采用全局特征融合、特征差分或通道压缩等处理方式,还可能在抑制背景信息的同时削弱微小林火行为的特征,导致其轮廓信息在多层特征提取过程中逐渐丢失。

5、此外,红外图像与可见光图像通常由不同成像设备采集,两者在空间分辨率、视场范围和成像坐标方面存在差异。若未经空间配准即直接进行特征融合或标签共享,容易产生像素位置偏差和语义错位。分别对红外图像和可见光图像进行像素级标注,不仅需要重复标注,还难以保证两种模态中同一林火行为轮廓的一致性。部分现有方法为提高多模态识别精度而设置较为复杂的融合网络,也会增加特征处理过程中的计算量,不利于林火行为的实时监测。

6、综上,现有技术中存在多模态特征融合易引入背景噪声且易削弱微小林火行为特征,难以实现复杂场景下林火行为精细实例分割的缺陷。

技术实现思路

1、为解决现有技术中存在多模态特征融合易引入背景噪声且易削弱微小林火行为特征,难以实现复杂场景下林火行为精细实例分割的缺陷,本发明提供的技术方案为:

2、一种基于红外显著性引导特征增强的多模态林火行为实例分割方法,包括:

3、获取同一林火场景对应的可见光图像和红外图像,根据所述可见光图像与所述红外图像中对应空间位置之间的映射关系,将所述红外图像配准至所述可见光图像的坐标系,得到配准红外图像的步骤;

4、分别对所述可见光图像和所述配准红外图像进行特征提取,得到多个尺度的可见光特征和红外中间特征的步骤;

5、对所述红外中间特征在特征通道维度进行聚合,并对聚合所得的空间响应进行归一化,得到用于表征林火目标空间分布权重的红外空间显著性图的步骤;

6、从所述多个尺度的可见光特征中确定目标可见光特征,根据所述目标可见光特征的空间分辨率调整所述红外空间显著性图,并根据调整后的红外空间显著性图对所述目标可见光特征进行逐空间位置加权,将加权所得的红外引导特征经增益调节后与所述目标可见光特征进行融合,得到增强可见光特征的步骤;

7、将所述增强可见光特征与所述多个尺度的可见光特征中除所述目标可见光特征以外的其他可见光特征进行多尺度特征聚合,得到多尺度聚合特征的步骤;

8、根据所述多尺度聚合特征分别确定林火行为实例的类别、位置和实例掩码,并根据所述类别、位置和实例掩码输出林火行为实例分割结果的步骤。

9、进一步,在一个优选实施方式中,所述对应空间位置之间的映射关系根据所述可见光图像和所述红外图像中的多组对应共面特征点确定,并基于所述映射关系对所述红外图像进行投影和插值重采样,得到与所述可见光图像空间分辨率及像素位置相对应的所述配准红外图像。

10、进一步,在一个优选实施方式中,所述红外中间特征的聚合采用对同一空间位置在各特征通道中的响应值进行平均处理,所述归一化采用非线性激活处理,以将聚合所得的空间响应转换为预设数值范围内的连续空间分布权重。

11、进一步,在一个优选实施方式中,所述目标可见光特征为所述多个尺度的可见光特征中的中间尺度可见光特征,所述中间尺度可见光特征的空间分辨率低于浅层可见光特征且高于深层可见光特征。

12、进一步,在一个优选实施方式中,所述增益调节采用可学习增益系数对所述红外引导特征进行缩放,并将缩放后的红外引导特征与所述目标可见光特征进行逐元素相加,以得到所述增强可见光特征。

13、进一步,在一个优选实施方式中,所述多尺度特征聚合按照自顶向下的特征传递关系将深层可见光特征与相邻的较浅层可见光特征进行融合,并按照自底向上的特征传递关系将融合后的较浅层可见光特征与相邻的较深层可见光特征进行融合,得到分别对应不同目标尺度的所述多尺度聚合特征。

14、一种基于红外显著性引导特征增强的多模态林火行为实例分割装置,包括:

15、获取同一林火场景对应的可见光图像和红外图像,根据所述可见光图像与所述红外图像中对应空间位置之间的映射关系,将所述红外图像配准至所述可见光图像的坐标系,得到配准红外图像的模块;

16、分别对所述可见光图像和所述配准红外图像进行特征提取,得到多个尺度的可见光特征和红外中间特征的模块;

17、对所述红外中间特征在特征通道维度进行聚合,并对聚合所得的空间响应进行归一化,得到用于表征林火目标空间分布权重的红外空间显著性图的模块;

18、从所述多个尺度的可见光特征中确定目标可见光特征,根据所述目标可见光特征的空间分辨率调整所述红外空间显著性图,并根据调整后的红外空间显著性图对所述目标可见光特征进行逐空间位置加权,将加权所得的红外引导特征经增益调节后与所述目标可见光特征进行融合,得到增强可见光特征的模块;

19、将所述增强可见光特征与所述多个尺度的可见光特征中除所述目标可见光特征以外的其他可见光特征进行多尺度特征聚合,得到多尺度聚合特征的模块;

20、根据所述多尺度聚合特征分别确定林火行为实例的类别、位置和实例掩码,并根据所述类别、位置和实例掩码输出林火行为实例分割结果的模块。

21、计算机存储介质,用于存储计算机程序,当所述计算机程序被计算机读取时,所述计算机执行所述的方法。

22、计算机,包括处理器和存储介质,当所述处理器读取所述存储介质中存储的计算机程序时,所述计算机执行所述的方法。

23、计算机程序产品,作为计算机程序,当所述计算机程序被执行时,实现所述的方法。

24、与现有技术相比,本发明提供的技术方案的有益之处在于:

25、构建涵盖垂直蔓延、水平蔓延、飞火和峡谷火的红外图像与可见光图像成对数据集,并引入火焰相似颜色、局部高亮区域、烟雾及火烧云等负样本,使模型能够同时学习不同林火行为的类别特征、形态轮廓和非火干扰特征,为林火行为的细粒度分类与实例分割提供具有针对性的训练数据,并降低复杂背景中将非火目标识别为林火行为的概率。

26、针对仅具有可见光图像的负样本,在红外输入通道中填充与可见光图像尺寸一致的全零矩阵,使正样本和负样本均能够按照统一的数据维度输入双分支网络,避免因红外模态缺失而中断训练。同时,该处理使模型在缺少红外热辐射信息时依靠可见光图像的颜色和纹理特征完成非火目标判别,从而减小红外传感器失效或红外特征不明显对识别结果的影响。

27、利用红外图像与可见光图像中的共面特征点求取单应性矩阵,并将红外图像投影至可见光图像坐标系后进行双线性插值重采样,使两种模态的对应目标在统一空间尺度和像素位置下对齐,减少因成像分辨率、视场范围和拍摄坐标不同造成的目标错位,为后续标签共享、显著性引导和跨模态特征调制提供一致的空间对应关系。

28、以边界信息较为清晰的可见光图像作为标注基准,采用预标注与人工校正相结合的方式形成林火实例掩码,并将经空间配准的可见光实例掩码映射至对应红外图像,使同一林火实例在两种模态下共用空间一致的监督信息,避免分别标注红外图像和可见光图像所产生的边界不一致,并减少红外图像像素级标注过程中因热辐射扩散和边界模糊引入的语义偏差。

29、对红外图像与可见光图像实施翻转、旋转、亮度或强度扰动、透射变换、模糊处理和噪声添加,使训练样本覆盖观测方向变化、光照变化、低能见度、镜头失焦、运动模糊及传感器噪声等成像状态,减少模型对固定拍摄条件和局部高频细节的依赖,提高模型在不同成像环境下提取林火行为特征的一致性。

30、按照独立燃烧事件和视频序列划分训练集、测试集和验证集,使同一燃烧过程中的相邻图像不会同时进入训练数据和测试数据,避免模型利用相邻帧之间高度相似的火焰形态和背景信息获得偏高的测试结果,并使测试数据中的林火演化过程和局部背景相对于模型保持未见状态。

31、采用相互独立的可见光编码分支和红外编码分支,并将可见光分支设置为主分支、红外分支设置为辅助引导分支,使可见光分支保留林火行为的纹理、边缘和空间细节,红外分支提供与高温目标位置相关的热辐射先验,避免将两种模态的全部特征直接对等拼接而把高温烟气、受热背景和环境光源等非目标响应引入主特征流。

32、对红外编码分支的中间特征在通道维度上求取平均响应,使仅在个别通道中出现的孤立噪声受到削弱,而在多个通道中保持高响应的热目标区域得到保留;再通过sigmoid激活将空间响应归一化为空间显著性图,使不同位置形成连续的软权重,为可见光特征提供与林火目标分布相关的空间约束。

33、将红外显著性图调整至可见光中间特征的空间分辨率,并通过逐元素乘法和可学习增益系数对可见光特征实施软调制,使红外引导强度能够随训练过程自适应调整,对林火目标区域进行选择性增强,同时保留未调制的可见光基础特征。该残差式调制关系能够避免红外信息直接替换可见光信息,使红外图像存在噪声或局部失效时仍保留可见光分支的原始表征。

34、将红外显著性引导限定于空间分辨率与语义信息相对平衡的p4特征层,使调制位置既具有过滤浅层背景热噪声所需的语义信息,又保留定位飞火等小尺度目标所需的空间细节,避免在较浅特征层引入过多热背景响应,也避免在较深特征层因多次下采样而丢失微小目标位置。相较于多层重复注入,该单层调制还减少了不同尺度特征趋同和额外计算开销,在7.72 gflops计算量下保持64.62 fps的推理速度。

35、利用可见光实例掩码对红外显著性图进行弱监督,并通过二元交叉熵损失与dice损失共同约束红外显著性图和实例掩码之间的差异,使红外编码分支在反向传播过程中逐渐集中于真实林火行为区域,而不是仅依据温度高低响应高温烟气、受热地面或其他非目标热源,从而提高红外空间引导与实际林火实例之间的一致性。

36、在红外编码器中保留梯度残差特征,使生成红外显著性图时仍能够传递热辐射强度的连续变化和边缘梯度,避免红外特征退化为仅表示目标与背景的刚性二值掩码,从而为后续特征调制提供包含热场结构和目标边界变化的空间信息。

37、利用fpn-pan颈部网络对不同尺度的增强特征进行双向聚合,使高层语义信息与低层空间细节在特征传递过程中相互补充,减少不规则火焰边界和微小飞火特征在连续下采样过程中被削弱的问题,并为不同尺度林火行为的类别判别、位置回归和掩码预测提供多尺度特征基础。

38、通过解耦的实例分割输出结构分别形成林火行为的类别概率、目标边界框和实例掩码,使模型不仅能够判断林火行为类别和所在位置,还能够在像素层面区分不同林火实例并勾勒其不规则边缘。分类损失、边界框回归损失和掩码分割损失的联合优化,使特征提取结果同时受到类别判别、目标定位和轮廓分割任务的约束,最终使目标检测和实例分割的map@0.5分别达到87.7%和81.9%。