一种基于类别自适应跨模态特征路由的RGB-T图像语义分割方法

摘要: 本发明涉及计算机视觉中的多模态图像语义分割,特别是涉及一种基于类别自适应跨模态特征路由的rgb-t图像语义分割方法,可应用在自动驾驶、机器人导航、智能交通、智能...
一种基于类别自适应跨模态特征路由的RGB-T图像语义分割方法

本发明涉及计算机视觉中的多模态图像语义分割,特别是涉及一种基于类别自适应跨模态特征路由的rgb-t图像语义分割方法,可应用在自动驾驶、机器人导航、智能交通、智能安防监控和智能机器人。

背景技术:

1、语义分割广泛应用于自动驾驶、机器人视觉等场景感知系统,用于对道路、行人、车辆、交通标志和交通灯等目标进行逐像素识别。可见光图像能够提供纹理、轮廓和颜色信息,但在低照度、强反射、雾霾或雨雪等环境下容易退化;热红外图像能够反映目标热响应差异,可在复杂光照或视觉退化条件下提供补充信息。因此,可见光与热红外联合感知为复杂环境下的语义分割提供了多源信息基础。由于两类传感器具有不同成像机理,同一场景中的不同类别目标对模态信息的依赖程度并不相同。

2、zhao等人提出了mdrnet+模态差异缓解网络。该方法采用先桥接、后融合的策略,该方法能够在一定程度上改善rgb与thermal特征之间的差异问题,但其融合过程主要基于通道维度的统一加权规则,未针对不同语义类别分别建模rgb专属模态特征、thermal专属模态特征和共享跨模态特征。当不同类别对两种模态的依赖关系存在明显差异时,统一融合方式仍可能引入与当前类别相关性较弱的模态信息,并削弱原本较为可靠的单模态线索。

3、wang等人提出了utfnet不确定性引导可信融合网络,该方法将不确定性因素引入多模态融合过程,有助于根据模态信息质量调整融合结果,但其调整依据主要集中在样本级或模态级层面,尚未进一步针对不同的语义类别和不同的特征通道进行特征来源细分,也未显式区分模态专属特征与共享跨模态特征。因此,当同一场景中的不同目标类别分别依赖rgb纹理、thermal响应或跨模态互补信息时,该融合策略对类别差异和模态特征来源差异的刻画仍较为粗粒度。

4、综上,现有技术存在以下缺点:

5、(1)使用纯 transformer 架构进行跨模态特征融合时,需要对大量图像特征执行全局关联计算,融合效率较低,计算复杂度较高,难以满足真实场景中的高效部署需求。

6、(2)现有 rgb-t 语义分割方法通常对不同语义类别采用统一的融合规则,未充分考虑不同类别对可见光信息和热红外信息的依赖差异,导致模态信息分配缺乏针对性。

7、(3)当单一模态已经包含可靠判别线索时,现有统一融合方式仍可能引入另一模态中的无关信息,压制原有有效特征,使小目标、细长目标或局部结构明显目标出现类别特定的负迁移。

8、(4)现有自适应融合方法缺少对模态特征来源利用情况的有效约束,训练过程中容易过度依赖单一模态,使其他模态信息和共享跨模态信息未被充分利用,影响融合稳定性和复杂场景适应能力。

技术实现思路

1、本发明的目的是提供一种基于类别自适应跨模态特征路由的rgb-t图像语义分割方法,能够面向不同目标类别合理分配可见光模态特征、热红外模态特征及共享模态特征,并在训练过程中保持多源信息语义可靠性和利用稳定性,提高复杂环境下多模态语义分割的准确性和稳定性。

2、为实现上述目的,本发明提供了如下方案:

3、一种基于类别自适应跨模态特征路由的rgb-t图像语义分割方法,包括:

4、获取rgb图像和thermal图像;

5、通过所述rgb图像和thermal图像对基于孪生共享的语义分割网络进行训练,获取训练后的网络,其中,所述基于孪生共享的语义分割网络在每个编码器阶段后设置有类别自适应路由模块,所述类别自适应路由模块根据不同类别对rgb特征和thermal特征的依赖差异,对模态特征进行自适应融合;

6、将待分割rgb图像和thermal图像输入所述训练后的网络,输出语义分割结果。

7、可选的,通过所述rgb图像和thermal图像对基于孪生共享的语义分割网络进行训练包括:

8、采用的swinv2特征提取器中的下采样块对所述rgb图像和thermal图像进行下采样,获取rgb特征和thermal特征;

9、将所述rgb特征和thermal特征输入所述类别自适应路由模块,输出各编码器层的融合特征;

10、将所述融合特征输入mask2former解码器进行多尺度特征完成语义信息聚合和像素级分类,输出训练阶段的语义分割预测图。

11、可选的,所述类别自适应路由模块根据不同类别对rgb特征和thermal特征的依赖差异,对模态特征进行自适应融合包括:

12、通过残差特征变换函数对所述rgb特征和thermal特征进行处理,获取rgb专属模态特征、thermal专属模态特征和共享跨模态特征,并进行拼接;

13、通过全局平均池化和线性投影对拼接后特征进行处理,获取视觉上下文描述符;

14、将所述视觉上下文描述符与第k个语义类别对应的类别嵌入向量进行拼接后,输入类别条件路由器生成路由权重,根据所述路由权重获取第k个类别对应的融合特征;

15、将全部语义类别对应的融合特征进行汇集,输出各编码器层的融合特征。

16、可选的,所述残差特征变换函数为:

17、;

18、其中,和表示卷积核大小为的卷积层,表示卷积核大小为的深度卷积层,σ表示gelu激活函数,表示输入特征。

19、可选的,根据所述路由权重获取第k个类别对应的融合特征包括:

20、将所述路由权重根据模态特征来源拆分为rgb专属模态特征,thermal专属模态特征和共享跨模态特征的权重;

21、将rgb专属模态特征,thermal专属模态特征和共享跨模态特征与对应权重进行逐元素相乘,获取第k个类别对应的融合特征。

22、可选的,对基于孪生共享的语义分割网络进行训练的过程中采用早期语义对齐损失、特征来源利用正则损失和语义分割损失共同优化网络参数,其中,所述早期语义对齐损失对第一个类别自适应路由模块输出的类别特定融合特征施加监督,所述特征来源利用正则损失对模态特征来源的平均使用比例进行约束。

23、可选的,所述早期语义对齐损失为:

24、;

25、其中,表示二元交叉熵损失,表示 dice 损失,表示当前样本中出现的前景类别数量,表示第个类别对应的低分辨率预测掩码,通过将第一个类别自适应路由模块输出的类别特定融合特征输入轻量级探测头获得,为第个类别对应的二值目标掩码。

26、可选的,所述模态特征来源的平均使用比例为:

27、;

28、其中,表示第个编码器阶段中,第个类别在第个通道上的三类模态特征来源权重,为编码器包括的阶段,为语义类别数量,为特征通道数量。

29、本发明的有益效果为:(1)本发明设计了类别自适应路由模块框架,能够在保证分割准确性的同时兼顾计算效率,特别适合在资源受限的边缘设备上应用。

30、(2)本发明根据语义类别动态分配rgb专属模态特征、thermal专属模态特征和共享跨模态特征,克服了统一融合规则无法适应不同类别模态依赖差异的缺陷,并降低了无关模态信息造成的负迁移。

31、(3)本发明通过早期语义对齐损失和来源利用正则损失,提高了融合特征的类别语义一致性,避免模型过度依赖单一模态特征来源。

32、(4)通过训练或微调模型,即可在真实场景中进行 rgb-t 图像语义分割,并满足实时计算需求。