一种RGB-红外多模态自适应融合目标检测方法及系统

本发明属于目标检测领域，具体涉及一种rgb-红外多模态自适应融合目标检测方法及系统。

背景技术：

1、本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

2、随着智能交通系统和自动驾驶技术的发展，车辆、行人等道路目标的准确感知成为智能交通环境理解的重要基础。目前，基于视觉信息的目标检测方法主要依赖rgb-可见光图像进行目标识别。rgb图像能够提供丰富的颜色、纹理和结构信息，在光照条件良好的情况下具有较好的检测效果。但是，在夜间、低照度、逆光、雨雾等复杂交通环境中，可见光成像容易受外界光照变化影响，导致图像亮度降低、目标边缘模糊以及关键纹理信息缺失，从而造成目标检测准确率下降。

3、红外热成像技术能够利用目标自身热辐射信息进行成像，在弱光或无光环境下仍具有较好的目标显著性，可以有效弥补rgb图像在低照度环境中的不足。然而，红外图像主要反映目标热分布信息，缺少颜色、纹理等细节特征，在目标类别区分、复杂背景处理以及精确定位方面存在一定局限。因此，单独依靠rgb图像或红外图像均难以满足复杂交通环境下对行人、车辆等目标进行稳定检测的需求。

4、现有rgb-红外多模态融合检测方法通常通过将rgb信息和红外信息进行融合，以提高复杂环境下目标检测能力。但是，现有方法大多采用固定的融合方式，即在模型训练完成后，rgb特征和红外特征按照固定结构或固定比例进行融合，无法根据不同目标、不同尺度以及不同模态特征质量动态调整两种信息的贡献程度。当某一模态受到环境因素影响导致信息质量下降时，固定融合方式容易引入无效特征甚至产生模态间信息冲突，降低融合效果。

5、此外，复杂交通场景中目标尺度变化明显，远距离行人、小尺寸车辆等小目标容易受到背景干扰，在特征提取和融合过程中容易丢失细节信息。同时，rgb和红外图像由于成像机理不同，所包含的特征信息存在较大差异，现有方法有效提取两种模态中的互补信息，并在不同尺度下实现高效融合。

技术实现思路

1、本发明为了解决上述问题，提出了一种rgb-红外多模态自适应融合目标检测方法及系统，本发明可以实现两种模态特征的有效协同，提高复杂交通环境下检测结果的稳定性。

2、根据一些实施例，本发明采用如下技术方案：

3、一种rgb-红外多模态自适应融合目标检测方法，包括以下步骤：

4、同步获取交通场景中的rgb图像数据和红外图像数据，进行预处理；

5、分别提取rgb图像和红外图像中的多尺度特征信息；

6、分别对提取得到的rgb多尺度特征信息和红外多尺度特征信息进行模态贡献度评价，得到两种模态对于当前检测任务的贡献程度，根据所述贡献程度生成自适应融合权重；

7、基于所述自适应融合权重，对两种模态的不同尺度的特征信息分别进行融合，得到融合后的多模态特征；

8、基于所述多模态特征，利用预训练的目标检测网络，得到目标检测结果。

9、作为可选择的实施方式，同步获取交通场景中的rgb图像数据和红外图像数据的过程包括：通过安装于车辆、道路侧端或者智能监控设备上的rgb摄像设备和红外热成像设备，对同一交通场景进行同步采集，分别获得包含颜色、纹理和结构信息的rgb图像，以及包含目标热辐射信息的红外图像。

10、作为可选择的实施方式，进行预处理的过程包括：对获取的rgb图像数据和红外图像数据依次进行图像尺寸调整、图像噪声去除、rgb图像与红外图像空间配准，以及图像归一化处理，使rgb图像数据中的目标位置与红外图像数据中的对应目标位置保持一致。

11、作为可选择的实施方式，分别提取rgb图像和红外图像中的多尺度特征信息的过程包括：分别利用rgb特征提取分支和红外特征提取分支进行特征提取，其中，rgb特征提取分支用于提取目标的颜色、纹理、边缘以及空间结构信息，红外特征提取分支用于提取目标热辐射分布、轮廓信息以及显著区域特征。

12、作为可选择的实施方式，分别提取rgb图像和红外图像中的多尺度特征信息的过程包括：多尺度特征信息分别包括浅层特征、中层特征和深层特征，其中，浅层特征用于描述目标边缘、纹理细节信息，中层特征用于描述目标结构和局部语义信息，深层特征用于描述目标整体语义信息。

13、作为可选择的实施方式，对提取得到的rgb多尺度特征信息进行模态贡献度评价的过程包括：计算rgb特征中包含的纹理、颜色以及结构信息对目标检测结果的贡献程度。

14、作为可选择的实施方式，对提取得到的红外多尺度特征信息进行模态贡献度评价的过程包括：计算红外特征中包含的热辐射信息和目标轮廓信息对目标检测结果的贡献程度。

15、作为可选择的实施方式，根据所述贡献程度生成自适应融合权重的过程包括：自适应融合权重为：

16、；

17、；

18、其中，表示rgb特征融合权重；表示红外特征融合权重；表示rgb模态贡献度，表示红外模态贡献度。

19、作为可选择的实施方式，基于所述自适应融合权重，对两种模态的不同尺度的特征信息分别进行融合，得到融合后的多模态特征的过程包括：对于浅层特征，融合rgb图像数据中的边缘、纹理细节信息，提高小目标空间定位能力；

20、对于中层特征，增强rgb特征和红外特征之间的信息交互，提高目标结构表达能力；

21、对于深层特征，融合两种模态中的高级语义信息，提高目标分类能力；

22、每一尺度的特征，均使用自适应融合权重进行加权融合。

23、一种rgb-红外多模态自适应融合目标检测系统，包括：

24、双模态数据采集及预处理模块，用于同步获取交通场景中的rgb图像数据和红外图像数据，进行预处理；

25、双分支多尺度特征提取模块，用于分别提取rgb图像和红外图像中的多尺度特征信息；

26、模态贡献度评价与自适应融合权重生成模块，用于分别对提取得到的rgb多尺度特征信息和红外多尺度特征信息进行模态贡献度评价，得到两种模态对于当前检测任务的贡献程度，根据所述贡献程度生成自适应融合权重；

27、多尺度模态贡献度自适应融合模块，用于基于所述自适应融合权重，对两种模态的不同尺度的特征信息分别进行融合，得到融合后的多模态特征；

28、目标检测输出模块，用于基于所述多模态特征，利用预训练的目标检测网络，得到目标检测结果。

29、与现有技术相比，本发明的有益效果为：

30、本发明通过建立rgb图像与红外图像之间的动态特征融合机制，根据不同模态特征的表达能力自动调整融合比例，使可见光图像中的纹理、颜色和结构信息与红外图像中的热目标信息能够充分互补；同时，通过多尺度特征融合方式增强不同尺寸目标的特征表达能力，提高复杂交通场景下行人、车辆等目标检测的准确性和稳定性。

31、本发明通过对rgb图像特征和红外图像特征进行分析，根据不同模态特征的有效信息量动态调整融合权重，使rgb图像中的纹理、颜色和结构信息与红外图像中的热辐射和目标轮廓信息能够充分结合，避免传统固定融合方式中单一模态信息利用不足的问题，提高多模态特征融合效果。

32、本发明采用rgb与红外双模态输入方式，利用两种成像方式之间的互补特性，当rgb图像受到低照度、光照变化等因素影响导致目标纹理信息减弱时，红外图像能够提供额外的目标显著性信息；同时，当红外图像缺少颜色和细节信息时，rgb图像能够提供辅助特征，从而提高复杂场景下目标检测的稳定性。

33、本发明通过多尺度特征融合方法，在不同层级特征中分别融合rgb和红外信息，使浅层特征能够保留目标边缘和细节信息，中层特征能够增强目标结构信息，深层特征能够提高目标语义表达能力，从而提升远距离行人、小尺寸车辆等目标的检测效果。

34、由于rgb图像和红外图像具有不同的成像特点，两种模态之间既包含互补信息，也可能存在特征差异。本发明通过动态调整不同模态特征的融合比例，使具有较高有效性的模态特征获得更大的融合贡献，减少无效信息对检测结果的干扰，提高融合特征质量。

35、本发明将动态融合策略与目标检测过程相结合，通过充分利用rgb和红外双模态信息，提高融合特征对交通目标的描述能力。相比单一模态检测方法以及固定融合方法，本发明能够获得更加丰富的目标特征信息，提高行人、车辆等目标检测的准确性和鲁棒性。

36、本发明采用rgb-红外双模态自适应融合方式，其技术方案不限于单一交通目标检测场景，还可应用于道路监控、自动驾驶视觉感知、智能机器人以及其他需要多模态视觉信息融合的目标检测场景。

37、为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。