基于自适应模态选择的目标检测方法、装置、设备及介质与流程

本发明涉及人工智能，尤其涉及一种基于自适应模态选择的目标检测方法、装置、设备及介质。

背景技术：

1、在自动驾驶、无人机巡检、安防监控等安全关键应用中，目标检测系统需要在各种光照条件下（如白天、夜间、黄昏、雨雾等）保持稳定的检测性能。可见光（red,green,blue‌，rgb）相机在良好光照下能够提供丰富的颜色和纹理信息，但在低光照、夜间或恶劣天气下性能会急剧下降。热红外（infrared，ir）相机通过感知热辐射信号，不受环境光照影响，在夜间和弱光条件下依然有效，但其缺乏rgb图像中的细粒度纹理和边缘信息，且在目标和背景温度接近时检测效果不佳。因此，融合rgb和ir两种互补模态是实现全天候鲁棒检测的有效途径。

2、但是，现有rgb-ir融合方法通常会引入大量额外参数和计算开销。此外，现有方法大多对整幅图像的所有空间位置采用统一的融合策略，忽略了不同区域对模态依赖性的差异（例如，阴影区域更依赖ir，高光照区域更依赖rgb），也缺乏根据场景整体光照动态调整模态权重的自适应能力。

3、因此，亟需一种轻量级、自适应的rgb-ir融合目标检测方法。

技术实现思路

1、鉴于以上内容，有必要提供一种基于自适应模态选择的目标检测方法、装置、设备及介质，旨在解决目标检测过程中存在的开销大、缺乏自适应能力的问题。

2、一种基于自适应模态选择的目标检测方法，所述基于自适应模态选择的目标检测方法包括：

3、响应于在目标场景下触发的目标检测指令，采集所述目标场景的目标可见光图像及目标热红外图像；

4、采用第一轻量化骨干网络对所述目标可见光图像进行多尺度特征提取得到多个尺度的可见光特征，及采用独立于所述第一轻量化骨干网络的第二轻量化骨干网络对所述目标热红外图像进行多尺度特征提取得到多个尺度的热红外特征；

5、对最细尺度的可见光特征与热红外特征进行跨模态注意力融合，得到跨模态注意力融合特征；

6、根据所述跨模态注意力融合特征及所述最细尺度的热红外特征执行自适应模态选择，得到自适应模态选择融合特征；

7、分别对中间尺度及最粗尺度的可见光特征与热红外特征进行融合，得到中间尺度融合特征及最粗尺度融合特征；

8、将所述自适应模态选择融合特征、所述中间尺度融合特征及所述最粗尺度融合特征输入至检测头，得到目标检测结果。

9、一种基于自适应模态选择的目标检测装置，所述基于自适应模态选择的目标检测装置包括：

10、采集单元，用于响应于在目标场景下触发的目标检测指令，采集所述目标场景的目标可见光图像及目标热红外图像；

11、提取单元，用于采用第一轻量化骨干网络对所述目标可见光图像进行多尺度特征提取得到多个尺度的可见光特征，及采用独立于所述第一轻量化骨干网络的第二轻量化骨干网络对所述目标热红外图像进行多尺度特征提取得到多个尺度的热红外特征；

12、融合单元，用于对最细尺度的可见光特征与热红外特征进行跨模态注意力融合，得到跨模态注意力融合特征；

13、选择单元，用于根据所述跨模态注意力融合特征及所述最细尺度的热红外特征执行自适应模态选择，得到自适应模态选择融合特征；

14、所述融合单元，还用于分别对中间尺度及最粗尺度的可见光特征与热红外特征进行融合，得到中间尺度融合特征及最粗尺度融合特征；

15、输入单元，用于将所述自适应模态选择融合特征、所述中间尺度融合特征及所述最粗尺度融合特征输入至检测头，得到目标检测结果。

16、一种计算机设备，所述计算机设备包括：

17、存储器，存储至少一个指令；及处理器，执行所述存储器中存储的指令以实现所述基于自适应模态选择的目标检测方法。

18、一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一个指令，所述至少一个指令被计算机设备中的处理器执行以实现所述基于自适应模态选择的目标检测方法。

19、由以上技术方案可以看出，本发明能够采用相互独立的轻量化骨干网络分别提取多尺度的可见光特征及热红外特征，以降低开销；对最细尺度的可见光特征与热红外特征进行跨模态注意力融合，能够进一步降低参数量及计算量；根据跨模态注意力融合特征及最细尺度的热红外特征执行自适应模态选择，以动态调整融合权重，能够有效提升泛化能力；将自适应模态选择融合特征、中间尺度融合特征及最粗尺度融合特征输入至检测头得到目标检测结果，实现了基于多模态、多尺度特征的更为准确的目标检测。

1.一种基于自适应模态选择的目标检测方法，其特征在于，所述基于自适应模态选择的目标检测方法包括：

2.如权利要求1所述的基于自适应模态选择的目标检测方法，其特征在于，所述采集所述目标场景的目标可见光图像及目标热红外图像包括：

3.如权利要求1所述的基于自适应模态选择的目标检测方法，其特征在于，所述对最细尺度的可见光特征与热红外特征进行跨模态注意力融合，得到跨模态注意力融合特征包括：

4.如权利要求3所述的基于自适应模态选择的目标检测方法，其特征在于，所述对所述可见光加权特征与所述热红外加权特征进行门控融合，得到所述跨模态注意力融合特征包括：

5.如权利要求1所述的基于自适应模态选择的目标检测方法，其特征在于，所述根据所述跨模态注意力融合特征及所述最细尺度的热红外特征执行自适应模态选择，得到自适应模态选择融合特征包括：

6.如权利要求5所述的基于自适应模态选择的目标检测方法，其特征在于，所述根据所述全局场景模态偏好向量及所述像素级模态偏好空间权重图计算融合权重包括：

7.如权利要求5所述的基于自适应模态选择的目标检测方法，其特征在于，所述得到目标检测结果后，所述方法还包括：

8.一种基于自适应模态选择的目标检测装置，其特征在于，所述基于自适应模态选择的目标检测装置包括：

9.一种计算机设备，其特征在于，所述计算机设备包括：

10.一种计算机可读存储介质，其特征在于：所述计算机可读存储介质中存储有至少一个指令，所述至少一个指令被计算机设备中的处理器执行以实现如权利要求1至7中任意一项所述的基于自适应模态选择的目标检测方法。