一种基于预测式跨模态潜在融合的目标检测方法及系统

本发明涉及计算机视觉、多模态信息融合及目标检测，特别涉及一种基于预测式跨模态潜在融合的目标检测方法及系统。

背景技术：

1、目标检测用于识别图像中目标的类别并确定目标的空间位置，广泛应用于自动驾驶、安防监控、机器人感知、无人系统及夜间巡检等场景，现有目标检测方法多以可见光图像为输入，可见光图像能够提供丰富的颜色、纹理和边缘信息，但在夜间、阴影、低照度、强光眩光、雨雾或烟尘环境下容易发生纹理退化和目标不可见。

2、红外图像对目标的热辐射响应敏感，在夜间和弱光条件下通常具有较好的目标可分辨性，但红外图像缺少颜色及精细纹理，并可能受到背景热辐射、热源干扰及低对比度区域的影响，因此，将可见光与红外两种模态进行融合，是提升全天候目标检测性能的重要技术途径。

3、现有红外-可见光目标检测方法通常采用逐元素相加、通道拼接、卷积细化、注意力加权或transformer交互等方式实现模态融合，逐元素相加和通道拼接属于静态融合方式，通常默认两种模态在不同场景和不同特征层级中具有近似的重要性，难以依据输入内容动态判断某一模态是否可靠。注意力或全局交互结构能够增强模态关系建模能力，但往往依赖检测损失间接学习融合权重，且计算开销较大，不利于实时部署。

4、此外，在跨模态融合过程中，若只保留加权融合结果，可能削弱可见光模态中的细粒度纹理或红外模态中的热边界信息；对于行人、车辆等小尺度目标，浅层特征中的边缘和局部对比度又容易在连续下采样过程中衰减。因而，需要一种能够显式刻画两种模态对应关系、依据模态可靠性动态分配融合权重、保留原始模态细节，并增强小目标高频上下文信息的目标检测技术方案。

技术实现思路

1、本发明提供一种基于预测式跨模态潜在融合的目标检测方法及系统，用以解决背景技术中提出的问题。

2、一种基于预测式跨模态潜在融合的目标检测方法，包括：

3、s1：获取可见光图像以及与所述可见光图像空间配准的红外图像；

4、s2：对所述可见光图像与红外图像进行同步预处理，分别输入初始网络模型的可见光特征提取分支和红外特征提取分支，得到包含p2、p3、p4及p5层级的双模态多尺度特征；

5、s3：分别将p3、p4和p5层级可见光特征与红外特征通过双向潜在预测输出可见光潜在特征和红外潜在特征，并计算跨模态预测误差，根据所述跨模态预测误差生成模态融合权重，并基于可见光特征与红外特征的残差保留特征输出融合特征；

6、s4:在p2至p3的细节注入路径和p3检测分支中的至少一处设置高频上下文聚焦装置，对局部结构残差、通道内边缘扰动以及多尺度上下文进行联合建模，得到小目标增强特征；

7、s5:将所述融合特征和小目标增强特征输入多尺度检测头，输出目标检测结果；

8、s6:基于可见光潜在特征和红外潜在特征构建跨模态预测一致性损失，将跨模态预测一致性损失和目标检测损失进行加权求和训练初始网络模型，得到目标检测模型；

9、s7:将待检测可见光图像和对应的待检测红外图像输入目标检测模型中，经过特征提取、跨模态融合和特征增强后，通过多尺度检测头，输出待检测可见光图像的类别、置信度及边界框。

10、优选的，所述s2中，对所述可见光图像与红外图像进行同步预处理，包括：

11、将所述可见光图像与红外图像统一缩放至预设分辨率，并保持两种模态之间的像素对应关系，得到统一分辨率的可见光图像与红外图像；

12、将统一分辨率的可见光图像与红外图像进行相同的随机平移、尺度缩放、水平翻转及马赛克增强参数，得到增强后的可见光图像与红外图像；

13、对增强后的可见光图像进行颜色空间扰动，且保持增强后的红外图像的几何变换一致，完成预处理。

14、优选的，所述s3中，分别将p3、p4和p5层级可见光特征与红外特征通过双向潜在预测输出可见光潜在特征和红外潜在特征，包括：

15、分别将p3、p4和p5层级可见光特征与红外特征进行频域高通滤波，利用高通掩码提取高频响应，经卷积映射和sigmoid激活生成细节门控信号，并以逐元素增益形式增强对应模态特征，得到初始可见光模态特征和初始红外模态特征；

16、对初始可见光模态特征和初始红外模态特征分别投影至低维潜在空间，并执行双向潜在预测，得到可见光潜在特征和红外潜在特征。

17、优选的，低维潜在空间的潜在通道数满足：

18、；

19、其中，c表示输入特征通道数，表示潜在维度比例。

20、优选的，所述s3中，计算跨模态预测误差，根据所述跨模态预测误差生成模态融合权重，包括：

21、获取可见光潜在特征与初始可见光特征在低维潜在空间的投影特征之间的均方预测误差，以及红外潜在特征与初始红外特征在低维潜在空间的投影特征之间的均方预测误差，并根据如下公式计算得到可见光模态融合权重和红外模态融合权重；

22、；

23、；

24、其中，表示温度参数。

25、优选的，所述s3中，基于可见光特征与红外特征的残差保留特征输出融合特征，包括：

26、对可见光特征与红外特征进行通道投影后取平均，得到残差保留特征；

27、基于所述可见光模态融合权重和红外模态融合权重，得到预测式融合特征；

28、基于如下公式计算得到融合特征：

29、；

30、其中，表示可学习缩放因子。

31、优选的，所述s4中，在p2至p3的细节注入路径和p3检测分支中的至少一处设置高频上下文聚焦装置，对局部结构残差、通道内边缘扰动以及多尺度上下文进行联合建模，得到小目标增强特征，包括：

32、对输入p2至p3的细节注入路径或p3检测分支中输入特征进行卷积映射得到基础响应特征；

33、对输入p2至p3的细节注入路径或p3检测分支中输入特征通过局部平均算子生成局部平均特征，计算输入特征和局部平均特征之间的差值绝对值，得到局部结构残差；

34、基于深度卷积提取输入特征在通道内的轻量深度空间变化，得到通道内边缘扰动；

35、基于多感受野卷积提取输入特征的多尺度上下文，得到多尺度上下文信息；

36、将所述局部结构残差、通道内边缘扰动和多尺度上下文信息进行联合建模，得到高频上下文聚焦场，并通过增益调制方式增强上下文，和基础响应特征进行融合后，输出得到小目标增强特征。

37、优选的，通过增益调制方式增强上下文，包括：

38、；

39、其中，表示高频上下文聚焦场通过增益调制方式增强上下文后的增强特征，表示多尺度上下文场，表示高频上下文聚焦场。

40、优选的，所述s6中，基于可见光潜在特征和红外潜在特征构建跨模态预测一致性损失，将跨模态预测一致性损失和目标检测损失进行加权求和训练初始网络模型，得到目标检测模型，包括：

41、；

42、其中，表示均方误差，表示红外潜在特征，表示可见光潜在特征，表示初始可见光特征在低维潜在空间的投影特征，表示初始红外特征在低维潜在空间的投影特征，表示停止梯度操作；

43、基于如下公式，将跨模态预测一致性损失和目标检测损失进行加权求和得到总训练目标；

44、；

45、其中，表示目标检测损失，表示一致性损失权重。

46、一种基于预测式跨模态潜在融合的目标检测系统，包括：

47、训练子系统，包括：

48、图像获取模块，用于获取可见光图像以及与所述可见光图像空间配准的红外图像；

49、预处理模块，用于对所述可见光图像与红外图像进行同步预处理，分别输入初始网络模型的可见光特征提取分支和红外特征提取分支，得到包含p2、p3、p4及p5层级的双模态多尺度特征；

50、跨模态潜在预测融合模块，用于分别将p3、p4和p5层级可见光特征与红外特征通过双向潜在预测输出可见光潜在特征和红外潜在特征，并计算跨模态预测误差，根据所述跨模态预测误差生成模态融合权重，并基于可见光特征与红外特征的残差保留特征输出融合特征；

51、高频上下文聚焦模块，用于在p2至p3的细节注入路径和p3检测分支中的至少一处设置高频上下文聚焦装置，对局部结构残差、通道内边缘扰动以及多尺度上下文进行联合建模，得到小目标增强特征；

52、检测输出模块，用于将所述融合特征和小目标增强特征输入多尺度检测头，输出目标检测结果；

53、训练约束模块，用于基于可见光潜在特征和红外潜在特征构建跨模态预测一致性损失，将跨模态预测一致性损失和目标检测损失进行加权求和训练初始网络模型，得到目标检测模型；

54、检测子系统：

55、用于将待检测可见光图像和对应的待检测红外图像输入目标检测模型中，经过特征提取、跨模态融合和特征增强后，通过多尺度检测头，输出待检测可见光图像的类别、置信度及边界框。

56、与现有技术相比，本发明取得了以下有益效果：

57、本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在本技术文件中所特别指出的结构来实现和获得。

58、下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。