一种基于双向一致性的RGB与红外融合目标检测方法

本发明涉及计算机视觉，具体涉及一种基于双向一致性的rgb与红外融合目标检测方法。

背景技术：

1、在智能交通、辅助驾驶和道路监控系统中，目标检测设备通常需要持续识别道路中的车辆、行人、非机动车及障碍物。在白天光照充分且天气状况良好的条件下，可见光图像能够提供较为丰富的颜色、纹理、轮廓及场景语义信息。然而，在夜间无照明、逆光、强车灯照射、隧道明暗交替、雨雾以及局部阴影等场景中，可见光图像容易出现亮度不足、局部过曝、颜色失真、纹理缺失和噪声增强等问题，导致目标特征与背景特征之间的可分辨性降低。

2、红外成像设备通过接收目标及背景的热辐射信息形成图像，不依赖可见光照明条件。在夜间和低照度环境下，车辆发动机、人体及其他具有温度差异的目标通常能够在红外图像中形成较为稳定的热辐射响应。将可见光图像与红外图像联合用于目标检测，能够利用可见光图像的纹理与语义信息以及红外图像的热目标显著性信息，提高复杂环境下的检测稳定性。

3、但是，可见光图像与红外图像并非同质数据，相同目标在两个模态中的边缘位置、纹理表现、显著区域以及背景响应均可能不同。若直接对两个模态的特征相加、拼接或者固定权重融合，容易将无效纹理、热噪声或背景干扰引入融合特征。

4、此外，可见光传感器与红外传感器通常具有不同的成像光路和安装位置。即使在完成外参数标定的条件下，仍可能由于传感器安装基线、镜头畸变差异、视差、时间同步误差、车辆振动和运动目标位移等因素，导致两幅图像在局部区域存在非刚性位置偏差。传统的全局单应性变换或者固定配准关系不能完全消除所述局部偏差。若在局部对应关系不可靠的区域实施强制融合，容易造成目标边缘重影、目标特征错配以及小目标响应消失。

5、现有多模态检测方法通常采用早期融合、中间特征融合或者检测结果融合。早期融合易受到像素错位和模态统计分布差异的影响；检测结果融合不能充分利用中间特征之间的互补关系；现有中间特征融合方法虽然能够在一定程度上提升检测效果，但通常仅通过通道注意力、空间注意力或者固定位置的交叉注意力计算两个模态的融合权重，未能同时解决局部位置对应关系的可信度判断以及低可信区域的融合抑制问题。

6、现有可变形注意力方法能够通过学习采样偏移量，在参考位置附近采集特征。然而，在多模态融合任务中，若采样参考点、采样半径、采样偏移量及注意力权重均仅由融合特征直接预测，而未明确引入跨模态位置对应可信度和各模态局部可靠度，则可变形采样仍可能在错误模态区域内提取无效特征。在可见光图像严重欠曝、红外图像出现热饱和或者两个模态局部错位时，该问题尤为明显。

7、因此，需要提供一种rgb与红外目标检测方法，在保留可见光全局语义信息和红外局部热结构信息的基础上，首先判断两个模态的局部位置对应关系是否可靠，再依据所述对应关系及模态成像质量控制跨模态特征的采样和融合，并在目标查询阶段保留各模态的独立证据，以减少弱光、过曝、雨雾、热交叉和局部错位条件下的负融合。

技术实现思路

1、本发明的目的在于克服现有技术中可见光与红外特征空间差异较大、局部配准误差难以消除、低可信区域被强制融合以及目标检测查询无法区分不同模态证据来源的问题，提供一种基于双向一致性的rgb与红外融合目标检测方法。

2、本发明采用dinov2 vit-b/14网络提取可见光特征，采用convnext v2-tiny网络提取红外特征。在八倍下采样尺度预测两个模态之间的双向位置偏移，并根据循环一致性误差和局部语义差异生成空间对应可信度。

3、在十六倍下采样尺度，根据各模态原始特征及其局部质量描述量确定模态有效度，并进一步得到模态相对可靠度和模态联合有效度。所述模态相对可靠度用于控制融合参考点、采样范围及不同模态的相对贡献；所述空间对应可信度用于调节跨模态可变形采样特征与位置保持特征的贡献；所述模态联合有效度用于调节融合特征的整体响应。

4、根据融合特征及八倍下采样辅助融合特征构建四尺度特征金字塔，并输入dino-4scale目标检测模块。在解码器中，对融合证据、可见光独立证据和红外独立证据进行目标级动态分配，并根据目标级联合有效度调节三类证据对目标查询的更新幅度。具体技术方案为：

5、一种基于双向一致性的rgb与红外融合目标检测方法，包括以下步骤：

6、步骤一，获取同一监测场景的可见光图像和红外图像，对所述可见光图像与红外图像执行时间同步、几何粗配准、尺度统一和像素归一化处理；

7、步骤二，对所述可见光图像进行特征编码，经标记重排、尺寸重采样、通道投影和局部卷积适配处理，获得四个尺度的可见光特征；

8、步骤三，对所述红外图像进行特征编码，经四个阶段处理后获得四个尺度的红外特征，并将各尺度红外特征投影至与可见光特征相同的通道维度；

9、步骤四，在八倍下采样尺度，根据可见光特征和红外特征构造联合对应特征，输入双向偏移预测网络获得可见光至红外和红外至可见光双向二维偏移场，根据正向偏移对红外特征进行反向采样获得对齐红外特征，并根据双向循环一致性误差和局部语义差异生成空间对应可信度图；

10、步骤五，将八倍下采样尺度的空间对应可信度图和可见光至红外偏移场缩放至十六倍下采样尺度，根据缩放后的偏移场获得十六倍下采样尺度的对齐红外特征，分别从可见光和红外十六倍下采样原始特征中提取局部质量描述量，并输入对应的模态有效度预测网络，获得可见光模态有效度和红外模态有效度，进而确定模态相对可靠度和模态联合有效度；

11、步骤六，在十六倍下采样尺度，根据可见光特征和对齐红外特征分别预测可见光候选参考点和红外候选参考点，利用模态相对可靠度对二者加权获得融合参考点，并根据模态相对可靠度确定各模态的采样半径；根据融合参考点、实际采样偏移量以及跨模态可变形采样分支内部的相对采样权重，获得跨模态可变形采样候选特征；同时根据模态相对可靠度对相同空间位置处的可见光原始特征和红外原始特征进行加权获得位置保持特征；根据空间对应可信度在所述跨模态可变形采样候选特征与所述位置保持特征之间进行门控，并利用模态联合有效度调节融合特征幅值，获得十六倍下采样尺度的融合特征；

12、步骤七，根据十六倍下采样尺度的融合特征构建四尺度融合特征金字塔；将十六倍下采样尺度的模态相对可靠度和联合有效度上采样至八倍下采样尺度，根据八倍下采样尺度的空间对应可信度对偏移校正红外特征和红外原始特征进行选择，根据模态相对可靠度确定可见光特征和红外特征的相对贡献，并利用联合有效度调节辅助融合特征响应，获得八倍下采样辅助融合特征；将上采样的十六倍下采样金字塔特征与所述八倍下采样辅助融合特征融合，并经上采样或下采样及卷积投影，获得四尺度融合特征；

13、步骤八，将四尺度融合特征输入目标检测模块，通过编码器获得融合特征记忆；在每层解码器中，根据当前目标查询分别从融合特征记忆、可见光十六倍下采样原始特征和对齐红外十六倍下采样原始特征中提取融合证据、可见光独立证据和红外独立证据；根据目标参考框内的模态相对可靠度、空间对应可信度和模态联合有效度，获得目标级可靠度描述量和目标级联合有效度门控值；将当前目标查询、三类证据及目标级可靠度描述量输入查询证据分配网络，获得三类证据的目标级权重，根据目标级联合有效度门控值调节三类证据的总体更新幅度并更新目标查询；根据每层解码器输出的目标查询预测目标类别和边界框修正量，经逐层迭代更新后输出最终目标类别概率和目标边界框。

14、本发明的有益效果在于：

15、本发明采用dinov2 vit-b/14提取可见光图像的全局语义信息，采用convnextv2-tiny提取红外图像的层级热结构信息，使异构网络分别适应对应模态的成像特征。

16、本发明在八倍下采样尺度预测双向位置偏移，并结合循环一致性误差和局部语义差异确定空间对应可信度，能够识别视差、局部遮挡、运动不同步及对应歧义造成的不可靠映射区域。

17、本发明分别确定可见光模态有效度和红外模态有效度，并进一步获得模态相对可靠度和模态联合有效度，由此区分单模态质量、模态间相对贡献及双模态共同退化状态。

18、本发明利用模态相对可靠度调节融合参考点、采样范围及跨模态可变形采样分支内部的模态贡献；利用空间对应可信度调节跨模态可变形采样候选特征与位置保持特征的贡献；利用模态联合有效度调节融合特征和多尺度辅助特征的整体响应。

19、本发明在dino-4scale解码器中保留融合证据、可见光独立证据和红外独立证据，并根据目标区域的可靠性信息确定三类证据的相对贡献；在两个模态同时退化时，降低三类证据对目标查询的总体更新幅度。

20、本发明适用于夜间、弱光、逆光、车灯过曝、雨雾、隧道明暗变化及红外热交叉等复杂环境，可提高车辆、行人及小目标的检测稳定性，并减少模态退化或局部错位引起的误检和漏检。