一种基于跨领域特征解耦的单域泛化目标检测方法与流程

本发明涉及目标检测，特别是涉及一种基于跨领域特征解耦的单域泛化目标检测方法。

背景技术：

1、目标检测技术用于从图像或视频中定位目标对象并识别目标类别，是自动驾驶环境感知、交通监控、智能安防和机器人视觉系统中的关键技术。现有深度学习目标检测模型通常依赖大量标注样本进行训练，并默认训练阶段和测试阶段的数据服从相同或相近的数据分布。然而，在真实开放环境中，该假设通常难以成立。例如，模型可能在日间晴天道路图像上训练，却在夜间、雨天、雾天、雪天、跨城市道路、低照度、强反光、图像压缩或传感器噪声等未知域中部署。

2、当训练域与测试域存在分布差异时，目标检测模型容易出现漏检、误检和边界框定位偏移。其重要原因在于，深度神经网络在单一源域训练条件下容易学习到背景纹理、光照模式、天气风格、颜色统计、传感器噪声等与目标类别本质无关但在源域中具有统计相关性的特征。上述特征可被称为域特定风格特征或非因果特征。当模型被部署至未知目标域时，该类风格特征发生变化，模型检测性能随之下降。

3、现有单域泛化目标检测方法主要包括数据增强、风格迁移、随机卷积、频域扰动、正则化约束、特征对齐以及视觉语言辅助等方案。其中，数据增强方法可以扩展训练样本的外观变化，但无法必然阻断模型对背景风格的依赖；特征对齐方法可能压缩类别判别边界，导致定位信息损失；已有特征解耦方法则存在实例级约束不足、语义信息与风格信息分离不充分、检测头仍受风格特征干扰等问题。

4、因此，需要一种新的单域泛化目标检测技术方案，在不访问目标域数据的条件下，从实例级区域特征层面对语义信息和风格信息进行显式分离，使检测头主要依赖目标本体结构、类别语义和定位相关信息，而非依赖源域背景纹理、天气扰动和光照风格，从而提升目标检测模型在未知域中的泛化能力和部署稳定性。

技术实现思路

1、本发明的目的是提供一种基于跨领域特征解耦的单域泛化目标检测方法，有利于改善目标定位能力，尤其适用于小目标、遮挡目标、雾天目标和雨天目标。

2、为实现上述目的，本发明提供了如下方案：

3、一种基于跨领域特征解耦的单域泛化目标检测方法，包括以下步骤：

4、s1、获取单一源域的原始图像，原始图像包括对应的目标类别标签和目标边界框标签；

5、s2、对标注训练图像进行域扰动增强，生成与原始图像具有相同目标语义标注且具有不同域风格的增强图像，由原始图像和增强图像构成成对训练样本；

6、s3、将成对训练样本输入预设的目标检测网络，目标检测网络包括共享骨干特征提取网络、共享区域提议网络、语义编码器、风格编码器和域分类器，通过共享骨干特征提取网络分别获得原始图像特征图和增强图像特征图；

7、s4、通过共享区域提议网络分别根据原始图像特征图和增强图像特征图生成原始图像提议框集合和增强图像提议框集合，并对原始图像提议框集合和增强图像提议框集合进行跨域提议框混合，得到混合提议框集合；

8、s5、基于混合提议框集合对特征图进行区域特征提取，得到实例级区域特征；

9、s6、将实例级区域特征分别输入语义编码器和风格编码器，得到语义特征和风格特征；

10、s7、对语义特征和风格特征施加特征解耦约束，使语义特征与风格特征在表示空间中的相关性降低；

11、s8、基于语义特征执行目标分类和边界框回归，并联合检测损失与特征解耦损失优化目标检测网络；

12、s9、在模型推理阶段，将待检测图像输入优化后的目标检测网络，输出目标检测结果。

13、优选的，s2中，对标注训练图像进行域扰动增强包括基于物理先验的增强、光照扰动增强、大气散射增强、雨雪粒子扰动增强、雾化增强、模糊增强、对比度扰动增强、风格统计扰动增强中的至少一种。

14、优选的，s4中，对原始图像提议框集合和增强图像提议框集合进行跨域提议框混合，公式如下：

15、

16、其中，为置信度筛选、top-k筛选、非极大值抑制、尺度筛选、类别感知筛选的至少一种，为原始图像提议框集合，为增强图像提议框集合。

17、优选的，s5中，基于混合提议框集合对特征图进行区域特征提取，具体包括：

18、基于混合提议框集合分别对原始图像特征图和增强图像特征图进行区域特征提取，得到成对的原始域实例级区域特征和增强域实例级区域特征。

19、优选的，s6中，语义特征用于表征目标类别、目标轮廓、目标形状、目标结构和目标定位相关的域不变信息；风格特征用于表征光照、纹理、对比度、天气扰动、背景风格、传感器风格或图像退化相关的域特定信息。

20、优选的，s7中，对语义特征和风格特征施加特征解耦约束包括：

21、构造正交解耦损失：

22、

23、其中，和分别为原始图像第个样本的归一化语义特征和归一化风格特征，和分别为增强图像第个样本的归一化语义特征和归一化风格特征，为样本数量。

24、优选的，s7中，还包括域判别约束：

25、将风格特征输入域分类器以判别其来源于原始图像还是增强图像；构造域判别损失：

26、

27、其中，为域分类器，为风格特征，为域标签，用于区分原始图像和增强图像。

28、优选的，s8中，联合检测损失与特征解耦损失优化目标检测网络，总损失函数如下：

29、

30、其中，为分类损失，为边界框回归损失，为正交解耦损失，为域判别损失，为互信息最小化损失，为语义一致性损失，为损失权重。

31、本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现如上述任一所述的一种基于跨领域特征解耦的单域泛化目标检测方法。

32、根据本发明提供的具体实施例，本发明公开了以下技术效果：

33、（1）本发明构建原始图像与增强图像并行的双流训练机制，使模型在训练阶段同时接触同一目标对象的不同域风格表达，能够在目标级别构造风格对照样本，降低目标与特定背景、天气、光照或纹理之间的虚假相关性。通过跨域提议框混合，将原始图像中较稳定的候选区域与增强图像中的域扰动候选区域进行融合，使模型在增强域中仍能够利用高质量候选框进行实例级特征学习，有利于改善目标定位能力，尤其适用于小目标、遮挡目标、雾天目标和雨天目标。

34、（2）本发明通过语义编码器和风格编码器将实例级区域特征显式拆分为语义子空间和风格子空间，并通过正交约束降低二者的相关性，从结构上降低风格特征对检测决策的干扰。本发明利用域分类器监督风格编码器吸收原始图像与增强图像之间的风格差异，使风格信息集中于风格子空间，从而降低风格信息泄露到语义子空间的概率。使检测头主要或仅基于语义特征完成分类和回归，能够在不访问目标域数据的条件下提升模型对未知天气、未知城市、未知传感器和未知图像腐蚀域的泛化能力。

35、（3）本发明训练阶段可以利用解耦分支提高鲁棒性，推理阶段可以关闭增强分支、风格编码器和域分类器等辅助模块，从而在保持泛化性能提升的同时避免显著增加推理成本。