一种面向复杂道路的图像级域自适应目标检测装置及方法与流程

本技术涉及计算机视觉，特别涉及一种面向复杂道路的图像级域自适应目标检测装置及方法。

背景技术：

1、目标检测作为计算机视觉的基础任务，是自动驾驶、智能交通等系统进行环境感知、障碍物预警及安全决策的重要前提。近年来，深度学习目标检测模型在理想场景下表现优异，但在开放道路环境中，浓雾雨雪等天气变化以及夜间低照度等光照条件变化，会使采集图像的视觉特征偏离预训练的数据分布，引发域偏移现象，导致模型检测性能下降。为在控制数据标注成本的前提下应对域偏移问题，无监督域自适应目标检测技术得到了广泛应用与研究，目前主要包括特征级对齐、自训练与图像级对齐三类技术路线。

2、其中图像级域自适应通过在输入端消除源域与目标域图像的视觉外观差异，使检测器能够直接处理风格统一的图像，以此规避深层特征对齐过程中的噪声干扰。当前实现图像级域自适应的常规手段，是引入通用的非配对图像转换模型合成类目标域图像，这类图像转换模型以提升生成图像整体视觉风格的逼真度为目标，通过对抗训练的方式学习不同域之间的图像风格映射关系。

3、目标检测任务高度依赖物体准确的物理轮廓与空间几何特征，而上述常规的图像转换方法通常缺乏对实例结构的严格约束，在跨域生成过程中易导致车辆、行人等关键目标的边缘模糊或内部细节失真，使转换后的图像引入特征噪声，进而限制检测模型在未知复杂道路场景下的检测精度与鲁棒性。

技术实现思路

1、有鉴于此，本技术旨在提出一种面向复杂道路的图像级域自适应目标检测装置及方法，以解决上述技术问题。

2、为达到上述目的，本技术的技术方案是这样实现的：

3、第一方面，本技术提出了一种面向复杂道路的图像级域自适应目标检测装置，包括：

4、数据获取模块，用于获取带有真实目标边界框标签的源域道路图像集，以及无标注的目标域道路图像集；

5、跨域图像生成模块，内置图像转换生成器与对抗判别器；所述图像转换生成器的特征转换阶段嵌入有空间非局部感知单元，用于计算输入特征的全局空间相关性，对局部特征进行加权聚合，约束图像转换前后的目标几何结构，输出融合全局上下文信息的类目标域图像；所述对抗判别器采用多尺度判别架构，且在对抗损失计算过程中采用动态软标签平滑策略；所述跨域图像生成模块用于将深层特征感知损失与对抗损失、循环一致性损失加权求和构建联合损失函数，并基于所述联合损失函数对所述图像转换生成器与对抗判别器进行迭代训练直至收敛，得到训练完成的图像转换生成器；

6、结构特征约束模块，用于在所述跨域图像生成模块的训练过程中，提取所述源域道路图像及其对应的类目标域生成图像在预训练特征提取网络中的多层级语义特征响应，计算所述语义特征之间的绝对误差与感知距离并进行加权，构建所述深层特征感知损失，并将所述深层特征感知损失输入至所述跨域图像生成模块；

7、跨域检测联合训练模块，用于利用所述训练完成的图像转换生成器，将所述源域道路图像集批量转换为类目标域图像集，沿用对应的源域真实目标边界框标签；将所述源域道路图像集与所述类目标域图像集混合构建跨域训练数据集，采用有监督学习方式对目标检测网络进行联合训练，获得具备跨域适应能力的最终目标检测模型；

8、目标域推理检测模块，用于将待检测的复杂道路场景目标域图像输入至所述最终目标检测模型中，输出包含目标类别和位置坐标的检测结果。

9、进一步的，所述空间非局部感知单元用于将经过编码的输入特征图线性投影为查询矩阵、键矩阵与值矩阵三个独立的特征子空间；将查询矩阵与转置后的键矩阵进行运算并经softmax函数归一化处理，得到用于量化任意两个空间像素点之间相关性的全局空间相关性图；将相关性图与值矩阵进行运算，并将运算结果通过可学习的缩放参数与原始特征进行残差相加，输出聚合特征。

10、进一步的，所述结构特征约束模块选用在大型图像数据集上预训练且冻结网络权重的卷积神经网络作为特征提取器，分别提取源域图像与其对应的类目标域图像在多个设定深度卷积层的特征映射；针对不同层级的特征映射计算一范数绝对误差并进行加权求和，得到多层级感知损失；结合在特征通道维度计算的感知图像块相似度，共同构成所述深层特征感知损失。

11、进一步的，所述多尺度判别架构包含处理原始分辨率类目标域图像的判别分支，以及处理下采样后图像的级联分支；两个分支分别对应不同的感受野尺寸，用于引导所述图像转换生成器在重构局部纹理细节的同时，兼顾全局场景布局的合理性。

12、进一步的，所述动态软标签平滑策略的执行方式为：在每一轮训练批次中，分别独立计算所述对抗判别器对真实目标域图像与类目标域生成图像预测概率的均值作为置信度；当所述置信度超过设定的阈值时，自适应增大对应目标的软标签平滑强度参数，以降低目标标签的绝对性；当所述置信度低于设定的阈值时，减小所述软标签平滑强度参数。

13、第二方面，本技术提出了一种应用于上述面向复杂道路的图像级域自适应目标检测装置的方法，包括以下步骤：

14、s1，数据获取，获取带有真实目标边界框标签的源域道路图像集，以及无标注的目标域道路图像集；

15、s2，构建包含图像转换生成器与对抗判别器的跨域特征对齐网络，将所述源域道路图像集与目标域道路图像集输入至所述跨域特征对齐网络中；在所述图像转换生成器的特征转换阶段嵌入空间非局部感知模块，通过所述空间非局部感知模块计算输入特征的全局空间相关性，对局部特征进行加权聚合，约束图像转换前后的目标几何结构，输出融合全局上下文信息的类目标域图像；所述对抗判别器采用多尺度判别架构，且在对抗损失计算过程中采用动态软标签平滑策略；

16、s3，计算深层特征感知损失，在所述跨域特征对齐网络的训练过程中，提取所述源域道路图像及其对应的类目标域生成图像在预训练特征提取网络中的多层级语义特征响应，计算所述语义特征之间的绝对误差与感知距离并进行加权，构建用于约束目标几何结构的深层特征感知损失；

17、s4，网络联合优化训练，将所述深层特征感知损失与图像转换基础的对抗损失、循环一致性损失进行加权求和，构建联合损失函数；利用所述联合损失函数对所述跨域特征对齐网络进行迭代训练直至网络收敛，获得训练完成的图像转换生成器；

18、s5，跨域检测联合训练，利用所述训练完成的图像转换生成器，将所述源域道路图像集批量转换为类目标域图像集，并沿用对应的源域真实目标边界框标签；将所述源域道路图像集与所述类目标域图像集混合构建跨域训练数据集，采用有监督学习方式对预设的目标检测网络进行联合训练，获得具备跨域适应能力的最终目标检测模型；

19、s6，目标域推理检测，将待检测的复杂道路场景目标域图像输入至所述最终目标检测模型中，输出包含目标类别和位置坐标的检测结果。

20、进一步的，所述步骤s2中，所述空间非局部感知模块的处理流程具体包括：

21、将经过编码的输入特征图线性投影为查询矩阵、键矩阵与值矩阵三个独立的特征子空间；

22、将查询矩阵与转置后的键矩阵进行矩阵乘法运算，并通过softmax函数进行归一化处理，得到用于量化任意两个空间像素点之间相关性的全局空间相关性图；

23、将相关性图与值矩阵进行矩阵乘法运算，将运算结果通过可学习的缩放参数与原始特征进行残差相加，输出聚合特征。

24、进一步的，所述步骤s3具体包括：

25、选用在大型图像数据集上预训练且冻结网络权重的卷积神经网络作为特征提取器，分别提取源域图像与其对应的类目标域图像在多个设定深度卷积层的特征映射；

26、针对不同层级的特征映射计算一范数绝对误差，并进行加权求和，得到多层级感知损失；

27、结合在特征通道维度计算的感知图像块相似度，共同构成所述深层特征感知损失，以在多维语义空间中约束交通目标的物理几何结构。

28、进一步的，所述步骤s4中，将原始分辨率的类目标域图像与经下采样处理后的图像分别输入至具有不同感受野尺寸的级联判别器中，引导所述图像转换生成器在重构局部纹理细节的同时，兼顾全局场景布局的合理性。

29、进一步的，所述步骤s4中，在计算所述对抗损失时引入动态软标签平滑策略，具体包括：

30、在每一轮训练批次中，分别独立计算所述对抗判别器对真实目标域图像与类目标域生成图像预测概率的均值作为置信度；

31、当所述置信度超过设定的阈值时，自适应增大对应目标的软标签平滑强度参数，以降低目标标签的绝对性；反之则减小所述软标签平滑强度参数。

32、相较于现有技术，本技术提出的一种面向复杂道路的图像级域自适应目标检测装置及方法具有以下优势：

33、（1）本技术通过在图像转换生成器的特征转换阶段嵌入空间非局部感知单元，计算输入特征的全局空间相关性并对局部特征进行加权聚合，融合图像全局上下文信息生成类目标域图像，实现了提升全局环境变化场景下的图像渲染连贯性，消除跨域转换过程中局部失真与块状伪影的效果。

34、（2）本技术通过提取源域道路图像及其对应的类目标域生成图像在预训练特征提取网络中的多层级语义特征响应，计算语义特征之间的绝对误差与感知距离并进行加权以构建深层特征感知损失，约束图像转换前后的目标几何结构，实现了避免跨域转换中目标实例边缘模糊与内部变形，防止检测模型学习到错误语义噪声的效果。

35、（3）本技术通过采用多尺度判别架构的对抗判别器结合动态软标签平滑策略开展对抗训练，将对抗损失、循环一致性损失与深层特征感知损失加权求和构建联合损失函数完成图像转换生成器的迭代训练，再混合源域道路图像集与类目标域图像集联合训练目标检测网络，实现了提升图像转换网络训练稳定性，无需目标域人工标注即可增强检测模型在复杂道路场景下的检测精度与鲁棒性，且可灵活适配各类主流检测网络的效果。