一种面向施工场景的合成到真实增强级联深度校正单目三维目标检测方法

本发明属于单目三维目标检测、计算机视觉及施工现场智能感知，具体涉及一种面向施工场景的合成到真实增强级联深度校正单目三维目标检测方法，通过普通监控摄像机对施工车辆、工程机械和工人进行三维空间定位，用于在缺少激光雷达、多目相机和大规模真实三维标注的条件下，提高施工现场单目三维检测的准确性、鲁棒性和部署可行性。

背景技术：

1、目前，单目三维目标检测技术在自动驾驶等规则化场景中已经取得一定效果，但直接用于施工现场仍存在明显局限。施工现场具有目标类别复杂、尺度差异大、车辆与人员混合作业、遮挡频繁、背景杂乱以及视角变化明显等特点，仅依赖二维检测框难以表达施工目标之间的真实空间关系，也难以支撑安全距离判断和碰撞风险预警。

2、真实施工场景的三维数据标注成本较高。真实现场中采集施工车辆、工程机械和工人的三维框、尺寸、朝向、深度和目标间空间关系，通常需要额外传感设备或人工标注流程，成本高且周期长。虚拟合成施工场景能够天然提供准确的三维标注，并可覆盖复杂遮挡、不同车辆类型、不同目标朝向和少见危险工况，但合成图像与真实施工图像之间存在纹理、光照、遮挡、成像噪声和目标外观上的域差异，导致仅在合成数据上训练的模型难以稳定迁移到真实场景。

3、此外，施工现场摄像机通常安装在塔吊、围挡、支架或高处平台上，并具有固定但非零的俯仰角。现有技术的单目三维检测方法往往默认摄像机近似水平安装，直接利用二维检测框高度估计深度时，会忽略固定俯仰角以及目标朝向对中心投影长度的影响。对于自卸车、挖掘机、压路机等尺寸和朝向变化较大的施工目标，二维框高度与真实中心投影高度之间可能存在系统性偏差，从而造成深度估计误差。

4、目前解决上述问题的现有技术方法包括增加真实标注数据、引入激光雷达或多视角摄像机、采用通用预训练模型迁移等，这些技术方式存在部署成本较高，或难以适配施工场景中的固定俯仰摄像机、复杂背景和大尺度目标变化。

技术实现思路

1、本发明的目的是解决真实施工现场三维标注不足、合成数据到真实场景存在域差异、固定俯仰角摄像机造成深度估计偏差以及施工目标尺度和朝向变化较大的技术问题，提供一种面向施工场景的合成到真实增强级联深度校正单目三维目标检测方法。该方法利用虚拟合成施工数据提供的精确三维标注训练模型，通过级联特征提取网络获得多尺度视觉特征和深度特征，通过transformer检测器融合视觉线索与深度线索，并通过固定俯仰角条件下的几何深度与深度误差融合方式输出真实深度。

2、本发明所提出的技术问题是这样解决的：

3、一种面向施工场景的合成到真实增强级联深度校正单目三维目标检测方法，基于三维目标检测系统实现，三维目标检测系统包括图像输入模块、级联特征提取模块、视觉编码模块、深度预测模块、深度编码模块、transformer检测模块、检测头和深度校正模块；

4、图像输入模块获取施工场景单目图像、摄像机内参和固定俯仰角，送至级联特征提取网络；级联特征提取网络包括stem模块和若干个级联阶段，stem模块用于对输入图像进行初步降采样和低层特征提取，若干个级联阶段分别用于提取不同分辨率的特征图；

5、最高层级的级联阶段输出的特征图作为视觉特征输入至视觉编码模块，得到视觉编码特征；其他层级的级联阶段输出的特征图通过双线性插值调整到相同的分辨率，逐元素相加后输入至深度预测模块，生成深度图和深度特征；深度图和深度特征输入至深度编码模块，得到深度编码特征；

6、transformer检测模块包括三个级联的检测解码层，每个检测解码层均包括依次连接的深度交叉注意力层、查询自注意力层、视觉交叉注意力层和前馈网络；深度编码特征输入至深度交叉注意力层，视觉编码特征输入至视觉交叉注意力层；生成一组可学习的目标查询输入至transformer检测模块，依次经三个检测解码层后得到最终的目标查询；

7、transformer检测模块输出的目标查询送至检测头，进行解码与目标属性预测，输出目标类别、二维检测框、三维检测框、三维检测框中心投影位置、目标朝向、目标深度和深度误差；

8、深度校正模块依据摄像机内参、固定俯仰角、检测头输出的二维检测框信息、三维检测框信息、目标朝向计算目标的几何深度，利用箭头输出的深度误差对几何深度进行修正，得到目标实际深度。

9、进一步的，stem模块由两个步长为2的3×3卷积层构成，每个卷积层之后依次设置归一化层和激活函数层。

10、进一步的，每个级联阶段均由若干个特征提取模块残差级联而成；特征提取模块包括7×7深度可分离卷积、膨胀率为3的膨胀深度可分离卷积、1×1卷积和跳跃连接操作。

11、进一步的，级联特征提取网络中包括四个级联阶段，四个级联阶段的特征提取模块数分别设置为3、2、7和2，四个级联阶段分别输出不同分辨率的特征图。

12、进一步的，视觉编码模块选用三层可变形自注意力模型；深度预测模块选用包括依次级联的多尺度特征融合模块、两个串联的卷积核为3×3的卷积层和分类器；深度编码模块选用global mha模型。

13、进一步的，transformer检测模块中，生成一组可学习的目标查询作为输入，深度交叉注意力层通过线性投影分别生成目标查询对应的查询向量，深度编码特征对应的键向量和值向量；将基于深度图插值得到的逐像素深度位置编码与健向量相加，通过缩放点积注意力计算目标查询与深度图各空间位置之间的相关度矩阵，对值向量进行加权聚合，聚合结果经残差连接和层归一化后输出；查询自注意力层中，目标查询之间通过多头自注意力机制进行交互，输出更新后的目标查询；视觉交叉注意力层中，利用更新后的目标查询生成采样偏移量和注意力权重，对视觉编码器输出的视觉特征进行交叉注意力操作、线性投影、残差连接和层归一化，输出融合深度线索、查询交互信息和视觉外观信息的目标查询；对视觉交叉注意力层输出的目标查询进行两层全连接非线性变换、残差连接和层归一化后得到当前检测解码层的最终输出目标查询，作为下一检测解码层的输入或在末层直接送入检测头。

14、进一步的，深度校正模块中，记相机焦距为f，相机固定俯仰角为θ，二维检测框的高度为hbbox，三维检测框的目标高度、目标宽度和目标长度分别为h、w和l3d，目标朝向角为α；计算目标沿水平前向轴的投影长度，计算目标中心投影长度，计算几何深度；利用检测头预测深度误差进行补偿，将作为目标实际深度。

15、进一步的，构建虚拟合成施工场景单目图像，结合摄像机内参、固定俯仰角及标注构建训练样本，标注包括目标类别、二维检测框、三维检测框、三维检测框中心投影位置、目标朝向和目标深度；对施工场景单目图像进行尺度归一化、颜色扰动、遮挡混合、目标尺度扰动和三维混合增强，实现图像特征增强，使得三维目标检测系统在训练阶段合成图像中同时学习与真实施工现场一致的目标外观、尺寸、姿态和空间位置关系；

16、构建损失函数，利用训练样本对三维目标检测系统进行训练；损失函数包括匹配代价、二维检测框损失、三维检测框损失、目标朝向损失和目标深度损失；对于每个目标查询和标注的真实目标，基于目标类别、二维检测框、交并比和三维检测框中心投影位置计算匹配代价；匹配完成后，联合二维检测框损失、三维检测框损失、目标朝向损失和目标深度损失训练整体三维目标检测系统；

17、获取真实施工现场摄像机采集的单目图像，同时读取摄像机内参和固定俯仰角，输入至训练好的三维目标检测系统，得到三维目标检测结果，包括目标类别、三维检测框、三维检测框中心投影位置、目标朝向和目标深度。

18、进一步的，过滤目标类别置信度低于预设阈值的三维目标检测结果，作为最终的施工现场目标三维空间信息。

19、进一步的，在鸟瞰视角下判断车辆、机械和人员的三维检测框是否相交，或判断目标之间的空间距离是否低于预设阈值，完成安全/非安全状态判定。

20、本发明的有益效果是：

21、第一，利用虚拟合成施工数据中的精确三维标注训练模型，降低真实施工场景三维标注成本；第二，级联特征提取网络兼顾多尺度语义信息和前景目标细节，有利于识别车辆、机械和工人等尺度差异较大的施工目标；第三，将固定俯仰角几何深度与预测深度误差融合，降低二维检测框高度偏差和目标朝向变化对深度估计的影响；第四，训练匹配阶段先利用稳定的二维视觉损失进行匹配，再联合三维损失训练，提高训练过程的稳定性；第五，整体方案仅依赖单目图像、相机内参和固定俯仰角即可输出施工目标的三维空间信息，便于在已有施工现场监控系统中部署。