一种退化概率引导的多视角三维目标检测方法

本发明涉及计算机视觉和自动驾驶感知的，尤其是指一种退化概率引导的多视角三维目标检测方法。

背景技术：

1、多视角三维目标检测是自动驾驶和机器人环境感知中的关键技术。基于相机的三维检测方案具有硬件成本低、部署便利和语义信息丰富的特点。在真实道路环境中，多视角图像序列中的图像可能受到低照度、恶劣天气、运动模糊或相机成像异常的影响，所述多视角图像序列还可能发生图像帧缺失。上述图像质量退化会削弱图像中的纹理、边缘和结构线索，使远距离目标、遮挡目标以及视觉线索受损目标的可分辨性下降；图像帧缺失还会降低时序信息的连续性，进而导致目标漏检、三维定位误差增大以及跨视角特征聚合过程中噪声传播。

2、已有多视角三维检测方法通常依赖图像关键区域特征具有较好判别性的假设，或通过或通过二维先验、语义先验、及注意力机制对多视角图像特征进行交互和聚合，以提高三维目标检测性能。然而，在复杂退化场景下，图像不同空间位置的退化程度和特征可靠性存在明显差异，现有方法多采用全局或弱空间针对性的增强策略，难以精确评估局部质量并对受损严重区域进行自适应补偿。另外，在跨视图特征融合过程中，若直接将退化区域特征与正常区域特征统一聚合，受噪声污染的视角或区域可能被错误赋予较高权重，使退化噪声会沿查询和采样路径传播，导致目标分类和三维定位稳定性下降。

技术实现思路

1、本发明的目的在于克服现有技术的缺点与不足，提出了一种退化概率引导的多视角三维目标检测方法，通过对图像局部退化程度进行显式建模，并对退化区域进行时空特征补偿，提高模型在复杂开放环境下的三维目标检测鲁棒性和定位稳定性。

2、为实现上述目的，本发明所提供的技术方案为：一种退化概率引导的多视角三维目标检测方法，包括以下步骤：

3、1）获取相机拍摄的多视角图像序列，通过骨干网络和特征金字塔网络提取所述多视角图像序列的多尺度图像特征，并通过深度估计网络获得像素级深度；其中，所述多视角图像序列包括当前帧的多视角图像和历史帧的多视角图像；

4、2）将所述多尺度图像特征输入退化感知模块得到退化概率图，用于表征对应图像在空间位置的退化程度；其中，所述退化感知模块通过对所述多尺度图像特征进行上采样生成重建图像，并根据所述重建图像与对应的所述多视角图像序列中的图像之间的像素差异生成所述退化概率图；

5、3）根据所述退化概率图，对所述多视角图像序列中当前帧的多视角图像对应的多尺度图像特征以及历史帧的多视角图像对应的多尺度图像特征进行时空特征补偿，以增强退化区域的时空特征表达，得到退化增强特征；

6、4）提取所述退化概率图的高置信退化中心，并结合所述像素级深度和所述相机的内、外参，将所述高置信退化中心转换为三维锚点中心；根据所述三维锚点中心，生成自适应三维查询；将所述自适应三维查询与预设的可学习三维查询组合，得到双分支三维查询；

7、5）通过自注意力机制对所述双分支三维查询进行交互融合，得到融合后的三维查询；利用所述融合后的三维查询分别与当前帧的多视角图像对应的多尺度图像特征和所述退化增强特征进行交互，得到原始特征上下文和退化增强特征上下文；对所述原始特征上下文和所述退化增强特征上下文进行通道维度混合和点维度混合，得到融合特征；将所述融合特征输入检测头，即可输出三维目标检测结果。

8、进一步，在步骤1）中，对所述多视角图像序列中的当前帧的多视角图像和历史帧的多视角图像进行特征提取，通过骨干网络提取所述多视角图像序列的图像特征，并将所述图像特征输入特征金字塔网络进行多尺度特征融合，得到包含不同空间分辨率的多尺度图像特征；同时，将所述多视角图像序列输入深度估计网络预测得到像素级深度。

9、进一步，在步骤2）中，将所述多尺度图像特征输入退化感知模块得到退化概率图，具体操作为：从所述多尺度图像特征中选取一个预设尺度层级的图像特征；通过两级可学习上采样算子对所述预设尺度层级的图像特征进行逐级上采样，每一级可学习上采样算子包括步长为2的转置卷积和relu激活函数；对上采样后的所述预设尺度层级的图像特征依次进行卷积和sigmoid激活，得到与所述预设尺度层级的图像特征对应的输入图像空间尺寸相同的重建图像；根据所述重建图像与所述对应的输入图像之间的像素差异生成所述退化概率图。

10、进一步，步骤3）包括如下步骤：

11、对于当前帧的多视角图像中任一视角图像的像素坐标，根据所述像素坐标对应的像素级深度和对应相机的内参矩阵i，将所述像素坐标反投影为相机坐标系下的三维点p，公式表示如下：

12、；

13、式中，表示像素坐标的横坐标，表示像素坐标的纵坐标，表示像素坐标处的像素级深度，表示对应相机的内参矩阵的逆矩阵，t表示矩阵转置；

14、对于每一尺度层级，将当前帧中第个尺度层级的图像特征记为，将前一帧中第个尺度层级的图像特征记为；其中，表示尺度层级索引，表示当前帧时刻，表示前一帧时刻；通过线性网络回归得到每个所述三维点p的n个三维采样偏移，并根据所述n个三维采样偏移确定n个采样点，其中，n为预设的采样点数量；将所述n个采样点分别投影至当前帧和前一帧中对应的图像平面，并映射至第个尺度层级对应的特征图坐标；通过双线性插值获得当前帧中第个采样点的采样特征和前一帧中第个采样点的采样特征；

15、根据所述当前帧中第个尺度层级的图像特征，通过线性层和softmax激活函数预测各采样点对应的注意力权重；对所述当前帧中第个采样点的采样特征和前一帧中第个采样点的采样特征进行加权聚合，得到第个尺度层级的聚合特征，公式表示如下：

16、；

17、式中， mlp表示用于融合拼接采样特征的多层感知机，表示求和运算，表示采样点序号，concat表示拼接操作；

18、将所述退化概率图m下采样至与所述当前帧中第个尺度层级的图像特征以及所述聚合特征具有相同空间分辨率，得到下采样退化概率图；以所述下采样退化概率图作为软注意力门控，对所述聚合特征进行调制；将调制后的聚合特征与所述图像特征进行残差相加，得到第个尺度层级的退化增强特征，公式表示如下：

19、；

20、式中，⊙表示逐元素相乘运算。

21、进一步，在步骤4）中，以预设阈值对所述退化概率图进行筛选，将退化概率不小于所述预设阈值的像素位置确定为高置信退化中心；对于每一高置信退化中心，获取其二维坐标及对应的所述像素级深度，根据对应相机的内参和外参，提升至三维空间，得到三维空间锚点中心；公式表示如下：

22、；

23、式中，表示相机的内参矩阵的逆矩阵，表示相机的外参矩阵的逆矩阵，表示高置信退化中心的二维坐标，表示该二维坐标的横坐标，表示该二维坐标的纵坐标，表示该二维坐标对应的像素级深度，t表示矩阵转置，表示取括号内向量的第一至第三分量；

24、在所述高置信退化中心处对所述退化增强特征进行采样，将得到的采样特征输入多层感知机以回归目标尺寸、朝向和速度，并将所述三维空间锚点中心、以及回归得到的目标尺寸、朝向和速度作为查询参数，形成自适应三维查询；之后将所述自适应三维查询与预设的可学习三维查询组合为双分支三维查询。

25、进一步，步骤5）包括如下步骤：

26、通过自注意力机制对所述预设的可学习三维查询和所述自适应三维查询进行交互融合，得到融合后的三维查询；根据所述融合后的三维查询中的每个查询回归多个自适应采样偏移；根据所述自适应采样偏移，针对每一尺度层级，分别从所述当前帧中第个尺度层级的图像特征和所述第个尺度层级的退化增强特征中采样局部上下文特征，得到第个尺度层级的原始特征分支局部上下文特征张量和退化增强特征分支局部上下文特征张量；将各尺度层级的原始特征分支局部上下文特征张量按对应元素相加，得到原始特征上下文；将各尺度层级的退化增强特征分支局部上下文特征张量按对应元素相加，得到退化增强特征上下文；将所述原始特征上下文和所述退化增强特征上下文进行拼接，得到统一特征张量f，公式表示如下：

27、；

28、式中，concat表示拼接操作；

29、根据所述融合后的三维查询通过线性层生成语义权重矩阵，并利用所述语义权重矩阵对统一特征张量f的通道重要性进行重标定，再进行通道维度混合，得到语义去噪特征，公式表示如下：

30、；

31、；

32、式中，linear表示线性层，ln表示层归一化，·表示矩阵乘法；

33、根据所述融合后的三维查询生成几何权重矩阵，并利用所述几何权重矩阵对采样点维度的局部几何关系进行聚合，以实现点维度混合，得到点位混合特征，公式表示如下：

34、；

35、；

36、式中，t表示矩阵转置；

37、之后通过线性层对所述点位混合特征进行聚合，得到融合特征；最终将所述融合特征输入检测头，即可输出三维目标检测结果。

38、本发明与现有技术相比，具有如下优点与有益效果：

39、1、本发明通过退化感知模块对多尺度图像特征进行重建得到重建图像，并根据所述重建图像与对应的所述多视角图像序列中的图像之间的像素差异生成退化概率图，使低照度、雾天、运动模糊或相机异常引起的图像质量退化能够以空间位置和退化程度的形式被显式表征。基于所述退化概率图对退化区域实施有针对性的时空特征补偿，能够减少对非退化区域原始特征的干扰，在补充退化区域信息的同时保持清晰区域原有的纹理、结构和几何信息，从而提高特征补偿的针对性和可靠性。

40、2、本发明根据退化概率图对多视角图像序列中当前帧和历史帧对应的多尺度图像特征进行时空特征补偿，将不同时间的有效上下文信息引入退化区域，得到退化增强特征，使受图像退化影响而被削弱的前景语义、纹理细节和边缘结构得到补充与恢复。进一步地，本发明根据高置信退化中心、像素级深度以及相机的内、外参生成三维锚点中心和自适应三维查询，并将自适应三维查询与预设的可学习三维查询组合形成双分支三维查询，使三维查询兼顾全局目标分布先验和退化区域的局部空间信息，有利于提高远距离目标、遮挡目标以及纹理和边缘线索受损目标的定位与识别能力，减少图像退化环境下的漏检。

41、3、本发明通过自注意力机制对双分支三维查询进行交互融合，并利用融合后的三维查询分别与当前帧对应的多尺度图像特征和退化增强特征进行交互，得到原始特征上下文和退化增强特征上下文。在此基础上，通过通道维度混合对统一特征张量的通道重要性进行重标定，形成语义去噪特征，并通过点维度混合聚合不同采样点之间的局部几何关系，能够综合利用原始可靠信息和补偿后的增强信息，抑制退化噪声在多视角特征聚合过程中的传播，保持全局语义信息和局部几何信息的一致性，从而提高融合特征的表达能力以及三维目标检测在复杂退化场景中的稳定性、鲁棒性和适应能力。