一种基于二维目标检测与高精度地图融合的端到端自动驾驶路径规划方法

本发明属于计算机视觉和自动驾驶，特别是涉及到一种基于二维目标检测与高精度地图融合的端到端自动驾驶路径规划方法。

背景技术：

1、随着自动驾驶技术的快速发展，对车辆周围环境的感知和解读成为了决定自动驾驶系统性能的重要因素。为了实现环境感知， 许多现有的系统依赖于高成本的硬件设备，如激光雷达。然而，这些硬件设备的复杂性和成本限制了其广泛应用，特别是在规模化生产的环境中。此外，大规模的参数模型使得这些设备的数据在处理时产生了大量的计算负担，这会导致响应延迟，降低了实用性。

2、针对上述问题，近年来提出了一种通过车载环视相机获取的鸟瞰图进行环境感知和路径规划的方法。但是由于环视相机生成的鸟瞰图准确率较低，且这些方法许多依赖于传统的基于规则的路径规划方法，需要大量人工设计的规划器，无法充分利用深度学习方法，导致规划输出不够理想，并且由于模型复杂度较高，这些方法会导致大量计算，从而使系统响应时间延长，不利于实时运行的自动驾驶系统。

3、在此背景下，需要一种新的方法，它能以更低的设备成本和计算量，为自动驾驶系统提供实时、准确的环境感知和路径规划。目前尚未有技术能够充分解决上述问题，因此，发明一种基于二维目标检测与高精度地图融合的端到端自动驾驶路径规划方法，既能减少设备和运算成本，又能在车辆实时行驶中提供高效的环境感知和路径规划，具有显著的实用价值。

技术实现思路

1、为了解决上述技术问题，本发明提供了一种基于二维目标检测与高精度地图融合的端到端自动驾驶路径规划方法。

2、本发明所采用的技术方案是：一种基于二维目标检测与高精度地图融合的端到端自动驾驶路径规划方法，其特征在于，包括以下步骤:

3、步骤 1：获取由车载环视相机拍摄的若干实时图像数据，车辆自身位置姿态数据，高精度地图，以及由人类驾驶员驾驶汽车行成的专家路径信息，制作成一个训练数据集；

4、步骤 2：建立深度学习模型，输入层接收车载环视相机的图像，输出层输出未来多个时间步的自我车辆规划路径点信息。该模型通过大量的训练数据集进行训练，学习从环视相机图像，车辆位置姿态数据和高精度地图数据到规划路径点的映射关系；

5、步骤 3：输入车载环视相机的时序图像，车辆位置姿态数据以及高精度地图到训练好的深度学习模型，模型根据学习到的映射关系，将输入转化为规划路径点信息；

6、步骤 4：生成的规划路径点信息包含自车位置和姿态，这些信息可以直接用于nuplan 模拟环境仿真，或者通过后续的控制器以生成车辆控制信息，实现现实中的车辆自动驾驶。

7、与现有的端到端自动驾驶路径规划方法相比，本发明具有以下优点和积极效果：

8、(1) 本发明通过使用基于环视相机的深度学习方法生成路径规划信息，提高了环境理解和预测的准确性，从而提升了自动驾驶的安全性和效率。

9、(2) 本发明新建立了一种基于视觉的端到端深度学习模型，具有一定的普适推广价值；

10、(3) 鉴于本发明所采用的深度学习模型针对性设计，其参数规模得以控制在一个相对较小的范围内，因此，模型在进行预测路径生成时的运算效率较高，对于实时性的要求有着显著优势。同时，相较于传统的硬件传感器方案，本方法显著降低了设备成本，提升了自动驾驶系统的经济性和实用性，实现了高效且成本优化的自动驾驶能力。

1.一种基于二维目标检测与高精度地图融合的端到端自动驾驶路径规划方法，其特征在于，包括以下步骤：

2. 根据权利要求 1 所述的端到端自动驾驶路径规划方法，其特征在于，步骤 1 中，环视相机的安装位置是车辆的四周，获得 360 度的全方位视野。

3. 根据权利要求 1 所述的端到端自动驾驶路径规划方法，其特征在于，步骤 2 中，采用基于深度卷积神经网络的目标检测与跟踪算法作为骨干网络，生成以下输出：1）边界框的信息，具体为一个边界框的中点坐标以及长度、宽度信息， 2） 目标类别，3） 目标跟踪，具体为跟踪不同帧中的同一个对象。

4.根据权利要求 1 所述的端到端自动驾驶路径规划方法，其特征在于，步骤 3-5中，图神经网络用于嵌入各类型对象的局部特征信息，输入为各对象的特征点，输出为包含该对象所有特征的特征向量。

5. 根据权利要求 1 所述的端到端自动驾驶路径规划方法，其特征在于，步骤 6 中，类型信息为各局部特征嵌入输出对象的类别，具体类别为自车，其他交通参与者的类型，地图图形的类型。

6.根据权利要求 1  所述的端到端自动驾驶路径规划方法，其特征在于，步骤 7  中多头注意力层用于嵌入自我车辆与周围环境的全局特征信息，具体地，多头注意力的查询（query）为自车特征向量，键（key）和值（value）为自车，其他交通参与者以及地图图形的特征向量。

7. 根据权利要求 1 所述的端到端自动驾驶路径规划方法，其特征在于，步骤 8 中，输出是自车在未来 m 个时间点内的预测路径点信息，路径点信息由坐标和车辆姿态组成。

8.根据权利要求 1 、2 、3 、4 、5 、6 或 7 所述的端到端自动驾驶路径规划方法，其特征在于，步骤 9 中，训练阶段的目标是最小化预测路径和专家路径之间的平均绝对误差损失，通过反向传播和梯度下降等优化算法进行训练。