一种基于雷达与测绘地图辅助的相机检测位置生成方法及系统与流程

1.本发明涉及路口智能车辆管理领域，特别涉及一种基于雷达与测绘地图辅助的相机检测位置生成方法及系统。


背景技术：

2.单目相机与毫米波雷达融合是打造静态交通中全息路口的经典解决方案之一。雷视一体机数据采集场景可以如图3所示，对两传感器进行融合，可以充分发挥二者的优势，获取更准确的目标信息。在传感器融合技术的实施过程中，首先需获取不同传感器对目标检测的实际位置。对于雷达传感器，雷达硬件厂商通过对雷达传感器采集的点云进行聚类与跟踪处理，可以获得目标的实际位置。对于相机传感器，通常做法是，采用深度学习算法等检测算法对采集的视频流进行检测，检测的结果为像素坐标。通过系列线性变换与非线性变换，结合外场测绘地图，完成像素坐标到物理坐标、相机坐标系到世界坐标系的转换，得到目标的实际位置。两个传感器获取检测目标方法的不同导致其对同一目标位置的检测结果有很大误差，而基于概率度量和基于距离度量的传感器融合方法对传感器检测结果的距离依赖性较强，因此该误差对后续的数据关联和融合过程影响较大，使得实际融合效果不佳。
3.目前在获取不同传感器对目标检测的实际位置时，相机传感器的目标检测结果的获取方式，采用的是像素坐标到物理坐标和相机坐标系到世界坐标系的转换方法，目标检测结果一般为图片上的像素坐标，通过透视变换将像素坐标转为鸟瞰图上实际位置。
4.然而对比不同传感器鸟瞰图上目标位置结果可以发现，相机检测的目标位置在远距离处和雷达的检测结果差距较大，导致相机在远距离处目标的位置测量误差较大，首先，由于透视变换前远处单位像素代表的宽度和高度，远大于近处单位像素代表的宽度和高度。因此，透视变换后，远处图像和边缘处图像有较大的畸变。当目标检测点投影到鸟瞰图的过程中，远处和边缘的目标会引入较大的误差。此外，当道路具有一定的弧度和弯曲时，由于畸变效应，变换完成后的道路和真实道路形状之间的差距较为明显。其次，透视变换的应用过程中，认为变换前和变换后均是一个平面。因此，透视变换的方法无法处理真实路况中路面会有坡度起伏的情况。最后，透视变换过程中需要人为手工选取像素点，和真实位置相对应。该过程具有一定的复杂性不便于前场施工人员的操作。对于选取的远处标定点，像素点和真实位置之间的不对应也会引入一定的误差。综上所述，对于相机传感器在像素位置转换为鸟瞰图上的实际位置过程中引入了较大误差。


技术实现要素：

5.为解决上述技术问题，本发明提供一种基于雷达与测绘地图辅助的相机检测位置生成方法及系统，可以解决现有获取的相机检测位置误差较大的问题。
6.为实现上述目的，一方面，本发明提供一种基于雷达与测绘地图辅助的相机检测
位置生成方法，所述方法包括：
7.从相机采集的图片中检测识别道路标志线；
8.根据所述道路标志线确定所述图片对应的感兴趣区域；
9.根据在预置测绘地图中所述道路标志线对应的位置信息，获取所述感兴趣区域矩阵对应的横坐标；
10.根据预置时间段内所述感兴趣区域中相同车辆目标的雷达检测数据和相机检测数据，获取所述感兴趣区域矩阵对应的纵坐标；
11.根据所述感兴趣区域矩阵对应的横坐标和纵坐标，输出所述感兴趣区域中每个像素对应的位置矩阵。
12.进一步地，所述根据在预置测绘地图中所述道路标志线对应的位置信息，获取所述感兴趣区域矩阵对应的横坐标的步骤包括：
13.从所述预置测绘地图中获取各个道路标志线对应的真实位置数据；
14.根据所述各个道路标志线对应的真实位置数据，对感兴趣区域内各像素进行遍历，获取各个像素所属车道以及各个像素分别对应的像素宽度和真实宽度。
15.进一步地，所述根据预置时间段内所述感兴趣区域中相同车辆目标的雷达检测数据和相机检测数据，获取所述感兴趣区域矩阵对应的纵坐标的步骤包括：
16.获取预置时间段内所述感兴趣区域中相同车辆目标的雷达检测数据和相机检测数据；
17.以所述相机检测结果行像素为自变量，雷达检测结果纵坐标为因变量，对车道纵坐标进行插值拟合，得到所述车辆目标所在车道内各像素的纵坐标；
18.根据不同车道的车辆目标所在车道内各像素的纵坐标，获取各车道雷达数据插值拟合结果并作为感兴趣区域矩阵各像素的纵坐标。
19.进一步地，所述方法还包括：
20.将至少两个车辆目标分别对应的各车道雷达数据插值拟合结果进行平均，得到感兴趣区域矩阵各像素的纵坐标。
21.进一步地，所述根据所述感兴趣区域矩阵对应的横坐标和纵坐标，输出所述感兴趣区域的每个像素对应的位置矩阵的步骤只之前，所述方法还包括：
22.根据针对相同位置相机获取的横向位置坐标和雷达获取的横向位置坐标的平均误差，对感兴趣区域矩阵各像素的横坐标进行修正。从相机采集的图片中检测识别道路标志线；
23.根据所述道路标志线确定所述图片对应的感兴趣区域；
24.根据在预置测绘地图中所述道路标志线对应的位置信息，获取所述感兴趣区域矩阵对应的横坐标；
25.根据预置时间段内所述感兴趣区域中相同车辆目标的雷达检测数据和相机检测数据，获取所述感兴趣区域矩阵对应的纵坐标；
26.根据所述感兴趣区域矩阵对应的横坐标和纵坐标，输出所述感兴趣区域中每个像素对应的位置矩阵。
27.进一步地，所述根据在预置测绘地图中所述道路标志线对应的位置信息，获取所述感兴趣区域矩阵对应的横坐标的步骤包括：
28.从所述预置测绘地图中获取各个道路标志线对应的真实位置数据；
29.根据所述各个道路标志线对应的真实位置数据，对感兴趣区域内各像素进行遍历，获取各个像素所属车道以及各个像素分别对应的像素宽度和真实宽度。
30.进一步地，所述根据预置时间段内所述感兴趣区域中相同车辆目标的雷达检测数据和相机检测数据，获取所述感兴趣区域矩阵对应的纵坐标的步骤包括：
31.获取预置时间段内所述感兴趣区域中相同车辆目标的雷达检测数据和相机检测数据；
32.以所述相机检测结果行像素为自变量，雷达检测结果纵坐标为因变量，对车道纵坐标进行插值拟合，得到所述车辆目标所在车道内各像素的纵坐标；
33.根据不同车道的车辆目标所在车道内各像素的纵坐标，获取各车道雷达数据插值拟合结果并作为感兴趣区域矩阵各像素的纵坐标。
34.进一步地，所述方法还包括：
35.将至少两个车辆目标分别对应的各车道雷达数据插值拟合结果进行平均，得到感兴趣区域矩阵各像素的纵坐标。
36.进一步地，所述根据所述感兴趣区域矩阵对应的横坐标和纵坐标，输出所述感兴趣区域的每个像素对应的位置矩阵的步骤只之前，所述方法还包括：
37.根据针对相同位置相机获取的横向位置坐标和雷达获取的横向位置坐标的平均误差，对感兴趣区域矩阵各像素的横坐标进行修正。
38.另一方面，本发明提供一种基于雷达与测绘地图辅助的相机检测位置生成系统，所述系统包括：
39.识别单元，用于从相机采集的图片中检测识别道路标志线；
40.确定单元，用于根据所述道路标志线确定所述图片对应的感兴趣区域；
41.获取单元，用于根据在预置测绘地图中所述道路标志线对应的位置信息，获取所述感兴趣区域矩阵对应的横坐标；
42.所述获取单元，还用于根据预置时间段内所述感兴趣区域中相同车辆目标的雷达检测数据和相机检测数据，获取所述感兴趣区域矩阵对应的纵坐标；
43.输出单元，用于根据所述感兴趣区域矩阵对应的横坐标和纵坐标，输出所述感兴趣区域中每个像素对应的位置矩阵。
44.进一步地，所述获取单元，具体用于从所述预置测绘地图中获取各个道路标志线对应的真实位置数据；根据所述各个道路标志线对应的真实位置数据，对感兴趣区域内各像素进行遍历，获取各个像素所属车道以及各个像素分别对应的像素宽度和真实宽度。
45.进一步地，所述获取单元，具体还用于获取预置时间段内所述感兴趣区域中相同车辆目标的雷达检测数据和相机检测数据；以所述相机检测结果行像素为自变量，雷达检测结果纵坐标为因变量，对车道纵坐标进行插值拟合，得到所述车辆目标所在车道内各像素的纵坐标；根据不同车道的车辆目标所在车道内各像素的纵坐标，获取各车道雷达数据插值拟合结果并作为感兴趣区域矩阵各像素的纵坐标。
46.进一步地，所述获取单元，还用于将至少两个车辆目标分别对应的各车道雷达数据插值拟合结果进行平均，得到感兴趣区域矩阵各像素的纵坐标。
47.进一步地，所述系统还包括:修正单元；
48.所述修正单元，用于根据针对相同位置相机获取的横向位置坐标和雷达获取的横向位置坐标的平均误差，对感兴趣区域矩阵各像素的横坐标进行修正。
49.本发明提供的一种基于雷达与测绘地图辅助的相机检测位置生成方法及系统，根据在预置测绘地图中所述道路标志线对应的位置信息，获取所述感兴趣区域矩阵对应的横坐标；并根据预置时间段内所述感兴趣区域中相同车辆目标的雷达检测数据和相机检测数据，获取所述感兴趣区域矩阵对应的纵坐标；最后根据所述感兴趣区域矩阵对应的横坐标和纵坐标，输出所述感兴趣区域的每个像素对应的位置矩阵，由于本发明充分利用了雷达和相机两传感器，采用了新的相机检测数据生成方式，因此避免了现有技术采用的透视变换技术的局限性，从而可以适用于各种坡度、弯曲的复杂道路类型，从而减小了在图像边缘处获取的目标位置的误差，提升了相机检测位置的获取准确性。
附图说明
50.图1是本发明提供的一种基于雷达与测绘地图辅助的相机检测位置生成方法的流程图；
51.图2是本发明提供的一种基于雷达与测绘地图辅助的相机检测位置生成系统的结构示意图；
52.图3为本发明提供的路口数据雷视一体机采集示意图。
具体实施方式
53.下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
54.如图1所示，本发明实施例提供的一种基于雷达与测绘地图辅助的相机检测位置生成方法，包括如下步骤：
55.101、从相机采集的图片中检测识别道路标志线。
56.具体地，可以采用检测算法和人为标注相结合的方式生成相机图片车道线、停车线、边界线和其它标志线。例如，采用霍夫变换等方法完成线段检测后，二次确认结果是否正确，如果检测错误进行修正和校准。当图片内标志线较少时，也可以人为标注像素点进行连线。
57.102、根据所述道路标志线确定所述图片对应的感兴趣区域。
58.具体地，依据标志线对相机图片的边界进行限定。由于图片不仅包含道路区域，也包含绿化带、天空、路边杂草等无关区域，通过设定roi区域可以进一步减少不必要的运算量。
59.103、根据在预置测绘地图中所述道路标志线对应的位置信息，获取所述感兴趣区域矩阵对应的横坐标。
60.对于本发明实施例，步骤103具体可以包括：从所述预置测绘地图中获取各个道路标志线对应的真实位置数据；根据所述各个道路标志线对应的真实位置数据，对感兴趣区域内各像素进行遍历，获取各个像素所属车道以及各个像素分别对应的像素宽度和真实宽度。
61.例如，首先对实际地图进行测绘，可以得到各个标志线的真实位置数据，在得到真实位置数据后，对roi区域内各像素进行遍历，对于每一个像素判定所属车道，并计算该像
素对应的像素宽度和真实宽度。其中，车道宽度通常为3-5m左右，且各车道线间的像素往往较少，因此可以直接采用线性插值的方法进行填充。
62.104、根据预置时间段内所述感兴趣区域中相同车辆目标的雷达检测数据和相机检测数据，获取所述感兴趣区域矩阵对应的纵坐标。
63.对于本发明实施例，步骤104具体可以包括：获取预置时间段内所述感兴趣区域中相同车辆目标的雷达检测数据和相机检测数据；以所述相机检测结果行像素为自变量，雷达检测结果纵坐标为因变量，对车道纵坐标进行插值拟合，得到所述车辆目标所在车道内各像素的纵坐标；根据不同车道的车辆目标所在车道内各像素的纵坐标，获取各车道雷达数据插值拟合结果并作为感兴趣区域矩阵各像素的纵坐标。
64.例如，由于相机拍摄的透视效应，相机图片的roi区域各像素的纵向位置变化规律较为复杂，不能采用简单的线性插值法填充图片像素的纵向位置。采用雷达数据进行辅助，生成各像素的位置坐标。首先保存一段时间车辆的雷达检测结果和相机检测结果。为了保证不同传感器的检测数据为同一目标，应当尽量在路况较为简单时进行选取，避免在复杂的路况，如上下班高峰期进行选取，避免选取失误；然后将雷达检测的目标的纵向距离作为相机检测结果的纵坐标，以相机检测结果行像素为自变量，雷达检测结果纵坐标为因变量，对车道纵坐标进行插值拟合。其中，由于相机检测距离通常远小于雷达，且一段时间内相机检测结果并不会遍历roi像素平面上每个行像素，因此通常无法得到每个行像素的纵向距离，需要对雷达纵向距离数据随着行像素的进行拟合，得到该车辆所在车道内各像素的纵坐标；最后单车道纵坐标生成后，选取不同车道的车辆，重复上述步骤得到各车道雷达数据插值拟合结果。
65.对于本发明实施例，为了进一步提升纵坐标获取的准确率，步骤104 之前还可以包括：将至少两个车辆目标分别对应的各车道雷达数据插值拟合结果进行平均，得到感兴趣区域矩阵各像素的纵坐标。
66.105、根据所述感兴趣区域矩阵对应的横坐标和纵坐标，输出所述感兴趣区域中每个像素对应的位置矩阵。
67.对于本发明实施例，为了进一步提升感兴趣区域中每个像素对应的位置矩阵的获取准确率，在步骤105之前，还可以包括：根据针对相同位置相机获取的横向位置坐标和雷达获取的横向位置坐标的平均误差，对感兴趣区域矩阵各像素的横坐标进行修正。需要说明的是，位置矩阵的纵坐标填充时采用了雷达的纵向距离进行辅助，而横坐标采用地图的测绘数据，因此鸟瞰图中雷达数据和相机检测位置的纵坐标吻合度较高，而横坐标误差较大，因此比较相机和雷达横向上的平均误差，对位置矩阵的横坐标进行修正，可以进一步提升位置矩阵的横坐标的获取准确度。
68.本发明提供的一种基于雷达与测绘地图辅助的相机检测位置生成方法，根据在预置测绘地图中所述道路标志线对应的位置信息，获取所述感兴趣区域矩阵对应的横坐标；并根据预置时间段内所述感兴趣区域中相同车辆目标的雷达检测数据和相机检测数据，获取所述感兴趣区域矩阵对应的纵坐标；最后根据所述感兴趣区域矩阵对应的横坐标和纵坐标，输出所述感兴趣区域的每个像素对应的位置矩阵，由于本发明充分利用了雷达和相机两传感器，采用了新的相机检测数据生成方式，因此避免了现有技术采用的透视变换技术的局限性，从而可以适用于各种坡度、弯曲的复杂道路类型，从而减小了在图像边缘处获取
的目标位置的误差，提升了相机检测位置的获取准确性。
69.为实现本发明实施例提供的方法，本发明实施例提供一种基于雷达与测绘地图辅助的相机检测位置生成系统，如图2所示，该系统包括：识别单元 21、确定单元22、获取单元23、输出单元24、修正单元25；
70.识别单元21，用于从相机采集的图片中检测识别道路标志线。
71.确定单元22，用于根据所述道路标志线确定所述图片对应的感兴趣区域。
72.获取单元23，用于根据在预置测绘地图中所述道路标志线对应的位置信息，获取所述感兴趣区域矩阵对应的横坐标。
73.所述获取单元23，还用于根据预置时间段内所述感兴趣区域中相同车辆目标的雷达检测数据和相机检测数据，获取所述感兴趣区域矩阵对应的纵坐标。
74.输出单元24，用于根据所述感兴趣区域矩阵对应的横坐标和纵坐标，输出所述感兴趣区域中每个像素对应的位置矩阵。
75.进一步地，所述获取单元23，具体用于从所述预置测绘地图中获取各个道路标志线对应的真实位置数据；根据所述各个道路标志线对应的真实位置数据，对感兴趣区域内各像素进行遍历，获取各个像素所属车道以及各个像素分别对应的像素宽度和真实宽度。
76.进一步地，所述获取单元23，具体还用于获取预置时间段内所述感兴趣区域中相同车辆目标的雷达检测数据和相机检测数据；以所述相机检测结果行像素为自变量，雷达检测结果纵坐标为因变量，对车道纵坐标进行插值拟合，得到所述车辆目标所在车道内各像素的纵坐标；根据不同车道的车辆目标所在车道内各像素的纵坐标，获取各车道雷达数据插值拟合结果并作为感兴趣区域矩阵各像素的纵坐标。
77.进一步地，所述获取单元23，还用于将至少两个车辆目标分别对应的各车道雷达数据插值拟合结果进行平均，得到感兴趣区域矩阵各像素的纵坐标。
78.进一步地，所述系统还包括:修正单元25；所述修正单元25，用于根据针对相同位置相机获取的横向位置坐标和雷达获取的横向位置坐标的平均误差，对感兴趣区域矩阵各像素的横坐标进行修正。
79.本发明提供的一种基于雷达与测绘地图辅助的相机检测位置生成系统，根据在预置测绘地图中所述道路标志线对应的位置信息，获取所述感兴趣区域矩阵对应的横坐标；并根据预置时间段内所述感兴趣区域中相同车辆目标的雷达检测数据和相机检测数据，获取所述感兴趣区域矩阵对应的纵坐标；最后根据所述感兴趣区域矩阵对应的横坐标和纵坐标，输出所述感兴趣区域的每个像素对应的位置矩阵，由于本发明充分利用了雷达和相机两传感器，采用了新的相机检测数据生成方式，因此避免了现有技术采用的透视变换技术的局限性，从而可以适用于各种坡度、弯曲的复杂道路类型，从而减小了在图像边缘处获取的目标位置的误差，提升了相机检测位置的获取准确性。
80.应该明白，公开的过程中的步骤的特定顺序或层次是示例性方法的实例。基于设计偏好，应该理解，过程中的步骤的特定顺序或层次可以在不脱离本公开的保护范围的情况下得到重新安排。所附的方法权利要求以示例性的顺序给出了各种步骤的要素，并且不是要限于所述的特定顺序或层次。
81.在上述的详细描述中，各种特征一起组合在单个的实施方案中，以简化本公开。不应该将这种公开方法解释为反映了这样的意图，即，所要求保护的主题的实施方案需要比
清楚地在每个权利要求中所陈述的特征更多的特征。相反，如所附的权利要求书所反映的那样，本发明处于比所公开的单个实施方案的全部特征少的状态。因此，所附的权利要求书特此清楚地被并入详细描述中，其中每项权利要求独自作为本发明单独的优选实施方案。
82.为使本领域内的任何技术人员能够实现或者使用本发明，上面对所公开实施例进行了描述。对于本领域技术人员来说；这些实施例的各种修改方式都是显而易见的，并且本文定义的一般原理也可以在不脱离本公开的精神和保护范围的基础上适用于其它实施例。因此，本公开并不限于本文给出的实施例，而是与本技术公开的原理和新颖性特征的最广范围相一致。
83.上文的描述包括一个或多个实施例的举例。当然，为了描述上述实施例而描述部件或方法的所有可能的结合是不可能的，但是本领域普通技术人员应该认识到，各个实施例可以做进一步的组合和排列。因此，本文中描述的实施例旨在涵盖落入所附权利要求书的保护范围内的所有这样的改变、修改和变型。此外，就说明书或权利要求书中使用的术语“包含”，该词的涵盖方式类似于术语“包括”，就如同“包括，”在权利要求中用作衔接词所解释的那样。此外，使用在权利要求书的说明书中的任何一个术语“或者”是要表示“非排它性的或者”。
84.本领域技术人员还可以了解到本发明实施例列出的各种说明性逻辑块(illustrative logical block)，单元，和步骤可以通过电子硬件、电脑软件，或两者的结合进行实现。为清楚展示硬件和软件的可替换性 (interchangeability)，上述的各种说明性部件(illustrativecomponents)，单元和步骤已经通用地描述了它们的功能。这样的功能是通过硬件还是软件来实现取决于特定的应用和整个系统的设计要求。本领域技术人员可以对于每种特定的应用，可以使用各种方法实现所述的功能，但这种实现不应被理解为超出本发明实施例保护的范围。
85.本发明实施例中所描述的各种说明性的逻辑块，或单元都可以通过通用处理器，数字信号处理器，专用集成电路(asic)，现场可编程门阵列或其它可编程逻辑系统，离散门或晶体管逻辑，离散硬件部件，或上述任何组合的设计来实现或操作所描述的功能。通用处理器可以为微处理器，可选地，该通用处理器也可以为任何传统的处理器、控制器、微控制器或状态机。处理器也可以通过计算系统的组合来实现，例如数字信号处理器和微处理器，多个微处理器，一个或多个微处理器联合一个数字信号处理器核，或任何其它类似的配置来实现。
86.本发明实施例中所描述的方法或算法的步骤可以直接嵌入硬件、处理器执行的软件模块、或者这两者的结合。软件模块可以存储于ram存储器、闪存、rom存储器、eprom存储器、eeprom存储器、寄存器、硬盘、可移动磁盘、cd-rom或本领域中其它任意形式的存储媒介中。示例性地，存储媒介可以与处理器连接，以使得处理器可以从存储媒介中读取信息，并可以向存储媒介存写信息。可选地，存储媒介还可以集成到处理器中。处理器和存储媒介可以设置于asic中，asic可以设置于用户终端中。可选地，处理器和存储媒介也可以设置于用户终端中的不同的部件中。
87.在一个或多个示例性的设计中，本发明实施例所描述的上述功能可以在硬件、软件、固件或这三者的任意组合来实现。如果在软件中实现，这些功能可以存储与电脑可读的媒介上，或以一个或多个指令或代码形式传输于电脑可读的媒介上。电脑可读媒介包括电
脑存储媒介和便于使得让电脑程序从一个地方转移到其它地方的通信媒介。存储媒介可以是任何通用或特殊电脑可以接入访问的可用媒体。例如，这样的电脑可读媒体可以包括但不限于ram、rom、eeprom、cd-rom或其它光盘存储、磁盘存储或其它磁性存储系统，或其它任何可以用于承载或存储以指令或数据结构和其它可被通用或特殊电脑、或通用或特殊处理器读取形式的程序代码的媒介。此外，任何连接都可以被适当地定义为电脑可读媒介，例如，如果软件是从一个网站站点、服务器或其它远程资源通过一个同轴电缆、光纤电缆、双绞线、数字用户线(dsl)或以例如红外、无线和微波等无线方式传输的也被包含在所定义的电脑可读媒介中。所述的碟片(disk)和磁盘(disc) 包括压缩磁盘、镭射盘、光盘、dvd、软盘和蓝光光盘，磁盘通常以磁性复制数据，而碟片通常以激光进行光学复制数据。上述的组合也可以包含在电脑可读媒介中。
88.以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。