道路边缘检测方法、应用于车辆的道路边缘检测设备与流程

1.本发明涉及自动驾驶技术领域，尤其涉及一种道路边缘检测方法、应用于车辆的道路边缘检测设备。


背景技术：

2.自动驾驶汽车可以提供更高的安全性、生产率和交通率，将在未来城市交通系统中担任重要角色。在大多数自动驾驶场景或者辅助驾驶场景中，周围环境感知是一项至关重要的任务，而单一传感器在环境感知中存在不同的劣势，因此，多传感器融合成为提升感知系统效果的必要手段。
3.目前，一般采用多传感器融合方法进行道路边缘的检测，即数据级融合的道路边缘检测方法。数据级融合的道路边缘检测方法是将所有原始数据传输到处理器中进行数据处理，以确定道路边缘。
4.但是，上述数据级融合的道路边缘检测方法存在检测精度低的问题。


技术实现要素：

5.本发明实施例提供了一种道路边缘检测方法、应用于车辆的道路边缘信息检测设备，以解决现有技术检测方法存在道路边缘检测精度低的问题。
6.第一方面，本发明实施例提供了一种道路边缘检测方法，包括：
7.根据雷达传感器获取的点云数据和图像传感器采集的图像信息，确定目标点云数据；
8.对目标点云数据进行特征提取，确定目标点云数据对应的第一道路边缘信息；
9.对图像信息进行道路边缘识别，得到图像信息对应的第二道路边缘信息和车道线信息；
10.根据第一道路边缘信息、第二道路边缘信息和车道线信息，确定目标道路边缘和目标车道线。
11.第二方面，本发明实施例提供了一种应用于车辆的道路边缘检测设备，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现如上第一方面或第一方面的任一种可能的实现方式方法的步骤。
12.本发明实施例提供一种道路边缘检测方法、应用于车辆的道路边缘检测设备，通过根据雷达传感器获取的点云数据和图像传感器采集的图像信息，确定目标点云数据，然后对目标点云数据进行特征提取，确定目标点云数据对应的第一道路边缘信息，以及对图像信息进行道路边缘识别，得到图像信息对应的第二道路边缘信息和车道线信息，最后根据第一道路边缘信息、第二道路边缘信息和车道线信息，确定目标道路边缘和目标车道线。本发明将雷达传感器和图像传感器采集的数据进行结合，确定目标点云数据，并进一步将目标点云数据对应的第一道路边缘信息和图像传感器对应的第二道路边缘信息进行道路边缘融合，以通过目标点云数据对应的目标车道线信息对融合后的道路边缘信息进行修
正，确定目标道路边缘和目标车道线，提高了目标道路边缘和目标车道线的检测精度。
附图说明
13.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
14.图1是本发明实施例提供的集中式融合结构图；
15.图2是本发明实施例提供的分布式融合结构图；
16.图3是本发明实施例提供的混合式融合结构图；
17.图4是本发明实施例提供的一种道路边缘检测方法的实现流程图；
18.图5是本发明实施例提供的改进的混合式融合结构图；
19.图6是本发明实施例提供的雷达、车辆与摄像头的位置关系示意图；
20.图7是本发明另一实施例提供的一种道路边缘检测方法的实现流程图；
21.图8是本发明实施例提供的数据点与车辆坐标系、传感器坐标系的几何关系示意图；
22.图9是本发明实施例提供的车辆转弯的几何关系示意图；
23.图10是本发明实施例提供的数据时间同步的示意图；
24.图11是本发明实施例提供的前向雷达坐标系的示意图；
25.图12是本发明实施例提供的图像坐标系、相机坐标系和车辆坐标系的位置关系的示意图；
26.图13是本发明实施例提供的图像坐标系与像素坐标系的位置关系的示意图；
27.图14是本发明实施例提供的目标车道线对应的栅格与目标道路边缘信息对应的栅格的示意图；
28.图15是本发明实施例提供的目标车道线对应的栅格与目标道路边缘信息对应的栅格重合匹配的示意图；
29.图16是本发明实施例提供的目标道路边缘对应的栅格的示意图；
30.图17是本发明实施例提供的一种道路边缘检测装置的结构示意图；
31.图18是本发明实施例提供的一种应用于车辆的道路边缘检测设备的结构示意图。
具体实施方式
32.以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本发明实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。
33.为使本发明的目的、技术方案和优点更加清楚，下面将结合附图通过具体实施例来进行说明。
34.自动驾驶汽车可以提供更高的安全性、生产率和交通率，将在未来城市交通系统中担任重要角色。在大多数自动驾驶场景或者辅助驾驶场景中，周围环境感知是一项至关
重要的任务。单一传感器(如激光雷达、毫米波雷达、摄像头和超声波)在环境感知中存在不同的劣势，因此，多传感器融合成为提升环境感知效果的必要手段。
35.根据多传感器融合中的局部传感器对数据处理程度可将多传感器的融合方式进行划分，主要分为集中式、分布式和混合式。结合图1-图3对上述三种融合方式进行说明，具体如下：图1为集中式融合结构图，通过图1可知集中式是将传感器所有信息送到域控制器当中，依次进行数据关联、量测融合、目标跟踪，最终得到目标的位置和状态信息，最后进行决策。集中式的优点是数据处理的精度高，而缺点是大量数据易造成通信负载过大，对控制器处理的性能要求高。图2为分布式融合结构图，通过图2可知分布式是将每个传感器的目标观测结果在本地进行相关目标检测与跟踪处理，之后送入域控制器得到多目标跟踪的局部航迹信息。分布式优点是对通信带宽的需求低、计算速度快，而缺点是跟踪的精度远没有集中式高。图3为混合式融合结构图，通过图3可知混合式是依据对传感器数据需求的不同组成混合式结构，兼具集中式和分布式结构的优点，弥补了两者的不足。
36.然而，图3所示混合式融合结构中，不同类型传感器的融合，如图像传感器(摄像头)与雷达传感器(角雷达、前向雷达)的融合主要集中在目标级，5r1v融合的方案主要集中在数据级，道路边缘的检测精度较低，其中，5r1v指5个毫米波雷达和1个前视多功能摄像头的传感器配置。本发明实施例基于图3所示混合式融合结构，为了进一步提高道路边缘检测精度，提出了一种改进的混合式融合结构以及道路边缘检测方法。
37.参见图4和图5，图4为本发明实施例提供的一种道路边缘检测方法的实现流程图，其适用于图5所示改进的混合式融合结构，图5所示改进的混合式融合结构中，用于进行道路边缘检测的传感器包括雷达传感器和图像传感器，其中雷达传感器又包括前向雷达传感器和侧向雷达传感器，侧向雷达传感器的数量可以为多个，如2个、4个或更多个。优选的，侧向雷达传感器的数量为4个，此时，图5所示混合式融合结构可以称为5r1v融合结构，其中，“5r”指的是5个雷达传感器，即1个前向雷达传感器和4个侧向雷达传感器，“1v”指的是1个图像传感器，该结构主要针对面向l3级别的高速行车场景，可以得到更精确可靠的道路边缘检测结果。在一些实施例中，雷达传感器可以采用毫米波雷达传感器，图像传感器为摄像头。
38.以下将以图5所示混合式融合结构为例，介绍本发明各实施例道路边缘检测方法的具体流程。其包括以下步骤：
39.步骤s101：根据雷达传感器获取的点云数据和图像传感器采集的图像信息，确定目标点云数据；
40.步骤s102：对目标点云数据进行特征提取，确定目标点云数据对应的第一道路边缘信息；
41.步骤s103：对图像信息进行道路边缘识别，得到图像信息对应的第二道路边缘信息和车道线信息；
42.步骤s104：根据第一道路边缘信息、第二道路边缘信息和车道线信息，确定目标道路边缘和目标车道线。
43.具体地，图6显示了雷达、摄像头和车辆的位置关系，其中，1个前向雷达传感器和1个摄像头均安装在车辆的前端，4个高分辨侧向雷达传感器(角雷达)安装在车辆的4个侧向。结合图6，本发明的具体流程如下：在车辆行驶过程中，前向雷达传感器采集对应探测区
域的点云数据，4个侧向雷达传感器分别采集对应探测区域的点云数据，摄像头采集摄像范围内的图像信息，通过雷达传感器获取的点云数据和图像传感器采集的图像信息，确定目标点云数据，之后对目标点云数据进行特征提取，确定目标点云数据对应的第一道路边缘信息以及对图像信息进行道路边缘识别，得到图像信息对应的第二道路边缘信息和车道线信息，最后根据第一道路边缘信息、第二道路边缘信息和车道线信息，确定目标道路边缘和目标车道线。其中，第二道路边缘信息是通过对摄像头获取的图像信息进行检测与跟踪确定的。此外，步骤s102和步骤s103的执行不限定顺序，其可以是同时执行的。
44.与现有技术相比，本发明实施例提供的道路边缘检测方法，通过雷达传感器获取到点云数据、通过图像传感器采集到目标图像以后，将目标图像与点云数据在数据级上进行融合，确定目标点云数据，然后对目标点云数据进行特征提取，得到一个道路边缘信息(即第一道路边缘信息)，同时对目标图像进行道路边缘识别得到另一个道路边缘信息(即第二道路边缘信息)和车道线信息，之后将第一道路边缘信息和第二道路边缘信息在目标级上进行融合，再通过车道线信息修正融合后的道路边缘信息，由于图像传感器采集的目标图像不仅在目标级上辅助雷达传感器进行道路边缘和车道线识别，同时其还能够在数据级上辅助雷达传感器对点云数据进行判断来确定目标点云数据，并基于目标点云数据进行道路边缘识别，因此得到的检测结果更加准确，提高了目标道路边缘和目标车道线的检测精度。
45.在一实施例中，上述步骤s101可以包括如下步骤：
46.步骤s201：将点云数据和图像信息进行同步处理，得到同步后的点云数据和同步后的图像信息；
47.其中，同步处理包括时间同步处理和空间同步处理。
48.步骤s202：对同步后的点云数据中的静态点云数据进行栅格化，得到第一栅格图，并对同步后的图像信息进行栅格化，得到第二栅格图；
49.步骤s203：根据预设融合方法将第一栅格图和第将一栅格图进行融合，得到融合栅格图；
50.步骤s204：基于融合栅格图对点云数据进行属性修正，得到目标点云数据。
51.具体的，下面以图5所示5r1v混合式融合结构为例描述障碍物检测方法的具体实现流程，即雷达传感器包括前向雷达传感器和侧向雷达传感器，且当雷达传感器为毫米波雷达传感器。
52.通过多个传感器进行障碍物检测时，需要多个传感器的数据满足时间同步和空间同步的要求，因此，在对传感器的数据进行处理之前，首先需要对各个传感器的数据进行同步处理。
53.图10为本发明一实施例中雷达传感器与图像传感器采集的数据进行时间同步的示意图。本发明通过对雷达传感器与图像传感器进行gps统一授时，统一授时之后雷达传感器和图像传感器根据拉格朗日插值进行时间同步。由图10可以看出，各传感器采集的数据都有gps时间戳，雷达传感器的gps时间戳可以认为是在当前上报周期内，域控制器获取雷达传感器采集的点云数据的时间，而图像传感器的gps时间戳可以认为是在当前上报周期内，域控制器获取图像传感器采集的图像信息的的时间。当各传感器都有对应的gps时间戳后，采用拉格朗日差值对各传感器进行时间同步。对各传感器进行时间同步的过程属于公
知常识，此处不再赘述。
54.时间同步之后，进一步对时间同步之后的各个传感器的数据进行空间同步，空间同步主要是将各个传感器采集的数据映射到一个统一的坐标系中，本实施例中，该统一的坐标系为以车辆后轴为中心的坐标系(后面统一描述为车辆坐标系)。针对不同的传感器，其空间同步的过程如下：
55.(1)对于前向毫米波雷达，基于前向毫米波雷达坐标系与车辆坐标系的转换关系，将前向毫米波雷达对应的点云数据转换到车辆坐标系中，得到前向毫米波雷达对应的同步数据。
56.前向毫米波雷达坐标系xryrz
r-or如图11所示，定义前向毫米波雷达的安装位置为坐标原点or，三坐标轴的指向与车辆坐标系指向相同，前向毫米波雷达的探测方向为x轴方向，xroryr为前向毫米波雷达探测平面，yrorzr为安装平面。前向毫米波雷达输出的目标数据包括距离、车速、相对角度等，是前向毫米波雷达坐标系xroryr面内的二维信息。yrorzr平面与y
wowzw
平面平行，距离为x0，xroryr平面与x
wowyw
平面平行，距离为h，对于前向毫米波雷达目标p(r,α)，前向毫米波雷达坐标系与车辆坐标系的转换关系为：
[0057][0058]
其中，r表示目标距离，α表示方位角。
[0059]
(2)对于侧向毫米波雷达，基于侧向毫米波雷达坐标系与车辆坐标系的转换关系，将侧向毫米波雷达对应的点云数据转换到车辆坐标系中，得到侧向毫米波雷达对应的同步数据。
[0060]
侧向毫米波雷达坐标系x
riyrizri-o
ri
,i＝1,2,3,4与车辆坐标系的转换关系为：
[0061][0062]
其中，(xi,yi,zi)为侧向毫米波雷达在车辆坐标系的安装位置，第i个侧向毫米波雷达探测到目标的方位角和俯仰角，ωi、φi为侧向毫米波雷达安装的方位角和俯仰角。
[0063]
(3)对于图像传感器，以摄像头为例，进行空间同步时主要是基于图像坐标系与像素坐标系的转换关系、摄像头坐标系与图像坐标系的转换关系、世界坐标系与摄像头坐标系的转换关系以及世界坐标系与像素坐标系的转换关系，将时间同步后的图像信息转换到车辆坐标系中，得到空间同步后的图像信息。
[0064]
对图像信息进行空间同步的具体实现过程可参考图12和图13，图12为图像坐标系、相机坐标系和车辆坐标系的位置关系的示意图，图13为图像坐标系与像素坐标系的位置关系的示意图，基于线性相机模型，先通过摄像头坐标系与图像坐标系的转换关系，确定图像中各个点坐标，然后依次经图像坐标系与像素坐标系的转换关系、像素坐标系与世界
坐标系的转换关系，得到图像中各个点坐标投射到世界坐标系中对应的坐标，其中，世界坐标系即为车辆坐标系。通过上述转换过程完成车辆坐标系与摄像机坐标系的转换，以实现平面图像中的点坐标的三维重建。
[0065]
图像坐标系xoy：相机将三维真实环境中的物体通过透视投影后的成像平面的坐标系。定义光轴与成像平面的交点为坐标原点o，成像平面为坐标系平面。计算机存储的图像信息是基于像素坐标系的，其定义图像左上角顶点为像素坐标系uo0v的原点，如图13所示。图像坐标系的原点o位于像素坐标系下的像素点(u0,v0)处，则图像坐标系与像素坐标系的转换关系为：
[0066][0067]
其中，dx和dy分别表示每个像素点在图像坐标系的x和y方向上的物理尺寸。
[0068]
相机坐标系xcycz
c-oc：以相机光学镜头的中心为原点oc，以相机的光轴作为zc轴建立的坐标系。其坐标轴与图像坐标轴平行，则相机坐标系与图像坐标系的转换关系(f为相机的焦距)为：
[0069][0070]
世界坐标系(x
wywzw
)：作为基准坐标系，用于描述雷达和相机(即本技术中的摄像头)的安装位置，以及空间中其他物体的位置。世界坐标系与相机坐标系的转换关系为：
[0071][0072]
其中，旋转矩阵r为3
×
3的单位正交矩阵，表示相机坐标系相对于世界坐标系的旋转关系。平移向量tc适用于描述相机坐标系相对于世界坐标系平移关系的向量。
[0073]
最终，得到世界坐标系与像素坐标系的转换关系为：
[0074]
[0075][0076]
式中，m1为相机内参数矩阵，m2为相机外参数矩阵。
[0077]
对各个传感器的数据进行时间同步和空间同步之后，需要对各个传感器的数据在数据级上进行融合。进行数据融合时，首先，对同步后的点云数据中的静态点云数据进行栅格化，得到第一栅格图，并对同步后的图像信息进行栅格化，得到第二栅格图，然后根据预设融合方法将第一栅格图和第将一栅格图进行融合，得到融合栅格图，并基于融合栅格图对点云数据进行属性修正，得到目标点云数据，从而实现了利用图像信息对点云数据进行修正的过程，也即执行上述步骤s202至步骤s204的过程。
[0078]
其中，在对点云数据进行栅格化之前，需要对点云数据进行动静分离，来得到动态点云数据和静态点云数据。其中，对点云数据进行动静分离主要是基于车辆投影速度与点云多普勒速度实现的。具体的，动静分离的实现包括以下步骤：
[0079]
(11)获取点云数据中每个数据点的实测多普勒速度；
[0080]
(12)根据当前的车辆速度计算每个数据点的目标多普勒速度；
[0081]
(13)计算实测多普勒速度与目标多普勒速度的差值；
[0082]
(14)当差值的绝对值大于预设阈值时，将数据点标记为动点，当差值的绝对值小于或等于预设阈值时，将数据点标记为静点，由此，点云数据被划分为动点对应的动态点云数据和静点对应的静态点云数据。
[0083]
在上述实现过程中，实测多普勒速度为点云数据中携带的速度信息，而目标多普勒速度与当前的车辆速度有关，而根据车辆行驶状态不同，车辆速度的表征方式也是不同的。本实施例中车辆行驶状态包括：直线行驶状态和非直线行驶状态，基于不同的行驶状态，当前的车辆速度表征方式不同，因此目标多普勒速度的计算方式也是不同的。下面分别描述在不同车辆行驶状态下进行动静分离的过程。
[0084]
(1)当车辆处于直线行驶状态时，将车辆速度投影到点与雷达中心的连线方向，即点云多普勒可表示为：v
di
＝v
ego
cosθi，其中，v
di
为根据车辆速度反推出的点云多普勒速度，即目标多普勒速度；v
ego
为车辆行驶速度，θi为第i个点云的方位角和安装角之和，结合图8，以雷达传感器中的右前侧雷达传感器为例，安装角α为车辆坐标系原点e与右前侧雷达传感器坐标系原点s的连接线与车辆坐标系y轴之间的夹角，方位角γ为第i个数据点与右前侧雷达传感器坐标系原点s的连接线以最小路径旋转至右前侧雷达传感器坐标系原点s的法向量y轴所经过的角度，其中，逆时针旋转时，方位角γ为正值，顺时针旋转时，方位角γ为负值；然后计算与目标多勒速度之间的差值即：如果速度差大于预设阈值则为动点，否则为静点，其中，为雷达实际测量的点云多普勒速度。
[0085]
(2)当车辆处于非直线行驶状态时，v
di
的计算通过车辆的线速度计算确定，车辆的线速度计算公式为：v＝ωr，其中，ω为角速度(yawrate)，r为转弯半径，v为线速度。由于左
右轮的转弯半径不同，相差一个轴距，所以左右轮在转弯时线速度不同，β为车轮转角。经工程实验发现，转弯时的车速为内轮速时，目标点的多普勒实测值与理论值误差较小且稳定。结合图9，可以得到所以v
di
＝vycosθi v
x
sinθi，其中，v
x
为车辆坐标系x轴方向的线速度，vy为车辆坐标系y轴方向的线速度。
[0086]
进一步地，由于对点云数据进行动静分离的准确性直接影响可行驶区域检测的精度以及目标障碍物属性的判断，因此，本发明对各个雷达传感器获得的点云数据分别进行动静分离，即前向毫米波雷达获取的点云数据、侧向毫米波雷达获取的点云数据分别进行动静分离，得到前向毫米波雷达对应的动态点云数据和静态点云数据，以及侧向毫米波雷达对应的动态点云数据和静态点云数据。在一实施例中，对点云数据进行动静分离的步骤在同步处理之前进行，即同步处理时，是对得到的各个雷达传感器的动态点云数据、静态点云数据进行同步。
[0087]
在步骤s202，对同步后的点云数据中的静态点云数据进行栅格化，得到第一栅格图，并对同步后的图像信息进行栅格化，得到第二栅格图。
[0088]
其中，对各个雷达传感器获取的点云数据进行栅格化的过程可以包括如下步骤：对雷达传感器的探测区域进行栅格化，统计各个栅格内的静态点数目，当栅格包含的静态点数目大于第一目标阈值时，该栅格为占有栅格，将该栅格的属性标记为占有，当栅格包含的静态点数目小于或等于第一目标阈值时，该栅格为无效栅格，将该栅格的属性标记为无效，从而得到由占有栅格和无效栅格构成的第一栅格图。在该过程中，对各个栅格的属性进行标记的过程即为点云数据栅格化的过程。
[0089]
当雷达传感器包括多个时，第一栅格图的数量为多个。进一步地，以雷达传感器包括前向雷达传感器和侧向雷达传感器为例，此时第一栅格图包括前向栅格图和侧向栅格图，其中前向栅格图为前向雷达传感器获得的点云数据对应的第一栅格图，侧向栅格图为侧向雷达传感器获得的点云数据对应的第一栅格图。进一步的，当侧向雷达传感器的数量为4个时，侧向栅格图的数量也为4个。对于前向雷达传感器，对前向雷达传感器的探测区域进行栅格化，统计各个栅格内的静态点数目，当栅格包含的静态点数目大于第一目标阈值时，栅格为占有栅格，否则栅格为无效栅格，并通过占有栅格和无效栅格确定前向栅格图。同理，基于上述操作步骤，可确定侧向雷达传感器对应的栅格图，即侧向栅格图，具体步骤不再赘述。
[0090]
对图像传感器采集的图像信息进行栅格化的过程包括以下步骤：对摄像头采集区域进行栅格化，当摄像头采集区域对应的多个栅格中，若某一栅格中有非动目标落入，则将此栅格标记为占有栅格，否则标记为无效栅格，从而得到由占有栅格和无效栅格构成的第二栅格图。其中，非动目标为静止目标，例如静止的车辆、灌木丛或灯杆等。进一步地，在对图像信息进行栅格化的步骤之前，还包括一个目标跟踪过程，即对摄像头采集的图像信息进行目标跟踪，得到车道线和目标信息。然后依次对车道线和目标信息进行数据时间同步和数据时间同步，得到同步后的图像信息。
[0091]
可选的，上述步骤s203可以包括如下步骤：
[0092]
(1)针对每个栅格，通过第一栅格图中的栅格的占有结果和栅格所属区域的预设权重，以及第二栅格图中的栅格的占有结果和栅格所属区域的预设权重，确定栅格的占有
值；
[0093]
(2)将栅格的占有值和栅格图数目作商，得到栅格的平均占有值；
[0094]
(3)当栅格的平均占有值大于第二目标阈值时，栅格为占有栅格，否则栅格为无效栅格，并通过占有栅格和无效栅格确定融合栅格图。
[0095]
具体地，继续以图5所示5r1v改进的混合式融合结构为例，共包括6个传感器，分别为1个前向毫米波雷达、4个侧向毫米波雷达和1个摄像头，其包括5个第一栅格图(分别记为1个前向栅格图和4个侧向栅格图)和1个第二栅格图。在进行栅格融合时，首先，根据各个传感器的探测精度，为每个传感器在不同区域先验设置权重weight[i]，i为传感器编号；然后，遍历前向栅格图、侧向栅格图和第二栅格图的每个栅格j，统计前向栅格图、侧向栅格图和第二栅格图中每个栅格的属性(即占有或无效)，基于统计结果计算待得到的融合栅格图中每个栅格的目标占有值cellvalue，目标占有值的计算公式为：其中，n表示传感器数目，cellj[i]表示第i个传感器的栅格图中第j个栅格的占有值，其中栅格属性为占有时，该栅格对应的占有值为1，栅格属性为无效时，该栅格对应的占有值为0；之后，计算平均占有值，具体计算公式为：avgcellvalue＝cellvalue/sensornum，sensornum为传感器数目；最后，如果cellvalue大于第一预设阈值，则融合后的栅格图的第j个栅格就为占有，否则无效，从而得到由占有栅格和无效栅格构成的融合栅格图。其中，通过第一栅格图和第二栅格图，计算融合栅格图中各个栅格属性的过程即为数据融合的过程。
[0096]
可选的，上述步骤s204可以包括如下步骤：
[0097]
(1)当点云数据中的数据点对应融合栅格图中的栅格为占有栅格且数据点的当前属性为动点时，将数据点的属性修正为静点；
[0098]
(2)将修正后的静点对应的点云数据和静态点云数据共同作为目标点云数据。
[0099]
具体地，如果点云数据中的数据点落入在融合栅格图中的占有栅格内，则无论该数据点之前是什么属性，都将其置为静点，其中，点云的属性包括静点和动点。
[0100]
通过以上步骤s201至步骤s204，即实现了在数据级上，将摄像头采集的图像信息与雷达传感器获得的点云数据的融合，利用图像信息对点云数据进行修正的过程。
[0101]
在一实施例中，步骤s102包括：对目标点云数据进行累积，确定车辆所在车道的可行驶区域；在可行驶区域进行特征提取，得到目标点云数据对应的道路边缘信息和车道线信息。
[0102]
具体地，本发明通过对雷达传感器获取的点云数据、图像传感器获取的图像信息进行点云融合，并将融合后确定的目标点云数据进行累积，可直观地确定车辆所在车道的可行驶区域，再基于可行驶区域中具有不同特征的数据进行区分，以提取道路边缘信息和车道线信息，可有效提高车道信息的识别精度。
[0103]
在一实施例中，本发明通过使用目标车道线对应的栅格修正目标道路边缘信息对应的栅格以确定目标道路边缘，具体执行步骤s103包括：
[0104]
步骤s301：提取车道线信息对应的目标车道线，并基于预设车道线方程，以预设距离在目标车道线上进行纵坐标采样，得到多个纵坐标，其中，预设车道线方程为目标车道线对应的方程；
[0105]
步骤s302：根据多个纵坐标和预设车道线方程，确定多个采样点，并对多个采样点中的每个采样点的横坐标和纵坐标进行取整，得到目标车道线对应的栅格。
[0106]
具体地，先确定目标车道线，再基于目标车道线确定目标车道线对应的栅格。结合图14，对车道线信息进行预处理，可直接确定目标车道线(y轴左侧图形中的虚线)，再以预设距离在目标车道线上进行纵坐标取样，得到多个纵坐标(y值)。由于已确定目标车道线，可将多个纵坐标代入目标车道线对应的曲线方程，得到每个纵坐标对应的横坐标，并通过横坐标和纵坐标确定对应的采样点(y轴左侧图形中的圆点)。再将上述采样点的横坐标和纵坐标进行取整得到目标车道线对应的栅格(左侧图形中的栅格)，而右侧栅格为目标道路边缘对应的栅格。
[0107]
步骤s303：将目标车道线对应的栅格与目标道路边缘信息对应的栅格进行重合匹配，确定重合后的栅格、栅格相似度和栅格重合度，其中，目标道路边缘信息对应的栅格通过第一道路边缘信息和第二道路边缘信息进行道路边缘融合确定；
[0108]
步骤s304：根据栅格相似度和栅格重合度对重合后的栅格进行修正，得到目标道路边缘。
[0109]
具体地，结合图14-图16说明书确定目标道路边缘的实现过程。图14中右侧的栅格为通过第一道路边缘信息和第二道路边缘信息进行道路边缘融合确定的目标道路边缘信息对应的栅格。将图14左侧图形中的栅格向右平移，使左侧图形中的栅格与右侧的栅格重合，得到重合后的栅格，即图15箭头右侧的栅格。之后计算目标车道线对应的栅格与目标道路边缘信息对应的栅格的相似度和重合度，通过相似度和重合度对重合后的栅格进行修正，得到目标道路边缘对应的栅格(图16中深色线框对应的栅格)，通过目标道路边缘对应的栅格即可确定目标道路边缘。可选的，修正可对叠加后的栅格进行添加或删除。
[0110]
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
[0111]
以下为本发明的装置实施例，对于其中未详尽描述的细节，可以参考上述对应的方法实施例。
[0112]
图17示出了本发明实施例提供的一种道路边缘检测装置的结构示意图，为了便于说明，仅示出了与本发明实施例相关的部分，详述如下：
[0113]
如图17所示，一种道路边缘检测装置包括：
[0114]
点云数据确定模块171，用于根据雷达传感器获取的点云数据和图像传感器采集的图像信息，确定目标点云数据；
[0115]
特征提取模块172，用于对目标点云数据进行特征提取，确定目标点云数据对应的第一道路边缘信息；
[0116]
道路边缘识别模块173，用于对图像信息进行道路边缘识别，得到图像信息对应的第二道路边缘信息和车道线信息；
[0117]
目标车道信息确定模块174，用于根据第一道路边缘信息、第二道路边缘信息和车道线信息，确定目标道路边缘和目标车道线。
[0118]
在一种可能的实现方式中，目标道路边缘确定模块174，包括：纵坐标选取子模块，用于提取车道线信息对应的目标车道线，并基于预设车道线方程，以预设距离在目标车道
线上进行纵坐标采样，得到多个纵坐标，其中，预设车道线方程为目标车道线对应的方程；车道线栅格确定子模块，用于根据多个纵坐标和预设车道线方程，确定多个采样点，并对多个采样点中的每个采样点的横坐标和纵坐标进行取整，得到目标车道线对应的栅格；栅格重合匹配子模块，用于将目标车道线对应的栅格与目标道路边缘信息对应的栅格进行重合匹配，确定重合后的栅格、栅格相似度和栅格重合度，其中，目标道路边缘信息对应的栅格通过第一道路边缘信息和第二道路边缘信息进行道路边缘融合确定；栅格修正子模块，用于根据栅格相似度和栅格重合度对重合后的栅格进行修正，得到目标道路边缘。
[0119]
在一种可能的实现方式中，点云数据确定模块171，包括：同步处理子模块，用于将点云数据和图像信息进行同步处理，得到同步后的点云数据和同步后的图像信息；栅格化子模块，用于对同步后的点云数据中的静态点云数据进行栅格化，得到第一栅格图，并对同步后的图像信息进行栅格化，得到第二栅格图；融合子模块，用于根据预设融合方法将第一栅格图与第二栅格图进行融合，得到融合栅格图；修正子模块，用于根据融合栅格图对点云数据进行修正，得到目标点云数据。
[0120]
在一种可能的实现方式中，栅格化子模块之前，还包括：动静分离子模块，用于将雷达传感器获取的点云数据进行动静分离，得到动态点云数据和静态点云数据；对应的，栅格化子模块，包括：对雷达传感器的探测区域进行栅格化，统计各个栅格内的静态点数目，当栅格包含的静态点数目大于第一目标阈值时，栅格为占有栅格，否则栅格为无效栅格，并通过占有栅格和无效栅格确定第一栅格图。
[0121]
在一种可能的实现方式中，融合子模块，包括：占有值计算单元，用于针对每个栅格，通过第一栅格图中的栅格的占有结果和栅格所属区域的预设权重，以及第二栅格图中的栅格的占有结果和栅格所属区域的预设权重，确定栅格的占有值；平均值计算单元，用于将栅格的占有值和栅格图数目作商，得到栅格的平均占有值；融合栅格确定单元，用于当栅格的平均占有值大于第二目标阈值时，栅格为占有栅格，否则栅格为无效栅格，并通过占有栅格和无效栅格确定融合栅格图。
[0122]
在一种可能的实现方式中，修正子模块，包括：判断单元，用于当点云数据中的数据点对应融合栅格图中的栅格为占有栅格且数据点的当前属性为动点时，将数据点的属性修正为静点；目标点云确定单元，用于将修正后的静点对应的点云数据和静态点云数据共同作为目标点云数据。
[0123]
在一种可能的实现方式中，动静分离子模块，包括：实测值获取单元，用于获取点云数据中每个数据点的实测多普勒速度；目标值计算单元，用于根据当前的车辆速度计算每个数据点的目标多普勒速度；差值计算单元，用于计算实测多普勒速度与目标多普勒速度的差值；判断单元，用于当差值的绝对值大于预设阈值时，将数据点标记为动点，当差值的绝对值小于或等于预设阈值时，将数据点标记为静点，点云数据被划分为动点对应的动态点云数据和静点对应的静态点云数据。
[0124]
在一种可能的实现方式中，目标值计算单元，包括：当车辆为直线行驶状态时，根据当前的车辆速度计算每个数据点的目标多普勒速度具体为：
[0125]vdi
＝v
ego
cosθi[0126]
其中，v
di
为目标多普勒速度；v
ego
为车辆行驶速度，θi为第i个数据点的方位角和安装角之和，安装角为车辆坐标系原点与雷达传感器或图像传感器坐标系原点的连接线与车
辆坐标系y轴之间的夹角，方位角为第i个数据点与雷达传感器或图像传感器坐标系原点的连接线以最小路径旋转至雷达传感器或图像传感器坐标系原点的法向量y轴所经过的角度，其中，逆时针旋转时，方位角为正值，顺时针旋转时，方位角为负值；当车辆为非直线行驶状态时，根据当前的车辆速度计算每个数据点的目标多普勒速度具体为：
[0127]vdi
＝vycosθi v
x
sinθi[0128]
其中，v
di
为目标多普勒速度，v
x
为车辆行驶速度在车辆坐标系x轴方向的线速度，vy为车辆行驶速度在车辆坐标系y轴方向的线速度，θi为第i个数据点的方位角和安装角之和。
[0129]
在一种可能的实现方式中，雷达传感器为毫米波雷达传感器，且包括1个前向雷达传感器和4个侧向雷达传感器，图像传感器包括1个摄像头。
[0130]
图18是本发明实施例提供的应用于车辆的道路边缘检测设备的示意图。如图18所示，该实施例的应用于车辆的道路边缘检测设备18包括：处理器180、存储器181以及存储在存储器181中并可在处理器180上运行的计算机程序182。处理器180执行计算机程序182时实现上述各个道路边缘检测方法实施例中的步骤，例如图4所示的步骤101至步骤104。或者，处理器180执行计算机程序182时实现上述各装置实施例中各模块/单元的功能，例如图17所示模块/单元171至174的功能。
[0131]
示例性的，计算机程序182可以被分割成一个或多个模块/单元，一个或者多个模块/单元被存储在存储器181中，并由处理器180执行，以完成本发明。一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述计算机程序182在应用于车辆的道路边缘检测设备18中的执行过程。例如，计算机程序182可以被分割成图17所示的模块/单元171至174。
[0132]
应用于车辆的道路边缘检测设备18可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。应用于车辆的道路边缘检测设备18可包括，但不仅限于，处理器180、存储器181。本领域技术人员可以理解，图18仅仅是应用于车辆的道路边缘检测设备18的示例，并不构成对应用于车辆的道路边缘检测设备18的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如终端还可以包括输入输出设备、网络接入设备、总线等。
[0133]
所称处理器180可以是中央处理单元(central processing unit，cpu)，还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现场可编程门阵列(field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
[0134]
存储器181可以是应用于车辆的道路边缘检测设备18的内部存储单元，例如应用于车辆的道路边缘检测设备18的硬盘或内存。存储器181也可以是应用于车辆的道路边缘检测设备18的外部存储设备，例如应用于车辆的道路边缘检测设备18上配备的插接式硬盘，智能存储卡(smart media card，smc)，安全数字(secure digital，sd)卡，闪存卡(flash card)等。进一步地，存储器181还可以既包括应用于车辆的道路边缘检测设备18的内部存储单元也包括外部存储设备。存储器181用于存储计算机程序以及终端所需的其他
程序和数据。存储器181还可以用于暂时地存储已经输出或者将要输出的数据。
[0135]
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本技术的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
[0136]
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
[0137]
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
[0138]
在本发明所提供的实施例中，应该理解到，所揭露的装置/终端和方法，可以通过其它的方式实现。例如，以上所描述的装置/终端实施例仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
[0139]
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0140]
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
[0141]
集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个车道信息检测方法实施例的步骤。其中，计算机程序包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(read-only memory，rom)、随机存取存储器(random access memory，ram)、电载波信号、电信信号以及软件分发介质等。需要说明的是，计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括是电载波信号和电信信号。
[0142]
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。