面向自动驾驶的车道线多聚类虚拟生成方法

1.本发明涉及深度学习与智能驾驶领域，尤其涉及通过密度聚类将图像预处理后进行车道线多聚类虚拟生成方法


背景技术：

2.智能驾驶技术如今已经趋于成熟，可以初步代替驾驶员实现无人驾驶，利用高精度传感器和严格的算法，可以使得驾驶车辆发生的事故得到进一步减少。而在智能驾驶领域内，车道线作为高精度传感器采集的重要参数，同时作为行车安全的一个重要因素，对车道线的识别在智能驾驶领域是一项基础技术也是关键技术。
3.传统的车道线识别技术主要基于图像特征的提取与识别和基于模型的识别上。基于图像特征的方法主要是利用高精度传感器采集到的车道线形状、像素以及颜色特征等特点，结合边缘检测算子对边缘信息进行识别，这种车道线识别方法的识别速度快，适应性较好，但易受环境如光照等因素的干扰，鲁棒性较差。而基于数学模型的方法是利用建立好的数学曲线模型，对提取到的边缘信息进行拟合，这种方法对曲线拟合要求过高，计算复杂，且易受噪声干扰。


技术实现要素：

4.本发明所要解决的技术问题是：针对现有技术的不足，提出面向自动驾驶的车道线多聚类虚拟生成方法，为实现上述目的，本发明提供如下技术方案：面向自动驾驶的车道线多聚类虚拟生成方法，包括如下步骤：
5.s1、根据车辆行驶的实时信息，获取当前路面图像，并动态确定图像的帧间隔，以所述帧间隔随机抽取m帧；
6.s2、对随机抽取m帧进行预处理，获得m个车道线候选帧m；
7.s3、利用密度聚类和车道线运行规律，对当前第m帧车道线候选帧的所有像素点进行识别分类，获得当前m帧车道线候选帧的三类点特征：虚实点特征、直曲点特征和距离点特征；
8.s4、根据三类点特征，通过三重聚类方法，获取当前车道线的左车道线点集、右车道线点集；
9.s5、分别获取当前车道线的左车道线点集、右车道线点集中的虚线点集、实线点集、直线点集、曲线点集；再对所述实线点集、虚线点集进行拟合，对应获得实线拟合点集、虚线拟合点集；
10.s6、根据步骤s5获得的实线拟合点集、虚线拟合点集、以及直线点集、曲线点集，利用最小二乘法分类进行车道线拟合，生成车道线。
11.进一步地，前述的步骤s1中，根据当前车辆行驶的实时信息，按如下公式动态确定帧间隔fi：
[0012][0013]
其中，d为虚实线的平均距离，v为当前车速，δ为摄像头采样速度，表示当前车辆转向平均值的绝对值。
[0014]
进一步地，前述的步骤s2具体为：预处理过程包括对随机抽取m帧进行逆透视变换，然后将车道梯形感兴趣区域转换成鸟瞰图，之后对每一帧进行二值化处理和背景消除处理，获取m个车道线候选帧。
[0015]
进一步地，前述的步骤s3中获得当前m帧车道线候选帧的虚实点特征包括如下子步骤：
[0016]
s301、按如下公式计算第m帧与m-1帧车辆转向的修正值α'
mm
：
[0017][0018]
其中，α
mm
为转向传感器获得的原始值，右转为正，左转为负，δ为预设判断车辆转向状态的阈值；
[0019]
s302、对于候选帧m对应于第m帧位置为(x,y)的像素点的映射像素点为按如下公式计算第m帧像素点因车辆转向映射到候选帧m的像素点位置
[0020][0021][0022]
其中，x0为图像x方向分辨率，y0为图像y方向分辨率；
[0023]
s303、按如下公式对候选帧m映射像素点进行密度聚类，获得在候选帧m的密度聚类集合
[0024][0025]
其中，为候选帧m位置为(x,y)的像素点，是候候选帧m的灰度值，为该像素点是疑似车道点；
[0026]
s304、按照步骤s303，遍历1≤m≤m，密度集合取模，得到集合元素个数根据集合元素个数判断车道线虚实点特征，若则
[0027][0028]
若则
[0029][0030]
其中，th1为高密度阈值，th2为低密度阈值，为高密度计数器，其初始化为0，为低密度计数器，其初始化为0，
[0031]
s305、按如下公式判断映射像素点的虚实点特征：
[0032][0033]
其中，表示实线点，表示虚线点，表示非车道点；
[0034]
s306、遍历当前第m帧中的所有像素点获得第m帧任一像素点的实虚点特征
[0035]
进一步地，前述的步骤s3中获得当前第m帧车道线候选帧图像的直曲点特征包括如下子步骤：
[0036]
s311、计算车辆在当前第m帧的转向修正值绝对值的平均值：
[0037][0038]
s312、按如下公式计算当前映射像素点的直曲点特征
[0039][0040]
其中，th3为转向阈值，表示直线点，表示曲线点，表示非车道点。
[0041]
s313、遍历当前第m帧中的所有-像素点获得第m帧任一像素点的直曲点特征
[0042]
进一步地，前述的步骤s3中获得当前m帧车道线候选帧图像的距离点特征包括以下子步骤：
[0043]
s321、以为界线，根据当前映射像素点到界线的距离，按如下公式计算当前映射像素点的距离点特征
[0044][0045]
当时表示界线左边，时表示界线右边。
[0046]
s322、遍历当前第m帧中的所有像素点获得第m帧任一像素点的距离点特征
[0047]
进一步地，前述的步骤s4包括如下子步骤：
[0048]
s401、根据和的取值，将取值相同的和进行聚类，得到ns
11
、ns
12
、ns
21
和ns
22
四类点集，分别表示实直线、实曲线、虚直线和虚曲线点集；
[0049]
s402、根据距离点特征进行k均值聚类，得到聚类点集，聚类点集分别为：
[0050][0051]
其中，1≤i≤2，1≤j≤2且1≤k≤k；
[0052]
s403、根据聚类点集的聚类中心到界线的距离按如下公式进行左右车道线的判断：
[0053][0054][0055]
其中，th4为点集元素个数阈值，为聚类点集的聚类中心到界线的距离，界线左边其值为正，界线右边其值为负，|
·
|为取点集元素个数，ns
1*
表示车辆当前所在左边车道线的点集，ns
2*
表示车辆当前所在右边车道线的点集。
[0056]
进一步地，前述的步骤s5具体为：根据车辆当前所在左右边车道线的点集ns
i*
，i∈[1,2]，进行车道线拟合生成，若ns
i*
为实线点集，则id1(ns
i*
)＝1，否则为虚线点集，即id1(ns
i*
)＝2；
[0057]
若ns
i*
为直线点集，则id2(ns
i*
)＝1，否则为曲线点集，即id2(ns
i*
)＝2；
[0058]
当id1(ns
i*
)＝1，则选择到界线距离绝对值同一行中最小的点作为拟合点，并通过逐行扫描方法，按照如下公式得到实线拟合点集
[0059][0060]
当id1(ns
i*
)＝2，则选择到界线距离绝对值同行中最大的点作为拟合点，并通过逐行扫描方法按照如下公式得到虚线拟合点集
[0061][0062]
进一步地，前述的步骤s6中，若ns
i*
为直线点集，即id2(ns
i*
)＝1，则拟合车道线函数为y＝a1x b1，a1和b1的值分别为：
[0063][0064][0065]
其中|
·
|为取点集元素个数，(xr,yr)为拟合点集中拟合点的坐标；
[0066]
若ns
i*
为曲线点集，即id2(ns
i*
)＝2，则拟合车道线函数为y＝a2x2 b2x c2，其中a2、b2和c2满足下式：
[0067][0068]
然后按照如下公式根据车辆转向程度，对曲线参数a2进行修正；
[0069]
[0070]
则当id2(ns
i*
)＝2时，最终拟合车道线函数为y＝a'2x2 b2x c2。
[0071]
本发明采用以上技术方案与现有技术相比，具有以下技术效果：
[0072]
本发明充分考虑到了车辆行驶时的动态变化，利用多帧映射获取车道线三个维度的点特征，提高识别精度，并根据多聚类方式，分析多类别车道线，提高车道线的拟合精准度。
附图说明
[0073]
图1是本发明的流程图。
[0074]
图2是当前第m帧的映射点示意图。
[0075]
图3是拟合点选取示意图。
具体实施方式
[0076]
为了更了解本发明的技术内容，特举具体实施例并配合所附图式说明如下。
[0077]
在本发明中参照附图来描述本发明的各方面，附图中示出了许多说明性实施例。本发明的实施例不局限于附图所述。应当理解，本发明通过上面介绍的多种构思和实施例，以及下面详细描述的构思和实施方式中的任意一种来实现，这是因为本发明所公开的构思和实施例并不限于任何实施方式。另外，本发明公开的一些方面可以单独使用，或者与本发明公开的其他方面的任何适当组合来使用。
[0078]
面向自动驾驶的车道线多聚类虚拟生成方法，其流程如图1所示，具体步骤如下：
[0079]
s1、根据车辆行驶的实时信息，获取当前路面图像，并如下公式动态确定帧间隔fi：
[0080][0081]
其中，d为虚实线的平均距离，v为当前车速，δ为摄像头采样速度，表示当前车辆转向平均值的绝对值。以所述帧间隔随机抽取m帧图像。
[0082]
s2、对m个抽样帧进行逆透视变换，将车道梯形感兴趣区域转换成鸟瞰图，同时将每一帧图像进行二值化处理和背景消除处理，获取m个车道线候选帧m。
[0083]
s3、对m个车道线候选帧图像，利用密度聚类和车道线运行规律，对当前第m帧车道线候选帧图像的所有像素点进行识别分类，获得当前m帧车道线候选帧图像的三类点特征：虚实点特征、直曲点特征和距离点特征。
[0084]
获得当前m帧车道线候选帧图像的虚实点特征包括如下子步骤：
[0085]
s301、利用密度聚类和车道线运行规律，按如下公式计算第m帧与m-1帧车辆转向的修正值α'
mm
：
[0086]
[0087]
其中，α
mm
为转向传感器获得的原始值，右转为正，左转为负。
[0088]
s302、对于第m帧对应于的映射像素点为的映射像素点为为第m帧像素点因车辆转向映射到第m帧的像素点位置，如图2所示，具体像素点的位置表示如下：
[0089][0090][0091]
其中，x0为图像x方向分辨率，y0为图像y方向分辨率。
[0092]
s303、按如下公式对候选帧m映射像素点进行密度聚类，获得在候选帧m的密度聚类集合
[0093][0094]
其中，为候选帧m位置为(x,y)的像素点，是候候选帧m的灰度值，为该像素点是疑似车道点。
[0095]
s304、按照步骤s303，遍历1≤m≤m，密度集合取模，得到集合元素个数根据集合元素个数判断车道线虚实点特征，若则
[0096][0097]
若则
[0098][0099]
其中，th1为高密度阈值，th2为低密度阈值，为高密度计数器，其初始化为0，为低密度计数器，其初始化为0。
[0100]
s305、按如下公式判断映射像素点的虚实点特征：
[0101][0102]
其中，表示实线点，表示虚线点，表示非车道点。
[0103]
s306、遍历当前第m帧中的所有像素点获得第m帧任一像素点的实虚点特征
[0104]
获得当前m帧车道线候选帧图像的距离点特征包括以下子步骤：
[0105]
s321、以为界线，根据当前映射像素点到界线的距离，按如下公式计算当前映射像素点的距离点特征
[0106][0107]
当时表示界线左边，时表示界线右边。
[0108]
s322、遍历当前第m帧中的所有像素点获得第m帧任一像素点的距离点特征
[0109]
s4、根据三类点特征，通过三重聚类方法，获取当前车道线的左车道线点集、右车道线点集；
[0110]
s401、根据和的取值，将取值相同的和进行聚类，得到ns
11
、ns
12
、ns
21
和ns
22
四类点集，分别表示实直线、实曲线、虚直线和虚曲线点集；
[0111]
s402、根据距离点特征进行k均值聚类，当k为4时，即表示最多有四车道，其十六个聚类点集分别为：
[0112][0113]
其中，1≤i≤2，1≤j≤2且1≤k≤k；
[0114]
s403、根据聚类点集的聚类中心到界线的距离按如下公式进行左右车道线的判断：
[0115][0116][0117]
其中，th4为点集元素个数阈值，为聚类点集的聚类中心到界线的距离，界线左边其值为正，界线右边其值为负，|
·
|为取点集元素个数，ns
1*
表示车辆当前所在左边车道线的点集，ns
2*
表示车辆当前所在右边车道线的点集。
[0118]
s5、分别获取当前车道线的左车道线点集、右车道线点集中的虚线点集、实线点集、直线点集、曲线点集；再对所述实线点集、虚线点集进行拟合，对应获得实线拟合点集、虚线拟合点集；
[0119]
具体为：根据车辆当前所在左右边车道线的点集ns
i*
，i∈[1,2]，进行车道线拟合
生成，若ns
i*
为实线点集，则id1(ns
i*
)＝1，否则为虚线点集，即id1(ns
i*
)＝2；
[0120]
若ns
i*
为直线点集，则id2(ns
i*
)＝1，否则为曲线点集，即id2(ns
i*
)＝2；
[0121]
对于不同的点集，选择不同的拟合点，拟合点如图3所示：
[0122]
当id1(ns
i*
)＝1，则选择到界线距离绝对值同一行中最小的点作为拟合点，并通过逐行扫描方法，按照如下公式得到实线拟合点集
[0123][0124]
当id1(ns
i*
)＝2，则选择到界线距离绝对值同行中最大的点作为拟合点，并通过逐行扫描方法按照如下公式得到虚线拟合点集
[0125][0126]
s6、根据步骤s5获得的实线拟合点集虚线拟合点集以及直线点集、曲线点集，利用最小二乘法分类进行车道线拟合，生成车道线。
[0127]
若ns
i*
为直线点集，即id2(ns
i*
)＝1，则拟合车道线函数为y＝a1x b1，a1和b1的值分别为：
[0128][0129][0130]
其中|
·
|为取点集元素个数，(xr,yr)为拟合点集中拟合点的坐标；
[0131]
若ns
i*
为曲线点集，即id2(ns
i*
)＝2，则拟合车道线函数为y＝a2x2 b2x c2，其中a2、b2和c2满足下式：
[0132][0133]
然后按照如下公式根据车辆转向程度，对曲线参数a2进行修正；
[0134][0135]
则当id2(ns
i*
)＝2时，最终拟合车道线函数为y＝a'2x2 b2x c2。
[0136]
虽然本发明已以较佳实施例阐述如上，然其并非用以限定本发明。本发明所属技术领域中具有通常知识者，在不脱离本发明的精神和范围内，当可作各种的更动与润饰。因此，本发明的保护范围当视权利要求书所界定者为准。