一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

道路边界识别方法、装置及电子设备与流程

2022-02-21 03:40:17 来源:中国专利 TAG:


1.本发明涉及图像处理技术领域,尤其涉及一种道路边界识别方法、装置及电子设备。


背景技术:

2.随着信息技术的发展,无人驾驶已经逐渐走进了人们的生活。通过传感器对车辆所行驶的道路环境进行感知是实现无人驾驶的关键一环,其中,通过对道路边界进行识别,可以对道路范围进行确定,并有助于后续单独对位于道路范围内的障碍物进行识别。
3.现有技术中,通常是针对车载传感器获取的道路图像直接进行特征的提取来识别道路边界;但是实际的道路情况通常比较复杂,例如可能存在路边建筑、交通设施、过往车辆以及高度变化的路肩等,使得道路图像中存在较多的干扰因素,给道路特征的提取带来不利影响,进而导致道路边界的识别效果较差。


技术实现要素:

4.本发明实施例提供一种道路边界识别方法、装置及电子设备,以解决现有技术中道路边界的识别效果较差的问题。
5.为了解决上述技术问题,本发明是这样实现的:
6.第一方面,本发明实施例提供了一种道路边界识别方法,包括:
7.获取原始扫描图像;
8.针对所述原始扫描图像进行形态学图像处理,获得第一处理图像,从所述第一处理图像所包括的n个连通域中确定至少一个目标连通域,每一所述目标连通域均对应有方位信息,n为大于1的整数;
9.依据所述第一处理图像,分别生成每一所述目标连通域对应的连通域图像,所述连通域图像包括与每一所述目标连通域对应的第一区域,以及与所述第一处理图像中除每一所述目标连通域以外区域对应的第二区域,所述第一区域的像素值区别于所述第二区域的像素值;
10.依据每一所述目标连通域对应的方位信息与连通域图像,识别道路边界。
11.第二方面,本发明实施例还提供了一种道路边界识别装置,包括:
12.第一获取模块,用于获取原始扫描图像;
13.第二获取模块,用于针对所述原始扫描图像进行形态学图像处理,获得第一处理图像;
14.确定模块,用于从所述第一处理图像所包括的n个连通域中确定至少一个目标连通域,每一所述目标连通域均对应有方位信息,n为大于1的整数;
15.生成模块,用于依据所述第一处理图像,分别生成每一所述目标连通域对应的连通域图像,所述连通域图像包括与每一所述目标连通域对应的第一区域,以及与所述第一处理图像中除每一所述目标连通域以外区域对应的第二区域,所述第一区域的像素值区别
于所述第二区域的像素值;
16.识别模块,用于依据每一所述目标连通域对应的方位信息与连通域图像,识别道路边界。
17.第三方面,本发明实施例还提供了一种电子设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述的方法。
18.第四方面,本发明实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述的方法。
19.本发明实施例中,针对获取的原始扫描图像进行形态学图像处理,得到第一处理图像,从第一处理图像所包括的n个连通域中确定至少一个目标连通域,每个目标连通域均具有对应的方位信息,分别针对每一目标连通域生成对应的连通域图像,并依据方位信息和连通域图像来识别道路边界;本发明实施例在针对每一目标连通域确定的连通域图像中,将目标连通域对应的第一区域的像素值与除目标连通域以外区域对应的第二区域的像素值进行区别,有助于排除目标连通域以外区域的干扰因素;结合目标连通域的方位信息的使用,能够实现对目标连通域对应的道路边界的识别,并且有效提高对道路边界的识别效果。
附图说明
20.图1为本发明实施例提供的道路边界识别方法的流程图;
21.图2为本发明实施例中点云栅格图的示例图;
22.图3为本发明实施例中第一处理图像的示例图;
23.图4a为本发明实施例中左侧连通域图像的示例图;
24.图4b为本发明实施例中右侧连通域图像的示例图;
25.图5a为本发明实施例中左侧填充图像的示例图。
26.图5b为本发明实施例中右侧填充图像的示例图;
27.图6a为本发明实施例中左侧变换图像的示例图;
28.图6b为本发明实施例中右侧变换图像的示例图;
29.图7a为本发明实施例中左侧叠加图像的示例图;
30.图7b为本发明实施例中右侧叠加图像的示例图;
31.图8为本发明实施例提供的道路边界识别方法的一个具体应用方式的流程图;
32.图9为本发明实施例提供的道路边界识别装置的结构示意图;
具体实施方式
33.为使本发明要解决的技术问题、技术方案和优点更加清楚,下面将结合附图及具体实施例进行详细描述。在下面的描述中,提供诸如具体的配置和组件的特定细节仅仅是为了帮助全面理解本发明的实施例。因此,本领域技术人员应该清楚,可以对这里描述的实施例进行各种改变和修改而不脱离本发明的范围和精神。另外,为了清楚和简洁,省略了对已知功能和构造的描述。
34.除非另作定义,本发明中使用的技术术语或者科学术语应当为本发明所属领域内
具有一般技能的人士所理解的通常意义。本发明中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性,而只是用来区分不同的组成部分。同样,“一个”或者“一”等类似词语也不表示数量限制,而是表示存在至少一个。
35.如图1所示,本发明实施例提供的道路边界识别方法,包括:
36.步骤101,获取原始扫描图像;
37.步骤102,针对所述原始扫描图像进行形态学图像处理,获得第一处理图像;
38.步骤103,从所述第一处理图像所包括的n个连通域中确定至少一个目标连通域,每一所述目标连通域均对应有方位信息,n为大于1的整数;
39.步骤104,依据所述第一处理图像,分别生成每一所述目标连通域对应的连通域图像,所述连通域图像包括与每一所述目标连通域对应的第一区域,以及与所述第一处理图像中除每一所述目标连通域以外区域对应的第二区域,所述第一区域的像素值区别于所述第二区域的像素值;
40.步骤105,依据每一所述目标连通域对应的方位信息与连通域图像,识别道路边界。
41.本实施例中,上述原始扫描图像可以是由车载传感器扫描获取,车载传感器可以是激光雷达或者超声波雷达等,此处不做具体限定。
42.形态学图像处理,即采用数学形态学(mathematical morphology)中的运算方法对图像进行处理,上述运算方法可以是例如腐蚀和膨胀、开运算和闭运算、形态学梯度等。容易理解的是,车载传感器获取的原始扫描图像中的内容通常比较复杂,直接寻找图像特征的难度较大,而通过对原始扫描图像进行形态学图像处理,得到第一处理图像,可以对例如边界或者连通域等类型的图像特征进行有效的呈现。
43.如上所述,第一处理图像中的连通域能够得到有效呈现,在此基础上,第一处理图像中可以存在多个连通域,其中的一部分连通域反映在实际道路中,可能对应了路肩或者路边灌木带等,这些内容都可以作为识别道路边界的依据。因此,本实施例中,需要从第一处理图像所包括的n个连通域中,确定出能够用于道路边界识别的目标连通域;具体来说,目标连通域通常具有一些特质,例如面积较大,或者能够同时到达第一处理图像的相对两侧的边缘等,根据这些特质,可以确定上述的目标连通域,此处对具体的确定方式,也就是上述特质的选取依据不做具体限定,可根据实际需要进行设定。
44.此外,目标连通域的数量可以是一个也可以是多个。例如,车辆在道路上行驶时,可能需要确定两侧道路分别对应的目标连通域;再例如,车辆在倒车时,可能需要确定后侧对应的目标连通域,或者确定左、右以及后侧对应的目标连通域。
45.在确定目标连通域后,第一处理图像中除目标连通域以外的区域的内容依然较多;为充分利用目标连通域对道路边界识别的作用,并排除目标连通域以外的区域的内容对道路边界识别的干扰,本实施例中,针对每一目标连通域生成一连通域图像,为便于说明,以下所述的目标连通域可以对应的是至少一个目标连通域中的任一目标连通域,相应地,连通域图像也即与该任一目标连通域对应的连通域图像;
46.上述连通域图像与第一处理图像匹配,可以理解为对第一处理图像进一步处理后得到;具体来说,连通域图像中存在第一区域与第二区域,第一区域对应目标连通域对应的区域,第二区域对应目标连通域以外的全部区域;第一区域的像素值与第二区域的像素值
存在区别,以将目标连通域在连通域图像中进行凸现,方便对目标连通域对应的特征进行提取。值得注意的是,第一区域与第二区域的像素值区别,可以是具体为两种特定颜色之间的区别,例如“黑”与“白”,也可以是相对颜色的区别,例如“深”与“浅”等;以下在实施例中将主要以“黑”与“白”的情况进行说明。
47.本实施例中,每一所述目标连通域均对应有方位信息;容易理解的是,此处的方位信息,可以指目标连通域具体位于第一处理图像的左方、右方、前方还是后方等;方位信息可以是根据第一区域的分布规律(例如位置、频率分布等)等进行确定,具体确定方式此处不做限定。
48.在得到目标连通域对应的方位信息和连通域图像后,即可对道路边界进行识别。
49.举例来说,若目标连通域的方位信息表征该目标连通域位于第一处理图像的左方,说明该目标连通域在实际道路场景中对应的是道路的左侧路肩,那么该目标连通域的右侧边线可以作为道路边界。
50.相应地,对于目标连通域的右侧边线这一特定的提取,可基于如下示例过程来实现:连通域图像中第一区域的像素值与第二区域的像素值不同,假定第一区域的像素值表征为白色(例如在rgb色彩模式下每一颜色通道的值均为255),第二区域的像素值表征为黑色(例如在rgb色彩模式下每一颜色通道的值均为0),那么通过逐行从右向左遍历像素点,将遍历到的连通域图像的每一行的第一个白色像素点进行连接,得到上述右侧边线;或者将连通域图像的每一行中位于最右的白色像素点进行连接,得到上述右侧边线。当然,此处仅仅是对右侧边线的识别过程进行举例说明,根据目标连通域对应的方位信息和连通域图像识别道路边界的具体方式可根据实际需要进行选择。
51.本发明实施例中,针对获取的原始扫描图像进行形态学图像处理,得到第一处理图像,从第一处理图像所包括的n个连通域中确定至少一个目标连通域,每个目标连通域均具有对应的方位信息,分别针对每一目标连通域生成对应的连通域图像,并依据方位信息和连通域图像来识别道路边界;本发明实施例在针对每一目标连通域确定的连通域图像中,将目标连通域对应的第一区域的像素值与除目标连通域以外区域对应的第二区域的像素值进行区别,有助于排除目标连通域以外区域的干扰因素;结合目标连通域的方位信息的使用,能够实现对目标连通域对应的道路边界的识别,并且有效提高对道路边界的识别效果。
52.以下实施例中,主要以原始扫描图像为基于车载激光雷达获取的点云栅格图为例,对本发明实施例提供的道路边界识别方法进行说明。
53.在一个示例中,所述步骤101,获取原始扫描图像,包括:
54.获取车载激光雷达扫描得到的原始点云;
55.从所述原始点云中筛选出对应的高度低于高度阈值的目标点云;
56.将所述目标点云投影至地平面,获得所述点云栅格图。
57.容易理解的是,车载激光雷达可以向车辆的四周发射激光探测信号,并根据反射回来的信号来获得原始点云;基于发射的信号和反射的信号,车载激光雷达可以获取道路周边相关物体的距离、方位以及高度等参数。在一具体应用场景中,上述车载激光雷达可以是三维激光传感器,用于获取车体360度区域三维点云数据,即上述的原始点云。
58.原始点云中每一点均具有相应的高度,为避免实际道路场景中高架、天桥等对应
产生的点对道路边界识别的影响,本示例中,从原始点云中筛选出对应的高度低于高度阈值的目标点云,作为最终的可用点云;此外,将这些目标点云投影至地平面,即可获得点云栅格图。
59.本示例中基于车载激光雷达来获得点云栅格图,并将点云栅格图作为原始扫描图像,可以适应不同类型的天气或照明环境,有效保证原始扫描图像的精度。
60.进一步地,为了确定上述的地平面,以及原始点云中各点相对地平面的高度,本实施例中,所述从所述原始点云中筛选出对应的高度低于高度阈值的目标点云之前,所述方法还包括:
61.确定所述原始点云的协方差矩阵;
62.对所述协方差矩阵进行奇异值分解,将对应的奇异值最小的奇异向量作为所述地平面的法向量;
63.根据所述法向量拟合所述地平面的方程。
64.本实施例中,基于原始点云的协方差矩阵来确定地平面的法向量,具体来说,可以首先计算原始点云的协方差矩阵,然后对协方差矩阵进行奇异值分解,奇异值分解得到的奇异向量描述了点云数据的三个主要方向,垂直于地平面的法向量代表了方差最小的方向,方差最小代表了奇异值最小,所以最后可选取最小奇异值所对应的奇异向量作为地平面的法向量。
65.协方差矩阵的计算公式可以是:
[0066][0067]
其中,c为协方差矩阵,si为原始点云中的第i个点的坐标,代表了原始点云中所有点的坐标均值,上标t代表求取转置矩阵。
[0068]
在地平面的法向量确定的情况下,只需选取地平面的任一点即可拟合地平面的方程,而该任一点可以是原始点云中高度最低的点,也可以是通过其他统计方式得到的点,此处不做具体限定。后续根据高度阈值对高度较大的点进行滤除,即可得到可用点云。
[0069]
假设地平面对应的是xoy平面,将可用点云投影到xoy平面,即可生成例如图2所示的点云栅格图。
[0070]
点云栅格图通常为黑白的二值图,反射回来的激光所对应的点(下简称激光点)反映为白色。对于任一激光点,其在点云栅格图中的行号raw和列号col可以通过如下公式计算:
[0071][0072][0073]
式中,x为激光点的原始横坐标、xmin为点云栅格图中的最小横坐标、resolution.x为点云栅格图的行分辨率、y为激光点的原始纵坐标、ymin为点云栅格图中的最小纵坐标、resolution.y为点云栅格图的列分辨率。
[0074]
参见图2,点云栅格图中的点云通常存在离散、稀疏且分布不均匀的特点,而在道路中的其他车辆等障碍物会造成点云数据断裂等现象,为丰富并凸现点云栅格图的特征,
本实施例中,具体采用形态学梯度这一形态学算法,对点云栅格图运算,并获得第一处理图像。
[0075]
在一具体应用例中,可以设置一大小为1
×
10的核,对点云栅格图沿纵向进行形态学梯度运算,将纵向近邻的离散像素点连通到同一个区域,得到如图3所示的第一处理图像。
[0076]
至于形态学梯度运算,属于常见的形态学算法,简单来说,可以通过对待处理图像进行腐蚀处理和膨胀处理,来有效消除待处理图像中的噪声,并能够分割或连接待处理图像中的图像元素。具体的运算方式属于现有常规技术,此处不再赘述。
[0077]
在一些可行的实施方式中,针对点云栅格图进行形态学图像处理时所采用的算法,可以根据实际图像处理效果进行选择。
[0078]
此外,在一些可能存在的应用场景中,原始扫描图像可能是通过特定车载传感器采集的带有彩色的图像,此时可以先对图像进行二值化处理后,再进行形态学图像处理。
[0079]
可选地,所述从所述第一处理图像所包括的n个连通域中确定至少一个目标连通域,包括:
[0080]
分别获取所述n个连通域中的每一连通域的域面积;
[0081]
对所述n个连通域按域面积从大到小进行排序,将排序在前的m个连通域确定为所述目标连通域,m为正整数。
[0082]
参见图3,在第一处理图像中,可能存在有大量的连通域,而域面积最大的两个连通域,分别位于中间的黑色粗线的两侧;具体到实际场景中,中间的黑色粗线往往对应的是道路,这段区域内由于障碍物较少,难以反射激光信号,因此较少存在点云,在第一处理图像上反映为黑色;相应地,道路两侧由于存在比较连续的路肩、草木等障碍物,容易反射激光信号,进而在第一处理图像上反映为白色的连通域;当然,在道路中间及道路两侧的远端,可能还存在例如过往车辆、桥墩、指示牌等障碍物,也会相应产生白色的连通域。
[0083]
总的来说,道路的边界对应的连通域的域面积通常明显大于其他连通域的域面积,通过对n个连通域按域面积大小进行排序,并选择其中域面积排序靠前的连通域作为目标连通域,有助于后续有效对道路边界进行识别。
[0084]
至于上述m的具体值,可以根据实际需要进行选择。例如,在车辆在道路上正常行驶,可以将m确定为2,对应识别车辆左右两侧的道路边界;再例如,在车辆倒车入库时,可以将m确定为3,对应识别车辆左右两侧以及车辆后侧的道路边界。
[0085]
可选地,所述步骤103,从所述第一处理图像所包括的n个连通域中确定至少一个目标连通域,还包括以下至少一项:
[0086]
获取所述目标连通域中的所有像素点在所述第一处理图像的像素列上的分布状态,根据所述分布状态,确定所述目标连通域对应的方位信息;
[0087]
确定所述目标连通域在所述第一处理图像中的位置区域,根据所述位置区域以及方位与位置区域的预设对应关系,确定所述目标连通域对应的方位信息。
[0088]
确定目标连通域对应的方位信息,可以是认为是确定目标连通域具体位于车辆的哪一方位。例如,参见图3,在筛选出两个目标连通域(即面积最大的两个连通域)后,需要确定这两个目标连通域分别是位于左方还是右方。
[0089]
本实施例中,提供了两种确定目标连通域对应的方位信息的可行方案。
[0090]
第一种可行方案是根据目标连通域中的像素点在第一处理图像的像素列上的分布状态来确定方位信息。如上文所示,对于任一激光点,其在点云栅格图中会具有相应的行号和列号;与之相似地,第一处理图像中的每一像素点也具有列号。对于目标连通域中的像素点,其像素值均不为0;在一可行的实施例中,通过统计这些像素值均不为0的像素点在每一像素列上的个数,可得到沿列方向的频率分布直方图,而根据目标连通域对应的频率分布直方图的中值所在的列号,可以确定该目标连通域对应的方位信息。
[0091]
第二种可行方案则是可以将第一处理图像直接预先分为多个位置区域,每一位置区域对应了一个方位,在获取到目标连通域后,可以根据目标连通域在第一处理图像中的位置区域直接确定对应的方位信息。
[0092]
本实施例可以比较准确高效地确定目标连通域对应的方位信息。
[0093]
当然,在实际应用中,以上方位信息的确定方式可以根据需要进行变化,例如,若需确定前方或后方对应的方位信息,可以基于目标连通域中的像素点在第一处理图像的像素行的分布状态来确定;再例如,目标连通域中像素点的分布状态,除了可以通过频率分布直方图进行表征,也可以是根据目标连通域中像素点的坐标均值进行表征等。
[0094]
针对目标连通域以及相应方位信息的确定,本发明实施例还提供了另一种较佳方案,具体来说,所述步骤103,从所述第一处理图像所包括的n个连通域中确定至少一个目标连通域,包括:
[0095]
获取所述n个连通域中每一所述连通域的域面积以及每一所述连通域对应的方位信息,所述方位信息用于表征每一所述连通域在所述第一处理图像中的位置区域;
[0096]
依据所述n个连通域中每一所述连通域的域面积与对应的方位信息,确定至少一个目标连通域,每一所述目标连通域为对应有同一方位信息的全部所述连通域中,域面积最大的连通域。
[0097]
本实施例中,可以是将第一处理图像预先分割成多个位置区域,根据各个连通域所在的位置区域,来确定各个连通域对应方位信息,至于如何根据位置区域确定方位信息,可以通过建立上一实施例中提到的方位与位置区域的预设对应关系来实现;换而言之,方位信息可用于表征每一连通域在第一处理图像中的位置区域。
[0098]
对于对应方位信息相同的所有连通域,例如位于道路左侧的所有连通域中,可以确定出域面积最大的连通域作为位于道路左侧的目标连通域;同样地,对位于道路右侧的所有连通域,也可以确定出域面积最大的连通域作为位于道路右侧的目标连通域。
[0099]
相对上一实施例来说,本实施例中采用的先获取连通域的方位信息,再从方位信息相同的全部连通域中选择域面积最大的连通域作为目标连通域,从而有效避免在车辆的某一方位上识别出多个道路边界的情况,提高道路边界识别的准确度。
[0100]
本技术实施例中,针对第一处理图像,不仅需要确定目标连通域对应的方位信息,还要确定目标连通域对应的连通域图像。参见图4a和图4b,图4a即针对图3所示的第一处理图像中的左侧目标连通域确定的连通域图像(以下简称左侧连通域图像),图4b即针对图3所示的第一处理图像中的右侧目标连通域确定的连通域图像(以下简称右侧连通域图像)。
[0101]
为了更加方便地识别道路边界,可选地,所述步骤105,依据每一所述目标连通域对应的方位信息与连通域图像,识别道路边界,包括:
[0102]
沿第二方位到第一方位的方向对所述连通域图像的像素点进行遍历,在遍历到所
述像素点的像素值为第一像素值的情况下,将该像素值为第一像素值的像素点及其后续像素点均填充为第一像素值,以获得填充图像,所述第一方位为与所述方位信息对应的方位,所述第二方位为所述第一方位的相反方位,所述第一像素值为所述第一区域的像素值;
[0103]
依据所述填充图像,识别道路边界。
[0104]
以下同样结合一实际图像处理应用过程对本实施例进行说明。参见图4a,即上述的左侧连通域图像,其中的第二区域,即除了左侧目标连通域对应的第一区域以外的区域中,像素点的颜色均为黑色(在rgb色彩模式下每一颜色通道的值均为0)。根据左侧连通域图像的方位信息,选择按照从右到左的方式对左侧连通域图像进行遍历,当遍历到第一个像素值不为0的像素点时,可以将该像素点及左侧剩余的像素点全部填充为白色(即在rgb色彩模式下每一颜色通道均赋值为255),从而得到如图5a所示的左侧填充图像。
[0105]
反之,容易理解的是,对于如图4b所示的右侧连通域图像,根据其对应的方位信息,可从左到右进行遍历与颜色填充,得到如图5b所示的右侧填充图像。
[0106]
值得说明的是,在图5a与图5b中,白色区域的边缘处的黑色直线,仅仅是用于清楚地展示白色区域的边界,而并非是代表这些边缘位置的像素颜色为黑色。同样地,对于下文提到的图6a与图6b也是如此,后续不再进行重复说明。
[0107]
本实施例通过对连通域图像进行遍历与填充操作,可以有效消除目标连通域的锯齿状错乱现象,并可消除目标连通域不需要的一侧边界线,从而有助于提升道路边界的识别质量。
[0108]
为方便对道路边界进行提取与识别,可选地,所述依据所述填充图像,识别道路边界,包括:
[0109]
复制所述填充图像,将复制的所述填充图像沿所述第一方位对应的方向平移q个像素间距并进行像素值取反,得到变换图像,q为正整数;
[0110]
对所述连通域图像与所述变换图像进行叠加获得叠加图像;
[0111]
依据所述叠加图像,识别道路边界。
[0112]
以图5a所示的左侧填充图像为例,该左侧填充图像左侧区域为白色、右侧区域为黑色,左右两侧的界线可以认为是左侧道路边界,为实现对左侧道路边界的提取与识别,可以复制左侧填充图像,并整体向左侧方向平移若干像素间距(例如一个像素间距)并进行像素值取反,例如采用255减去原像素值,使得黑白色互换,得到如图6a所示的左侧变换图像;左侧填充图像与左侧变换图像按一定规则叠加后,可得到如图7a所示的左侧叠加图像,图7a中比较清楚地显示了左侧道路边界,换而言之,基于图7a可以较为方便准确地提取与识别左侧道路边界。容易理解的是,此处的叠加规则,可以是指将左侧填充图像与左侧变换图像中位置对应且均为白色的像素点在左侧叠加图像以白色像素点进行显示,而左侧叠加图像的剩余位置均以黑色像素点进行显示。
[0113]
当然,在实际应用中,上述第一方位对应的方向也可以不限定于某一个方向,例如,第一方位为左方时,第一方位对应的方向可以是从左到右的方向,也可以是从右到左的方向;换而言之,第一方位对应的方向可以是指用于定义方位的相对两个方向。相应地,在进行左侧填充图像与左侧变换图像的叠加时,叠加规则也可以根据需要进行设定,能够清楚地显示左侧道路边界即可。
[0114]
与基于左侧填充图像得到左侧道路边界相似地,针对如图5b所示的右侧填充图像
进行处理可以得到如图6b所示的右侧变换图像,对右侧填充图像与右侧变换图像进行叠加,可以得到如图7b所示的右侧叠加图像,并可以进一步提取与识别右侧道路边界。
[0115]
参见图5a与图5b,对于左侧填充图像与右侧填充图像,其中的白色像素点所形成的区域分别形成大致的凸多边形,进而有助于有效边界提取,剔除凹陷的杂点。此处可以将以上两个填充图像分别称为左侧凸多边形图像与右侧凹多边形图像。相应地,左、右两侧的道路边界的提取过程可以通过下表进行体现。
[0116][0117]
表中,leftimg、rightimg分别为原始左、右侧凸多边形图像,lefttransimg、righttransimg分别为原始左、右侧凸多边形图像分别沿相应方向移动一个像素后并取反的变换后图像,&为图像叠加,leftborder、rightborder分别为提取的左、右道路边界线。
[0118]
在一些可行的实施方式中,道路边界的提取,还可以使用例如canny检测等其他类型的图像处理方法。
[0119]
为提高最终得到的道路边界的质量,可选地,所述步骤105,依据每一所述目标连通域对应的方位信息与连通域图像,识别道路边界之后,所述方法还包括:
[0120]
对所述道路边界进行样条曲线拟合和/或滤波处理,获得边界拟合线。
[0121]
可选地,该边界拟合线可以作为最终用于确定道路范围的道路边界。
[0122]
在一个可行的实施方式中,可以采用三次样条曲线对提取的道路边界进行拟合,再使用卡尔曼滤波算法优化曲线参数,得到最终用于确定道路范围的道路边界。如此,可以将例如距离道路边界较近的车辆等干扰因素所造成的不连续边界部分进行平滑处理,提高边界拟合线的质量。
[0123]
以下针对本发明实施例提供的道路边界识别方法的一种具体应用方式进行说明。
[0124]
如图8所示,该具体应用方式中采用激光雷达来获取原始点云,并主要分数据预处理、基于连通域的边界提取以及边界拟合滤波三个环节来实现对道路边界的识别。
[0125]
在数据预处理环节中,包括如下步骤:通过激光雷达获取原始点云;对原始点云进行点云滤波,获得地面点和非地面点;对非地面点进行点云高度分割得到可用点云;将可用点云进行点云栅格化,获得点云栅格图像;对点云删除图像进行形态学膨胀等处理,得到形态学梯度图像。
[0126]
在基于连通域的边界提取的环节中,包括如下步骤:针对形态学梯度图像进行连通域分析约束获得左侧连通域图像与右侧连通域图像;分别对左侧连通域图像与右侧连通域图像进行转凸多边形处理,得到左侧凸多边形图像和右侧凸多边形图像;分别针对左侧凸多边形图像和右侧凸多边形图像进行复制、平移以及颜色变换,得到左侧平移后图像(对应上述的左侧变换图像)与右侧平移后图像(对应上述的右侧变换图像);针对左侧凸多边形图像与左侧平移后图像进行图像逻辑计算,得到道路左边界线,针对右侧凸多边形图像与右侧平移后图像进行图像逻辑计算,得到道路右边界线。
[0127]
在边界拟合滤波环节,包括如下步骤:分别针对道路左边界线与道路右边界线进行样条曲线拟合与卡尔曼滤波,得到道路左边界拟合线与道路右边界拟合线。
[0128]
结合上述路径边界识别方法的具体应用方式的可见,以上路径边界识别方法的实施例可以在不依赖视觉、高精度地图及反射强度信息的条件下,使用激光雷达或超声波雷达等获取的点云数据,充分利用道路两侧的护栏、植被等地物,对栅格化点云进行连通域分析,提取道路边界线,可满足高精度、实时性检测可行驶区域的要求。此外,可将道路区分车体左右,并充分考虑相邻点之间的相关性,使用形态学梯度变换、转凸多边形等方法基于连通域提取道路边界线,可解决数据缺失、断裂、分布不均匀问题,在直行、弯道区域具有较好的检测效果。
[0129]
如图9所示,本发明实施例还提供了一种道路边界识别装置,包括:
[0130]
第一获取模块901,用于获取原始扫描图像;
[0131]
第二获取模块902,用于针对所述原始扫描图像进行形态学图像处理,获得第一处理图像;
[0132]
确定模块903,用于从所述第一处理图像所包括的n个连通域中确定至少一个目标连通域,每一所述目标连通域均对应有方位信息,n为大于1的整数;
[0133]
生成模块904,用于依据所述第一处理图像,分别生成每一所述目标连通域对应的连通域图像,所述连通域图像包括与每一所述目标连通域对应的第一区域,以及与所述第一处理图像中除每一所述目标连通域以外区域对应的第二区域,所述第一区域的像素值区别于所述第二区域的像素值;
[0134]
识别模块905,用于依据每一所述目标连通域对应的方位信息与连通域图像,识别道路边界。
[0135]
可选地,所述第二获取模块902具体用于:针对所述原始扫描图像进行形态学梯度运算,获得第一处理图像。
[0136]
可选地,所述确定模块903,,包括:
[0137]
第一获取单元,用于分别获取所述n个连通域中的每一连通域的域面积;
[0138]
排序确定单元,用于对所述n个连通域按域面积从大到小进行排序,将排序在前的m个连通域确定为所述目标连通域,m为正整数。
[0139]
可选地,所述确定模块903,还包括以下至少一项:
[0140]
第一确定单元,用于获取所述目标连通域中的所有像素点在所述第一处理图像的像素列上的分布状态,根据所述分布状态,确定所述目标连通域对应的方位信息;
[0141]
第二确定单元,用于确定所述目标连通域在所述第一处理图像中的位置区域,根据所述位置区域以及方位与位置区域的预设对应关系,确定所述目标连通域对应的方位信息。
[0142]
可选地,所述确定模块903,包括:
[0143]
第二获取单元,用于获取所述n个连通域中每一所述连通域的域面积以及每一所述连通域对应的方位信息;
[0144]
第三确定单元,用于依据所述n个连通域中每一所述连通域的域面积与对应的方位信息,确定至少一个目标连通域,每一所述目标连通域为对应有同一方位信息的全部所述连通域中,域面积最大的连通域。
[0145]
可选地,所述识别模块905,包括:
[0146]
遍历填充单元,用于沿第二方位到第一方位的方向对所述连通域图像的像素点进行遍历,在遍历到所述像素点的像素值为第一像素值的情况下,将该像素值为第一像素值的像素点及其后续像素点均填充为第一像素值,以获得填充图像,所述第一方位为与所述方位信息对应的方位,所述第二方位为所述第一方位的相反方位,所述第一像素值为所述第一区域的像素值;
[0147]
识别单元,用于依据所述填充图像,识别道路边界。
[0148]
可选地,所述识别单元,包括:
[0149]
复制变换子单元,用于复制所述填充图像,将复制的所述填充图像沿所述第一方位对应的方向平移q个像素间距并进行像素值取反,得到变换图像,q为正整数;
[0150]
叠加子单元,用于对所述连通域图像与所述变换图像进行叠加获得叠加图像;
[0151]
识别子单元,用于依据所述叠加图像,识别道路边界。
[0152]
可选地,所述装置还包括:
[0153]
处理获取模块,用于对所述道路边界进行样条曲线拟合和/或滤波处理,获得边界拟合线。
[0154]
可选地,所述原始扫描图像包括点云栅格图;
[0155]
所述获取模块901,包括:
[0156]
第三获取单元,用于获取车载激光雷达扫描得到的原始点云;
[0157]
筛选单元,用于从所述原始点云中筛选出对应的高度低于高度阈值的目标点云;
[0158]
第四获取单元,用于将所述目标点云投影至地平面,获得所述点云栅格图。
[0159]
需要说明的是,该道路边界识别装置是与上述道路边界识别方法对应的装置,上述方法实施例中所有实现方式均适用于该装置的实施例中,也能达到相同的技术效果。
[0160]
可选地,本发明实施例还提供了一种电子设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述的道路边界识别方法。
[0161]
可选地,本发明实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述的道路边界识别方法。
[0162]
以上所述实施例仅用以说明本技术的技术方案,而非对其限制;尽管参照前述实施例对本技术进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本技术各实施例技术方案的精神和范围,均应包含在本技术的保护范围之内。
再多了解一些

本文用于企业家、创业者技术爱好者查询,结果仅供参考。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献