一种非结构化道路可行驶区域识别方法、电子设备及介质与流程

1.本发明涉及道路识别技术领域，特别涉及一种非结构化道路可行驶区域识别方法、电子设备及介质。


背景技术：

2.对于道路检测问题，根据道路情况，可分为结构化道路与非结构化道路。结构化道路由于带有车道线，可通过车道线检测实现道路可行驶区域划分。非结构化道路通常类型多样，且周围环境复杂，道路边界检测干扰较大，目前并没有针对非结构化道路的通用检测方法。针对非结构化道路边界检测问题，主要有三类方法。一类是通过分析道路的颜色及边界纹理特征进行道路边界检测，该方式所需先验知识少，对道路形状不敏感，但对路面环境要求较高，在阴影、水迹等存在时易出现道路边界误识别。另一类是通过道路模型的方法，根据道路先验知识，构建道路模型，实现道路边界检测，该方式鲁棒性不强，更多适用于与道路模型相近的非结构化道路。此外，基于深度神经网络的道路边界检测近年来得到快速的发展，通过利用大量样本集，进行神经网络模型训练，实现非结构化道路分割，该方式对样本集依赖较大，对于未加入训练集的非结构化道路类型通常边界检测效果较差。


技术实现要素：

3.针对现有技术存在的问题，本发明的第一目的在于提供一种能够降低路面环境因素对道路识别影响，保证道路识别准确率的非结构化道路可行驶区域识别方法。
4.本发明的第二目的在于提供一种电子设备。
5.本发明的第三目的在于提供一种计算机可读介质。
6.为实现上述目的，本发明第一方面提供一种非结构化道路可行驶区域识别方法，包括如下步骤：
7.对相机采集的道路图像对应的rgb图像按照第一预定公式转换为hsv图像；
8.根据所述hsv图像的像素值与预定阈值的比较结果对图像进行区域划分并输出关于颜色特征的第一图像处理结果；
9.通过对所述rgb图像的水平方向与垂直方向进行卷积提取道路图像的边缘特征；
10.根据边缘提取后图像的像素值与预定阈值的比较结果对道路图像进行边缘划分并输出关于纹理特征的第二图像处理结果；
11.将所述第一图像处理结果的二值化图像和所述第二图像处理结果的二值化图像按照预定公式合并计算，得到道路图像的第三图像处理结果；
12.根据所述第三图像处理结果对应的二值化图像获得图像最大连通域，并将图像最大连通域对应的道路外包围凸多边形识别为可行驶区域。
13.进一步，所述第一预定公式为：
[0014][0015][0016][0017]
其中，r为红色通道的像素值，g为绿色通道的像素值，b为蓝色通道的像素值，h为色相通道的像素值，s为饱和度通道的像素值,v为明亮度通道的像素值。
[0018]
进一步，根据所述hsv图像的像素值与预定阈值的比较结果对图像进行区域划分并输出关于颜色特征的第一图像处理结果包括：
[0019]
在所述hsv图像的像素值大于预定阈值时将该像素值对应的图像区域划分为行驶区域；
[0020]
在所述hsv图像的像素值小于预定阈值时将该像素值对应的区域划分为背景区域；
[0021]
将所述hsv图像中h、s、v通道的行驶区域和背景区域进行二值化处理，输出所述第一图像处理结果；其中，所述第一图像处理结果包括h通道对应的二值化图像、s通道对应的二值化图像和v通道对应的二值化图像。
[0022]
进一步，通过对所述rgb图像的水平方向与垂直方向进行卷积提取道路图像的边缘特征包括：
[0023]
对rgb图像进行图像处理得到灰度图像；
[0024]
对灰度图像进行水平方向与垂直方向卷积后得到经水平方向卷积后的图像像素值和经垂直方向卷积后的图像像素值。
[0025]
进一步，根据边缘提取后图像的像素值与预定阈值的比较结果对道路图像进行边缘划分并输出关于纹理特征的第二图像处理结果包括：
[0026]
在边缘提取后图像的像素值大于预定阈值时将该像素值对应的区域划分为边缘区域；
[0027]
在边缘提取后图像的像素值小于预定阈值时将该像素值对应的区域划分为非边缘区域；
[0028]
将边缘提取后图像中水平方向卷积后的图像与垂直方向卷积后的图像的边缘区域和非边缘区域进行二值化处理，输出所述第二图像处理结果；其中，所述第二图像处理结果包括水平方向卷积后的图像对应的二值化图像和垂直方向卷积后的图像对应的二值化图像。
[0029]
进一步，将所述第一图像处理结果的二值化图像和所述第二图像处理结果的二值化图像按照预定公式合并计算，得到道路图像的第三图像处理结果包括：
[0030]
将h通道对应的二值化图像、s通道对应的二值化图像和v通道对应的二值化图像进行或运算得到颜色特征对应的二值化图像；
[0031]
将水平方向卷积后的图像对应的二值化图像和垂直方向卷积后的图像对应的二值化图像进行或运算得到纹理特征对应的二值化图像；
[0032]
将所述颜色特征对应的二值化图像和所述纹理特征对应的二值化图像进行与运算得到所述第三图像处理结果。
[0033]
进一步，根据所述第三图像处理结果对应的二值化图像获得图像最大连通域，并将图像最大连通域对应的道路外包围凸多边形识别为可行驶区域包括：
[0034]
在所述第三图像处理结果对应的二值化图像中标记所有非零像素点；
[0035]
将非零像素点个数最大的连通区域最外层的点连接所得到的凸多边形识别为可行驶区域。
[0036]
进一步，还包括：
[0037]
利用kcf算法对识别出的可行驶区域的道路消失区域进行异常结果剔除。
[0038]
本发明的第二方面提供一种电子设备，包括：
[0039]
一个或多个处理器；以及
[0040]
存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现上述第一方面所述的可行驶区域识别方法。
[0041]
本发明的第三方面提供一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现上述第一方面所述的可行驶区域识别方法。
[0042]
本发明将复杂多样的非结构化道路路面环境简化，结合道路颜色及边界纹理特征进行边界检测，采用最大凸多边形实现道路边界检测，提高道路边界不清晰时边界检测效果。
[0043]
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。
附图说明
[0044]
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0045]
图1为本发明一实施例非结构化道路可行驶区域识别方法的流程示意图；
[0046]
图2-图6为本发明另一实施例非结构化道路可行驶区域识别方法的流程示意图；
[0047]
图7为本发明图像进行区域划分后的图像示意图；
[0048]
图8为本发明卷积提取道路图像的边缘特征的图像示意图；
[0049]
图9为本发明最大凸多边形选取的图像示意图；
[0050]
图10为本发明道路消失区域跟踪的图像示意图。
具体实施方式
[0051]
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本发明将更加
全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。
[0052]
此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本发明的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本发明的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本发明的各方面。
[0053]
附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
[0054]
附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。
[0055]
如图1所示，本发明第一方面提供一种非结构化道路可行驶区域识别方法，包括如下步骤：
[0056]
步骤s110：对相机采集的道路图像对应的rgb图像按照第一预定公式转换为hsv图像。
[0057]
步骤s120：根据所述hsv图像的像素值与预定阈值的比较结果对图像进行区域划分并输出关于颜色特征的第一图像处理结果。
[0058]
步骤s130：通过对所述rgb图像的水平方向与垂直方向进行卷积提取道路图像的边缘特征。
[0059]
步骤s140：根据边缘提取后图像的像素值与预定阈值的比较结果对道路图像进行边缘划分并输出关于纹理特征的第二图像处理结果。
[0060]
步骤s150：将所述第一图像处理结果的二值化图像和所述第二图像处理结果的二值化图像按照预定公式合并计算，得到道路图像的第三图像处理结果。
[0061]
步骤s160：根据所述第三图像处理结果对应的二值化图像获得图像最大连通域，并将图像最大连通域对应的道路外包围凸多边形识别为可行驶区域。
[0062]
本发明将复杂多样的非结构化道路路面环境简化，结合道路颜色及边界纹理特征进行边界检测，采用最大凸多边形实现道路边界检测，提高道路边界不清晰时边界检测效果。
[0063]
在本发明一实施例中，在步骤s110所采用的图像转换的所述第一预定公式为：
[0064][0065][0066]
[0067]
其中，r为红色通道的像素值，g为绿色通道的像素值，b为蓝色通道的像素值，h为色相通道的像素值，s为饱和度通道的像素值,v为明亮度通道的像素值。其中，r、g、b取值范围为0～255。h为色相，饱和度s表示颜色接近光谱色的程度，值越大，颜色越饱和，明度v表示颜色明亮的程度，对于光源色，明度值与发光体的光亮度有关，对于物体色，明度值和物体的透射比或反射比有关。对于非结构化道路，光照强度及阴影对道路可行驶区域识别影响较大，而h通道受阴影及亮度影响较小，结合s、v通道获取的道路信息，与rgb通道原图相比，使用hsv通道进行可行驶区域识别能够获得更加稳定可靠的结果。通过rgb通道转化为hsv通道值，获得h、s、v三个通道的图像，实现输入图像预处理。
[0068]
如图2所示，步骤s120还包括步骤s210～步骤s230：
[0069]
步骤s210：在所述hsv图像的像素值大于预定阈值时将该像素值对应的图像区域划分为行驶区域。
[0070]
步骤s220：在所述hsv图像的像素值小于预定阈值时将该像素值对应的区域划分为背景区域；
[0071]
步骤s230：将所述hsv图像中h、s、v通道的行驶区域和背景区域进行二值化处理，输出所述第一图像处理结果；其中，所述第一图像处理结果包括h通道对应的二值化图像、s通道对应的二值化图像和v通道对应的二值化图像。
[0072]
通过将像素值大于预定阈值的区域设置为1(即为可行驶区域)，像素值小于阈值的区域设置为0(即为背景区域)，实现可行驶区域划分，获得h通道对应的二值化图像a、s通道对应的二值化图像b和v通道对应的二值化图像c。
[0073]
由于非结构化道路在不同路段及光照等条件下色彩空间阈值不断改变，本发明预定阈值可以根据实现色彩空间改变进行自适应。对于图像i(x,y)的h、s、v中某一通道，x、y为像素坐标值，坐标对应像素点取值范围为0～255，可行驶区域和背景的分割阈值记作t，属于前景的像素点数占整幅图像的比例记为w0，对应像素点平均值为u0，背景像素点数占整幅图像的比例为w1，对应像素点平均值为u1，图像所有像素点平均值为u，类间方差记为g，图像大小为m
×
n，可行驶区域像素点数量为n0，背景像素点数量为n1，则有：
[0074]
w0＝n0/(m
×
n)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
[0075]
w1＝n1/(m
×
n)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)
[0076]
n0 n1＝m
×nꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)
[0077]
w0 w1＝1
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(4)
[0078]
μ＝w0×
μ0 w1×
μ1ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(5)
[0079]
g＝w0(μ
0-μ)2 w1(μ
1-μ)2ꢀꢀꢀꢀꢀꢀꢀ
(6)
[0080]
将式(5)代入式(6),得到等价公式:
[0081]
g＝w0w1(μ
0-μ1)2[0082]
将阈值t由0至255遍历，当可行驶区域与背景的像素错分类时会造成类间方差减小，类间方差越大说明两部分的差别越大，区域错分的概率越小，使得类间方差g最大时对应的阈值t即为预定阈值。区域划分的图像参见图7。
[0083]
如图3所示，步骤s130还包括步骤s310、步骤s320：
[0084]
步骤s310：对rgb图像进行图像处理得到灰度图像。
[0085]
对于原rgb图像，通过a＝0.299
×
r 0.587
×
g 0.114
×
b获得灰度图像a。
[0086]
步骤s320：对灰度图像进行水平方向与垂直方向卷积后得到经水平方向卷积后的图像像素值和经垂直方向卷积后的图像像素值。采用两个3
×
3的卷积因子对灰度图像a进行卷积，即图像水平方向与垂直方向卷积，遍历整幅图像后经水平方向卷积后的图像像素值为g
x
，遍历整幅图像后经垂直方向卷积后的图像像素值为gy。
[0087][0088]
卷积提取道路图像的边缘特征的图像参见图8。
[0089]
如图4所示，步骤s140还包括步骤s410～步骤s430:
[0090]
步骤s410：在边缘提取后图像的像素值大于预定阈值时将该像素值对应的区域划分为边缘区域。
[0091]
步骤s420：在边缘提取后图像的像素值小于预定阈值时将该像素值对应的区域划分为非边缘区域。
[0092]
步骤s430：将边缘提取后图像中水平方向卷积后的图像与垂直方向卷积后的图像的边缘区域和非边缘区域进行二值化处理，输出所述第二图像处理结果；其中，所述第二图像处理结果包括水平方向卷积后的图像对应的二值化图像和垂直方向卷积后的图像对应的二值化图像。
[0093]
在对图像进行水平方向与垂直方向边缘提取后，同样利用自适应阈值进行二值化处理，边缘区域设置为0，其余区域设置为1，获得水平方向卷积后的图像对应的二值化图像和垂直方向卷积后的图像对应的二值化图像d、e。
[0094]
如图5所示，步骤s150还包括步骤s510～步骤s530：
[0095]
步骤s510：将h通道对应的二值化图像、s通道对应的二值化图像和v通道对应的二值化图像进行或运算得到颜色特征对应的二值化图像。
[0096]
步骤s520：将水平方向卷积后的图像对应的二值化图像和垂直方向卷积后的图像对应的二值化图像进行或运算得到纹理特征对应的二值化图像。
[0097]
步骤s530：将所述颜色特征对应的二值化图像和所述纹理特征对应的二值化图像进行与运算得到所述第三图像处理结果。
[0098]
通过利用颜色特征和纹理特征共获得5个二值化结果，利用颜色特征获得的3个二值化结果为a、b、c，利用纹理特征获得的2个二值化结果为d、e。
[0099]
利用如下式或运算及与运算获得单幅二值化图像z，其中“|”为或运算，“&”为与运算。
[0100]
x＝a|b|c
[0101]
y＝d|e
[0102]
z＝x&y
[0103]
获得的二值化图像z通过颜色特征进行了可行使区域的粗略识别，通过纹理特征进行了可行使区域边界的精确识别，但合并后的结果中，位于道路中间的裂缝及道路边界处的杂草对结果造成了影响，在最终结果中部分可行驶区域被错误的置为0，可行驶区域边界外侧部分像素点也会被误置为1，通过进一步腐蚀、膨胀处理能够对道路边界杂草造成的影响进行改善，对于道路中间杂物的干扰，采用最大凸多边形法进行结果的进一步修正。
[0104]
如图6所示，步骤s160还包括步骤s610、步骤s620：
[0105]
步骤s610：在所述第三图像处理结果对应的二值化图像中标记所有非零像素点。
[0106]
步骤s620：将非零像素点个数最大的连通区域最外层的点连接所得到的凸多边形识别为可行驶区域。
[0107]
为减少道路中间裂纹、阴影、杂物等对道路边界判别的影响，结合相机成像具有近大远小的透视变形，导致道路可行驶区域通常为近似梯形。本发明将输入图像利用颜色特征及纹理特征提取获得二值化的可行驶区域及背景，利用二值图像获得最大连通域及对应的外包围凸多变形，凸多变形即为可行驶区域。
[0108]
具体来说包括如下步骤：
[0109]
①
将输入图像利用颜色特征及纹理特征提取获得二值化的可行驶区域及背景；
[0110]
②
给二值图像添加一个是否已访问的属性；
[0111]
③
找到第一个非零的像素点，将其入栈并将其是否已访问的属性置为真；
[0112]
④
以栈的大小是否为0作为结束条件，寻找栈顶元素相邻的八邻域非零像素点，并将它们入栈，结束后将栈顶元素删除；
[0113]
⑤
当栈为空时，表明一个连通区域已经遍历完成，需继续找到下一个非空且未访问过的像素点作为起点，重复上述步骤
①
至
④
，直到所有的非零像素点都被访问完成；
[0114]
⑥
当所有的连通区域求解完成之后，将像素点个数最大的连通区域标记出来并以此利用opencv获得最大连通域最外层的点，将点连接起来构成凸多边形，即最大连通域形成的最大凸多边形。最大凸多边形选取的图像参见图9。
[0115]
在本发明一实施例中，非结构化道路可行驶区域识别方法还包括：
[0116]
利用kcf算法对识别出的可行驶区域的道路消失区域进行异常结果剔除。
[0117]
在同一连续非结构化道路中，除在少数路段，其道路宽度通常不会发生巨变，故据此先验知识可根据道路区域形成的凸多边形面积、道路边界斜率进行异常值初步剔除，在凸多边形或边界斜率因阴影或其他因素导致出现突变时，则视为异常值，不进行结果输出。此外，由于道路在视野消失区域具有小面积特征差异明显的优势，采用手动框选道路消失矩形区域的方式，道路消失区域跟踪参见图10。利用kcf算法使用目标周围区域的循环矩阵采集正负样本，利用脊回归训练目标检测器，实现道路消失区域跟踪。跟踪过程中输出道路消失矩形区域中心点坐标变化值，由于该值能够稳定准确输出，故可以此作为道路边界斜率变化方向参考值，中心点坐标变化方向与道路边界斜率变化方向不一致时，通常出现了检测异常，故利用kcf跟踪可实现部分异常检测剔除。
[0118]
本发明的第二方面提供一种电子设备，包括：
[0119]
一个或多个处理器；以及
[0120]
存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现上述第一方面所述的可行驶区域识别方法。
[0121]
本发明的第三方面提供一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现上述第一方面所述的可行驶区域识别方法。
[0122]
根据本发明的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计
算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分从网络上被下载和安装，和/或从可拆卸介质被安装。在该计算机程序被中央处理单元(cpu)执行时，执行本技术的系统中限定的上述功能。
[0123]
需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、rf等等，或者上述的任意合适的组合。
[0124]
附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
[0125]
描述于本发明实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的模块也可以设置在处理器中。其中，这些模块的名称在某种情况下并不构成对该模块本身的限定。
[0126]
应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
[0127]
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本发明实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是cd-rom，u盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、触控终端、或者网络设备等)执行根据本发明实施方式的
方法。
[0128]
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本技术旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。
[0129]
应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。