一种路面检测方法、装置、设备及介质

1.本发明涉及图像检测领域，特别是一种路面检测方法、装置、设备及介质。


背景技术：

2.目前，道路路面检测主要以人力检测为主要手段，但存在以下问题：人力检测效率低下、人力成本高、检测效果单一、检测范围有效。因此，道路交通管理中，道路路面检测存在漏检、错检、检测精度低等问题。


技术实现要素：

3.本发明的目的在于至少解决现有技术中存在的技术问题之一，提供一种路面检测方法、装置、设备及介质。
4.本发明解决其问题所采用的技术方案是：
5.本发明的第一方面，一种路面检测方法，包括：
6.通过相机获取路面图像，并记录所述相机的拍摄角度、位置和焦距；
7.根据所述相机的拍摄角度、位置和焦距，对所述相机进行标定，确定图像坐标系和世界坐标系之间的位置关系；
8.对所述路面图像进行二值化处理，得到二值化图像；
9.检测所述二值化图像中的车道线，根据所述位置关系由所述二值化图像中的车道线计算所述车道线的真实长度，比较所述车道线的真实长度与预设的长度阈值的值大小；
10.检测所述二值化图像中的路面和车道线的缺失情况。
11.根据本发明的第一方面，所述根据所述相机的拍摄角度、位置和焦距，对所述相机进行标定，包括：
12.根据图像坐标系和世界坐标系的映射关系，对所述相机进行标定；其中所述映射关系为：a1＝b2*q*h1*t；其中，q为相机模型在z轴的平移向量；h1为世界坐标系的z轴旋转θ角度后绕世界坐标系的x轴旋转角度所得到的旋转矩阵；t为相机模型的内部参数，包括所述相机的拍摄角度、位置和焦距；a1为图像坐标系的坐标；b2为世界坐标系的坐标；θ为扫描角；为俯视角。
13.根据本发明的第一方面，在所述对所述路面图像进行二值化处理，得到二值化图像的步骤之前，包括：对所述路面图像进行去噪处理。
14.根据本发明的第一方面，所述对所述路面图像进行二值化处理，得到二值化图像，包括：
15.对所述路面图像的每个像素点，当所述像素点的灰度值大于预设阈值，则将所述像素点的灰度值设置为255；当所述像素点的灰度值小于预设阈值，则将所述像素点的灰度值设置为0。
16.根据本发明的第一方面，所述检测所述二值化图像中的车道线，包括：
17.利用霍夫变换直线检测原理，检测所述二值化图像中的车道线。
18.根据本发明的第一方面，所述根据所述位置关系由所述二值化图像中的车道线计算所述车道线的真实长度，比较所述车道线的真实长度与预设的长度阈值的值大小，包括：
19.对所述二值化图像中的车道线的最前端像素点和最末端像素点进行标记，并获取所述最前端像素点的坐标信息和最末端像素点的坐标信息；
20.根据所述位置关系对所述最前端像素点的坐标信息进行转换以得到第一转换坐标，并对所述最末端像素点的坐标信息进行转换以得到第二转换坐标，根据所述第一转换坐标和所述第二转换坐标计算得到所述车道线的真实长度；
21.比较所述车道线的真实长度与预设的长度阈值的值大小，获得长度大小关系。
22.根据本发明的第一方面，所述检测所述二值化图像中的路面和车道线的缺失情况，包括：
23.通过缺陷检测模型检测所述二值化图像中的路面和车道线的缺失情况，所述缺失情况包括路面是否存在缺陷、路面缺陷类型、车道线是否存在缺陷、车道线缺陷类型；
24.其中，所述缺陷检测模型包括多个卷积层、多个池化层和多个用于输出所述缺失情况的全连接层；所述卷积层包括归一化层和激活函数层。
25.本发明的第二方面，一种路面检测装置，包括：
26.图像获取单元，用于获取路面图像，并记录相机的拍摄角度、位置和焦距；
27.标定单元，用于根据所述相机的拍摄角度、位置和焦距，对所述相机进行标定，确定图像坐标系和世界坐标系之间的位置关系；
28.二值化单元，用于对所述路面图像进行二值化处理，得到二值化图像；
29.长度检测单元，用于检测所述二值化图像中的车道线，根据所述位置关系由所述二值化图像中的车道线计算所述车道线的真实长度，比较所述车道线的真实长度与预设的长度阈值的值大小；
30.缺失检测单元，用于检测所述二值化图像中的路面和车道线的缺失情况。
31.本发明的第三方面，一种电子设备，包括：
32.至少一个存储器；
33.至少一个处理器；
34.至少一个计算机程序；
35.所述计算机程序被存储在所述存储器中，处理器执行所述至少一个计算机程序以实现如本发明的第一方面所述的路面检测方法。
36.本发明的第四方面，一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如本发明的第一方面所述的路面检测方法。
37.上述方案至少具有以下的有益效果：通过捕捉目标道路路段的车道线长度信息和道路面、车道线的缺失信息，实时检测目标道路的情况，便于提供具有时效性的预警和上报，确保道路交通安全。另外，通过确定图像坐标系和世界坐标系之间的位置关系，使得获取的车道线真实长度更准确，提高了对车道线长度的检测准确性；对所述路面图像进行二值化处理，再对二值化图像进行检测，提高了对车道线长度和道路面、车道线的缺失情况的检测准确性。
38.本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变
＝b2*q*h1*t；其中，q为相机模型在z轴的平移向量；h1为世界坐标系的z轴旋转θ角度后绕世界坐标系的x轴旋转角度所得到的旋转矩阵；t为相机模型的内部参数，包括相机的拍摄角度、位置和焦距；a1为图像坐标系的坐标；b2为世界坐标系的坐标；θ为扫描角；为俯视角。
58.图像坐标系中坐标为(x1，y1)，世界坐标系坐标为(x2，y2)。
59.相机标定后得到两个坐标系之间的映射矩阵o，转换关系为：
[0060][0061]
其中，c1＝cosθ，c2＝sinθ，
[0062]
需要说明的是买对相机标定后，相机的位置不可发生位移或偏转。
[0063]
本发明的某些实施例，在对路面图像进行二值化处理，得到二值化图像的步骤之前，包括：对路面图像进行去噪处理。
[0064]
去噪处理为图像预处理的步骤之一；通过图像预处理可以消除部分因为客观环境带来的噪声。
[0065]
具体地，在该实施例中，去噪处理为高斯模糊处理。高斯模糊运用在图像的预处理时，也可以增强图像在不同比例大小的图像效果。从数学上来解释，高斯模糊是对图像进行正态分布的卷积，其中以圆形方框形的卷积核对图像做卷积将得到更精确的焦外成像效果。
[0066]
高斯模糊的公式为：
[0067]
对于步骤s300，对路面图像进行二值化处理，得到二值化图像，包括：
[0068]
对路面图像的每个像素点，当像素点的灰度值大于预设阈值，则将像素点的灰度值设置为255；当像素点的灰度值小于预设阈值，则将像素点的灰度值设置为0。
[0069]
需要说明的是，二值图可以更好地表现出图像的像素特性，可以提供更加容易识别的像素点，可以更好地服务后续的检测工作，提高检测系统的检测鲁棒性。二值图像指只有黑白两种颜色，图像中的每个像素只能是黑色或者白色，没有中间过渡。本文将图像上的像素点的灰度值设置为0或255，也就是将整个图像呈现出明显的黑白效果，从而能凸显出目标的轮廓。
[0070]
输入图像为f(x,y)，输出图像为f(x,y)，则有：
[0071]
其中t为预设阈值，根据历史经验得到。1对应灰度值255,0对应灰度值0。
[0072]
对于步骤s400，检测二值化图像中的车道线，包括：
[0073]
利用霍夫变换直线检测原理，检测二值化图像中的车道线。
[0074]
需要说明的是，霍夫变换是图像处理的一个算法，它通过一种投票算法检测具有特定形状的物体,该过程在一个参数空间中通过计算累计结果的局部最大值得到一个符合该特定形状的集合作为霍夫变换结果，该方法可以进行圆，直线，椭圆等形状的检测。
[0075]
霍夫变换直线检测原理的基本原理在于利用点与线的对偶性，在直线检测任务中，即图像空间中的直线与参数空间中的点是一一对应的，参数空间中的直线与图像空间中的点也是一一对应的。即有图像空间中的每条直线在参数空间中都对应着单独一个点来表示；图像空间中的直线上任何一部分线段在参数空间对应的是同一个点。霍夫变换直线检测就是把在图像空间中的直线检测问题转换到参数空间中对点的检测问题，通过在参数空间里寻找峰值来完成直线检测任务。
[0076]
在建立的笛卡尔坐标系中，一条直线由两个点确定，直线的坐标方程可以表示为：y＝kx b；而直线，可以用极坐标表示为：r＝xcos(θ) ysin(θ)。(r，θ)定义了一个原点到该直线最近的向量，且该向量与直线y＝kx b相互垂直。在参数θ和r构成的二维空间下，xy平面中的任意一条直线可以有(r，θ)平面上的点表示，所以在笛卡尔坐标系中直线的霍夫变换就是寻找平面上对应点的过程。由于笛卡尔坐标系中的一条直线在霍夫空间中表现为一点，通过对车道线边缘检测找到车道线的边缘后，进行霍夫变换得到车道线。
[0077]
另外，根据位置关系由二值化图像中的车道线计算车道线的真实长度，比较车道线的真实长度与预设的长度阈值的值大小，包括：
[0078]
对二值化图像中的车道线的最前端像素点和最末端像素点进行标记，并获取最前端像素点的坐标信息和最末端像素点的坐标信息；
[0079]
根据图像坐标系和世界坐标系的位置关系对最前端像素点的坐标信息进行转换以得到第一转换坐标，并对最末端像素点的坐标信息进行转换以得到第二转换坐标；根据第一转换坐标和第二转换坐标计算；利用两点距离公式得到车道线的真实长度；
[0080]
比较车道线的真实长度与预设的长度阈值的值大小，获得长度大小关系。
[0081]
需要说明的是，长度阈值为人为预设的，可以根据历史经验得到。
[0082]
对于步骤s500，检测二值化图像中的路面和车道线的缺失情况，包括：
[0083]
通过缺陷检测模型检测二值化图像中的路面和车道线的缺失情况，缺失情况包括路面是否存在缺陷、路面缺陷类型、车道线是否存在缺陷、车道线缺陷类型；
[0084]
其中，缺陷检测模型为深度学习卷积神经网络。缺陷检测模型包括多个卷积层、多个池化层和多个用于输出缺失情况的全连接层；卷积层包括归一化层和激活函数层。
[0085]
具体地，缺陷检测模型包括20个卷积层和2个全连接层，每个卷积层包括一个归一化层和一个sigmoid激活层。每个池化层负责最大化卷积层，全连接层负责输出车道线和道路表面的缺失情况。
[0086]
训练卷积神经网络模型需要用到训练数据集和验证数据集，所有数据集通过人工标注得出，验证数据集的数据量通常少于训练数据集，但是验证数据集的数据种类不能多于训练数据集。在训练阶段，通过道路上带有缺陷识别框的训练数据集对建立的神经网络模型每一层的权值参数更新，找到层与层之间合适的连接权值。在验证阶段，通过拍摄道路缺陷照片来验证训练结果是否符合检测标准，若检测精度达到精度阈值，则训练的神经网络符合要求，否则继续通过训练数据集进行训练。在该实施例中，精度阈值为98％，当然在其他实施例中，精度阈值也可以设置为其他数值，例如95％。
[0087]
然后汇总上述车道线的真实长度、长度大小关系、车道线和道路表面的缺失情况，制作数据表格和数据曲线，通过对比正常数据即可检测道路运行是否正常。
[0088]
在该实施例中，通过捕捉目标道路路段的车道线长度信息和道路面、车道线的缺
失信息，实时检测目标道路的情况，便于提供具有时效性的预警和上报，确保道路交通安全。
[0089]
另外，通过确定图像坐标系和世界坐标系之间的位置关系，使得获取的车道线真实长度更准确，提高了对车道线长度的检测准确性；对路面图像进行二值化处理，再对二值化图像进行检测，提高了对车道线长度和道路面、车道线的缺失情况的检测准确性。
[0090]
参照图2，本发明的第二方面的实施例，提供了一种路面检测装置。
[0091]
路面检测装置包括图像获取单元10、标定单元20、二值化单元30、长度检测单元40和缺失检测单元50。
[0092]
其中，图像获取单元10用于获取路面图像，并记录相机的拍摄角度、位置和焦距；标定单元20用于根据相机的拍摄角度、位置和焦距，对相机进行标定，确定图像坐标系和世界坐标系之间的位置关系；二值化单元30用于对路面图像进行二值化处理，得到二值化图像；长度检测单元40用于检测二值化图像中的车道线，根据位置关系由二值化图像中的车道线计算车道线的真实长度，比较车道线的真实长度与预设的长度阈值的值大小；缺失检测单元50用于检测二值化图像中的路面和车道线的缺失情况。
[0093]
在该实施例中，通过捕捉目标道路路段的车道线长度信息和道路面、车道线的缺失信息，实时检测目标道路的情况，便于提供具有时效性的预警和上报，确保道路交通安全。
[0094]
需要说明的是，需要说明的是，本发明的第二方面的实施例所采用的路面检测装置的各单元与本发明的第一方面的实施例所采用的路面检测方法的各步骤一一对应，两者具有相同的技术方案，解决相同的技术问题，带来相同的技术效果，因此对路面检测装置不再一一详述。
[0095]
本发明的第三方面的实施例，提供了一种电子设备。电子设备包括：至少一个存储器；至少一个处理器；至少一个计算机程序；所述计算机程序被存储在所述存储器中，处理器执行所述至少一个计算机程序以实现如本发明的第一方面的实施例所述的路面检测方法。
[0096]
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
[0097]
本发明的第四方面的实施例，提供了一种计算机可读存储介质。所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如本发明的第一方面的实施例所述的路面检测方法。
[0098]
本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统可以被实施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、
数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于ram、rom、eeprom、闪存或其他存储器技术、cd-rom、数字多功能盘(dvd)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。
[0099]
以上所述，只是本发明的较佳实施例而已，本发明并不局限于上述实施方式，只要其以相同的手段达到本发明的技术效果，都应属于本发明的保护范围。