摊铺宽度检测方法及装置、可读存储介质和摊铺机与流程

1.本发明涉及摊铺机技术领域，具体而言，涉及一种摊铺宽度检测方法及装置、可读存储介质和摊铺机。


背景技术：

2.由于摊铺宽度是衡量路面摊铺施工质量以及摊铺工程量预测的重要指标，所以实时获取、记录摊铺宽度非常关键。
3.相关技术中，一般采用间接测量摊铺宽度的方法，譬如将距离传感器如激光传感器等安装在熨平板上，利用距离传感器测量熨平板的宽度以间接的测量摊铺宽度，上述间接测量的方法主要存在以下方面的缺点：一是测量精度会受到多种因素影响，比如熨平板拱度等等，二是不够灵活，当对熨平板进行拼装时，可能需要对距离传感器的安装位置进行调整。


技术实现要素：

4.本发明旨在至少解决或者改善现有技术或相关技术中存在的技术问题之一。
5.为此，本发明第一方面提供了一种基于车载图像采集装置的摊铺宽度检测方法。
6.本发明第二方面提供了一种基于车载图像采集装置的摊铺宽度检测装置。
7.本发明第三方面提供了一种基于车载图像采集装置的摊铺宽度检测装置。
8.本发明第四方面提供了一种可读存储介质。
9.本发明第五方面提供了一种摊铺机。
10.有鉴于此，根据本发明的第一方面，提出了一种基于车载图像采集装置的摊铺宽度检测方法，包括：通过标定好的车载图像采集装置获取已摊铺路面区域的图像信息；从已摊铺路面区域的图像信息中提取已摊铺路面区域的rgb图像和深度图像；根据rgb图像确定已摊铺路面区域中松铺材料区域的边缘位置信息；从深度图像中提取与松铺材料区域的边缘位置信息对应的点云数据；根据点云数据确定摊铺宽度。
11.本发明提供的摊铺宽度检测方法，首先通过标定好的车载图像采集装置获取已摊铺路面区域的图像信息，并从中提取已摊铺路面区域的rgb图像和深度图像。而后通过对已摊铺路面的rgb图像进行预处理，可定位已摊铺路面区域中松铺材料区域的边缘位置信息。从深度图像中提取出与松铺材料区域的边缘位置信息对应的点云数据。根据上述点云数据可计算出摊铺宽度。本发明提供的摊铺宽度检测方法，通过对已摊铺路面区域的图像进行计算得到摊铺宽度，是一种直接检测的方式，因此对于直板摊铺机、伸缩摊铺机都适用，并且相对于相关技术中采用距离传感器测量熨平板的宽度，间接测量摊铺宽度的方式，检测结果更为准确，从而可以更好的帮助判断摊铺质量以及对工程量进行测量和预测。
12.其中，rgb图像即rgb色彩模式(red green blue color mode)的图像，rgb色彩模式是工业界的一种颜色标准，是通过对红、绿、蓝三个颜色通道的变化以及它们相互之间的叠加来得到各式各样的颜色。
13.深度图像(depth image)，存储三维深度特征信息的图像，也被称为距离图像(range image)，是指图像采集器采集到的场景中各点的距离(深度)值作为像素值的图像，它直接反映了景物可见表面的几何形状。深度图像经过坐标变换可以计算为点云数据。
14.具体地，车载图像采集装置可为双目视觉相机或tof(time of fight camera)相机。
15.根据本发明的上述摊铺宽度检测方法，还可以具有以下技术特征：
16.在上述技术方案中，根据rgb图像确定已摊铺路面区域中松铺材料区域的边缘位置信息的步骤，具体包括：根据图像特征值确定rgb图像中的松铺材料区域；根据松铺材料区域确定对应的边缘位置信息；其中，图像特征值包括以下任一项或其组合：颜色值、亮度值、灰度值、纹理值。
17.在该技术方案中，在根据摊铺路面的rgb图像确定已摊铺路面区域中松铺材料区域的边缘位置信息时，由于松铺材料区域在图像上呈现的图像特征值，与没有松铺材料的路面区域或道路边界区域(比如边界地面或墙面)在图像上呈现的图像特征值，明显不同，因此根据图像特征值的变化情况可以确定出松铺材料区域。进而可根据松铺材料区域定位对应的边缘位置信息。
18.其中，图像特征值包括颜色值、亮度值、灰度值、纹理值中任一项或其组合，但不限于此。
19.在上述任一技术方案中，根据图像特征值从rgb图像中提取出松铺材料区域的步骤，具体包括：以松铺材料区域中的任一点为种子点，以图像特征值的变化梯度为生长条件，采用区域生长算法确定松铺材料区域，在图像特征值的变化梯度大于预设值时停止生长。
20.在该技术方案中，在根据图像特征值确定rgb图像中松铺材料区域时，可采用区域生长算法从rgb图像中提取出松铺材料区域。其中，种子点可选择为松铺材料区域中的任一点，以图像特征值的变化梯度为生长条件，在图像中对相似性质的像素点合并生成，直到图像特征值的变化梯度大于预设值时停止生长。通过本发明的技术方案，可以准确确定已摊铺路面上的摊铺路面区域，从而可以获得更为精准的边缘位置信息，以此计算摊铺宽度，检测结果更为精准。
21.其中，区域生长(region growing)是指将成组的像素或区域发展成更大区域的过程。从种子点的集合开始，从这些点的区域增长是通过将与每个种子点有相似属性比如强度、灰度级、纹理颜色等的相邻像素合并到此区域。
22.在上述任一技术方案中，根据点云数据确定摊铺宽度的步骤，具体包括：点云数据包括第一点云数据和第二点云数据，根据第一点云数据拟合边界直线；计算第二点云数据到边界直线的平均距离，将平均距离记为摊铺宽度；其中，第一点云数据和第二点云数据分别对应于松铺材料区域在垂直于道路延伸方向上的第一边缘位置信息和第二边缘位置信息。
23.在该技术方案中，与松铺材料区域的边缘位置信息对应的点云数据包括第一点云数据和第二点云数据。其中，第一点云数据和第二点云数据分别对应于松铺材料区域在垂直于道路延伸方向上的第一边缘位置信息和第二边缘位置信息。在根据上述点云数据确定摊铺宽度时，首先根据第一点云数据拟合出边界直线，其次计算第二点云数据到该边界直
线的平均距离，将平均距离记为摊铺宽度。本发明的计算方式简单可靠，由此可获得更加准确可靠的摊铺宽度，有利于提高摊铺质量。
24.具体地，还可根据第一点云数据拟合出第一边界直线，根据第二点云数据拟合出第二边界直线，计算第一边界直线和第二边界直线之间的平均距离，将该平均距离记为摊铺宽度。
25.在上述任一技术方案中，在通过标定好的车载图像采集装置获取已摊铺路面区域的图像信息的步骤之前，还包括：通过车载图像采集装置获取路面区域的图像信息；从路面区域的图像信息中提取路面区域的深度图像；从深度图像中提取路面区域除道路边界区域以外区域对应的第三点云数据及道路边界区域对应的第四点云数据；根据第三点云数据和第四点云数据计算点云法向量；根据点云法向量和参考法向量计算车载图像采集装置的外参数，以对车载图像采集装置采集的深度图像进行标定；其中，路面区域为已摊铺路面区域或待摊铺路面区域。
26.在该技术方案中，在通过标定好的车载图像采集装置获取已摊铺路面区域的图像信息之前，还需对车载图像采集装置进行外参标定。具体地，通过车载图像采集装置获取路面区域的图像信息，并从中提取出路面区域的深度图像，从该深度图像中提取路面区域除道路边界区域以外区域对应的第三点云数据以及道路边界区域对应的第四点云数据，通过上述第三点云数据和第四点云数据可计算出点云法向量，通过对该点云法向量与参考法向量进行计算，可以得到车载图像采集装置的外参数，根据这个外参数可对车载图像采集装置进行标定。标定结束后，才可将车载图像采集装置的坐标系关联统一到世界坐标系，即和摊铺机、熨平板处于同一坐标系。这样车载图像采集装置所获得的图像数据才可靠，与实际相符，在图像数据可靠的情况下，所计算出的摊铺宽度更加真实、可靠。
27.另外，还需说明的是，在进行上述标定的过程中，所采用的深度图像不局限于已摊铺路面区域的深度图像，待摊铺路面区域的深度图像同样适用。
28.在上述任一技术方案中，还包括：获取已摊铺路面的位置信息；根据已摊铺路面的位置信息和摊铺宽度绘制摊铺宽度地图；将摊铺宽度地图发送至显示装置进行显示。
29.在该技术方案中，通过获取已摊铺路面的位置信息，结合摊铺宽度，可以得到采样的已摊铺路面的摊铺宽度地图，将摊铺宽度地图发送至显示装置进行显示，这样可以更加直观查看每段道路下的摊铺宽度，可用来帮助判断摊铺质量及工程量的测量与预测。
30.根据本发明的第二方面，提出了一种基于车载图像采集装置的摊铺宽度检测装置，包括：存储器，存储有程序或指令；处理器，处理器执行程序或指令时实现如上述任一技术方案的基于车载图像采集装置的摊铺宽度检测方法的步骤。
31.本发明提供的基于车载图像采集装置的摊铺宽度检测装置，包括存储器和处理器，其中，存储器存储有程序或指令，处理器执行上述程序或指令时，实现如上述任一技术方案的摊铺宽度检测方法的步骤，因此，该摊铺宽度检测装置具有该摊铺宽度检测方法全部有益效果，在此不再一一论述。
32.根据本发明的第三方面，提出了一种基于车载图像采集装置的摊铺宽度检测装置，包括：获取单元，用于通过标定好的车载图像采集装置获取已摊铺路面区域的图像信息；提取单元，用于从已摊铺路面区域的图像信息中提取已摊铺路面区域的rgb图像和深度图像；第一处理单元，用于根据rgb图像确定已摊铺路面区域中松铺材料区域的边缘位置信
息；第二处理单元，用于从深度图像中提取与边缘位置信息对应的点云数据；计算单元，用于根据点云数据确定摊铺宽度。
33.本发明提供的摊铺宽度检测装置包括获取单元、提取单元、第一处理单元、第二处理单元及计算单元。首先获取单元通过标定好的车载图像采集装置获取已摊铺路面区域的图像信息，提取单元从中提取已摊铺路面区域的rgb图像和深度图像。而后第一处理单元通过对已摊铺路面的rgb图像进行预处理，可定位已摊铺路面区域中松铺材料区域的边缘位置信息。第二处理单元从深度图像中提取出与松铺材料区域的边缘位置信息对应的点云数据。计算单元根据上述点云数据可计算出摊铺宽度。本发明提供的摊铺宽度检测装置，通过对已摊铺路面区域的图像进行计算得到摊铺宽度，是一种直接检测的方式，因此对于直板摊铺机、伸缩摊铺机都适用，并且相对于相关技术中采用距离传感器测量熨平板的宽度，间接测量摊铺宽度的方式，检测结果更为准确，从而可以更好的帮助判断摊铺质量以及对工程量进行测量和预测。
34.其中，rgb图像即rgb色彩模式(red green blue color mode)的图像，rgb色彩模式是工业界的一种颜色标准，是通过对红、绿、蓝三个颜色通道的变化以及它们相互之间的叠加来得到各式各样的颜色。
35.深度图像(depth image)，存储三维深度特征信息的图像，也被称为距离图像(range image)，是指图像采集器采集到的场景中各点的距离(深度)值作为像素值的图像，它直接反映了景物可见表面的几何形状。深度图像经过坐标变换可以计算为点云数据。
36.具体地，车载图像采集装置可为双目视觉相机或tof相机。
37.在上述技术方案中，第一处理单元，具体用于根据图像特征值确定rgb图像中的松铺材料区域；根据松铺材料区域确定对应的边缘位置信息；其中，图像特征值包括以下任一项或其组合：颜色值、亮度值、灰度值、纹理值。
38.在该技术方案中，第一处理单元在根据摊铺路面的rgb图像确定已摊铺路面区域中松铺材料区域的边缘位置信息时，由于松铺材料区域在图像上呈现的图像特征值，与未摊铺的路面区域或道路边界区域(比如边界地面或墙面)在图像上呈现的图像特征值，明显不同，因此根据图像特征值的变化情况可以确定出松铺材料区域。进而可根据松铺材料区域定位对应的边缘位置信息。
39.其中，图像特征值包括颜色值、亮度值、灰度值、纹理值中任一项或其组合，但不限于此。
40.在上述任一技术方案中，第一处理单元，具体还用于以松铺材料区域中的任一点为种子点，以图像特征值的变化梯度为生长条件，采用区域生长算法确定松铺材料区域，在图像特征值的变化梯度大于预设值时停止生长。
41.在该技术方案中，第一处理单元在根据图像特征值确定rgb图像中松铺材料区域时，可采用区域生长算法从rgb图像中提取出松铺材料区域。其中，种子点可选择为松铺材料区域中的任一点，以图像特征值的变化梯度为生长条件，在图像中对相似性质的像素点合并生成，直到图像特征值的变化梯度大于预设值时停止生长。通过本发明的技术方案，可以准确确定已摊铺路面上的摊铺路面区域，从而可以获得更为精准的边缘位置信息，以此计算摊铺宽度，检测结果更为精准。
42.其中，区域生长(region growing)是指将成组的像素或区域发展成更大区域的过
程。从种子点的集合开始，从这些点的区域增长是通过将与每个种子点有相似属性比如强度、灰度级、纹理颜色等的相邻像素合并到此区域。
43.在上述任一技术方案中，计算单元具体用于：点云数据包括第一点云数据和第二点云数据，根据第一点云数据拟合边界直线；计算第二点云数据到边界直线的平均距离，将平均距离记为摊铺宽度；其中，第一点云数据和第二点云数据分别对应于松铺材料区域在垂直于道路延伸方向上的第一边缘位置信息和第二边缘位置信息。
44.在该技术方案中，与松铺材料区域的边缘位置信息对应的点云数据包括第一点云数据和第二点云数据。其中，第一点云数据和第二点云数据分别对应于松铺材料区域在垂直于道路延伸方向上的第一边缘位置信息和第二边缘位置信息。在计算单元根据上述点云数据确定摊铺宽度时，首先根据第一点云数据拟合出边界直线，其次计算第二点云数据到该边界直线的平均距离，将平均距离记为摊铺宽度。本发明的计算方式简单可靠，由此可获得更加准确可靠的摊铺宽度，有利于提高摊铺质量。
45.具体地，还可根据第一点云数据拟合出第一边界直线，根据第二点云数据拟合出第二边界直线，计算第一边界直线和第二边界直线之间的平均距离，将该平均距离记为摊铺宽度。
46.在上述任一技术方案中，摊铺宽度检测装置还包括标定单元，标定单元用于：在从深度图像中提取与松铺材料区域的边缘位置信息对应的点云数据的步骤之前，从深度图像中提取路面区域对应的第三点云数据及道路边界区域对应的第四点云数据；根据第三点云数据和第四点云数据计算点云法向量；根据点云法向量和参考法向量计算车载图像采集装置的外参数，以对车载图像采集装置采集的深度图像进行标定。
47.在该技术方案中，在对深度图像进行处理以提取出与铺料边缘位置信息对应的点云数据之前，还需对车载图像采集装置进行外参标定。具体地，通过标定单元获取上述深度图像，并从中提取出路面区域对应的第三点云数据以及道路边界区域对应的第四点云数据，通过第三点云数据和第四点云数据可计算出点云法向量，通过对该点云法向量与参考法向量进行计算，可以得到车载图像采集装置的外参数，根据这个外参数可对车载图像采集装置进行标定。标定结束后，才可将车载图像采集装置的坐标系关联统一到世界坐标系，即和摊铺机、熨平板处于同一坐标系。这样车载图像采集装置所获得的图像数据才可靠，与实际相符，在图像数据可靠的情况下，所计算出的摊铺宽度更加真实、可靠。
48.另外，还需说明的是，在进行上述标定的过程中，所采用的深度图像不局限于已摊铺路面区域的深度图像，待摊铺路面区域的深度图像同样适用。
49.在上述任一技术方案中，摊铺宽度检测装置还包括显示单元，显示单元用于：获取已摊铺路面的位置信息；根据已摊铺路面的位置信息和摊铺宽度绘制摊铺宽度地图；将摊铺宽度地图发送至显示装置进行显示。
50.在该技术方案中，通过获取已摊铺路面的位置信息，结合摊铺宽度，可以得到采样的已摊铺路面的摊铺宽度地图，将摊铺宽度地图发送至显示装置进行显示，这样可以更加直观查看每段道路下的摊铺宽度，可用来帮助判断摊铺质量及工程量的测量与预测。
51.根据本发明的第四方面，提供了一种可读存储介质，其上存储有程序或指令，程序或指令被处理器执行时实现如上述任一技术方案的摊铺宽度检测方法的步骤。
52.本发明提供的可读存储介质，其存储的程序或指令被执行时，可实现如上述任一
技术方案的摊铺宽度检测方法的步骤，因此，具有上述摊铺宽度检测方法的全部有益效果，在此不再一一论述。
53.本发明第五方面，提供了一种摊铺机，包括：如上述任一技术方案的基于车载图像采集装置的摊铺宽度检测装置；和/或如上述技术方案所述的可读存储介质。
54.本技术方案提供的摊铺机包括如上述任一技术方案的基于车载图像采集装置的摊铺宽度检测装置，和/或如上述技术方案的可读存储介质，因此，该摊铺机具有上述摊铺宽度检测装置和/或上述可读存储介质的全部有益效果，不再赘述。
55.本发明的附加方面和优点将在下面的描述部分中变得明显，或通过本发明的实践了解到。
附图说明
56.本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
57.图1是本发明一个实施例的基于车载图像采集装置的摊铺宽度检测方法的流程示意图之一；
58.图2是本发明一个实施例的基于车载图像采集装置的摊铺宽度检测方法的流程示意图之二；
59.图3是本发明一个实施例的基于车载图像采集装置的摊铺宽度检测方法的流程示意图之三；
60.图4是本发明一个实施例的基于车载图像采集装置的摊铺宽度检测方法的流程示意图之四；
61.图5是本发明一个实施例的基于车载图像采集装置的摊铺宽度检测方法的标定示意图；
62.图6是本发明一个实施例的基于车载图像采集装置的摊铺宽度检测装置的示意框图之一；
63.图7是本发明一个实施例的基于车载图像采集装置的摊铺宽度检测装置的示意框图之二；
64.图8a是本发明一个实施例的基于车载图像采集装置的摊铺宽度检测装置的结构示意图；
65.图8b是本发明的一个实施例的基于车载图像采集装置的摊铺宽度检测方法中的已摊铺路面区域的rgb图像；
66.图9是本发明一个实施例的基于车载图像采集装置的摊铺宽度检测方法的流程示意图之五；
67.图10是本发明一个实施例的基于车载图像采集装置的摊铺宽度检测方法的逻辑示意图。
具体实施方式
68.为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本发明的实施
例及实施例中的特征可以相互组合。
69.在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不限于下面公开的具体实施例的限制。
70.下面参照图1至图10描述根据本发明一些实施例所述车载图像采集装置的摊铺宽度检测方法(以下简称摊铺宽度检测方法)及装置、可读存储介质和摊铺机。
71.实施例一
72.图1是本发明一个实施例的摊铺宽度检测方法的流程示意图之一。其中，该摊铺宽度检测方法，包括：
73.步骤102，通过标定好的车载图像采集装置获取已摊铺路面区域的图像信息；
74.步骤104，从已摊铺路面区域的图像信息中提取已摊铺路面区域的rgb图像和深度图像；
75.步骤106，根据rgb图像确定已摊铺路面区域中松铺材料区域的边缘位置信息；
76.步骤108，从深度图像中提取与松铺材料区域的边缘位置信息对应的点云数据；
77.步骤110，根据点云数据确定摊铺宽度。
78.本实施例提供的摊铺宽度检测方法，首先通过车载图像采集装置获取已摊铺路面区域的图像信息，并从中提取已摊铺路面区域的rgb图像和深度图像。而后通过对已摊铺路面的rgb图像进行预处理，可定位已摊铺路面区域中松铺材料区域的边缘位置信息。从深度图像中提取出与松铺材料区域的边缘位置信息对应的点云数据。根据上述点云数据可计算出摊铺宽度。本发明实施例提供的摊铺宽度检测方法，通过对已摊铺路面区域的图像进行计算得到摊铺宽度，是一种直接检测的方式，因此对于直板摊铺机、伸缩摊铺机都适用，并且相对于相关技术中采用距离传感器测量熨平板的宽度，间接测量摊铺宽度的方式，检测结果更为准确，从而可以更好的帮助判断摊铺质量以及对工程量进行测量和预测。
79.具体地，车载图像采集装置可为双目视觉相机或tof相机或激光雷达模块。
80.实施例二
81.图2是本发明一个实施例的摊铺宽度检测方法的流程示意图之二。其中，该摊铺宽度检测方法，包括：
82.步骤202，通过标定好的车载图像采集装置获取已摊铺路面区域的图像信息；
83.步骤204，从已摊铺路面区域的图像信息中提取已摊铺路面区域的rgb图像和深度图像；
84.步骤206，根据图像特征值确定rgb图像中的松铺材料区域；
85.步骤208，根据松铺材料区域确定对应的边缘位置信息；
86.步骤210，从深度图像中提取与松铺材料区域的边缘位置信息对应的点云数据；
87.步骤212，根据点云数据确定摊铺宽度。
88.其中，图像特征值包括以下任一项或其组合：颜色值、亮度值、灰度值、纹理值。
89.在该实施例中，在根据摊铺路面的rgb图像确定已摊铺路面区域中松铺材料区域的边缘位置信息时，由于松铺材料区域在图像上呈现的图像特征值，与没有松铺材料的路面区域或道路边界区域(比如边界地面或墙面)在图像上呈现的图像特征值，明显不同，因此根据图像特征值的变化情况可以确定出松铺材料区域。进而可根据松铺材料区域定位对
应的边缘位置信息。
90.实施例三
91.在上述实施例二中，根据图像特征值确定rgb图像中的松铺材料区域的步骤，具体包括：以松铺材料区域中的任一点为种子点，以图像特征值的变化梯度为生长条件，采用区域生长算法确定松铺材料区域，在图像特征值的变化梯度大于预设值时停止生长。
92.在该实施例中，在根据图像特征值确定rgb图像中松铺材料区域时，可采用区域生长算法从rgb图像中提取出松铺材料区域。其中，种子点可选择为松铺材料区域中的任一点，以图像特征值的变化梯度为生长条件，在图像中对相似性质的像素点合并生成，直到图像特征值的变化梯度大于预设值时停止生长。通过本发明的技术方案，可以准确确定已摊铺路面上的摊铺路面区域，从而可以获得更为精准的边缘位置信息，以此计算摊铺宽度，检测结果更为精准。
93.实施例四
94.图3是本发明一个实施例的摊铺宽度检测方法的流程示意图之三。其中，该摊铺宽度检测方法，包括：
95.步骤302，通过标定好的车载图像采集装置获取已摊铺路面区域的图像信息；
96.步骤304，从已摊铺路面区域的图像信息中提取已摊铺路面区域的rgb图像和深度图像；
97.步骤306，根据图像特征值确定rgb图像中的松铺材料区域；
98.步骤308，根据松铺材料区域确定对应的边缘位置信息；
99.步骤310，从深度图像中提取与松铺材料区域的边缘位置信息对应的点云数据，点云数据包括第一点云数据和第二点云数据；
100.步骤312，根据第一点云数据拟合边界直线；
101.步骤314，计算第二点云数据到边界直线的平均距离，将平均距离记为摊铺宽度。
102.其中，图像特征值包括颜色值、亮度值、灰度值、纹理值中任一项或其组合，但不限于此。第一点云数据和第二点云数据分别对应于松铺材料区域在垂直于道路延伸方向上的第一边缘位置信息和第二边缘位置信息。
103.在该实施例中，与松铺材料区域的边缘位置信息对应的点云数据包括第一点云数据和第二点云数据。其中，第一点云数据和第二点云数据分别对应于松铺材料区域在垂直于道路延伸方向上的第一边缘位置信息和第二边缘位置信息。在根据上述点云数据确定摊铺宽度时，首先根据第一点云数据拟合出边界直线，其次计算第二点云数据到该边界直线的平均距离，将平均距离记为摊铺宽度。本发明实施例的计算方式简单可靠，由此可获得更加准确可靠的摊铺宽度，有利于提高摊铺质量。
104.具体地，还可根据第一点云数据拟合出第一边界直线，根据第二点云数据拟合出第二边界直线，计算第一边界直线和第二边界直线之间的平均距离，将该平均距离记为摊铺宽度。
105.实施例五
106.图4是本发明一个实施例的摊铺宽度检测方法的流程示意图之四。其中，该摊铺宽度检测方法，包括：
107.步骤402，通过标定好的车载图像采集装置获取已摊铺路面区域的图像信息；
108.步骤404，从已摊铺路面区域的图像信息中提取已摊铺路面区域的rgb图像和深度图像；
109.步骤406，根据rgb图像确定已摊铺路面区域中松铺材料区域的边缘位置信息；
110.步骤408，从深度图像中提取与松铺材料区域的边缘位置信息对应的点云数据；
111.步骤410，根据点云数据确定摊铺宽度；
112.步骤412，获取已摊铺路面的位置信息；根据已摊铺路面的位置信息和摊铺宽度绘制摊铺宽度地图；
113.步骤414，将摊铺宽度地图发送至显示装置进行显示。
114.在该实施例中，通过获取已摊铺路面的位置信息，结合摊铺宽度，可以得到采样的已摊铺路面的摊铺宽度地图，将摊铺宽度地图发送至显示装置进行显示，这样可以更加直观查看每段道路下的摊铺宽度，可用来帮助判断摊铺质量及工程量的测量与预测。
115.实施例六
116.图5是本发明一个实施例的摊铺宽度检测方法中对深度图像进行标定的方法的示意图。其中，该摊铺宽度检测方法，包括：
117.步骤502，通过车载图像采集装置获取路面区域的图像信息；
118.步骤504，从路面区域的图像信息中提取路面区域的深度图像；
119.步骤506，从深度图像中提取路面区域除道路边界区域以外区域对应的第三点云数据及道路边界区域对应的第四点云数据；
120.步骤508，根据第三点云数据和第四点云数据计算点云法向量；
121.步骤510，根据点云法向量和参考法向量计算车载图像采集装置的外参数，以对车载图像采集装置采集的深度图像进行标定。
122.其中，路面区域为已摊铺路面区域或待摊铺路面区域。在该实施例中，在通过标定好的车载图像采集装置获取已摊铺路面区域的图像信息之前，还需对车载图像采集装置进行外参标定。具体地，通过车载图像采集装置获取路面区域的图像信息，并从中提取出路面区域的深度图像，从该深度图像中提取路面区域除道路边界区域以外区域对应的第三点云数据以及道路边界区域对应的第四点云数据，通过上述第三点云数据和第四点云数据可计算出点云法向量，通过对该点云法向量与参考法向量进行计算，可以得到深度图像的外参数，根据这个外参数可对深度图像进行标定，标定结束后，才可关联统一到世界坐标系，即和摊铺机、熨平板处于同一坐标系。这样所获得的图像数据才可靠，与实际相符，在图像数据可靠的情况下，所计算出的摊铺宽度更加真实、可靠。
123.实施例七
124.图6是本发明一个实施例的摊铺宽度检测装置600的示意框图之一。
125.其中，该摊铺宽度检测装置600，包括：
126.存储器602，存储有程序或指令；
127.处理器604，处理器604执行程序或指令时实现如上述任一实施例的摊铺宽度检测方法的步骤。
128.本实施例提供的摊铺宽度检测装置600包括存储器602和处理器604，其中，存储器602存储有程序或指令，处理器604执行上述程序或指令时，实现如上述任一实施例的摊铺宽度检测方法的步骤，因此，该摊铺宽度检测装置600具有该摊铺宽度检测方法全部有益效
果，在此不再一一论述。
129.实施例八
130.图7是本发明一个实施例的摊铺宽度检测装置700的示意框图之二。
131.其中，该摊铺宽度检测装置700，包括：
132.获取单元702，用于通过车载图像采集装置获取已摊铺路面区域的图像信息；
133.提取单元704，用于从已摊铺路面区域的图像信息中提取已摊铺路面区域的rgb图像和深度图像；
134.第一处理单元706，用于根据rgb图像确定已摊铺路面区域中松铺材料区域的边缘位置信息；
135.第二处理单元708，用于从深度图像中提取与边缘位置信息对应的点云数据；
136.计算单元710，用于根据点云数据确定摊铺宽度。
137.本实施例提供的摊铺宽度检测装置700包括获取单元702、提取单元704、第一处理单元706、第二处理单元708及计算单元710。首先获取单元702通过标定好的车载图像采集装置获取已摊铺路面区域的图像信息，提取单元704从中提取已摊铺路面区域的rgb图像和深度图像。而后第一处理单元706通过对已摊铺路面的rgb图像进行预处理，可定位已摊铺路面区域中松铺材料区域的边缘位置信息。第二处理单元708从深度图像中提取出与松铺材料区域的边缘位置信息对应的点云数据。计算单元710根据上述点云数据可计算出摊铺宽度。本发明提供的摊铺宽度检测装置700，通过对已摊铺路面区域的图像进行计算得到摊铺宽度，是一种直接检测的方式，因此对于直板摊铺机、伸缩摊铺机都适用，并且相对于相关技术中采用距离传感器测量熨平板的宽度，间接测量摊铺宽度的方式，检测结果更为准确，从而可以更好的帮助判断摊铺质量以及对工程量进行测量和预测。
138.其中，rgb图像即rgb色彩模式(red green blue color mode)的图像，rgb色彩模式是工业界的一种颜色标准，是通过对红、绿、蓝三个颜色通道的变化以及它们相互之间的叠加来得到各式各样的颜色。
139.深度图像(depth image)，存储三维深度特征信息的图像，也被称为距离图像(range image)，是指图像采集器采集到的场景中各点的距离(深度)值作为像素值的图像，它直接反映了景物可见表面的几何形状。深度图像经过坐标变换可以计算为点云数据。
140.具体地，车载图像采集装置可为双目视觉相机或tof相机。
141.实施例九
142.在上述实施例中，第一处理单元706，具体用于根据图像特征值确定rgb图像中的松铺材料区域；根据松铺材料区域确定对应的边缘位置信息；其中，图像特征值包括以下任一项或其组合：颜色值、亮度值、灰度值、纹理值。
143.在该实施例中，第一处理单元706在根据摊铺路面的rgb图像确定已摊铺路面区域中松铺材料区域的边缘位置信息时，由于松铺材料区域在图像上呈现的图像特征值，与未摊铺的路面区域或道路边界区域(比如边界地面或墙面)在图像上呈现的图像特征值，明显不同，因此根据图像特征值的变化情况可以确定出松铺材料区域。进而可根据松铺材料区域定位对应的边缘位置信息。
144.其中，图像特征值包括颜色值、亮度值、灰度值、纹理值中任一项或其组合，但不限于此。
145.实施例十
146.在上述任一实施例中，第一处理单元706，具体还用于以松铺材料区域中的任一点为种子点，以图像特征值的变化梯度为生长条件，采用区域生长算法确定松铺材料区域，在图像特征值的变化梯度大于预设值时停止生长。
147.在该实施例中，第一处理单元706在根据图像特征值确定rgb图像中松铺材料区域时，可采用区域生长算法从rgb图像中提取出松铺材料区域。其中，种子点可选择为松铺材料区域中的任一点，以图像特征值的变化梯度为生长条件，在图像中对相似性质的像素点合并生成，直到图像特征值的变化梯度大于预设值时停止生长。通过本发明的实施例，可以准确确定已摊铺路面上的摊铺路面区域，从而可以获得更为精准的边缘位置信息，以此计算摊铺宽度，检测结果更为精准。
148.其中，区域生长(region growing)是指将成组的像素或区域发展成更大区域的过程。从种子点的集合开始，从这些点的区域增长是通过将与每个种子点有相似属性比如强度、灰度级、纹理颜色等的相邻像素合并到此区域。
149.实施例十一
150.在上述任一实施例中，计算单元710具体用于：点云数据包括第一点云数据和第二点云数据，根据第一点云数据拟合边界直线；计算第二点云数据到边界直线的平均距离，将平均距离记为摊铺宽度；其中，第一点云数据和第二点云数据分别对应于松铺材料区域在垂直于道路延伸方向上的第一边缘位置信息和第二边缘位置信息。
151.在该实施例中，与松铺材料区域的边缘位置信息对应的点云数据包括第一点云数据和第二点云数据。其中，第一点云数据和第二点云数据分别对应于松铺材料区域在垂直于道路延伸方向上的第一边缘位置信息和第二边缘位置信息。在计算单元710根据上述点云数据确定摊铺宽度时，首先根据第一点云数据拟合出边界直线，其次计算第二点云数据到该边界直线的平均距离，将平均距离记为摊铺宽度。本发明的计算方式简单可靠，由此可获得更加准确可靠的摊铺宽度，有利于提高摊铺质量。
152.具体地，还可根据第一点云数据拟合出第一边界直线，根据第二点云数据拟合出第二边界直线，计算第一边界直线和第二边界直线之间的平均距离，将该平均距离记为摊铺宽度。
153.实施例十二
154.在上述任一实施例中，摊铺宽度检测装置700还包括标定单元712，标定单元712用于：在通过标定好的车载图像采集装置获取已摊铺路面区域的图像信息的步骤之前，通过车载图像采集装置获取路面区域的图像信息；从路面区域的图像信息中提取路面区域的深度图像；从深度图像中提取路面区域除道路边界区域以外区域对应的第三点云数据及道路边界区域对应的第四点云数据；根据第三点云数据和第四点云数据计算点云法向量；根据点云法向量和参考法向量计算车载图像采集装置的外参数，以对车载图像采集装置采集的深度图像进行标定；其中，路面区域为已摊铺路面区域或待摊铺路面区域。
155.在该实施例中，在通过标定好的车载图像采集装置获取已摊铺路面区域的图像信息之前，还需对车载图像采集装置进行外参标定。具体地，通过车载图像采集装置获取路面区域的图像信息，并从中提取出路面区域的深度图像，从该深度图像中提取路面区域除道路边界区域以外区域对应的第三点云数据以及道路边界区域对应的第四点云数据，通过第
三点云数据和第四点云数据可计算出点云法向量，通过对该点云法向量与参考法向量进行计算，可以得到车载图像采集装置的外参数，根据这个外参数可对车载图像采集装置进行标定。标定结束后，才可将车载图像采集装置的坐标系关联统一到世界坐标系，即和摊铺机、熨平板处于同一坐标系。这样车载图像采集装置所获得的图像数据才可靠，与实际相符，在图像数据可靠的情况下，所计算出的摊铺宽度更加真实、可靠。
156.另外，还需说明的是，在进行上述标定的过程中，所采用的深度图像不局限于已摊铺路面区域的深度图像，待摊铺路面区域的深度图像同样适用。
157.实施例十三
158.在上述任一实施例中，摊铺宽度检测装置700还包括显示单元714，显示单元714用于：获取已摊铺路面的位置信息；根据已摊铺路面的位置信息和摊铺宽度绘制摊铺宽度地图；将摊铺宽度地图发送至显示装置进行显示。
159.在该实施例中，通过获取已摊铺路面的位置信息，结合摊铺宽度，可以得到采样的已摊铺路面的摊铺宽度地图，将摊铺宽度地图发送至显示装置进行显示，这样可以更加直观查看每段道路下的摊铺宽度，可用来帮助判断摊铺质量及工程量的测量与预测。
160.实施例十四
161.由于摊铺宽度是衡量路面摊铺施工质量以及摊铺工程量预测的重要指标，所以实时获取、记录摊铺宽度非常关键。
162.针对路面施工中摊铺路面宽度检测的需求，本实施例提供了一种基于车载图像采集装置的摊铺宽度检测方法及装置。
163.图8a是本实施例的基于车载图像采集装置的摊铺宽度检测装置的结构示意图；图8b是本实施例的基于车载图像采集装置的摊铺宽度检测方法中的已摊铺路面区域的rgb图像；图9是本实施例的摊铺宽度检测方法的流程示意图。图10是本实施例的摊铺宽度检测方法的原理图。下面结合图8a、图8b、图9、图10对摊铺宽度检测方法进行详细说明。
164.如图10所示，本实施例提供的上述摊铺宽度检测方法，一方面可根据已摊铺路面的rgb图像，确定铺料区域(松铺材料区域)，进而确定出铺料区域的图像边界线，另一方面可根据已摊铺路面的深度图像进行外参标定。而后，根据标定好的深度图像与图像边界线确定出点云边界散点，点云边界散点包括左边界散点(第一点云数据)和右边界散点(第二点云数据)，根据上述左边界散点和右边界散点可计算出摊铺宽度。
165.如图8a所示，上述摊铺宽度检测装置包括图像采集模块、显示模块、卫星差分定位模块、工控机等。
166.对图像采集模块、工控机供电，将图像采集模块与工控机通过网线连接，并测试，保证数据联通。
167.如图9所示，上述摊铺宽度检测方法包括：
168.步骤902，通过在摊铺机上安装视觉相机测量模块，采集摊铺路面图像；
169.步骤904，在采集摊铺路面图像的同时，将卫星差分定位系统获取的高精度位置信息及响应的卫星授时时刻数据与图像一并传输至搭载于摊铺机上的检测平台工控机上；
170.步骤906，通过算法对采集到的图像进行预处理，定位图像中路面两边的边缘点；
171.步骤908：通过对两边缘之间的尺寸进行计算，同时结合卫星定位数据，可以得到采样区域宽度值并进行存储；
172.步骤910：通过在摊铺机上安装显示模块，将结合了卫星定位信息的宽度数据传输至显示屏进行显示。
173.其中，图像采集模块可同时输出rgb图像及深度图像，具体地，可为双目相机或tof相机或激光雷达传感器。
174.具体地，显示模块可为led显示屏。
175.具体地，在步骤904中，对卫星定位模块进行数据解析，提取gnss数据流中的时间戳和经纬度坐标数据，用于与摊铺宽度数据重新组包。
176.具体地，在步骤906中，在摊铺机进行摊铺过程中，视觉相机对后方摊铺路面进行采样。获取视觉相机的深度图像，对深度图像进行外参标定，数据中松铺地面水平。标定时将车体开至平整路面，视觉相机正对道路。采集深度图像中的道路边界与摊铺材料区域数据并计算点云法向量据并计算点云法向量已知车体正对墙面且地面水平，则可建立熨平板坐标系下边界与地面的法向量此时可采用奇异值分解获得视觉相机至熨平板坐标系外参数rt：
[0177][0178]
v,u＝svd(h)；
[0179]
r＝v
×ut
。
[0180]
其中，h指的是由上述四个法向量组成的矩阵，v、u指的是通过svd(singular value decomposition)算法计算出来的奇异值，r是外参数的旋转矩阵。计算出旋转矩阵r后根据安装位置配置平移量t。
[0181]
进一步地，在视觉传感器返回的图像上提取松铺材料区域。采用区域生长计算出摊铺区域边界，种子点选择为图像中部靠下区域(靠近熨平板的松铺区域)如图8b中，804所指区域即种子点选择区域，以该种子区域向左右及上方增长，增长条件为颜色及图像亮度。若颜色及亮度变化梯度过大则终止。如图8b中，802所指区域即道路边界区域。
[0182]
在步骤908中，根据图像定位边缘位置，从深度图像中提取出边缘稠密点，根据两侧点云计算松铺宽度：
[0183]
具体地，采用随机抽样一致算法ransac(random sample consensus)算法拟合左侧直线，点云为p，记拟合后的内点为pl、直线方程为y＝kx b，则pl,k,b＝ransac(p)；获得右侧点云的均值，最后计算这些点到左侧直线方程的投影距离即为当前的摊铺宽度w。将w输出至显示模块，结合gps位置绘制摊铺宽度地图。
[0184]
实施例十五
[0185]
本实施例提供了一种可读存储介质，其上存储有程序或指令，程序或指令被处理器执行时实现如上述任一实施例的摊铺宽度检测方法的步骤。
[0186]
本实施例提供的可读存储介质，其存储的程序或指令被执行时，可实现如上述任一实施例的摊铺宽度检测方法的步骤，因此，具有上述摊铺宽度检测方法的全部有益效果，在此不再一一论述。
[0187]
实施例十六
[0188]
本实施例提供了一种摊铺机，包括：如上述任一实施例的基于车载图像采集装置
的摊铺宽度检测装置；和/或如上述实施例的可读存储介质。
[0189]
本实施例提供的摊铺机包括如上述任一实施例的基于车载图像采集装置的摊铺宽度检测装置，和/或如上述实施例的可读存储介质，因此，该摊铺机具有上述摊铺宽度检测装置和/或上述可读存储介质的全部有益效果，不再赘述。
[0190]
在本说明书的描述中，术语“第一”、“第二”仅用于描述的目的，而不能理解为指示或暗示相对重要性，除非另有明确的规定和限定；术语“连接”、“安装”、“固定”等均应做广义理解，例如，“连接”可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是直接相连，也可以通过中间媒介间接相连。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
[0191]
在本说明书的描述中，术语“一个实施例”、“一些实施例”、“具体实施例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或实例。而且，描述的具体特征、结构、材料或特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
[0192]
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。