占道信息确定方法和装置与流程

1.本技术涉及计算机视觉领域，尤其涉及一种占道信息确定方法和装置。


背景技术：

2.随着社会的发展，智能运输设备、智能家居设备、机器人等智能终端正在逐步进入人们的日常生活中。传感器在智能终端上发挥着十分重要的作用。安装在智能终端上的各式各样的传感器，比如毫米波雷达，激光雷达，摄像头，超声波雷达等，在智能终端的运动过程中感知周围的环境，收集数据，进行移动物体的辨识与追踪，以及静止场景如车道线、标示牌的识别，并结合导航仪及地图数据进行路径规划。传感器可以预先察觉到可能发生的危险并辅助甚至自主采取必要的规避手段，有效增加了智能终端的安全性和舒适性。
3.道路施工区是由交通锥、路栏、警示标志、施工车辆以及施工人员等多种标志物构成的区域，该道路场景是城市道路中主要的交通场景，也是影响车辆行驶安全的重要因素。在先进辅助驾驶系统(advanced driver assistance systems,adas)中，用于辅助车辆控制的自适应巡航控制(adaptive cruise control,acc)和自动紧急制动(advanced emergency braking,aeb)功能都要求系统能够通过传感器感知障碍物的占道情况，并采取相应的避障和车辆控制措施，以此来提高行车安全性，因此通过传感器对由施工区标志物组成的施工区进行识别显得尤为重要。
4.现有的施工区识别中，主要采用矩形标注框对检测到的施工区标志物进行框定以识别出道路施工区，矩形标注框难以准确给出施工标志物在路面的位置，这导致对施工区的占道情况评估不准确。因此，如何准确对施工区标志物识别进而确定施工区标志物的占道信息是亟待解决的问题。


技术实现要素：

5.本技术提供一种占道信息确定方法和装置，用以解决如何准确识别施工区标志物以确定施工区的占道信息。
6.第一方面，提供了一种确定占道信息的方法，获取第一图像，根据该第一图像确定第一感兴趣区域roi，该第一roi包括至少一个施工区标志物；获取该第一roi的第一二值图；对该第一二值图内的该至少一个施工区标志物进行边缘增强处理得到第二二值图；根据该第二二值图，获取该至少一个施工区标志物与路面的交界点集；根据该至少一个施工区标志物与路面的交界点集，确定该至少一个施工区标志物的占道信息；发送该占道信息，该占道信息包括该至少一个施工区标志物所在的车道信息和/或施工区的占道范围信息，该施工区由该至少一个施工区标志物组成。
7.在本技术实施例的技术方案中，通过对至少一个施工区标志物边缘轮廓识别，获取准确的施工区标志物的位置信息，以此获得准确的施工区标志物准确的占道信息，有助于adas系统制定可靠安全的控制策略，以此提高行车安全性。
8.结合第一方面，在第一方面的某些实现方式中，该第一二值图内的该至少一个施
工区标志物进行边缘增强处理得到第二二值图包括：对该第一二值图进行第一形态学运算得到第一图像，并对该第一二值图进行第二形态学运算得到第二图像；将该第一图像和该第二图像逐像素相减以获取第三图像；对该第一图像、该第二图像或者该第一二值图进行独立连通域检测以获取第四图像；对该第三图像和该第四图像使用基于标签约束的分水岭算法进行运算以获取第五图像，该第五图像为该第二二值图。
9.在本技术实施例的技术方案中，基于形态学运算的标签约束分水岭图像处理算法对施工区标志物的边缘进行增强检测，可以对不同类型的施工区标志物进行检测，泛化能力强，并且识别的每个施工区标志物边缘清晰，不存在粘连问题，提高了施工区判断的准确性。除此以外，准确的标志物轮廓可以助于确定施工区标志物和路面的交界点。
10.结合第一方面，在第一方面的某些实现方式中，该方法包括：该第一形态学运算包括膨胀运算，该第二形态学运算包括腐蚀运算。
11.结合第一方面，在第一方面的某些实现方式中，该方法包括：该第一形态学运算包括m次迭代的膨胀运算，该第二形态学运算包括n次迭代的腐蚀运算，其中m和n为大于等于1的正整数。
12.在本技术实施例的技术方案中，进行多次迭代有助于处理图像中更多的噪声，能够对图像中边缘存在粘连的施工区标志物进行分割，提升后续的独立连通单元判断的准确率。
13.结合第一方面，在第一方面的某些实现方式中，该第一roi包括：根据车道宽度、车道数目、第一距离和第二距离，获取该第一roi，其中，根据车道宽度和车道数目确定该第一roi的横向长度，根据第一距离和第二距离确定该第一roi的纵向长度，其中，该第一距离表示排除摄像头盲区后，该第一图像中车辆所在车道距离该车辆的最近距离，该第二距离表示该第一图像中该车辆在该车道距离该车辆的最远可观测距离。
14.在本技术实施例的技术方案中，基于摄像头标定及车道宽度、车道数目、第一距离以及第二距离约束的第一roi的获取方法，可以缩小算法检测范围，降低处理时延，提升感知系统的效率。
15.在某些可能实现的方式中，为了进一步提升施工区检测结果的准确性，降低检测时延并提升算法效率，可以通过移动目标检测或者语义分割模块对第一roi进行检测，筛除第一roi中的可移动目标。
16.结合第一方面，在第一方面的某些实现方式中，该获取该第一roi的第一二值图，包括：对该第一roi进行色彩空间三通道加权和运算，以获取该第一roi的单通道图，其中，该色彩空间包括rgb色彩空间、yuv色彩空间或者xyz色彩空间；对该单通道图进行二值化处理以获取该第一roi的第一二值图。
17.在本技术实施例的技术方案中，基于色彩空间三通道加权和的施工区标志物获取算法可以有效提取具备多种颜色的施工区标志物，对于标志物是否具有条状纹理不敏感，支持国标或者非国标的多种颜色标志物的检测，具有较强的泛化性。
18.结合第一方面，在第一方面的某些实现方式中，该获取该至少一个施工区标志物与路面的交界点集，包括：根据摄像头标定参数以及射影定理，获取该至少一个施工区标志物与路面的交界点集。
19.结合第一方面，在第一方面的某些实现方式中，该方法包括：根据第一聚类方法聚
类该至少一个施工区标志物与路面的交界点集，以确定不同的该施工区，其中，该第一聚类方法为该至少一个施工区标志物与路面的交界点集之间的距离小于等于最小距离门限值。
20.在本技术实施例的技术方案中，聚类后的施工区标志物将不连续的施工区区分开，不同施工区之间的空间可以作为车辆控制策略中的可使用空间，提高道路的使用率。
21.结合第一方面，在第一方面的某些实现方式中，该确定该至少一个施工区标志物的占道信息，包括：检测车道线以获取车辆坐标系下车道线的位置信息。根据该至少一个施工区标志物与路面的交界点集和该车道线的位置信息，获取该至少一个施工区标志物所在车道信息；根据该至少一个施工区标志物与路面的交界点集，获取该施工区的占道范围信息；根据该至少一个施工区标志物所在车道信息和该施工区占道的范围信息，确定该至少一个施工区标志物的占道信息。
22.在本技术实施例的技术方案中，车辆控制模块可以根据上报的施工区占道信息以及占道范围信息，做出有效地车辆行驶路径规划，并且，该上报方案相比于基于gps和高精地图的复杂方案，更加简单有效，不仅如此，施工区占道范围信息可以给车辆控制模块提供更加丰富的信息，进而提升车辆控制决策的准确性。
23.结合第一方面，在第一方面的某些实现方式中，该至少一个施工区标志物的占道信息，还包括：根据前一帧的该至少一个施工区标志物的占道信息，跟踪并更新该至少一个施工区标志物的占道信息。
24.在某些可能的实施方式中，可以对聚类后的施工区进行基于特征点匹配算法的跟踪，也可以基于卡尔曼滤波器算法对施工区标志物与路面交界点集拟合曲线建立运动方程，实现对该曲线的跟踪和状态更新。
25.在本技术实施例的技术方案中，基于多帧融合的车道占用情况的跟踪与更新，可以提升施工区检测结果的准确性和稳定性。
26.第二方面，提供了一种确定占道信息的装置，该装置包括采集模块、处理模块和收发模块，该采集模块用于：获取第一图像，该处理模块用于：根据该第一图像确定第一感兴趣区域roi，该第一roi包括至少一个施工区标志物；获取该第一roi的第一二值图；对该第一二值图内的该至少一个施工区标志物进行边缘增强处理得到第二二值图；根据该第二二值图，获取该至少一个施工区标志物与路面的交界点集；根据该至少一个施工区标志物与路面的交界点集，确定该至少一个施工区标志物的占道信息；该收发模块用于：发送该占道信息，该占道信息包括该至少一个施工区标志物所在的车道信息和/或施工区的占道范围信息，该施工区由该至少一个施工区标志物组成。
27.在本技术实施例的技术方案中，通过对至少一个施工区标志物边缘轮廓识别，获取准确的施工区标志物的位置信息，以此获得准确的施工区标志物准确的占道信息，有助于adas系统制定可靠安全的控制策略，以此提高行车安全性。
28.结合第二方面，在第二方面的某些实现方式中，该处理模块还用于：对该第一二值图进行第一形态学运算得到第一图像，并对该第一二值图进行第二形态学运算得到第二图像；将该第一图像和该第二图像逐像素相减以获取第三图像；对该第一图像、该第二图像或者该第一二值图进行独立连通域检测以获取第四图像；对该第三图像和该第四图像使用基于标签约束的分水岭算法进行运算以获取第五图像，该第五图像为该第二二值图。
29.在本技术实施例的技术方案中，基于形态学运算的标签约束分水岭图像处理算法
对施工区标志物的边缘进行增强检测，可以对不同类型的施工区标志物进行检测，泛化能力强，并且识别的每个施工区标志物边缘清晰，不存在粘连问题，提高了施工区判断的准确性。除此以外，准确的标志物轮廓可以助于确定施工区标志物和路面的交界点。
30.结合第二方面，在第二方面的某些实现方式中，该装置包括：该第一形态学运算包括膨胀运算，该第二形态学运算包括腐蚀运算。
31.结合第二方面，在第二方面的某些实现方式中，该装置包括：该第一形态学运算包括m次迭代的膨胀运算，该第二形态学运算包括n次迭代的腐蚀运算，其中m和n为大于等于1的正整数。
32.在本技术实施例的技术方案中，进行多次迭代有助于处理图像中更多的噪声，能够对图像中边缘存在粘连的施工区标志物进行分割，提升后续的独立连通单元判断的准确率。
33.结合第二方面，在第二方面的某些实现方式中，该处理模块还用于：根据车道宽度、车道数目、第一距离和第二距离，获取该第一roi，其中，根据车道宽度和车道数目确定该第一roi的横向长度，根据第一距离和第二距离确定该第一roi的纵向长度，其中，该第一距离表示排除摄像头盲区后，该第一图像中车辆所在车道距离该车辆的最近距离，该第二距离表示该第一图像中该车辆在该车道距离该车辆的最远可观测距离。
34.在本技术实施例的技术方案中，基于摄像头标定及车道宽度、车道数目、第一距离以及第二距离约束的第一roi的获取方法，可以缩小算法检测范围，降低处理时延，提升感知系统的效率。
35.在某些可能实现的方式中，为了进一步提升施工区检测结果的准确性，降低检测时延并提升算法效率，可以通过移动目标检测或者语义分割模块对第一roi进行检测，筛除第一roi中的可移动目标。
36.结合第二方面，在第二方面的某些实现方式中，该处理模块还用于：对该第一roi进行色彩空间三通道加权和运算，以获取该第一roi的单通道图，其中，该色彩空间包括rgb色彩空间、yuv色彩空间或者xyz色彩空间；对该单通道图进行二值化处理以获取该第一roi的第一二值图。
37.在本技术实施例的技术方案中，基于色彩空间三通道加权和的施工区标志物获取算法可以有效提取具备多种颜色的施工区标志物，对于标志物是否具有条状纹理不敏感，支持国标或者非国标的多种颜色标志物的检测，具有较强的泛化性。
38.结合第二方面，在第二方面的某些实现方式中，该处理模块还用于：根据摄像头标定参数以及射影定理，获取该至少一个施工区标志物与路面的交界点集。
39.结合第二方面，在第二方面的某些实现方式中，该处理模块还用于：根据第一聚类方法聚类该至少一个施工区标志物与路面的交界点集，以确定不同的该施工区，其中，该第一聚类方法为该至少一个施工区标志物与路面的交界点集之间的距离小于等于最小距离门限值。
40.在本技术实施例的技术方案中，聚类后的施工区标志物将不连续的施工区区分开，不同施工区之间的空间可以作为车辆控制策略中的可使用空间，提高道路的使用率。
41.结合第二方面，在第二方面的某些实现方式中，该处理模块还用于：检测车道线以获取车辆坐标系下车道线的位置信息。根据该至少一个施工区标志物与路面的交界点集和
该车道线的位置信息，获取该至少一个施工区标志物所在车道信息；根据该至少一个施工区标志物与路面的交界点集，获取该施工区的占道范围信息；根据该至少一个施工区标志物所在车道信息和该施工区占道的范围信息，确定该至少一个施工区标志物的占道信息。
42.在本技术实施例的技术方案中，车辆控制模块可以根据上报的施工区占道信息以及占道范围信息，做出有效地车辆行驶路径规划，并且，该上报方案相比于基于gps和高精地图的复杂方案，更加简单有效，不仅如此，施工区占道范围信息可以给车辆控制模块提供更加丰富的信息，进而提升车辆控制决策的准确性。
43.结合第二方面，在第二方面的某些实现方式中，该处理模块还用于：根据前一帧的该至少一个施工区标志物的占道信息，跟踪并更新该至少一个施工区标志物的占道信息。
44.在某些可能的实施方式中，可以对聚类后的施工区进行基于特征点匹配算法的跟踪，也可以基于卡尔曼滤波器算法对施工区标志物与路面交界点集拟合曲线建立运动方程，实现对该曲线的跟踪和状态更新。
45.在本技术实施例的技术方案中，基于多帧融合的车道占用情况的跟踪与更新，可以提升施工区检测结果的准确性和稳定性。
46.第三方面，提供了一种装置，可包括摄像头、处理器和收发器，处理器用于从存储器中调用并运行计算机程序，当程序被运行时，该处理器执行上述第一方面或第一方面任意可能的实现方式中的方法。
47.第四方面，提供一种计算机可读介质，用于存储计算机程序，该计算机程序包括用于执行上述第一方面或第一方面任意可能的实现方式中的方法的指令。
48.第五方面，提供一种芯片，可包括处理器与数据接口，处理器通过该数据接口从存储器调用并运行计算机程序，使得安装该芯片的设备执行上述第一方面或第一方面任意可能的实现方式中的方法的指令。
49.第六方面，提供一种车辆，车辆执行上述第一方面或第一方面任意可能的实现方式中的方法的指令。
附图说明
50.图1是根据本技术实施例的道路施工区示意图；
51.图2是根据本技术实施例的道路施工区标志物识别的流程示意图；
52.图3是根据本技术实施例获取施工区感兴趣区域的示意图；
53.图4是根据本技术实施例施工区标志物获取流程示意图；
54.图5是根据本技术实施例施工区标志物轮廓检测流程示意图；
55.图6是根据本技术实施例施工区标志物聚类结果示意图；
56.图7是根据本技术实施例施工区占道情况汇总和上报流程示意图；
57.图8是根据本技术实施例yuv420sp图像存储示意图；
58.图9是根据本技术实施例一种占道信息确定装置的示意性框图；
59.图10是根据本技术实施例另一种占道信息确定装置的示意性框图。
具体实施方式
60.下面将结合附图，对本技术中的技术方案进行描述。
61.图1是可应用于本技术实施例的道路施工区示意图。图1可以是车辆上的摄像头获取的前方图像100。
62.图像100包括由交通锥110、路栏120、警示标志130、施工车辆140和/或施工人员150等多种标志物组成的道路施工区。尽管上述道路施工区标志物可以归为障碍物的范畴，但是施工区具有更高级别的语义信息，因此毫米波雷达(radar)往往不具备感知复杂施工区的能力。目前的道路施工区检测方案所采用的传感器包括激光雷达(lidar)和摄像头(camera)两种，其中摄像头具有成本低廉、体积小、易部署和易维护等优势，得到较为广泛的应用。
63.针对道路施工区标志物的识别，目前基于摄像头的感知方法可分为两类：(1)基于传统图像处理算子的方法，如采用模板匹配的方式搜寻图像中施工区标志物所在区域；(2)基于机器学习或深度学习的目标识别和检测的方法，如借助施工区标志物的颜色或纹理特征，设计分类器对图像中的像素或区域进行分类，进一步确定施工区。
64.针对第一类基于摄像头的感知方法，一种主要关注位于道路中或者在道路附近的圆锥体、圆柱和杆等柱状特征的施工区标志物，例如交通锥、交通柱等。通过统计检测到的施工区标志物的数目来判定当前图像或者视频帧中是否存在施工区域，车辆控制器根据该判断结果输出车辆接近施工区的信号。
65.这类识别施工区标志物的方法的缺点是，首先，检测施工区标志物类别单一，对于非柱状标志物的检测能力较弱，例如路栏120；其次，通过统计检测到的施工区标志物的数目来判定当前图像或者视频帧中是否存在施工区域，存在误检的风险；最后，缺少对施工区所在车道的标注，仅将是否存在施工区作为车辆控制的判断信号，没有明确说明如何判断车辆是否已经离开该区域。
66.针对第二类基于摄像头的感知方法，一种主要通过对一组包括施工区标志物的图像训练卷积神经网络(cnn)，然后用于对此类施工区标志物进行分类和识别，并将识别出的施工区标志物使用二维标注框的形式标注。
67.这种识别施工区标志物的方法的缺点是，首先，二维标注框可能引入潜在的定位误差；其次，基于cnn或机器学习的方法对于训练数据具有很强的依赖性，并且该方法对感知设备的计算能力，例如图像处理单元gpu和计算处理单元cpu，以及硬件存储空间具有较高的要求，不适合在低功耗低运算能力的平台上部署；最后，这种方法只能确定施工区的占道情况，不能确定施工区在车道中占据的范围，无法给后续的车辆控制模块的决策提供充足的帮助。
68.另外一种主要通过对具有黄色、橙色或红色的施工区标志物(包括交通锥、交通柱、路栏等)进行检测。该技术方案对摄像头获取的三通道rgb图像进行处理，得到两种图像，
69.(1)亮度图，其计算公式为
70.(2)橙色图，其计算公式为
71.针对所述两种图像，采用基于模板匹配的滑窗法遍历所述亮度图和橙色图，检测具有亮橙色纹理的区域；同时，基于分类器判断该区域是否含有条纹，以确定是否为施工
区。
72.这种识别施工区标志物的方法的缺点是，首先，仅对具有黄色、橙色或红色的颜色特征的施工区标志物进行检测，对其他颜色的施工区标志物不具备检测能力，并且仅对具有条状纹理的标志物进行检测，对单一颜色的施工区标志物不具备检测能力；其次，对于分辨率较高的图像采用滑窗模板匹配的方法，存在处理时延高的风险，且模板尺度大小的选择影响检测的准确性；最后，这种方法无法确定施工区标志物的占道情况。
73.为了解决上述在该场景下中的这些缺陷，本技术实施例提出了一种道路施工区占道信息确定方法和装置。
74.图2为根据本技术实施例的道路施工区标志物识别的流程示意图。
75.s201，使用可移动平台上的摄像头采集第一图像，根据第一图像确定第一感兴趣区域(region of interest,roi)，其中，第一图像为道路画面，第一roi表示道路待检测施工区的roi图像并且包括至少一个施工区标志物。
76.摄像头可以安装在可移动平台的前方，主要用于采集道路原始画面或者视频帧，可移动平台可以是车辆、无人机、铁路列车和船舶等，在本技术实施例中不作限制。
77.摄像头可以是环视摄像头、单目摄像头以及双目摄像头等，在本技术实施例中不作限制。
78.s202，通过色彩空间三通道加权和算法和二值化的方式，获取第一roi的第一二值图。
79.可选的，在s202之前或者在s201中，可以通过可移动目标检测或者语义分割模块对第一roi检测，筛除第一roi中的可移动目标，可移动目标可以为普通行人，普通车辆以及普通路栏，其中普通行人区别于施工人员，其区别在于施工人员穿着施工服；普通车辆区别于施工车辆，其区别在于施工车辆的颜色不同于不同车辆；普通路栏区别于施工区路栏，区别在于普通路栏位于车道边界线上，不属于梯形车道区域301，并且施工区路栏的颜色和普通路栏的颜色也不一致；可移动目标还可以为在正常行驶在道路中施工车辆货架上的悬空施工区标志物，在本实施例中不作限制。
80.此处引入可移动目标检测和语义分割对第一roi进行约束，能够进一步提升施工区检测结果的准确性，并且引入以上约束后，独立的施工区标志物roi数目会减少，能够有效降低检测时延，提升算法效率。
81.s203，基于形态学运算的标签约束分水岭图像处理算法，对该第一二值图内的该至少一个施工区标志物进行边缘增强处理得到第二二值图。
82.s204，根据该第二二值图，获取该至少一个施工区标志物与路面的交界点集。
83.s205，根据该至少一个施工区标志物与路面的交界点集，确定该至少一个施工区标志物的占道信息。
84.s206，发送该占道信息，该占道信息包括该至少一个施工区标志物所在的车道信息和/或施工区的占道范围信息，该施工区由该至少一个施工区标志物组成。
85.以下结合图3至图7对s201至s205每个步骤进行详细说明。
86.图3为根据本技术实施例获取施工区感兴趣区域的示意图，图3为s201的具体实现过程。
87.基于射影定理，结合可移动平台搭载的摄像头离线或者在线的标定参数，在摄像
头获取的原始图像或者视频帧矩形框309框定的307区域上获取梯形车道区域301，其中梯形车道区域301的纵向边界为顶边302和底边303，它们分别对应自车预设的第二距离和第一距离，其中第二距离表示第一图像中车辆所在车道距离该车辆的最远可观测距离，第一距离表示排除摄像头盲区后，第一图像中车辆所在车道距离该车辆的最近距离，梯形车道区域301的横向边界为腰304和腰305，它们取决于车道的宽度和车道数目。
88.以双向六车道的城市道路为例，国际规定车道宽度为3.5米，梯形车道区域301的横向边界需要包含自车行驶方向的三车道范围，若自车行驶在中间车道的中间位置，自车行驶方向的左侧为负值，右侧为正值，则横向边界可以设定为[-5.25,5.25]米，若自车行驶在最左侧车道的中间位置，则横向边界可以设定为[-1.75,8.75]米，若自车行驶在最右侧车道的中间位置，则横向边界可以设定为[-8.75,1.75]米。
[0089]
应理解，不同道路类型对应不同的车道宽度和数目，因此，不同道路类型的梯形道路区域301的边界线的设定也是不同的，在本技术实施例中不作限制。
[0090]
应理解，第一距离和摄像头安装的位置相关，例如，当摄像头安装在车辆前挡风玻璃处时，车头对摄像头采集的图像有观测盲区，因此该第一距离大于摄像头到车头的距离。
[0091]
应理解，第二距离和图像分辨率、检测模块的能力以及车辆控制模块要求的最远检测距离有关，通常设定第二距离由第一图像中消失点(vanishing point)所在位置决定，也就是在投影约束下，车辆所在车道距离该车的最远可观测距离。
[0092]
获取梯形车道区域301的外接矩形框306框定的第一roi 308。
[0093]
可选的，对第一roi 308进行缩放变换，例如可以变换到分辨率1280
×
720像素，在本实施例中不作限制。
[0094]
应理解，将获取的第一roi 308进行缩放变换是为了降低原第一roi 308的分辨率，减少后续施工区标志物识别的计算量。
[0095]
基于摄像头标定及车道宽度、车道数目、第一距离以及第二距离约束的第一roi的获取方法，可以缩小算法检测范围，降低处理时延，提升感知系统的效率。
[0096]
图4是根据本技术实施例施工区标志物获取流程示意图，图4为s202步骤中的具体实现过程
[0097]
第一roi 401，对应于图3第一roi 308，是一幅分辨率为w
×
h像素的三通道图像，应理解，在本技术实施例中对第一roi 308具体分辨率不作限制，小于等于压缩前的第一roi 401即可。
[0098]
色彩空间可以为rgb(或bgr)色彩空间，可以为yuv色彩空间，还可以为xyz色彩空间，在本实施例中不作限制。
[0099]
例如，若采用rgb(或bgr)色彩空间，三通道可以分别对应为红色(r)、绿色(g)和蓝色(b)三基色，其中rgb色彩空间和brg色彩空间的区别为存储位置不同，则采用公式(1)三通道加权和的方法对每个像素点进行处理，将三通道图像401压缩为单通道图像402。
[0100]i1c
＝ar·
r ag·
g ab·bꢀꢀꢀ
(1)
[0101]
其中，公式(1)中三通道的加权系数ar，ag和ab的选择与施工区标志物的颜色具有相关性，也就是说，三通道的加权系数取决于施工区标志物的颜色，例如，对于施工区标志物的颜色为红色，橙色或黄色，公式(1)的加权系数ar，ag和ab可以分别为0.5，-0.25和-0.25。
[0102]
应理解，在本技术实施例中优先考虑施工区标志物的颜色为红色，橙色或黄色，若施工区标志物为其他颜色，例如蓝色或者绿色，可以采用类似的系数获取单通道图像402，本技术实施例不作限制。
[0103]
基于色彩空间三通道加权和的施工区标志物获取算法可以有效提取具备多种颜色的施工区标志物，对于标志物是否具有条状纹理不敏感，支持国标或者非国标的多种颜色标志物的检测，具有较强的泛化性。
[0104]
若采用yuv色彩空间，其中y表示明亮度，u和v表示色度，用于描述影像色彩及饱和度，采用公式(2-1)或者(2-2)将rgb色彩空间转换为yuv色彩空间，对每个像素点进行处理，将三通道rgb图像401压缩为v通道图像402，其中，公式(2-1)和公式(2-2)分别适用于itu-r bt.601和bt.709数字电视编码标准。
[0105]
iv＝0.615r-0.515g-0.100b
ꢀꢀꢀ
(2-1)
[0106]
iv＝0.615r-0.559g-0.056b
ꢀꢀꢀ
(2-2)
[0107]
由于yuv色彩空间的存储方式具有占用内存空间小和数据访问效率高的特点，该存储方式可以为yuv420sp格式，如图8所示，yuv色彩空间的存储方式在本技术实施例中不作限制。
[0108]
因此，基于yuv色彩空间获取的施工区标志物，能够进一步提升施工区检测流程的执行效率。
[0109]
若采用xyz色彩空间，这是在rgb色彩空间的基础上，改用三个假想的原色x,y,z建立了一个新的色度系统，公式(3)表示xyz色彩空间和rgb色彩空间之间的转换关系。
[0110][0111]
其中，公式(3)系数可以根据国际照明标准委员会(cie)制定的标准确定，例如，当参考cie-1931时，t
11
＝0.418，t
12
＝0.159，t
13
＝0.083，t
21
＝0.091，t
22
＝0.252，t
23
＝0.016，t
31
＝0.001，t
32
＝0.003和t
33
＝0.179。公式(3)的系数还可以根据其他转换矩阵确定，例如，adobe rgb,srgb等，在本技术实施例中不作限制。
[0112]
将公式(3)代入公式(1)中，得到三通道加权和公式(4)通过三通道加权和的方法对每个像素点进行处理，将三通道图像401压缩为单通道图像402。
[0113]i1c
＝ar(t
11
x t
12
y t
13
z) ag(t
21
x t
22
y t
23
z) ab(t
31
x t
32
y t
33
z)
ꢀꢀꢀ
(4)
[0114]
rgb(或bgr)色彩空间是本技术实施例中xyz色彩空间的子集，因此，基于xyz色彩空间可以描述更多的色彩组合，能够提升对于施工区标志物的表征能力。
[0115]
基于色彩空间三通道加权和的施工区标志物获取的方法，适用于rgb、yuv和xyz等多种颜色空间，能适应多种图像或者视频帧格式。
[0116]
采用公式(5)对单通道图像402进行二值化处理得到第一二值图403，其中像素数值在下界门限tb和上界门限tu之间的像素点对应的数值设定为1，对应于第一二值图403的白色区域，也就是获取的施工区标志物区域，其余像素点设定为0，对应于第一二值图403的黑色区域，也就是除施工区标志物区域的其他区域，其中像素值的下界门限tb和上界门限tu的取值基于对标志物区域像素值的统计结果。
[0117][0118]
图5是根据本技术实施例施工区标志物轮廓检测流程示意图，图5为s203的具体实现过程
[0119]
图像510，对应于图4施工区标志物第一二值图403，是待边缘轮廓强化的施工区标志物二值图。
[0120]
应理解，分水岭图像处理算法是一种基于拓扑理论的数学形态学的分割方法，其对噪声非常敏感，可能出现过度分割的情况，而标签约束的分水岭图像处理算法可以避免很小的噪声极值区域的分割。为了进一步对施工区标志物的边缘进行增强，引入形态学运算，最基本的形态学运算为膨胀和腐蚀。膨胀运算主要作用是将某区域和某区域周围的背景点合并成一个整体，腐蚀运算主要用于消除相连区域或者相邻区域由于像素相连造成的边缘干扰。
[0121]
对第一二值图510进行膨胀和腐蚀运算，分别得到膨胀运算后的第一图像520和腐蚀运算后的第二图像530。
[0122]
其中，对第一二值图510进行形态学运算时，可以采用如公式(6)定义的卷积核k，也可以采用服从高斯分布的卷积核等其他形式的卷积核，在本技术实施例中不作限制，并且，卷积核的大小也可以根据实际情况作出调整，例如可以将公式(6)卷积核大小3
×
3调整为5
×
5，在本技术实施例中不作限制。
[0123][0124]
服从高斯分布的卷积核，在图像形态学膨胀和腐蚀运算中，能够得到更加平滑的边缘处理效果。
[0125]
应理解，膨胀运算可进行m次迭代，腐蚀运算可进行n次迭代，m和n均为大于等于1的正整数，例如，对膨胀运算迭代3次，对收缩运算迭代1次，在本技术实施例中，对具体的迭代次数不进行限制。
[0126]
进行多次迭代有助于处理图像中更多的噪声，能够对图像中边缘存在粘连的施工区标志物进行分割，提升后续的独立连通单元判断的准确率。
[0127]
将膨胀运算后的第一图像520和腐蚀运算后的第二图像530进行逐像素相减运算得到施工区标志物潜在边缘第三图像540，其中，图540中数值非零的区域，即白色区域，为施工区标志物的潜在边缘。
[0128]
第二图像530进行独立连通域检测，使用不同数值的正整数对不同的单个独立且连通单元内的像素进行填充，得到连通域检测后的图像550。
[0129]
可选的，还可以对第一二值图510进行独立连通域检测，得到连通域检测后的图像551，应理解图像550和图像551均为连通域检测后的第四图像，均可作为分水岭图像处理的标签约束。
[0130]
将连通域检测后的图像550或者551结合第三图像540，使用分水岭算法对施工区标志物连通单元进行填充和边缘增强，得到施工区标志物边缘增强后的第五图像560，其中
图像570为第五图像560的局部放大图像，其中不同灰度值的区域表示不同的独立连通区域，也可以理解为不同的施工区标志物。
[0131]
基于形态学运算的标签约束分水岭图像处理算法对施工区标志物的边缘进行增强检测，可以对不同类型的施工区标志物进行检测，泛化能力强，并且识别的每个施工区标志物边缘清晰，不存在粘连问题，提高了施工区判断的准确性，不仅如此，该方法可以得到准确的标志物边缘轮廓，进而得到准确的施工区标志物和路面的交界点，尤其适用于非柱状标志物，如路栏。
[0132]
图6是根据本技术实施例施工区标志物聚类结果示意图，图6为s204的具体实现过程。
[0133]
图像601，对应于图5中施工区标志物边缘增强后的第五图像560，是施工区标志物边缘增强后的第二二值图。此处以双向六车道的城市道路为例，本技术实施例对道路类型不作限制，图像601是单向三车道，其中区域603、区域604和区域605分别代表左车道、中间车道和右车道。
[0134]
根据第一聚类方法聚类该至少一个施工区标志物与路面的交界点集，以确定不同的施工区，其中，该第一聚类方法为该至少一个施工区标志物与路面的交界点集之间的距离小于等于最小距离门限值，其中，该施工区由该至少一个施工区标志物组成。
[0135]
其中，至少一个施工区标志物与路面的交界点集之间的距离可以通过欧式距离、曼哈顿距离或者马氏距离等其他距离计算方式得到，在本技术实施例中不作限制。
[0136]
设定最小距离门限值，若至少一个施工区标志物与路面的交界点集之间的距离小于等于该最小距离门限值，则将相邻的施工区标志物聚类在一起属于同一个施工区，图6中有两个聚类后的施工区标志物，分别为606和607。
[0137]
聚类后的施工区标志物将不连续的施工区区分开，不同施工区之间的空间可以作为车辆控制策略中的可使用空间，提高道路的使用率。
[0138]
可选的，结合可移动平台搭载的摄像头离线或者在线的标定参数，基于射影定理以及地平面假设，将施工区标志物与路面相交处的点投影到以车辆坐标系下得到施工区标志物和车道的鸟瞰图像602，同样可以在鸟瞰图像602上通过欧式距离、曼哈顿距离以及马氏距离等其他距离计算方式得到至少一个施工区标志物与路面的交界点集之间的距离。
[0139]
在摄像头为单目摄像头时，由于二维图像深度缺失可能导致的不同施工区标志物粘连及错误聚类，因此，基于鸟瞰图像602的标志物聚类方法可以使施工区标志物聚类结果更准确。
[0140]
增强后的施工区标志物边缘上存在凸包点，这些凸包点构成的点集即为标志物与路面的交界点集。
[0141]
图7是根据本技术实施例施工区占道情况汇总和上报流程示意图，图7为s205的具体实现过程。
[0142]
s701，基于摄像头的标定参数和射影定理，计算投影矩阵，将施工区标志物与路面交界点投影至车辆坐标系下，位于车辆坐标系下的交界点主要用于估计其所占车道及其所占范围。
[0143]
s702，检测车道线得到车辆坐标系下车道线的位置信息，该位置信息包括车道宽度或车道线方程信息。
[0144]
应理解，若车道线检测功能失效，则车道宽度和s201采用的车道宽度一致，例如，国际规定车道宽度3.5米。若车道线检测功能有效，则该步骤中的车道宽度为车道线检测的结果，该结果得到的车道宽度更加准确。
[0145]
s703，根据车辆坐标系下的施工区标志物交界点信息和车道线位置信息，通过投票的方式估计施工区标志物所在车道，票数多的车道标记为施工区所占用的车道，得到施工区的所占车道信息。
[0146]
例如，图6中多数施工区标志物位于603左侧车道，因此，施工区占据603左侧车道。
[0147]
s704，根据车辆坐标系下的施工区标志物交界点信息，估计施工区标志物点集的边界位置，得到施工区占道的范围。
[0148]
应理解，施工区标志物点集的边界位置是通过估计这些点集在车辆坐标系下距离自车横向和纵向的最近以及最远距离得到的。
[0149]
s705，根据施工区所占车道信息以及施工区占道范围，确定施工区占道信息。
[0150]
应理解，施工区占道信息可以仅为施工区所占车道信息，也可以是施工区占道范围，还可以是施工区所占车道信息和施工区占道范围的综合信息，在本技术实施例中不作限制。
[0151]
s706，将施工区占道信息发送给车辆控制模块。
[0152]
应理解，上述施工区所占车道信息和施工区占道范围可以以报文的形式汇总和上报，在本技术实施例中不作限制。
[0153]
车辆控制模块可以根据上报的施工区占道信息以及占道范围信息，做出有效地车辆行驶路径规划，并且，该上报方案相比于基于gps和高精地图的复杂方案，更加简单有效，不仅如此，施工区占道范围信息可以给车辆控制模块提供更加丰富的信息，进而提升车辆控制决策的准确性。
[0154]
可选的，s707，根据前一帧施工区占道情况的结果，跟踪并更新施工区占道信息。
[0155]
例如，可以对聚类后的施工区进行基于特征点匹配算法的跟踪，也可以基于卡尔曼滤波器算法对施工区标志物与路面交界点集拟合曲线建立运动方程，实现对该曲线的跟踪和状态更新。
[0156]
基于多帧融合的车道占用情况的跟踪与更新，可以提升施工区检测结果的准确性和稳定性。
[0157]
以上结合图1至图8详细介绍了本技术的占道信息确定的方法实施例，下面结合图至图介绍本技术装置实施例，未详尽描述之处请详见上文方法实施例。
[0158]
图9为本技术实施例的一种占道信息确定装置的示意性框图。
[0159]
图9的占道信息确定装置可用于实现前述图1至图8的各个实施例中的相应功能，为避免重复，不再详细描述。图9的占道信息确定装置可包括采集模块901、处理模块902和收发模块903。
[0160]
采集模块901用于获取第一图像，处理模块902用于根据该第一图像确定第一感兴趣区域roi，该第一roi包括至少一个施工区标志物；获取该第一roi的第一二值图；对该第一二值图内的该至少一个施工区标志物进行边缘增强处理得到第二二值图；根据该第二二值图，获取该至少一个施工区标志物与路面的交界点集；根据该至少一个施工区标志物与路面的交界点集，确定该至少一个施工区标志物的占道信息，收发模块903用于发送该占道
信息，该占道信息包括该至少一个施工区标志物所在的车道信息和/或施工区的占道范围信息，该施工区由该至少一个施工区标志物组成。
[0161]
可选地，作为一个实施例，该处理模块902，还用于：对该第一二值图进行第一形态学运算得到第一图像，并对该第一二值图进行第二形态学运算得到第二图像；将该第一图像和该第二图像逐像素相减以获取第三图像；对该第一图像、该第二图像或者该第一二值图进行独立连通域检测以获取第四图像；对该第三图像和该第四图像使用基于标签约束的分水岭算法进行运算以获取第五图像，该第五图像为该第二二值图。
[0162]
可选地，作为一个实施例，该第一形态学运算包括膨胀运算，该第二形态学运算包括腐蚀运算。
[0163]
可选地，作为一个实施例，该第一形态学运算包括m次迭代的膨胀运算，该第二形态学运算包括n次迭代的腐蚀运算，其中m和n均为大于等于1的正整数。
[0164]
可选地，作为一个实施例，该处理模块902，还用于：根据车道宽度、车道数目、第一距离和第二距离，获取该第一roi，其中，根据车道宽度和车道数目确定该第一roi的横向长度，根据第一距离和第二距离确定该第一roi的纵向长度，其中，该第一距离表示该第一图像中车道离车辆最近的距离，该第二距离表示该第一图像中该车道离该车辆最远的距离。
[0165]
可选地，作为一个实施例，该处理模块902，还用于：对该第一roi进行色彩空间三通道加权和运算，以获取该第一roi的单通道图，其中，该色彩空间包括rgb色彩空间、yuv色彩空间或者xyz色彩空间；对该单通道图进行二值化处理以获取该第一roi的第一二值图。
[0166]
可选地，作为一个实施例，该处理模块902，还用于：根据该采集模块标定参数以及射影定理，获取该至少一个施工区标志物与路面的交界点集。
[0167]
可选地，作为一个实施例，该处理模块902，还用于：根据第一聚类方法聚类该至少一个施工区标志物与路面的交界点集，以确定不同的施工区，其中，该第一聚类方法为该至少一个施工区标志物与路面的交界点集之间的距离小于等于最小距离门限值，其中，该施工区由该至少一个施工区标志物组成。
[0168]
可选地，作为一个实施例，该处理模块902，还用于：检测车道线以获取车辆坐标系下车道线的位置信息。根据该至少一个施工区标志物与路面的交界点集和该车道线的位置信息，获取该至少一个施工区标志物所在车道信息；根据该至少一个施工区标志物与路面的交界点集，获取施工区占道的范围信息，其中，该施工区由该至少一个施工区标志物组成；根据该至少一个施工区标志物所在车道信息和该施工区占道的范围信息，确定该至少一个施工区标志物的占道信息。
[0169]
可选地，作为一个实施例，该处理模块902，还用于：根据前一帧的该至少一个施工区标志物的占道信息，跟踪并更新该至少一个施工区标志物的占道信息。
[0170]
在可选的实施例中，该采集模块901可以为图10中的摄像头1001，该处理模块902可以为图10中的处理器1002，该收发模块可以为图10中的收发器1004，具体如图10所示。
[0171]
图10为本技术实施例中另一种占道信息确定装置的示意性框图。图10所示的占道信息确定装置可以包括：摄像头1001、处理器1002、存储器1003、收发器1004以及总线1005。其中，摄像头1001、处理器1002存储器1003和收发器1004通过总线1005连接，该存储器1003用于存储指令，该处理器1002用于执行该存储器1003存储的指令，收发器用于发送信息。可选地，存储器1003既可以和处理器1002通过接口耦合，也可以和处理器1002集成在一起。
[0172]
在实现过程中，上述方法的各步骤可以通过处理器1002中的硬件的集成逻辑电路或者软件形式的指令完成。结合本技术实施例所公开的方法可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器1003，处理器1002读取存储器1003中的信息，结合其硬件完成上述方法的步骤。为避免重复，这里不再详细描述。
[0173]
应理解，本技术实施例中，该存储器可以包括只读存储器和随机存取存储器，并向处理器提供指令和数据。处理器的一部分还可以包括非易失性随机存取存储器。例如，处理器还可以存储设备类型的信息。
[0174]
该占道信息确定装置可为具有占道信息确定功能的车辆，或者为具有占道信息确定功能的其他部件。该占道信息确定装置包括但不限于：车载终端、车载控制器、车载模块、车载模组、车载部件、车载芯片、车载单元、车载雷达或车载摄像头等其他传感器，车辆可通过该车载终端、车载控制器、车载模块、车载模组、车载部件、车载芯片、车载单元、车载雷达或摄像头，实施本技术提供的方法。
[0175]
该占道信息确定装置还可以为除了车辆之外的其他具有占道信息确定功能的智能终端，或设置在除了车辆之外的其他具有占道信息确定功能的智能终端中，或设置于该智能终端的部件中。该智能终端可以为智能运输设备、智能家居设备、机器人等其他终端设备。该占道信息确定装置包括但不限于智能终端或智能终端内的控制器、芯片、雷达或摄像头等其他传感器、以及其他部件等。
[0176]
该占道信息确定装置可以是一个通用设备或者是一个专用设备。在具体实现中，该装置还可以台式机、便携式电脑、网络服务器、掌上电脑(personal digital assistant，pda)、移动手机、平板电脑、无线终端设备、嵌入式设备或其他具有处理功能的设备。本技术实施例不限定该占道信息确定装置的类型。
[0177]
该占道信息确定装置还可以是具有处理功能的芯片或处理器，该占道信息确定装置可以包括多个处理器。处理器可以是一个单核(single-cpu)处理器，也可以是一个多核(multi-cpu)处理器。该具有处理功能的芯片或处理器可以设置在传感器中，也可以不设置在传感器中，而设置在传感器输出信号的接收端。
[0178]
本技术实施例还提供一种系统，应用于无人驾驶或智能驾驶中，其包含至少一个本技术上述实施例提到的占道信息确定装置、摄像头、雷达等传感器其他传感器中的至少一个，该系统内的至少一个装置可以集成为一个整机或设备，或者该系统内的至少一个装置也可以独立设置为元件或装置。
[0179]
进一步，上述任一系统可以与车辆的中央控制器进行交互，为所述车辆驾驶的决策或控制提供探测和/或融合信息。
[0180]
本技术实施例还提供一种车辆，所述车辆包括至少一个本技术上述实施例提到的占道信息确定装置或上述任一系统。
[0181]
应理解，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
[0182]
应理解，在本技术的各种实施例中，上述各过程的序号的大小并不意味着执行顺
序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本技术实施例的实施过程构成任何限定。
[0183]
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本技术的范围。
[0184]
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
[0185]
在本技术所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
[0186]
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0187]
另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
[0188]
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read-only memory，rom)、随机存取存储器(random access memory，ram)、磁碟或者光盘等各种可以存储程序代码的介质。
[0189]
以上所述，仅为本技术的具体实施方式，但本技术的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应以所述权利要求的保护范围为准。