基于语义分割的可行驶区域检测方法与流程

1.本发明涉及汽车智能驾驶车外视觉感知应用技术领域，具体涉及基于语义分割的可行驶区域检测方法。


背景技术：

2.近年来，自动驾驶、智能辅助驾驶等技术逐渐成为汽车行业的研究热点，要发展此类技术，离不开行车场景车外环境感知技术的辅助支持。车外环境感知主要依靠雷达和摄像头两类传感器，相较于雷达，摄像头具有成本低、可探测信息丰富等优点。在adas视觉感知领域，静态场景信息的检测包括车道线、交通标识、道路标识及可行驶区域等。其中，可行驶区域为智能驾驶控制决策提供了避开各类障碍物的参考行驶区域，是重要的道路环境信息之一。
3.现有技术中，对可行驶区域的检测有相应的技术方案，如cn202010726575.7 可行驶区域判定的方法、智能驾驶系统和智能汽车，需要依赖多传感器协作，其感知设备有摄像头、红外感应器、化学检测器、麦克风、激光雷达以及相关速度角度传感器等，还包括全球定位系统(global positioning system,gps)、惯性导航系统(inertial navigation system,ins)等定位装置，通过智能驾驶系统检测到当前可行驶区域后，再查询历史可行驶区域，将二者进行一定规则的叠加得到当前最终的可行驶区域。该方案硬件系统复杂，成本相对较高，应用中受到一定限制。
4.现有技术的另一方案，如cn202011478180.6 一种可行驶区域检测方法及装置，对单目摄像头采集的图片用神经网络模型进行推理，检测图像信息得到分割后的区域块，然后构建可行驶区域像素轮廓，此方案侧重于神经网络的结构设计，并未涉及如何得到具体的可行驶区域的像素边缘，若网络检测的结果存在一定误差，将对最终的可行驶区域检测精度造成影响。


技术实现要素：

5.针对现有技术存在的上述不足，本发明的目的是提供一种基于语义分割的可行驶区域检测方法，适用于单目摄像头车外环境感知场景，能够实现提取经过语义分割后的图像上的道路可行驶区域信息；进一步还能够解决分割后的图像区域检测不准确（例如路面检测空洞）等问题。
6.本发明的技术方案是这样实现的：基于语义分割的可行驶区域检测方法，其特征在于包括如下步骤：1）区域分割：对输入的原始图像进行基于深度学习的语义分割或者基于传统算法的图像阈值分割，得到包含路面标签、移动目标标签、障碍物标签及背景标签等的分割结果图像；2）区域像素扫描：对分割后的图像进行扫描，逐列扫描，找到每列的关键点对，即像素列中成对的道路边缘点；
3）关键点提取：经过区域扫描，得到一对或多对关键点，确定具体的可行驶区域范围；4）反投影变换：将像素坐标系下的可行驶区域信息，通过反投影变换将像素位置还原到车辆坐标系下，得到基于语义分割的可行驶区域图像。
7.这样，本发明经过特定区域扫描，形成关键点对，再筛选出最终的可行驶区域边界，有效剔除了因检测引入的路面空白噪声；在对障碍物进行分类贴标签的前提下，本方法仅通过一次遍历就能够给出可行驶区域的动静属性，为后续控制决策提供了更多参考。
8.进一步的：还包括步骤的5）测试数据，对步骤4）得到的可行驶区域图像进行实际上路行驶检测。本发明筛选出最终的可行驶区域边界，再进行实际上路行驶检测，能不断更新迭代。
9.进一步的：所述障碍物标签的障碍物主要包括路桩、锥筒、水马、栅栏 。
10.进一步的：所述步骤2）的扫描操作，首先，在分割后的图像上设置一个扫描停止线；然后采用两个循环遍历下半部分图像，先是列，再是行，这样依次按列扫描。先设置一个扫描停止线，能够只对扫描停止线一下的区域扫描，节约扫描时间，提高效率。
[0011] 进一步的： 开始每列的扫描前，需要将该列的关键点对坐标缓存数组top和bottom全部值初始化为0，同时设置一个flag标签，初始值为1；然后从下至上开始扫描，当遇到路面标志物时将flag置为0，并在缓存数组中记录下该bottom点的像素坐标；分割图像识别了移动目标标签，将该属性也记录下来；当遇到背景标签、障碍物标签或者停止扫描线时，将flag置为1，记录下该点同列下一行像素点的位置坐标到top缓存数组中，到此一个关键点对已形成，需要将关键点对缓存数量加1。这样再扫描时能够更快、更准确得到每列的关键点对。
[0012]
进一步的：所述扫描停止线位置是图像像素高度的一半，或是图像主点所在的位置，或者主点以下再多几行，保证最远距离需求即可。 进一步缩小扫描停止线的区域，能够只对扫描停止线一下的区域扫描，节约扫描时间，提高效率。
[0013]
进一步的： 每扫描完一列，首先判断一下当前列的关键点对数量是否大于0；若关键点对数量等于0，说明该列不存在可行驶区域边界点；若关键点对数量等于1，取top点作为最终的输出，直接提取该关键点对的top点作为可行驶区域的像素边界；若关键点对数量大于1，则存在多对关键点。对扫描后可能存在的一个至多个关键点对进行说明和操作处理。
[0014]
进一步的： 若存在多对关键点，这时候如果对路面的隔离带或者道路中央的栏杆、绿化带等做了分割标签，可以判断是检测存在误差导致路面有空洞区域，应输出隔离带或者道路中央的栏杆、绿化带所在位置最后一对关键点的top点坐标；如果未对隔离带或者道路中央的栏杆、绿化带做单独的分割标签，则需要根据像素距离判断此时的路面空洞是噪声还是隔离带，可以先遍历该列所有空洞，找到空洞长度最大值，对最大值进行判断，若该值不超过设定的自设阈值，可以认为全部空洞为检测误差，输出最上方关键点对的top点，作为可行驶区域像素边界；如果空洞长度最大值大于设定的自设阈值，说明该处是路中央隔离带，需要输出隔离带下方的关键点对的top点。
[0015]
进一步的：遍历所有空洞时，对其两边的top点和bottom点通过反投影变换转到车辆坐标系下，再对纵向坐标取差值绝对值，同自设阈值做对比。
[0016]
进一步的：在步骤4）中，选取车辆后轴中点对应的路面点为车辆坐标系原点，坐标变换采用接地点法，建立路面像素坐标与车辆物理坐标间的对应关系。这样，能够通过反投影变换，建立高精度的路面像素坐标与车辆物理坐标间的对应关系。
[0017]
总之，本发明具有如下有益效果：1、本发明提出的检测方案在设备方面仅依靠一个单目摄像头就可以实现，具有操作简单成本较低的优点；算法方面，该方案对区域分割后的图像进行处理，但对分割方式没有限制，具有一定程度的普适性。
[0018]
2、本发明经过特定区域扫描，形成关键点对，再筛选出最终的可行驶区域边界，有效剔除了因检测引入的路面空白噪声；在对障碍物进行分类贴标签的前提下，本方法仅通过一次遍历就能够给出可行驶区域的动静属性，为后续控制决策提供了更多参考。
[0019]
3、本发明提出的可行驶区域扫描方法非常灵活，如果输入的场景图像分辨率较高，为节约运行时间提高效率，可对结果图像先进行降采样再做扫描处理，然后将可行驶区域像素边界还原到原始图像相应位置，再进行反投影变换即可得到世界坐标系下的可行驶区域。
附图说明
[0020]
图1是本发明整体框架流程图；图2是本发明区域分割实例对比图；图3是本发明扫描过程说明图；图4是本发明处理方法获得的结果实例对比图。
具体实施方式
[0021]
以下结合附图对本发明的具体实施方案做详细描述。
[0022]
参见图1—图4， 图1简要展示了本发明基于语义分割的可行驶区域检测方法的总体流程框架图；本发明基于语义分割的可行驶区域检测方法，主要包括以下步骤：图像区域分割、区域像素扫描、处理关键点对和反投影变换，其中区域分割与反投影变换可以根据需求选择其他算法，下面详细说明各个步骤的实现过程：步骤1）区域分割：对输入的原始图像进行基于深度学习的语义分割或者基于传统算法的图像阈值分割，得到包含路面标签、移动目标标签（车辆行人等移动体）、障碍物标签（主要如路桩、锥筒、水马、栅栏等）及背景标签等的分割结果图像；对输入的原始图像进行基于深度学习的语义分割或者基于传统算法的图像阈值分割，得到包含路面标签、车辆行人移动目标标签、路桩、锥筒、水马、栅栏等障碍物标签及背景标签等的分割结果图像，图2展示了语义分割的一个实例，原始图像与区域分割后的图像的对比图。这里根据不同使用需求，可适当增减分类标签数量，如果对可行驶区域没有动静分离的要求，可以将行人车辆等移动目标归为背景标签大类。
[0023]
步骤2）区域像素扫描：对分割后的图像进行扫描，逐列扫描，找到每列的关键点对，即像素列中成对的道路边缘点，以能得到具体的可行驶区域范围；首先，在分割后的图像上设置一个扫描停止线。扫描停止线位置可以是图像像素高度的一半，也可以是图像主点所在的位置，或者主点以下再多几行，保证最远距离需求即
可。然后采用两个循环遍历下半部分图像，先是列，再是行，这样依次按列扫描。开始每列的扫描前，需要将该列的关键点对坐标缓存数组top和bottom全部值初始化为0，同时设置一个flag标签，初始值为1。然后从下至上开始扫描，如图3所示，当遇到路面标志物（或者车道线、路沿及道路标识等路面标志物）时将flag置为0，并在缓存数组中记录下该bottom点的像素坐标。若分割图像识别了移动目标标签，则将该属性也记录下来（下同）；当遇到背景标签、障碍物标签或者停止扫描线时，将flag置为1，记录下该点同列下一行像素点的位置坐标到top缓存数组中，到此一个关键点对已形成，需要将关键点对缓存数量加1。内循环退出后，说明该列已经全部扫描完成，这时，可以进行下一步，对关键点进行筛选，提取可行驶区域像素边界。
[0024]
步骤3）关键点提取：经过区域扫描，得到一对或多对关键点，确定具体的可行驶区域范围；每扫描完一列，首先判断一下当前列的关键点对数量是否大于0。若关键点对数量等于0，说明该列不存在可行驶区域边界点；若关键点对数量等于1，取top点作为最终的输出，直接提取该关键点对的top点作为可行驶区域的像素边界；若关键点对数量大于1，即存在多对关键点，这时候如果对路面的隔离带或者道路中央的栏杆、绿化带等做了分割标签，可以判断是检测存在误差导致路面有空洞区域（孔洞噪声），应输出隔离带或者道路中央的栏杆、绿化带所在位置最后一对关键点的top点坐标。如果未对隔离带或者道路中央的栏杆、绿化带等做单独的分割标签，这种情况需要特殊处理，需要根据像素距离判断此时的路面空洞是噪声还是隔离带，可以先遍历该列所有空洞，找到空洞长度最大值，对最大值进行判断，若该值不超过设定的数值（自设阈值），可以认为全部空洞为检测误差，输出最上方关键点对的top点，作为可行驶区域像素边界。如果空洞长度最大值大于设定的数值（自设阈值），说明该处极有可能是路中央隔离带，需要输出隔离带下方的关键点对的top点。自设阈值的具体数据的选取可以参考车辆坐标系下隔离带的实际尺寸，如一个具体设定的阈值是1.2米。具体做法是，遍历所有空洞时，对其两边的top点和bottom点通过反投影变换转到车辆坐标系下，再对纵向坐标取差值绝对值，同自设阈值做对比，若差值大于自设阈值，说明当前场景存在隔离带，可行驶区域像素边界为当前点对的top点。若差值小于自设阈值，说明该处空洞为检测噪声，此时的可行驶区域像素边界为该列最后一对关键点的top点。如果某列中空洞数量大于1，可以先遍历出最大空洞，对空洞的top点与bottom点重复以上判断，可以得到最终的可行驶区域。
[0025]
步骤4）反投影变换：将像素坐标系下的可行驶区域信息，通过反投影变换将像素位置还原到车辆坐标系（世界坐标系）下，得到基于语义分割的可行驶区域；通过反投影变换将像素坐标点映射到车辆坐标系下。本技术选取车辆后轴中点对应的路面点为车辆坐标系（世界坐标系）原点，因为是单目视觉，所以坐标变换采用接地点法，建立路面像素坐标与车辆物理坐标间的对应关系，实际的坐标转换精度依赖于相机的标定和实时动态外参的计算。在变换过程中，可适当设置合适的距离阈值进行筛选，经过坐标变换后纵向距离小于距离阈值下限或者大于自设上限的，根据距离远近剔除这些点，如剔除大于120米的较远点等，使得最后得到的扇形区域更加光滑。
[0026]
步骤5）测试数据：对步骤4）得到的可行驶区域图像进行实际上路行驶检测；在实际上路行驶过程中，车辆通过单目摄像头获取车外环境感知场景，经过本发
明的方法进行处理，获得了较优的效果；车辆通过单目摄像头车外环境感知场景，能够实现提取经过语义分割后的图像上的道路可行驶区域信息，提高了智能驾驶的安全型。本发明能够解决分割后的图像区域检测不准确（例如路面检测空洞）等问题。
[0027]
最后需要说明的是，本发明的上述实例仅仅是为说明本发明所作的举例，而并非是对本发明的实施方式的限定。尽管申请人参照较佳实施例对本发明进行了详细说明，对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其他不同形式的变化和变动。这里无法对所有的实施方式予以穷举。凡是属于本发明的技术方案所引申出的显而易见的变化或变动仍处于本发明的保护范围之列。