车道区域确定装置及方法与流程

1.本技术涉及信息技术领域。


背景技术：

2.在交通视频监控和自动驾驶中，车道区域的信息配置是一项重要且具有挑战性的任务，在目前的方法中，需要预先为每个监控设备进行一些人为的预设设置，例如车道区域，车道类型和车道方向等。
3.在车道区域配置过程中，提取车道区域是主要的步骤，对于提取车道区域，常用的方法之一是基于边缘检测和数学形态学的方法。该方法通过数学形态学中的扩散和腐蚀操作提炼道路的边缘，并最终选择准确的道路。
4.另外，有人提出了一种基于检测车道线的车道区域提取方法。基于深度学习来检测车道线以提取车道区域。
5.另外，还提出了一种基于深度学习的车道区域提取方法，基于多任务学习框架来划分车道区域并检测车道边界。
6.应该注意，上面对技术背景的介绍只是为了方便对本技术的技术方案进行清楚、完整的说明，并方便本领域技术人员的理解而阐述的。不能仅仅因为这些方案在本的背景技术部分进行了阐述而认为上述技术方案为本领域技术人员所公知。


技术实现要素：

7.但是，对于噪声点少、道路清晰的背景图像，基于边缘检测和数学形态学的方法的成功率较高。然而，在实际的交通视频中，噪声点难以消除，并且道路本身具有复杂性和可变性。因此，该方法很容易受到噪声点的影响，不适用于多道路。此外，该方法不能提供每个车道的位置。
8.对于基于检测车道线的车道提取方法，该方法在实际的场景中，车道线可能会模糊或者消失，其他道路标志也会影响车道线检测的准确性，因此是有局限性的。此外，该方法还有一个局限性，即不能确定每个道路上车辆的行驶方向。
9.对于基于深度学习的车道区域提取方法，不适用于多车道。另外，该方法不能确定每个车道区域的具体坐标和每个车道中车辆的行驶方向。
10.为了解决上述问题中的至少一个，本技术实施例提供一种车道区域确定装置及方法，能够适应具有干扰物的真实场景，并能够确定每个车道的类型，无需人为设定，即可以实现自动车道区域信息的自动配置。
11.根据本技术实施例的第一方面，提供一种车道区域确定装置，所述装置包括：
12.第一确定单元，其基于语义分割从输入图像中初步提取车道区域，确定初步车道区域；
13.第二确定单元，其对确定了初步车道区域的输入图像进行二值化处理而得到二值化图像，根据该二值化图像确定车道轮廓；
14.拟合单元，其使用多边形拟合该车道轮廓，得到拟合后的车道区域；
15.第三确定单元，其基于该拟合后的车道区域中的感兴趣的正向光流矢量和反向光流矢量的比例确定车道类型。
16.根据本技术实施例的第二方面，提供一种车道区域确定方法，该方法包括：
17.基于语义分割从输入图像中初步提取车道区域，确定初步车道区域；
18.对确定了初步车道区域的输入图像进行二值化处理而得到二值化图像，根据该二值化图像确定车道轮廓；
19.使用多边形拟合该车道轮廓，得到拟合后的车道区域；
20.基于该拟合后的车道区域中的感兴趣的正向光流矢量和反向光流矢量的比例确定车道类型。
21.本技术实施例的有益效果在于：通过对拟合后的车道区域中正向光流矢量和反向光流矢量的比例确定车道类型，从而能够适应具有干扰物的真实场景，并能够确定每个车道的类型，无需人为设定，即可以实现自动车道区域信息的自动配置。
22.参照后文的说明和附图，详细公开了本技术的特定实施方式，指明了本技术的原理可以被采用的方式。应该理解，本技术的实施方式在范围上并不因而受到限制。在所附权利要求的精神和条款的范围内，本技术的实施方式包括许多改变、修改和等同。
23.针对一种实施方式描述和/或示出的特征可以以相同或类似的方式在一个或更多个其它实施方式中使用，与其它实施方式中的特征相组合，或替代其它实施方式中的特征。
24.应该强调，术语“包括/包含”在本文使用时指特征、整件、步骤或组件的存在，但并不排除一个或更多个其它特征、整件、步骤或组件的存在或附加。
附图说明
25.所包括的附图用来提供对本技术实施例的进一步的理解，其构成了说明书的一部分，用于例示本技术的实施方式，并与文字描述一起来阐释本技术的原理。显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。在附图中：
26.图1是本技术第一方面的实施例的车道区域确定装置的一示意图；
27.图2是本技术第一方面的实施例的第一确定单元的一示意图；
28.图3是本技术第一方面的实施例的语义分割结果的一示意图；
29.图4是本技术第一方面的实施例的第三确定单元确定了所有像素的类型之后的一示意图；
30.图5是本技术第一方面的实施例的第二确定单元的一示意图；
31.图6是本技术第一方面的实施例的二值化图像中的轮廓的一示意图；
32.图7是对图6中的轮廓进行筛选后得到的一示意图；
33.图8是本技术第一方面的实施例的拟合后的车道区域的一示意图；
34.图9a是输入图像中高车辆遮挡示意图；
35.图9b是图9a中车道方向确定示意图；
36.图9c是移动体区域检测结果示意图；
37.图10是本技术第一方面的实施例的车道区域确定装置的一示意图；
38.图11是本技术第一方面的实施例的划分单元的构成示意图；
39.图12a至图12c是弯道划分场景示意图；
40.图13是本技术第二方面的实施例的电子设备的一示意图；
41.图14是本技术第二方面的实施例的电子设备的系统构成的一示意框图；
42.图15是本技术第三方面的实施例的车道区域确定方法的一示意图；
43.图16是本技术第三方面的实施例1504实施方式的一示意图；
44.图17是本技术第三方面的实施例的车道区域确定方法的一示意图；
45.图18是本技术第三方面的实施例1705实施方式的一示意图。
具体实施方式
46.参照附图，通过下面的说明书，本技术的前述以及其它特征将变得明显。在说明书和附图中，具体公开了本技术的特定实施方式，其表明了其中可以采用本技术的原则的部分实施方式，应了解的是，本技术不限于所描述的实施方式，相反，本技术包括落入所附权利要求的范围内的全部修改、变型以及等同物。
47.第一方面的实施例
48.本技术实施例提供一种车道区域确定装置。图1是本技术实施例1的车道区域确定装置的一示意图。
49.如图1所示，车道区域确定装置100包括：
50.第一确定单元101，其基于语义分割从输入图像中初步提取车道区域，确定初步车道区域；
51.第二确定单元102，其对确定了初步车道区域的输入图像进行二值化处理而得到二值化图像，根据该二值化图像确定车道轮廓；
52.拟合单元103，其使用多边形拟合该车道轮廓，得到拟合后的车道区域；
53.第三确定单元104，其基于该拟合后的车道区域中的感兴趣的正向光流矢量和反向光流矢量的比例确定车道类型。
54.由上述实施例可知，通过对拟合后的车道区域中正向光流矢量和反向光流矢量的比例确定车道类型，从而能够适应具有干扰物的真实场景，并能够确定每个车道的类型，无需人为设定，即可以实现自动车道区域信息的自动配置。
55.在本技术实施例中，车道区域确定装置100处理的输入图像可以是从对车道所在的区域进行拍摄的摄像装置得到的，例如，通过设置在道路上方的监控摄像头拍摄得到。
56.在本技术实施例中，车道区域确定装置100可以对监控摄像头拍摄的监控视频的至少一个帧进行处理，例如，对于监控视频的间隔帧进行处理。
57.在本技术实施例中，间隔帧指的是两两之间隔着至少一个帧的多个帧，即不是连续的帧，这样，能够明显的区分出移动的物体和不移动的物体，从而便于确定初步车道区域。
58.图2是本技术第一确定单元构成的一示意图。如图2所示，第一确定单元101包括：
59.分割模块201，其用于对预设数量的间隔帧分别进行语义分割，获得预设数量的间隔帧的语义分割结果；以及
60.确定模块202，其用于针对各个帧中的所有像素逐个确定该像素的类型，其中，将
预设数量的间隔帧中该像素的语义分割结果中出现频率最高的类型作为该像素的类型。
61.在本技术实施例中，分割模块201对预设数量的间隔帧进行语义分割，该预设数量可以根据实际需要而确定，例如，该预设数量为10。
62.在本技术实施例中，分割模块201可以基于深度学习网络进行语义分割，例如，基于deeplab v3网络进行语义分割。在进行语义分割时，对于干扰物，例如绿化带、广告杆和电线杆等，将这些干扰物和道路视为同一类别，从而消除这些干扰物的干扰。另外，对于移动物体，例如车辆，将其和道路视为不同类别，这样，能够避免当车辆的尺寸太大且车辆遮挡道路边界时，两个相邻的车道区域被连接。
63.图3是本技术语义分割结果的一示意图。如图3所示，对于作为输入图像的一帧进行语义分割，绿化带、广告杆和电线杆等干扰物和道路被划分为同一类别，而车辆被划分为与道路不同的类别。由于车辆挡住了道路表面的一部分，所获得的车道区域将不完整，中间会出现孔洞，因此，需要对语义分割的结果进行校正。
64.确定模块202用于针对各个帧中的所有像素逐个确定该像素的类型，其中，将预设数量的间隔帧中该像素的语义分割结果中出现频率最高的类型作为该像素的类型。这样，能够将属于道路的区域补充完整，从而获得完整的初步车道区域。
65.例如，对于10个相互间隔的间隔帧，分别进行语义分割后，对语义分割结果进行逐像素扫描，确定各个帧中各个像素的类型，例如，该像素属于道路，或者，该像素属于车辆。对于某个像素，其在10个间隔帧中被划分为属于道路的帧数为8，被划分为属于车辆的帧数为2，那么，将该像素的类型确定为道路。
66.图4是本技术确定了所有像素的类型之后的一示意图。如图4所示，经过确定模块202的校正之后，获得了完整的初步车道区域，也就是说，将某些帧中划分为车辆的区域校正为车道区域。
67.在本技术实施例中，第二确定单元102对确定了初步车道区域的输入图像进行二值化处理而得到二值化图像，根据该二值化图像确定道路轮廓。
68.图5是本技术第二确定单元构成一示意图。如图5所示，第二确定单元102包括：
69.二值化处理模块501，其用于对确定了初步车道区域的输入图像进行二值化处理，得到二值化图像；
70.搜索模块502，其用于搜索该二值化图像中的最外圈，得到该二值化图像中的轮廓；以及
71.筛选模块503，其用于在搜索得到的轮廓中根据轮廓的面积进行筛选，得到该道路轮廓。
72.在本技术实施例中，二值化处理模块501对确定了初步车道区域的输入图像进行二值化处理，例如，将车道区域的像素值置为1，将其他区域的像素值置为0，从而得到二值化图像。
73.搜索模块502搜索该二值化图像中的最外圈，得到该二值化图像中的轮廓。
74.图6是本技术二值化图像中的轮廓的一示意图。如图6所示，搜索该二值化图像中的最外圈而忽略包含在外轮廓中的内轮廓，可以大致确定车道区域的轮廓。
75.筛选模块503在搜索得到的轮廓中根据轮廓的面积进行筛选，得到道路轮廓。例如，去除面积较小的轮廓，例如，去除面积小于预设值的轮廓。
76.图7是对图6中的轮廓进行筛选后得到的一示意图。如图7所示，去除较小的轮廓后，得到车道区域的轮廓，即道路轮廓。
77.在获得了道路轮廓之后，拟合单元103使用多边形拟合该道路轮廓，得到拟合后的车道区域。例如，使用多边形逼近法来拟合道路轮廓，得到拟合后的车道区域。图8是本技术拟合后的车道区域的一示意图。如图8所示，通过多边形来表示拟合后的车道区域。
78.在一些实施例中，该第三确定单元104用于计算感兴趣的正向光流矢量和反向光流矢量的比例，在该比例大于第一阈值且小于第二阈值时，确定该车道类型是双向车道，否则确定该车道类型是单向车道，从而自动的确定车道类型。
79.其中，光流矢量的方向表示了车辆的行驶方向，该正向光流矢量是指车辆行驶方向的光流矢量，反向光流矢量是与该车辆行驶方向相反的光流矢量，该光流矢量的确定方法可以是现有技术，例如，预设数量的间隔帧，使用l-k金字塔光流方法计算正向光流矢量和反向光流矢量。即，使用如下的公式(1)和(2)进行迭代计算，得到具有方向的光流矢量，即正向或反向的光流矢量：
[0080][0081][0082]
其中，i
x
表示x方向上的偏导数，iy表示y方向上的偏导数，δik(x，y)表示间隔帧之间对应点的灰度误差，g表示空间梯度矩阵，w
x
和wy表示图像上矩形窗口的设定大小，i表示前一帧图像，j表示后一帧图像，l表示光流计算的层数(l为大于或等于1的整数)，k是迭代次数(k的取值范围是[1，k]，其中，k为大于1的整数)g
l
表示光流，v表示残余光流向量。
[0083]
在本技术实施例中，该第一阈值小于第二阈值，第一阈值和第二阈值的具体数值可以根据实际需要而设置。
[0084]
在某些情况下，在车辆的高度过高时，会对车道产生遮挡，图9a是该高车辆遮挡示意图，图9b是车道方向确定示意图，如图9a所示，该车辆的光流会被计入至对面车道，从而导致图9b所示的车道划分错误以及车道方向确定错误，为解决该问题，该装置还可以包括：
[0085]
第四确定单元(未图示，可选)，其还用于获取光流矢量，并检测该拟合后的车道区域中的移动体区域；并基于该移动体区域从该光流矢量中选择移动方向线一侧的光流矢量作为感兴趣的光流矢量。
[0086]
在一些实施例中，第四确定单元可以使用yolo检测器检测拟合后的车道区域中的移动体区域，图9c是该检测结果示意图，如图9c所示，该矩形框即为移动体区域，但本技术并不以此作为限制，还可以使用其他检测方法检测该移动体区域。
[0087]
另外，该第四确定单元使用该矩形框过滤该移动体行驶车道的光流，即选择移动方向线一侧的光流矢量作为感兴趣的光流矢量，丢弃移动方向线另一侧的光流矢量，如图9c所示，该第四确定单元保存在移动方向线左侧的光流，丢弃移动方向线右侧的光流，将左侧的光流作为感兴趣的光流矢量。
[0088]
在一些实施例中，该装置还可以包括：
[0089]
第五确定单元(可选，未图示)，其确定该移动方向线，其确定该移动体区域内光流
矢量的平均方向，将经过该移动体区域的中心点，且以该平均方向为斜率的直线作为该移动方向线。
[0090]
例如，如图9c所示，该移动体区域内的光流矢量的平均方向为图中的ab方向，经过该矩形框的中心点的沿ab方向延伸的线即为移动方向线。
[0091]
以上仅以一个移动体区域为例说明如何确定感兴趣的光流矢量和移动方向线，在实际检测时，图像中各个移动体区域的感兴趣的光流矢量和移动方向线的确定方法相同，此处不再一一赘述。
[0092]
由上述实施例可知，通过保留移动方向线一侧的光流矢量作为感兴趣的光流矢量，丢弃移动方向线另一侧的光流矢量，从而可以解决高车辆遮挡的问题，避免车道划分错误以及车道方向确定错误的问题。
[0093]
图10是本技术中车道区域确定装置又一构成示意图，如图10所示，该装置还包括：
[0094]
第一确定单元1001，第二确定单元1002，拟合单元1003，第三确定单元1004的实施方式与第一确定单元101，第二确定单元102，拟合单元103，第三确定单元104相同，此处不再一一赘述。
[0095]
在确定车道类型是双向车道时，该装置还可以包括：
[0096]
划分单元1005，其基于该拟合后的车道区域中的光流矢量对该拟合后的车道区域进行划分。
[0097]
由上述实施例可知，通过对拟合后的车道区域中正向光流矢量和反向光流矢量的比例确定车道类型，从而能够适应具有干扰物的真实场景，并能够确定每个车道的类型以及划分车道区域以及确定车道方向，无需人为设定，即可以实现自动车道区域信息的自动配置。
[0098]
在一些实施例中，划分单元1005可以确定一条划分双向车道的分界线，图11是该划分单元1005构成示意图，如图11所示，划分单元1005包括：
[0099]
第一确定模块1101，其确定该光流矢量的中心点以及车辆运行轨迹的消失点；
[0100]
第二确定模块1102，其根据该中心点和该消失点，确定相邻两个车道区域的第一划分线，以对该拟合后的车道区域进行划分。
[0101]
在一些实施例中，第一确定模块1101根据预设数量的间隔帧，使用前述公式(1)和(2)(或者其他方法)计算该拟合后的车道区域中的正向光流矢量和反向光流矢量；分别确定该拟合后的车道区域中的正向光流矢量的中心点和反向光流矢量的中心点；根据该正向光流矢量的中心点和该反向光流矢量的中心点，确定整体光流矢量的中心点；根据该拟合后的车道区域中的正向光流矢量和反向光流矢量，确定车辆运行轨迹的消失点。
[0102]
在一些实施例中，第一确定模块1101计算该拟合后的车道区域中的所有正向光流矢量的像素点的平均坐标，将平均坐标所在的像素点确定为正向光流矢量的中心点，类似的，计算该拟合后的车道区域中的所有反向光流矢量的像素点的平均坐标，将平均坐标所在的像素点确定为反向光流矢量的中心点，计算正向光流矢量的中心点和反向光流矢量的中心点的平均坐标，将平均坐标所在的像素点确定为整体光流矢量的中心点。将每一对正向光流矢量和反向光流矢量的延长线交点确定为一个消失点，在根据各对正向光流矢量和反向光流矢量确定多个消失点之后，将各个消失点的平均坐标所在的像素点确定为车辆运行轨迹的消失点。
[0103]
在一些实施例中，第二确定模块1102根据该整体光流矢量的该中心点和该消失点，确定相邻两个车道区域的第一划分线，以对该拟合后的车道区域进行划分，例如将该中心点和该消失点连接，其连线在该拟合后的车道区域中的部分构成为第一划分线。
[0104]
在一些实施例中，在车道包括弯道时，为了更准确的确定包含弯道的车道的第一划分线，该划分单元1005还可以包括：
[0105]
划分模块1103，其沿着车道延伸方向将该车道区域划分为至少两段区域；
[0106]
并且，该第一确定模块1101分别确定每段区域内光流矢量的中心点和车辆运行轨迹的消失点；
[0107]
该第二确定模块1102根据每段区域内的该中心点和该消失点，确定每段区域内的划分线，将每段区域内的划分线连接拟合，以确定该第一划分线。
[0108]
图12a至图12c是弯道划分场景示意图，在一些实施例中，如图12a所示，划分模块1103划分后的每段区域的车道近似直线，第一确定模块1101和第二确定模块1102确定每段区域的划分线后进行连接拟合得到该第一划分线，其中，如图12b所示，第一确定模块1101去除该每段区域内与该中心点的距离超过第四阈值的光流矢量和/或去除该每段区域内与光流矢量的平均方向偏差超过第五阈值的光流矢量，从而过滤掉混乱的光流矢量，其中，可以先通过聚类算法算出每段区域的光流矢量的中心点和光流矢量平均方向，距离超过第四阈值是指光流矢量与该中心点的距离超过第四阈值，另外，方向偏差超过第五阈值是指光流矢量的方向与该平均方向偏差超过第五阈值(例如方向偏差可以用两个方向之间的夹角表示)，第二确定模块1102确定每段区域内剩余光流矢量的中心点和车辆运行轨迹的消失点，该中心点和消失点确定方式与前述类似，此处不再赘述。第二确定模块1102将每段区域内的划分线连接拟合，该拟合方式可以参考现有技术，以确定该第一划分线。
[0109]
由此，先将车道的弯道部分划分成多段区域，然后滤除掉混乱的光流矢量，从而解决了弯道划分的问题，避免车道划分错误，如图12c所示，该拟合后的第一划分线是准确的。
[0110]
在一些实施例中，在输入图像模糊，或者输入图像包括远距离物体时，划分后的某些段区域中的光流矢量不足以确定上述消失点和中心点，因此，无法获得该段区域的划分线，在本实施例中，先对各段区域内的光流矢量进行异常检查，如果某些段区域内没有足够的光流矢量用于确定划分线，则可以将与该段区域相邻的其他段区域的划分线进行拟合，根据拟合结果确定该段区域的划分线。
[0111]
例如，在一些实施例中，在一段区域内的光流矢量数小于第三阈值时，该第二确定模1102块根据与其相邻的至少一段区域对应的划分线的拟合结果确定该一段区域内的划分线，该至少一段区域可以是该段区域同一侧的区域，可以是两侧的区域，例如将与其相邻的前一段区域和后一段区域的划分线进行拟合，得到该段区域的划分线，或者也可以将与其相邻的前两段区域的划分线进行拟合，得到该段区域的划分线，此处不再一一举例。
[0112]
在一些实施例中，在输入图像底部有字幕干扰或者横向支路或出画等情况时，可以先对各段区域内的光流矢量进行异常检查，在检查到有异常方向和/或异常位置的光流矢量时，则可以将与该段区域相邻的其他段区域的划分线进行拟合，根据拟合结果确定该段区域的划分线。
[0113]
例如，在一些实施例中，在一段区域内包括异常方向和/或位置的光流矢量(或者说该段区域位置异常和/或方向异常)时，该第二确定模块1102根据与其相邻的至少一段区
域对应的划分线的拟合结果确定该一段区域内的划分线。
[0114]
以下说明如何确定异常方向和/或异常位置的光流矢量，或者说，如何确定某段区域是否位置异常和/或方向异常。
[0115]
例如，针对底部有字幕干扰或者横向支路的情况，可以检测是否有异常方向的光流矢量，在一段区域内光流矢量的平均方向与水平方向相差小于第六阈值，则表示该段的方向区域水平方向，则判断包括异常方向的光流矢量，或者在一段区域内光流矢量的平均方向与其他区域内的光流矢量平均方向相差大于第七阈值时，则判断包括异常方向的光流矢量，或者说判断该段为方向异常。
[0116]
例如，一段区域内正向光流矢量的中心点和反向光流矢量的中心点在相邻一段区域的划分线的同一侧，该第二确定模块1102确定一段区域内包括异常位置的光流矢量，或者说该段为位置异常(以下称为异常位置情况1)；和/或一段区域内正向光流矢量的中心点的横坐标大于相邻段反向光流矢量的横坐标的最小值，和/或一段区域内反向光流矢量的中心点的横坐标小于相邻段正向光流矢量的横坐标的最大值，该第二确定模块1102确定一段区域内包括异常位置的光流矢量，或者说该段为位置异常(以下称为异常位置情况2)，上述一段区域通常是输入图像中靠下方的区域，相邻一段区域通常是相邻的靠上方的区域，该中心点的计算方式与前述类似，此处不再赘述。
[0117]
在一些实施例中，对于直线车道，在异常位置情况1和2中有任一个情况满足时，则判断该段包括异常位置的光流矢量，对于弯曲车道，在异常位置情况1和2都满足时，判断该段包括异常位置的光流矢量。
[0118]
以下说明如何确定各段区域属于直线车道还是弯曲车道。
[0119]
例如，针对各段区域，计算第i段的划分线与输入图像横坐标轴的夹角ti(i大于1且小于n，n为划分的段数总和，n大于1)，如果n段区域对应的n个ti中的最大值和最小值的差大于等于预定值，则判定为弯曲车道，否则判定为直线车道。
[0120]
例如，针对出画的情况，一段区域内的边界与该输入图像的边界距离小于第八阈值，该第二确定模块1102确定一段区域单侧相邻的至少一段区域内包括异常位置的光流矢量。即如果一段区域内的左边界靠近输入图像的左边界，或者一段区域内的右边界靠近输入图像的右边界，则判断该段区域为出画段，与该段单侧相邻的至少一段区域内包括异常位置的光流矢量，或者说该相邻的区域为位置异常，针对第i段区域，与其单侧相邻的区域是指第i 1至第n段区域。
[0121]
在本技术中，上述各个阈值可以根据实际需要确定，本技术实施例并不以此作为限制。
[0122]
值得注意的是，以上仅对与本技术相关的各部件或模块进行了说明，但本技术不限于此。本技术实施例的车道区域确定装置100还可以包括其它部件或者模块，关于这些部件或者模块的具体内容，可以参考相关技术。
[0123]
此外，为了简单起见，图1中仅示例性示出了各个部件或模块之间的连接关系或信号走向，但是本领域技术人员应该清楚的是，可以采用总线连接等各种相关技术。上述各个部件或模块可以通过例如处理器、存储器、发射机、接收机等硬件设施来实现；本技术实施并不对此进行限制。
[0124]
由上述实施例可知，通过对拟合后的车道区域中正向光流矢量和反向光流矢量的
比例确定车道类型，从而能够适应具有干扰物的真实场景，并能够确定每个车道的类型，无需人为设定，即可以实现自动车道区域信息的自动配置。
[0125]
第二方面的实施例
[0126]
本技术实施例还提供了一种电子设备，图13是本技术第二方面的实施例的电子设备的一示意图。如图13所示，电子设备1300包括车道区域确定装置1301，车道区域确定装置1301的结构和功能与第一方面实施例中的记载相同，此处不再赘述。
[0127]
在本技术实施例的一种实施方式中，电子设备1300可以是各种类型的电子设备，例如，车载终端、移动终端或者计算机。
[0128]
图14是本技术第二方面的实施例的电子设备的系统构成的一示意框图。如图14所示，电子设备1400可以包括处理器1401和存储器1402；该存储器1402耦合到该处理器1401。该图是示例性的；还可以使用其它类型的结构，来补充或代替该结构，以实现电信功能或其它功能。
[0129]
如图14所示，电子设备1400还可以包括：输入单元1403、显示器1404、电源1405。
[0130]
在本技术实施例的一个实施方式中，第一方面的实施例所述的车道区域确定装置的功能可以被集成到处理器1401中。其中，处理器1401可以被配置为：基于语义分割从输入图像中初步提取车道区域，确定初步车道区域；对确定了初步车道区域的输入图像进行二值化处理而得到二值化图像，根据该二值化图像确定车道轮廓；使用多边形拟合该车道轮廓，得到拟合后的车道区域；基于该拟合后的车道区域中的感兴趣的正向光流矢量和反向光流矢量的比例确定车道类型。
[0131]
在一些实施例中，处理器1401的实施方式可以参考第一方面的实施例，此处不再赘述。
[0132]
在本技术实施例的另一个实施方式中，第一方面的实施例所述的车道区域确定装置可以与该处理器1401分开配置，例如可以将该车道区域确定装置配置为与处理器1401连接的芯片，通过处理器1401的控制来实现该车道区域确定装置的功能。
[0133]
在本技术实施例的一种实施方式中，电子设备1400也并不是必须要包括图14中所示的所有部件。
[0134]
如图14所示，处理器1401有时也称为控制器或操作控件，可以包括微处理器或其它处理器装置和/或逻辑装置，处理器1401接收输入并控制电子设备1400的各个部件的操作。
[0135]
该存储器1402，例如可以是缓存器、闪存、硬驱、可移动介质、易失性存储器、非易失性存储器或其它合适装置中的一种或更多种。并且该处理器1401可执行该存储器1402存储的该程序，以实现信息存储或处理等。其它部件的功能与现有类似，此处不再赘述。电子设备1400的各部件可以通过专用硬件、固件、软件或其结合来实现，而不偏离本技术的范围。
[0136]
由上述实施例可知，通过对拟合后的车道区域中正向光流矢量和反向光流矢量的比例确定车道类型，从而能够适应具有干扰物的真实场景，并能够确定每个车道的类型，无需人为设定，即可以实现自动车道区域信息的自动配置。
[0137]
第三方面的实施例
[0138]
本技术实施例还提供一种车道区域确定方法，该方法对应于第一方面的实施例的
车道区域确定装置。图15是本技术第三方面的实施例的车道区域确定方法的一示意图。如图15所示，该方法包括：
[0139]
1501，基于语义分割从输入图像中初步提取车道区域，确定初步车道区域；
[0140]
1502，对确定了初步车道区域的输入图像进行二值化处理而得到二值化图像，根据该二值化图像确定车道轮廓；
[0141]
1503，使用多边形拟合该车道轮廓，得到拟合后的车道区域；
[0142]
1504，基于该拟合后的车道区域中的感兴趣的正向光流矢量和反向光流矢量的比例确定车道类型。
[0143]
在本技术实施例的一种实施方式中，上述各个操作的具体实现方法与第一方面的实施例中的记载相同，此处不再重复。
[0144]
在一些实施例中，图16是操作1504实施方式示意图，如图16所示，操作1504包括：
[0145]
1601，获取光流矢量；
[0146]
1602，检测该拟合后的车道区域中的移动体区域；
[0147]
1603，基于该移动体区域从该光流矢量中选择移动方向线一侧的光流矢量作为感兴趣的光流矢量；
[0148]
1604，计算感兴趣的正向光流矢量和反向光流矢量的比例，在该比例大于第一阈值且小于第二阈值时，执行1605，否则执行1606；
[0149]
1605，确定该车道类型是双向车道；
[0150]
1606，确定该车道类型是单向车道。
[0151]
在一些实施例中，在1603中，先确定该移动体区域内光流矢量的平均方向，将经过该移动体区域的中心点，且以该平均方向为斜率的直线作为该移动方向线。
[0152]
图17是本技术第三方面的实施例的车道区域确定方法的一示意图。如图17所示，该方法包括：
[0153]
1701，基于语义分割从输入图像中初步提取车道区域，确定初步车道区域；
[0154]
1702，对确定了初步车道区域的输入图像进行二值化处理而得到二值化图像，根据该二值化图像确定车道轮廓；
[0155]
1703，使用多边形拟合该车道轮廓，得到拟合后的车道区域；
[0156]
1704，基于该拟合后的车道区域中的感兴趣的正向光流矢量和反向光流矢量的比例确定车道类型。
[0157]
在本技术实施例的一种实施方式中，上述各个操作的具体实现方法与第一方面的实施例中的记载相同，此处不再重复。
[0158]
在一些实施例中，在确定该车道类型是双向车道时，该方法还包括：
[0159]
1705，基于该拟合后的车道区域中的光流矢量对该拟合后的车道区域进行划分。
[0160]
例如，在1705中，确定该光流矢量的中心点以及车辆运行轨迹的消失点；根据该中心点和该消失点，确定相邻两个车道区域的第一划分线，以对该拟合后的车道区域进行划分，具体实现方法与第一方面的实施例中的记载相同，此处不再重复。
[0161]
图18是1705实施方式示意图，如图18所示，操作1705包括：
[0162]
1801，沿着车道延伸方向将该车道区域划分为至少两段区域；
[0163]
1802，分别确定每段区域内光流矢量的中心点和车辆运行轨迹的消失点；
[0164]
1803，根据每段区域内的该中心点和该消失点，确定每段区域内的划分线；
[0165]
1804，将每段区域内的划分线连接拟合，以确定该第一划分线。
[0166]
在一些实施例中，在1802中，去除该每段区域内与该中心点的距离超过第四阈值的光流矢量和/或去除该每段区域内与光流矢量的平均方向偏差超过第五阈值的光流矢量；并确定每段区域内剩余光流矢量的中心点和车辆运行轨迹的消失点。
[0167]
在一些实施例中，在1803中，在一段区域内的光流矢量数小于第三阈值时，根据与其相邻的至少一段区域对应的划分线的拟合结果确定该一段区域内的划分线；和/或，在一段区域内包括异常方向和/或位置的光流矢量时，根据与其相邻的至少一段区域对应的划分线的拟合结果确定该一段区域内的划分线。判断异常方向和/或位置的光流矢量的实施方式请参考第一方面的实施例，此处不再赘述。
[0168]
值得注意的是，以上附图15-18仅对本技术实施例进行了示意性说明，但本技术不限于此。例如可以适当地调整各个操作之间的执行顺序，此外还可以增加其他的一些操作或者减少其中的某些操作。本领域的技术人员可以根据上述内容进行适当地变型，而不仅限于上述附图15-18的记载。
[0169]
由上述实施例可知，通过对拟合后的车道区域中正向光流矢量和反向光流矢量的比例确定车道类型，从而能够适应具有干扰物的真实场景，并能够确定每个车道的类型，无需人为设定，即可以实现自动车道区域信息的自动配置。
[0170]
本技术实施例还提供一种计算机可读程序，其中当在车道区域确定装置或电子设备中执行所述程序时，所述程序使得计算机在所述车道区域确定装置或电子设备中执行第三方面实施例所述的车道区域确定方法。
[0171]
本技术实施例还提供一种存储有计算机可读程序的存储介质，其中所述计算机可读程序使得计算机在车道区域确定装置或电子设备中执行第三方面实施例所述的车道区域确定方法。
[0172]
结合本技术实施例描述的车道区域确定装置或电子设备中执行车道区域确定方法可直接体现为硬件、由处理器执行的软件模块或二者组合。例如，图1中所示的功能框图中的一个或多个和/或功能框图的一个或多个组合，既可以对应于计算机程序流程的各个软件模块，亦可以对应于各个硬件模块。这些软件模块，可以分别对应于图18所示的各个步骤。这些硬件模块例如可利用现场可编程门阵列(fpga)将这些软件模块固化而实现。
[0173]
软件模块可以位于ram存储器、闪存、rom存储器、eprom存储器、eeprom存储器、寄存器、硬盘、移动磁盘、cd-rom或者本领域已知的任何其它形式的存储介质。可以将一种存储介质耦接至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息；或者该存储介质可以是处理器的组成部分。处理器和存储介质可以位于asic中。该软件模块可以存储在移动终端的存储器中，也可以存储在可插入移动终端的存储卡中。例如，如果电子设备采用的是较大容量的mega-sim卡或者大容量的闪存装置，则该软件模块可存储在该mega-sim卡或者大容量的闪存装置中。
[0174]
针对图1描述的功能框图中的一个或多个和/或功能框图的一个或多个组合，可以实现为用于执行本技术所描述功能的通用处理器、数字信号处理器(dsp)、专用集成电路(asic)、现场可编程门阵列(fpga)或其它可编程逻辑器件、分立门或晶体管逻辑器件、分立硬件组件、或者其任意适当组合。针对图1描述的功能框图中的一个或多个和/或功能框图
的一个或多个组合，还可以实现为计算设备的组合，例如，dsp和微处理器的组合、多个微处理器、与dsp通信结合的一个或多个微处理器或者任何其它这种配置。
[0175]
以上结合具体的实施方式对本技术进行了描述，但本领域技术人员应该清楚，这些描述都是示例性的，并不是对本技术保护范围的限制。本领域技术人员可以根据本技术的精神和原理对本技术做出各种变型和修改，这些变型和修改也在本技术的范围内。
[0176]
本技术实施例还公开下述的附记：
[0177]
1.一种车道区域确定装置，其特征在于，所述装置包括：
[0178]
第一确定单元，其基于语义分割从输入图像中初步提取车道区域，确定初步车道区域；
[0179]
第二确定单元，其对确定了初步车道区域的输入图像进行二值化处理而得到二值化图像，根据所述二值化图像确定车道轮廓；
[0180]
拟合单元，其使用多边形拟合所述车道轮廓，得到拟合后的车道区域；
[0181]
第三确定单元，其基于所述拟合后的车道区域中的感兴趣的正向光流矢量和反向光流矢量的比例确定车道类型。
[0182]
2.根据附记1所述的装置，其特征在于，所述第三确定单元用于计算感兴趣的正向光流矢量和反向光流矢量的比例，在所述比例大于第一阈值且小于第二阈值时，确定所述车道类型是双向车道，否则确定所述车道类型是单向车道。
[0183]
3.根据附记2所述的装置，其特征在于，所述装置还包括：
[0184]
第四确定单元，其还用于获取光流矢量，并检测所述拟合后的车道区域中的移动体区域；并基于所述移动体区域从所述光流矢量中选择移动方向线一侧的光流矢量作为感兴趣的光流矢量。
[0185]
4.根据附记3所述的装置，其中，所述装置还包括：
[0186]
第五确定单元，其确定所述移动方向线，其确定所述移动体区域内光流矢量的平均方向，将经过所述移动体区域的中心点，且以所述平均方向为斜率的直线作为所述移动方向线。
[0187]
5.根据附记2所述的装置，其中，在确定所述车道类型是双向车道时，所述装置还包括：
[0188]
划分单元，其基于所述拟合后的车道区域中的光流矢量对所述拟合后的车道区域进行划分；所述划分单元包括：
[0189]
第一确定模块，其确定所述光流矢量的中心点以及车辆运行轨迹的消失点；
[0190]
第二确定模块，其根据所述中心点和所述消失点，确定相邻两个车道区域的第一划分线，以对所述拟合后的车道区域进行划分。
[0191]
6.根据附记5所述的装置，其中，所述划分单元还包括：
[0192]
划分模块，其沿着车道延伸方向将所述车道区域划分为至少两段区域；
[0193]
并且，所述第一确定模块分别确定每段区域内光流矢量的中心点和车辆运行轨迹的消失点；
[0194]
所述第二确定模块根据每段区域内的所述中心点和所述消失点，确定每段区域内的划分线，将每段区域内的划分线连接拟合，以确定所述第一划分线。
[0195]
7.根据附记6所述的装置，其中，所述第一确定模块去除所述每段区域内与所述中
心点的距离超过第四阈值的光流矢量和/或去除所述每段区域内与光流矢量的平均方向偏差超过第五阈值的光流矢量；并确定每段区域内剩余光流矢量的中心点和车辆运行轨迹的消失点。
[0196]
8.根据附记6所述的装置，其中，在一段区域内的光流矢量数小于第三阈值时，所述第二确定模块根据与其相邻的至少一段区域对应的划分线的拟合结果确定所述一段区域内的划分线；和/或，在一段区域内包括异常方向和/或位置的光流矢量时，所述第二确定模块根据与其相邻的至少一段区域对应的划分线的拟合结果确定所述一段区域内的划分线。
[0197]
9.根据附记8所述的装置，其中，所述第二确定模块在一段区域内光流矢量的平均方向与水平方向相差小于第六阈值，或者与其他区域内的光流矢量平均方向相差大于第七阈值时，确定一段区域内包括异常方向的光流矢量；和/或，一段区域内正向光流矢量的中心点和反向光流矢量的中心点在相邻一段区域的划分线的同一侧，确定一段区域内包括异常位置的光流矢量；和/或一段区域内正向光流矢量的中心点的横坐标大于相邻段反向光流矢量的横坐标的最小值，确定一段区域内包括异常位置的光流矢量；和/或一段区域内反向光流矢量的中心点的横坐标小于相邻段正向光流矢量的横坐标的最大值，确定一段区域内包括异常位置的光流矢量；和/或，一段区域内的边界与所述输入图像的边界距离小于第八阈值，确定一段区域单侧相邻的至少一段区域内包括异常位置的光流矢量。
[0198]
10.根据附记1所述的装置，其特征在于，所述第一确定单元对预设数量的间隔帧分别进行语义分割，获得预设数量的间隔帧的语义分割结果；针对各个帧中的所有像素逐个确定所述像素的类型，其中，将预设数量的间隔帧中所述像素的语义分割结果中出现频率最高的类型作为所述像素的类型。
[0199]
11.根据附记1所述的装置，其特征在于，所述第二确定单元对确定了初步车道区域的输入图像进行二值化处理，得到二值化图像；搜索所述二值化图像中的最外圈，得到所述二值化图像中的轮廓；在搜索得到的轮廓中根据轮廓的面积进行筛选，得到所述车道轮廓。
[0200]
12.一种车道区域确定方法，其特征在于，所述方法包括：
[0201]
基于语义分割从输入图像中初步提取车道区域，确定初步车道区域；
[0202]
对确定了初步车道区域的输入图像进行二值化处理而得到二值化图像，根据所述二值化图像确定车道轮廓；
[0203]
使用多边形拟合所述车道轮廓，得到拟合后的车道区域；
[0204]
基于所述拟合后的车道区域中的感兴趣的正向光流矢量和反向光流矢量的比例确定车道类型。
[0205]
13.根据附记12所述的方法，其特征在于，基于所述拟合后的车道区域中的感兴趣的正向光流矢量和反向光流矢量的比例确定车道类型包括：
[0206]
计算感兴趣的正向光流矢量和反向光流矢量的比例，在所述比例大于第一阈值且小于第二阈值时，确定所述车道类型是双向车道，否则确定所述车道类型是单向车道。
[0207]
14.根据附记12所述的方法，其特征在于，所述方法还包括：
[0208]
获取光流矢量，并检测所述拟合后的车道区域中的移动体区域；并基于所述移动体区域从所述光流矢量中选择移动方向线一侧的光流矢量作为感兴趣的光流矢量。
[0209]
15.根据附记14所述的方法，其中，所述方法还包括：
[0210]
确定所述移动方向线，其确定所述移动体区域内光流矢量的平均方向，将经过所述移动体区域的中心点，且以所述平均方向为斜率的直线作为所述移动方向线。
[0211]
16.根据附记12所述的方法，其中，在确定所述车道类型是双向车道时，所述方法还包括：
[0212]
基于所述拟合后的车道区域中的光流矢量对所述拟合后的车道区域进行划分；对所述拟合后的车道区域进行划分包括：
[0213]
确定所述光流矢量的中心点以及车辆运行轨迹的消失点；
[0214]
根据所述中心点和所述消失点，确定相邻两个车道区域的第一划分线，以对所述拟合后的车道区域进行划分。
[0215]
17.根据附记16所述的方法，其中，对所述拟合后的车道区域进行划分包括：
[0216]
沿着车道延伸方向将所述车道区域划分为至少两段区域；
[0217]
并且，分别确定每段区域内光流矢量的中心点和车辆运行轨迹的消失点；
[0218]
根据每段区域内的所述中心点和所述消失点，确定每段区域内的划分线，将每段区域内的划分线连接拟合，以确定所述第一划分线。
[0219]
18.根据附记17所述的方法，其中，分别确定每段区域内光流矢量的中心点和车辆运行轨迹的消失点包括：
[0220]
去除所述每段区域内与所述中心点的距离超过第四阈值的光流矢量和/或去除所述每段区域内与光流矢量的平均方向偏差超过第五阈值的光流矢量；并确定每段区域内剩余光流矢量的中心点和车辆运行轨迹的消失点。
[0221]
19.根据附记17所述的方法，其中，确定每段区域内的划分线包括：
[0222]
在一段区域内的光流矢量数小于第三阈值时，根据与其相邻的至少一段区域对应的划分线的拟合结果确定所述一段区域内的划分线；和/或，在一段区域内包括异常方向和/或位置的光流矢量时，根据与其相邻的至少一段区域对应的划分线的拟合结果确定所述一段区域内的划分线。
[0223]
20.一种电子设备，其特征在于，所述电子设备包括根据附记1所述的装置。