一种车道线数据集的构建标注方法及应用系统与流程

1.本发明属于图像处理领域，具体涉及一种车道线数据集的构建、标注方法及应用系统。


背景技术：

2.随着人工智能和自动驾驶驾驶技术的发展，深度神经网络以其较好的识别效果，良好的 鲁棒性，成为当前主流的图像识别算法。然而神经网络模型的训练需要大量人工标注的数据， 需要花费大量的人力物力成本。同时人工标注容易因疲劳、专注度下降等原因造成标注结果 的准确度下降。
3.车道线作为结构化道路的一个主要特征，对驾驶以及自动驾驶都有很强的指导作用，因 此车道线的检测和识别是当前自动驾驶的一个重要研究方向。车道线数据的标注常常使用点 标注作为原始标注，后续再根据需要通过样条插值，最小二乘等方法拟合出车道线。
4.目前公开的使用较为广泛的车道数据集如tusimple数据集，culane数据集等单条车道 上标注点个数范围在最大可达48个，单张图像中通常有1～4条车道线，由此可见车道线标注 工作任务量巨大。图像标注领域的常用标注工具有labelimg，labelme等软件，当进行大量数 据点标注时需要人工定位坐标，标注的效果好坏直接影响深度学习模型的训练效果。


技术实现要素：

5.本发明的目的在于提供一种车道线数据集的构建、标注方法及应用系统，以解决车道数 据集构建过程中，手动处理数据、标注数据效率低下的问题。
6.一种车道数据集构建、标注方法，其包括以下步骤：
7.(1)通过视频的形式采集车道数据，并保存数据用于后续处理；
8.(2)对采集到的视频数据进行分解处理得到图片，并根据数据集要求批量调整图片尺寸、 格式等，其中视频数据分解过程有两种可选步骤：
9.(2.1)每隔n帧保存一帧图像。n的值通过人工设置；
10.(2.2)每隔n帧保存一帧图像。n的值通过深度学习技术自动设置，具体为：通过预先训 练的神经网络模型进行每一帧图像的关键点预测，并计算当前帧与参考帧的关键点的相似度， 当相似度大于阈值时，自动保存当前帧，并更新当前帧为参考帧。相似度由下述公式得到：
[0011][0012]
其中，s为不同图像帧上预测点的相似度，n为关键点的个数，为当前图像帧上关键点的横 坐标，y
i
为当前图像帧上关键点的纵坐标，x
′
i
为参考帧上关键点的横坐标，y
′
i
为
参考帧上关键 点的纵坐标，λ为比例系数，一般取大于0.5的值。
[0013]
(3)对显示图像进行自适应增强，减小人工识别车道线的难度，加快标注速度。其所述的 图像自适应增强方法只增强标注时显示的图像，而不更改原图像，包括如下步骤：
[0014]
(3.1)根据预先训练的神经网络划分出车道线感兴趣区域；
[0015]
(3.2)计算感兴趣区域内图像的亮度值，若小于阈值则对整个图像进行亮度增强；
[0016]
(3.3)若车道远端间隔小于阈值，则通过逆透视变换得到俯视图，方便标注。
[0017]
(4)设置标注数据的格式，对要标注的车道数、每条车道标注点数及标注间隔类型进行设 置，其设置项包括
[0018]
(4.1)需要标注的车道数目；
[0019]
(4.2)每条车道上的标注点数目；
[0020]
(4.3)标注的间隔类型，其中间隔类型包括等间距标注和上密下疏标注。所述的上密下疏 标注根据实际场景下交通图像车道远端容易出现转向和由于透视特征造成的车道交汇现象， 给图像上半部分更多的标注点来描述此特性。所述的上密下疏标注的间隔由以下公式计算：
[0021][0022]
其中，为从上往下第i个标注点的纵坐标，y0为最上边标注点的纵坐标，h为待标注图 像的高，n为单条车道上标注点的个数。
[0023]
(5)进行车道数据的自动标注，利用深度学习技术根据设置的标注格式预测出关键点，即 把待标注图像作为输入送入预训练的神经网络模型，直接预测出符合步骤(4)中设置的个数， 标注方式的标注点；
[0024]
(6)根据所述的神经网络预测出的关键点，进行人工确认或修改，其步骤为：
[0025]
(6.1)若步骤(5)中自动标注的点全部符合要求，则直接确认，把标注信息保存为json文件；
[0026]
(6.2)若步骤(5)中自动标注的点少部分符合要求，则对需要修改的标注点手动修改，把修 改后的标注信息保存为json文件；
[0027]
(6.3)若步骤(5)中自动标注的点大部分不符合要求，则采用手工半自动标注方法进行重新 标注，所述的手工半自动方法为：手动标注最上方某条车道线的第一个标注点，根据步骤(4) 中所述的标注方式自动生成n条水平辅助线，只需在竖直方向上进行标注。
[0028]
本发明还提供一种车道数据集构建、标注系统，其包括如下模块：
[0029]
数据采集模块，用于采集视频数据，并根据时间戳命名保存，防止文件名冲突造成数 据覆盖或丢失；
[0030]
数据分解与处理模块，用于根据设定的或神经网络自动预测的帧间隔保存待标注的视 频帧和对图像进行批量尺寸和格式调整；
[0031]
自适应增强模块，用于对不易识别的难例待标注图像进行自适应增强，加快标注速度 和标注准确度；
[0032]
标注格式设置模块，用于对标注格式进行设置，包括单条车道线上标注点个数、车道 线条数、标注间隔方式等；
[0033]
自动标注模块，用于根据预训练的神经网络模型预测的结果进行车道的自动化
标注；人工确认与修改模块，用于对自动标注模块标注的结果进行手动修改或重新手工半自 动标注；
[0034]
标注格式转化模块，用于对点标注格式的数据进行转化，可通过曲线拟合转为线标注 或通过计算闭合区域转为语义分割标注格式。
[0035]
相比现有技术，本发明的有益效果在于：分解视频数据为图片时使用深度学习技术动态 调整保存图片的帧间隔，使得数据集有效数据增多的同时避免引入特征过于相似的数据；对 标注时显示的图片进行自适应增强和逆透视转换，保证了人工标注过程的标注准确率和标注 速度；采用等间隔或上密下疏间隔在减少标注点的同时保证标注效果；使用预训练的神经网 络自动标注待标注图像。大大减少了车道标注数据过程中的工作量，有利于推动相关深度学 习技术的发展和优化进程。
附图说明
[0036]
下面结合附图和具体实施方式对本发明作进一步说明。
[0037]
图1为本发明所涉方法的流程图。
[0038]
图2为真实交通场景中由于光照不足造成的车道线难以准确标注的示例。
[0039]
图3为真实交通场景中由于透视效应造成的车道线远端难以准确标注的示例。
[0040]
图4为上密下疏标注辅助线示例
[0041]
图5为本发明所涉系统的结构图
具体实施方式
[0042]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行更为详细的描述， 应当理解，所描述的具体实施例仅仅用以解释本发明，并不限定本发明。基于本发明中的实 施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其它实施例，都属 于本发明保护的范围。
[0043]
本发明提供了一种车道数据集构建、标注方法，其整体流程图如图1所示，包括如下步 骤：
[0044]
(1)通过视频的形式采集车道数据，并保存数据用于后续处理；
[0045]
通过摄像头等录像设备，采集实际行车视频数据，并按照时间戳命名保存文件。或者 加载需要的视频文件。
[0046]
(2)对于步骤(1)得到的视频数据进行分解处理得到图片，并根据数据集要求批量调整图 片尺寸、格式等；
[0047]
神经网络需要的输入数据一般是图片数据集，因此要把采集得到的视频数据转化为图片 数据，但是由于视频帧间相似性，所以一般并不需要全部图片作为训练数据集。因此，需要 设定一个间隔n，每隔n帧图像保存一张图片。n的选取可以有以下两种选择：
[0048]
(2.1)手动选择一个固定的值n，在上述视频分解过程中每隔n帧保存一张图片，并按 顺序自动编号命名图片
[0049]
(2.2)把待处理的视频的每一帧图像作为输入送入预训练的神经网络模型，神经网络模 型可以为lanenet网络，lstr网络等车道线检测网络，但并不限于这两种神经网络模型。经 过网络预测，得到车道线数据点。其中把视频的第一帧图像作为起始参考帧，并直
接保存第 一帧图像，同时保存第一帧的预测出的车道线数据点。接下来根据每一帧图像的预测数据点 与参考帧的预测数据点的相似度决定是否保存该帧图像。
[0050]
若当前帧图像的预测点与参考帧图像的预测点相似度小于阈值，则直接跳过该帧，继续 处理下一帧；若当前帧图像的预测点与参考帧图像的预测点相似度大于阈值，则保存该帧图 像，同时更新当前帧为参考帧。相似度根据下式进行计算：
[0051][0052]
其中，s为不同图像帧上预测点的相似度，n为关键点的个数，为当前图像帧上关键点 的横坐标，y
i
为当前图像帧上关键点的纵坐标，x
′
i
为参考帧上关键点的横坐标，y
′
i
为参考帧上 关键点的纵坐标，λ为比例系数，一般取大于0.5的值。
[0053]
(3)对显示图像进行自适应增强，减小人工识别车道线的难度，加快标注速度；
[0054]
实际交通场景中由于光照、透视效应等一系列因素的影响，某些车道线难以识别。在标 注过程中需要花费很多时间去精准标注，效率低下。针对这样的难例样本，进行图像自适应 增强。图像自适应增强只针对标注时显示的图像，而不更改原数据，因为数据集往往需要真 实的包括多种极端情况的数据。
[0055]
图2为真实交通场景中由于光照不足造成的车道线难以准确标注的示例，图3为真实交 通场景中由于透视效应造成的车道线远端难以准确标注的示例。
[0056]
为了解决上述问题，采用如下方法：
[0057]
(3.1)根据预先训练的神经网络划分出车道线感兴趣区域；
[0058]
由于障碍物遮挡、天空亮度一般高于路面等原因，可能造成图像亮度不均匀。若使用整 幅图像来计算亮度可能造成感兴趣区域(一般为路面区域)亮度过低的情况下，整体亮度并 不低，因此单独计算感兴趣区域的亮度。
[0059]
感兴趣区域划分方法为，把当前图像作为输入送入预训练的神经网络，把神经网络预测 出的车道线的最上方点所在的水平线作为水平分割线，此水平分割线下方部分即为感兴趣区 域。
[0060]
(3.2)计算感兴趣区域图像的亮度值，若小于阈值对整个图像进行亮度增强；
[0061]
首先把图像由rgb格式转为hsv格式，hsv格式更接近人类对彩色的感知，并且其v 通道可单独表示明度。因此使用v通道的值来表示亮度，当图像按照步骤(3.1)划分出感兴趣 区域后，计算感兴趣区域的v通道值，当其小于设定的阈值时，即认为亮度偏低，进行图像 亮度增强，可使用retinex相关算法如msrcr(multi
‑
scale retinex with color restoration)、 msrcp(multi
‑
scale retinex with chromaticity preservation)等进行亮度提升。
[0062]
(3.3)若车道远端间隔小于阈值，则通过逆透视变换得到俯视图，方便标注。
[0063]
如图3所示，真实交通场景中由于透视效应，车道远端通常几乎交汇在一起，在数据标 注过程中无法准确、快速的对其进行标注。通过预先训练的神经网络得到车道数据，根据不 同车道远端数据点的距离，若距离小于阈值，则进行逆透视变换得到俯视图，在逆透视变换 得到的俯视图中，不同的直线车道线之间几乎平行，弯道车道线曲率减小，有利于迅速、准 确的进行车道标注。
[0064]
逆透视变换坐标公式为：
[0065]
x＝x
′
/w
′
[0066]
y＝y
′
/w
′
[0067][0068]
x和y为逆透视变换后的坐标，u，v为原始图片坐标，[a
11
～a
33
]为对应的变换矩阵。
[0069]
由四组原图和转换后对应的坐标点可解上式。通过预先训练的车道线网络预测出车道数 据点，根据最左侧车道上下两个端点坐标和最右侧车道的上下两个端点坐标共四个坐标和固 定的四个坐标点作为转换后四个顶点。
[0070]
(4)设置标注数据的格式，对要标注的车道数、每条车道标注点数及标注间隔类型进行 设置；
[0071]
根据不同的数据集要求，可设置不同的数据标注格式。某些场景需要标出尽可能多的车 道，某些场景需要标出4条车道(当前车道和用于变道参考的当前车道左右的两条车道)，还 有可能只需标出当前的2条车道。
[0072]
还需设置单条车道上的标注点个数，一般来说越多的标注点个数越能精确的表示车道线， 但同时也越需要更多的人力来标注。
[0073]
最后还需要设置间隔方式，可选择等间隔标注或者上密下疏间隔标注。等间隔标注是指 每条车道的标注点间隔都是相等的，可根据标注点个数和图片大小进行自动计算间隔；上密 下疏间隔是指标注点之间间隔从上到下依次增大，因为图像上部的车道线部分经常涉及车道 转弯的情况，需要更多的标注点来精确表示；而图像下部的车道线常近似于直线，用较少标 注点即可精确表示。采用上密下疏间隔可在保持标注精度基本不变的情况下一定程度上减少 标注点个数，减小工作量。上密下疏间隔可根据下式计算：
[0074][0075]
其中，为从上往下第i个标注点的纵坐标，y0为最上边标注点的纵坐标，h为待标注图 像的高，n为单条车道上标注点的个数。
[0076]
(5)进行车道数据的自动标注，利用深度学习技术根据设置的标注格式预测出关键点；
[0077]
使用大量数据训练的神经网络模型如lanenet、lstr等网络模型(显然不限于此两种模型) 作为预训练模型，用于图像的自动标注。把待标注图像作为输入送入预训练网络，得到原始 预测结果。再对原始预测结果进行处理，得到如步骤(4)中设置的标注格式的数据。
[0078]
在本实施例中，原始预测结果为一系列数据点拟合成的车道曲线。按照步骤(4)中的设置， 根据单条车道上的点数和间隔类型，在该车道曲线上每个特定间隔标注出一个标注点。使用 此方法即可快速、自动的标注出一系列符合步骤(4)设置的标注点。
[0079]
(6)根据所述的神经网络预测出的关键点，进行人工确认或修改。
[0080]
由于神经网络预测的结果无法保证绝对准确，所以仍需要人工进行确认和修改。由一般 经验来看，由于图像上半部分车道线所占像素少，且经常涉及到转弯、透视造成的
车道交汇 等现象，因此图像上半部分自动标注的点准确率相对较低。
[0081]
步骤(5)自动标注得到的一系列标注点，经由人工判断。
[0082]
(6.1)若整体效果较好，则直接保存相应的标注点即可。保存过程为获取标注点相对于当 前图像的坐标，再计算当前坐标点相对于原图尺寸的坐标，因为在步骤(3)中图像自适应增强 过程中更改了显示图像的尺寸等图像信息，因此要计算相对于原图尺寸的坐标。根据以下公 式计算相对于原图的坐标：
[0083][0084][0085]
其中x、y为相对于原图的坐标，x
′
、y
′
为相对于当前显示图的坐标，w为原图的宽，h 为原图的高，w
′
为当前显示图的宽，h
′
为当前显示图的高。
[0086]
把根据上式计算得到的相对于原图的坐标保存到json文件中。
[0087]
(6.2)若部分自动标注点效果不好，则手动修改此部分标注点。修改方式为使用鼠标拖动 标注点到正确位置。
[0088]
(6.3)若自动标注点整体效果较差，则直接手工半自动重新标注。
[0089]
首先清楚步骤(5)中的自动标注点，手动标注任一条车道线的最上方标注点，标注完该点 后，根据步骤(4)中设置的标注间隔、标注点个数等数据，自动生成n条水平辅助线，每个标 注点完成后，下一条辅助线上自动生成一个待确认的标注点随着鼠标在辅助线上滑动。即该 标注点的竖直方向已经确定，只需确认水平方向即可，相比于lableimg等标注方式，省去了 一个竖直方向自由度，标注效率更高。在本实施例中，上密下疏间隔的手工半自动标注如图 4所示。
[0090]
本发明还提供了一种车道数据集构建、标注系统，其整体结构如图5所示，包括如下模 块：
[0091]
数据采集模块，用于采集视频数据，并根据时间戳命名保存，防止文件名冲突造成数据 覆盖或丢失；
[0092]
数据分解与处理模块，用于根据设定的或神经网络自动预测的帧间隔n，每个n帧保存 一张待标注的视频帧。不同数据集要求不同的格式和尺寸的图片数据，此模块还可以对图像 进行批量尺寸和格式调整；
[0093]
自适应增强模块，用于对不易识别的难例待标注图像在显示时进行亮度自适应增强以及 逆透视转换，加快标注速度和标注准确度；
[0094]
标注格式设置模块，用于对标注格式进行设置，包括单条车道线上标注点个数、车道线 条数、标注间隔方式等；
[0095]
自动标注模块，用于根据预训练的神经网络模型预测的结果进行车道的自动化标注；
[0096]
人工确认与修改模块，用于对自动标注模块标注的结果进行手动修改或重新手工半自动 标注。其中手工半自动标注可根据标注格式设置模块输出的设置项自动生成水平辅助线，有 利于加快标注速度。
[0097]
标注格式转化模块，用于对点标注格式的数据进行转化，可通过曲线拟合转为线
标注或 通过计算闭合区域转为语义分割标注格式。