一种基于关键点回归与多尺度特征融合的车道线检测方法与流程

1.本发明属于图像处理和车辆智能驾驶领域，尤其涉及一种基于关键点回归与多尺度特征融合的车道线检测方法。


背景技术：

2.随着智能网联汽车技术的逐渐推广及adas高级驾驶辅助系统的普及应用，车道线检测任务已成为智能交通系统的重要一环。车道保持辅助(lka)、车道偏离预警(ldw)、可行驶区域划分等多项驾驶辅助技术均对车道线检测任务提出了高精度、高可靠、低时延的检测要求。
3.基于视觉的检测方法是目前主流的车道线检测方法，由于车道线类型、颜色多样，有虚线、实线、鱼骨线、导流线、白色车道线、黄色车道线等多种类别车道线；且在实际道路环境中，车道线线往往存在被遮挡、模糊、破损、缺失等情况，再加上不同地理位置、不同天气环境、不同光照条件等因素的影响，都给基于视觉的车道线检测任务带来了巨大挑战。针对车道线检测任务的研究也因此具有迫切的研究需求及较高的应用价值。
4.基于特征及基于模型的传统车道线检测方法通常对图像拍摄质量、车道线几何特征信息依赖性较高、对光照、天气等因素的变化较为敏感，往往只适用于限定场景的车道线检测任务，泛化性能较差，不适用于复杂多变的驾驶场景。现有基于深度学习的方法大多基于语义分割的模型进行车道线特征提取，这种模型通常需要对分割图进行复杂的后处理操作，才能完成车道线拟合，在这个过程中往往计算较为耗时且容易丢失全局语义信息。
5.近来业界有不少新型车道线检测算法陆续推出，部分学者提出利用线提议单元[li x,li j, hu x,et al.line
‑
cnn:end
‑
to
‑
end traffic line detection with line proposal unit[j].ieeetransactions on intelligent transportation systems,2020,21(1):248
‑
258.]、多项式参数模型 [tabelini l,berriel r,t m,et al.polylanenet:lane estimation via deep polynomialregression[j].arxiv preprint arxiv:2004.10924,2020.]、关键点估计[ko y,lee y,azam s,et al. key points estimation and point instance segmentation approach for lane detection[j].arxivpreprint arxiv,2020:2002
‑
6604]等方法来捕获车道线全局信息，为基于深度学习的车道线检测方法提供了新的思路，但部分模型依然存在计算效率低或误检率高等问题。


技术实现要素：

[0006]
针对上述计算效率低、全局信息丢失等问题，本发明提出一种基于关键点回归与多尺度特征融合的车道线检测方法。算法整体结构如图1所示。整个网络主要分为特征提取模块、多尺度特征融合模块、车道线预测模块、车道线关键点回归模块。
[0007]
将车道线用一组纵向等间距排列的关键点组合表示，设计卷积神经网络通过预测关键点坐标序列实现全局车道线检测。根据图像中远处车道线像素点少且模糊、近处车道
线像素点多且清晰的特点，设计多尺度特征融合网络结构，综合提升模型的分类和回归性能。该方法从全局视图出发，在考虑车道线全局信息的同时，关注车道线细节特征的提取。所提模型在复杂驾驶场景下具有较高的检测鲁棒性和精度，且模型求解效率高，具有较高的实际应用价值。
[0008]
一种基于关键点回归与多尺度特征融合的车道线检测方法，其特征在于，包括以下步骤：
[0009]
构建基于关键点与多尺度特征融合的车道线检测网络；
[0010]
对基于关键点与多尺度特征融合的车道线检测网络进行训练；
[0011]
将待测图像输入训练后得到的车道线检测网络中，得到车道线检测结果；
[0012]
其中，车道线检测网络包括图像输入模块、特征提取模块、多尺度特征融合模块、车道线分类及关键点回归模块和图像输出模块，图像输入模块用于输入图像；特征提取模块用于提取输入图像的深层特征；多尺度特征融合模块用于对特征提取模块输出的不同尺度的特征图进行上采样和特征融合，得到上部特征图；车道线分类及关键点回归模块包括车道线分类模块和车道线回归模块，车道线分类模块用于根据特征提取模块输出的特征图输出车道线分布概率图，车道线回归模块用于根据上部特征图和特征提取模块输出的特征图生成关键点的坐标偏置值，根据车道线分布概率图和关键点的坐标偏置值得到车道线的预测置信度及其对应的所有关键点坐标序列kp
seq
。
[0013]
进一步地，网络结构具体参数见表1。其中，b代表每次输入网络中训练的批数据大小。 s1、s2、s4分别代表卷积核滑动的步幅(stride)为1、2、4。
[0014]
表1网络结构
[0015]
[0016][0017]
进一步地，所述图像输入模块，将输入的图像的高宽尺寸统一调整为16
×
32像素。同时支持rgb彩色图像与灰度图像输入。
[0018]
进一步地，所述图像输入模块，在对车道线检测网络进行训练时，对车道线分类模块和车道线回归模块分别采用交叉熵损失函数及平滑l1损失函数，通过迭代训练优化车道线检测网络，使两种损失函数的组合达到最小值；
[0019]
车道线检测网络整体损失函数包括分类损失、上部关键点回归损失和下部关键点回归损失，整体损失函数表示为：
[0020][0021][0022][0023]
其中，l
cls
为车道线分类损失，l
reg
为关键点回归损失，p
i
为第i个网格预测车道线的置信度，为第i个网格的真实类别标签，u
i
为第i个网格对应的k 1维上部关键点回归偏置值序列，为第i个网格对应的k 1维上部关键点真实偏置值序列，d
i
为第i个网格对应的k 维下部关键点回归偏置值序列，为第i个网格对应的k维下部关键点真实偏置值序列，为真实所有网格的真实标签，λ
cls
、λ
up
、λ
down
分别为三部分损失对应的权重系数。
[0024]
进一步地，关键点序列kp
seq
表示为：
[0025]
[0026]
其中s表示关键点起始索引，v表示关键点消失索引，即k条等分线自底向上排列，起始关键点落在第s条等分线上，消失点落在第v条等分线上，x
seq
[j]和y
seq
[j]分别表示关键点序列中第j条等分线上的关键点的横坐标和纵坐标，u代表关键点的并集。
[0027]
进一步地，车道线检测网络还包括后处理模块，用于对输入的所有关键点坐标序列kp
seq
筛选操作，筛除误检序列并输出最优的关键点坐标序列。
[0028]
进一步地，所述筛选操作包括异常序列过滤、聚类、横坐标均衡化和非极大值抑制操作，异常序列过滤操作用于对不符合正常车道线分布规则的关键点坐标序列剔除，聚类操作用于将相似关键点坐标序列聚类，视为同一聚类簇，横坐标均衡化操作用于对聚类簇中同一等分线上的关键点横坐标取平均值作为聚类簇的横坐标，非极大值抑制操作用于去除置信度相对较小的关键点序列。
[0029]
进一步地，所述异常序列过滤的具体操作为，对同一关键点序列内所有相邻点的横坐标差值δx做统计分析并求方差，设置最大方差阈值a，当方差var大于最大方差阈值a时，将该关键点序列去除；所述聚类的具体操作为，每次取两组关键点序列，统计在不同关键点序列但在同一等分线上的关键点的横坐标差值对该两组关键点序列中的所有横坐标差值计算平均值后作为两个关键点序列的距离，当两组序列距离小于预设的最大距离阈值时，则将其视为同一聚类簇；所述非极大值抑制的具体操作为，相邻两组关键点序列的距离小于预设的最小距离阈值时，则去除置信度相对较小的序列。
[0030]
方差var及横坐标差值δx分别表示为：
[0031][0032]
△
x
j
＝x
j
‑
x
j
‑1(0＜j＜v
‑
s 1)
[0033]
其中，x
j
表示该序列中第j条等分线上的关键点的x坐标。代表该关键点序列所有横坐标差值的均值。
[0034][0035]
其中，x
m,j
，x
n,j
分别表示第m组序列和第n组序列在第j条等分线上的横坐标。分别表示第m组序列和第n组序列在第j条等分线上的横坐标。分别代表第m组关键点序列和第n组关键点序列。
[0036]
进一步地，所述横坐标均衡化，关键点的平均x坐标可以表示为：
[0037][0038]
其中，l表示同一簇内的序列总数。
[0039]
进一步地，所述特征提取模块为改进的resnet
‑
50，包括依次设置的第一卷积层模块c1、第一残差模块c2，第二残差模块c3，第三残差模块c4、第四残差模块c5以及最后一层共享特征层，且下一模块的输入是上一模块的输出，其中，第四残差模块c5的最后一层下采
2080ti gpu 上运行速率达到160fps，具有较高的实用性。
[0051]
与现有技术相比，本发明的有益效果是：
[0052]
1)本发明所述的基于关键点回归与多尺度特征融合的车道线检测方法，相比现有基于语义分割的车道线检测方法，直接输出一定数量的关键点坐标偏置值，而非对图像所有像素点进行分类，在保证全局信息不丢失的同时，大大提高了模型的计算效率。
[0053]
2)本发明所述的快速后处理方法，相比现有基于语义分割的检测方法的复杂后处理操作，只需对车道线分布规律、距离等规则信息进行简单计算与判断，即可实现车道线关键点序列的择优输出。
[0054]
3)本发明所述的基于关键点回归与多尺度特征融合的车道线检测方法，在gtx 2080tigpu上运行速率达到160fps，相比大多数基于语义分割的车道线检测方法，在计算速度上有较大优势，更具有实际应用价值。
附图说明
[0055]
本发明提供了附图以便于所公开内容的进一步理解，附图构成本技术的一部分，但仅仅是用于图示出体现发明概念的一些发明的非限制性示例，而不是用于做出任何限制。
[0056]
图1是本技术实施例提供的一种基于关键点回归与多尺度特征融合的车道线检测网络的总体结构图。
[0057]
图2是本技术实施例提供的一种关键点回归示意图。
具体实施方式
[0058]
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都是本发明保护的范围。
[0059]
请参阅图1，本发明提供的一种基于关键点回归与多尺度特征融合的车道线检测方法整体结构图，包括以下步骤：
[0060]
步骤1：构建基于关键点与多尺度特征融合的车道线检测网络。
[0061]
本发明中，车道线检测网络包括以下模块：图像输入模块；特征提取模块；多尺度特征融合模块；车道线分类及关键点回归模块；后处理模块；图像输出模块。网络结构具体参数见表1。其中，b代表每次输入网络中训练的批数据大小。s1、s2、s4分别代表卷积核滑动的步幅(stride)为1、2、4。
[0062][0063][0064]
在本发明其中一个实施例中，图像输入模块将输入的图像的高宽尺寸统一调整为16
×
32 像素，同时支持rgb彩色图像与灰度图像输入。
[0065]
在本发明其中一个实施例中，设置特征提取模块以提取图像深层特征，其主体结构在现有特征提取网络resnet
‑
50的基础上改进，包括依次设置的第一卷积层模块c1(含7
×
7卷积核及3
×
3最大池化层)、第一残差模块c2，第二残差模块c3，第三残差模块c4、第四残差模块c5以及最后一层共享特征层，且下一模块的输入是上一模块的输出。对原始resnet
‑
50 的c5结构中的最后一层下采样卷积层步幅由2更改为1(即stride
‑
2更改为stride
‑
1)，使得输入特征提取网络的图像最终下采样为1/16分辨率的特征图以减少网络后端关键点回归及车道线分类分支的计算量，即经过特征提取模块后输出高宽尺寸为16
×
32像素的特征图，将其作为共享特征图进行下部车道线关键点的特征融合与车道线分类及回归任务。
[0066]
在本发明其中一个实施例中，多尺度特征融合模块中，将经过特征提取模块下采样后的高宽尺寸为16
×
32像素的特征图逐级上采样，以增强特征提取的丰富性，提高网络泛化能力，并将上采样后的特征图与特征提取模块中的不同残差模块输出的不同尺度特征图c2，c3， c4，c5根据特征图尺寸逐元素加权相加，得到3种尺度共4个特征图p2，p3，p4，p5，
尺度分别为64
×
128、32
×
64、16
×
32、16
×
32，将前2个大尺度的特征图p2与p3分别利用5
×
5、 3
×
3的卷积核进行特征提取与下采样，使其统一转化为16
×
32尺度的特征图，再加上对p4， p5进行特征提取得到的特征图，总共4个16
×
32尺度的特征图，对4个相同尺度的特征图进行特征图合并，得到上部特征图，将多个尺度下提取的特征进行合并以增强特征丰富性、提高网络泛化性。利用合并后的上部特征图进行上部车道线关键点的特征提取与回归。
[0067]
本发明在车道线分类及关键点回归模块中，在图像纵坐标方向均匀划分出k条等分线，即在图像纵向等间距地提取出k个纵坐标，所有车道线的关键点纵坐标只允许落在k条等分线所在的纵坐标上。此外，经过尺寸调整后的图像被均匀地划分出高宽16
×
32个相同尺寸的网格，即每个网格尺寸为16
×
16。每个网格均有对应的标签p*(h,w)，当该网格内有车道线经过，则p*(h,w)＝1，否则p*(h,w)＝0。
[0068]
优选地，在本发明其中一个实施例中，如图2所示，车道线分类及关键点回归模块中，综合考虑计算量及车道线关键点分布密集度，经过特征提取模块后输出的特征图为16
×
32尺度的特征图，即纵向上有16个网格，令每一个网格负责预测4个车道线关键点，在图像纵坐标方向均匀划分出64条等分线，即在图像纵向等间距地提取出64个纵坐标，所有车道线的关键点纵坐标只允许落在64条等分线所在的纵坐标上。此外，经过尺寸调整后的图像被均匀地划分出高宽尺寸为16
×
32个相同尺寸的网格，即每个网格尺寸为16
×
16。每个网格均有对应的标签p*(h,w)，当该网格内有车道线经过，则p*(h,w)＝1，否则p*(h,w)＝0。
[0069]
本发明中，车道线分类及关键点回归模块包括车道线分类模块和车道线回归模块，车道线回归模块包括车道线上部回归分支和车道线下部回归分支。
[0070]
在本发明其中一个实施例中，在车道线分类模块中，输入特征提取模块得到的特征图，输出结果为1通道的高宽尺寸为16
×
32像素车道线分布概率图，将对每一个网格输出其对应车道线的置信度，通过置信度值的大小来判断是否有车道线经过该网格。
[0071]
在本发明其中一个实施例中，车道线回归模块负责输出关键点坐标偏置值。车道线上部回归分支输出结果为65通道的高宽尺寸为16
×
32像素偏置分布图，其中第一个通道负责预测上部消失点的纵向坐标，其余通道则按顺序回归从对应网格中心点往上第一个关键点到消失点之间的关键点序列的横坐标偏置；车道线下部回归分支输出结果为64通道的高宽尺寸为 16
×
32像素偏置图，分别回归从对应网格中心点以下第一个关键点到图像最底部车道线起始点之间的关键点序列的横坐标偏置。将两回归分支输出的同一网格对应的上下两部分关键点序列与分类分支输出的对应网格的中心点像素坐标及分类概率值结合，即可得到一条车道线的预测置信度及其对应的所有关键点坐标序列kp
seq
。
[0072]
在本发明其中一个实施例中，单组关键点坐标序列kp
seq
表示为：
[0073][0074]
其中s表示关键点起始索引，v表示关键点消失索引，即k条等分线自底向上排列，起始关键点落在第s条等分线上，消失点落在第v条等分线上。x
seq
[j]和y
seq
[j]分别表示序列中第j条等分线上的关键点的横坐标和纵坐标，u代表关键点的并集。
[0075]
输入后处理模块的多组关键点序列，分别经过异常序列过滤、聚类、横坐标均衡化和非极大值抑制操作，筛除误检序列并输出最优序列。
[0076]
在本发明其中一个实施例中，在异常序列过滤，根据正常车道线关键点序列在纵坐标方向等间距连续排列、在横坐标方向平滑渐变的特点，对同一序列内所有相邻点的横
坐标差值δx做统计分析并求方差，设置最大方差阈值a＝10，当方差var大于阈值时，说明该关键点序列部分横坐标存在突变等异常值，不符合正常车道线分布规则，属于异常序列，故将其去除。
[0077]
方差var及横坐标差值δx分别表示为：
[0078][0079]
△
x
j
＝x
j
‑
x
j
‑1(0＜j＜v
‑
s 1)
[0080]
其中，x
j
表示该序列中第j条等分线上的关键点的x坐标。代表该关键点序列所有横坐标差值的均值。
[0081]
在本发明其中一个实施例中，车道线检测模型的设计允许图像上同一条车道线位置具有多组坐标相近的关键点序列，为了合并相同的车道线关键点序列，需对所有序列按照距离进行聚类，每次取两组序列，统计在不同序列但在同一等分线上的关键点的横坐标差值对该两组序列中的所有横坐标差值计算平均值后作为两个序列的距离。设置最大距离阈值 b＝4，当两组序列距离小于该最大距离阈值时，则将其视为同一聚类簇。
[0082][0083]
其中，x
m,j
，x
n,j
分别表示第m组序列和第n组序列在第j条等分线上的横坐标，分别表示第m组序列和第n组序列在第j条等分线上的横坐标，分别代表第m组关键点序列和第n组关键点序列。
[0084]
在本发明其中一个实施例中，经过聚类操作后的关键点序列集已按照车道线数分为多个聚类簇。经过统计分析，每个聚类簇中的大部分序列具有相近的关键点坐标，少数序列的部分关键点可能存在坐标偏离现象。因此，对聚类簇中同一等分线上的关键点横坐标取平均值，做均衡化处理以消除少数坐标偏离对最终车道线实际坐标的影响。关键点横坐标取平均值表示为：
[0085][0086]
在本发明其中一个实施例中，经过横坐标均衡化操作后，每个聚类簇均得到一个均衡化后的关键点序列，其置信度值转变为均衡化前关键点序列集的置信度叠加值。为去除出现在道路中间的误检测结果，设置最小距离阈值c(本实施例中c＝40)，利用非极大值抑制nms 思想，当相邻两组关键点序列的距离小于该阈值时，则去除置信度相对较小的序列。
[0087]
步骤2：利用含车道线标签及图像的公开数据集及自行采集的数据集对所述车道线检测网络进行训练。
[0088]
本步骤中，训练输入图像的高宽尺寸统一调整为256
×
512像素，将得到的训练网络及算法部署在车载嵌入式工控机上。
[0089]
针对车道线分类和关键点回归两大任务，分别采用交叉熵损失函数(cross entropy loss) 及平滑l1损失函数(smooth l1 loss)，通过迭代训练优化模型，使两种损失函数的组合达到最小值。
[0090]
车道线检测网络整体损失函数包括分类损失、上部关键点回归损失和下部关键点回归损失，整体损失函数表示为：
[0091][0092][0093][0094]
其中，l
cls
为车道线分类损失，l
reg
为关键点回归损失，p
i
为第i个网格预测车道线的置信度，为第i个网格的真实类别标签，u
i
为第i个网格对应的k 1维上部关键点回归偏置值序列，为第i个网格对应的k 1维上部关键点真实偏置值序列，d
i
为第i个网格对应的k 维下部关键点回归偏置值序列，为第i个网格对应的k维下部关键点真实偏置值序列，为真实所有网格的真实标签，在此处，当第i个网格有车道线经过时，否则λ
cls
、λ
up
、λ
down
分别为三部分损失对应的权重系数。
[0095]
步骤3：将待测图像输入训练后得到的车道线检测网络中，得到车道线检测结果。
[0096]
在本发明其中一个实施例中，将车辆前视单目摄像头所采集的rgb彩色图像或灰度图像的高宽尺寸统一调整为256
×
512像素，与车道线检测网络的输入尺寸保持一致，输入所述车道线检测网络，并输出车道线检测结果。将车道线检测结果投影在车辆前视图像上，得到自车与车道线的相对位置，为智能驾驶汽车决策规划和车辆控制提供精确的车辆可行驶区域信息。
[0097]
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其他实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。