车道线检测方法及装置与流程

1.本发明涉及人工智能技术领域，尤其涉及一种车道线检测方法及装置。


背景技术：

2.随着人工智能技术的快速发展，交通、物流和安检等各种各样的场景中都应用到人工智能技术，比如在无人驾驶或者辅助驾驶场景中，就需要进行车道线检测，车道线检测是实现车辆对道路上的交通指示线进行自动识别和感知检测的技术。
3.目前在进行车道线检测的场景下，车辆检测到的路面图像较模糊，真实的车道线容易被遮挡，且容易受光线干扰，漏检率较高，检测误差较大，抗干扰能力较差。


技术实现要素：

4.本发明提供一种车道线检测方法及装置，用以解决现有技术中车辆检测到的路面图像较模糊，真实的车道线容易被遮挡，且容易受光线干扰，漏检率较高，检测误差较大，抗干扰能力较差的缺陷，实现提高抗干扰能力，降低漏检率和检测误差，且能够降低计算量，提高计算速度。
5.本发明提供一种车道线检测方法，该车道线检测方法包括：获取待检测图像；将所述待检测图像输入至车道线检测模型中，得到所述车道线检测模型输出的车道线检测结果；其中，车道线检测模型包括：特征压缩层、全连接层和网格分类层，所述特征压缩层用于基于所述待检测图像提取多个压缩特征，所述全连接层用于基于多个所述压缩特征获取全局信息，所述网格分类层用于基于多个所述压缩特征和所述全局信息，得到所述车道线检测结果。
6.根据本发明提供的一种车道线检测方法，所述车道线检测模型的训练过程包括：获取原始样本图像，以及随机形状遮挡块；基于所述原始样本图像以及所述随机形状遮挡块，确定遮挡样本图像；基于所述原始样本图像和所述遮挡样本图像，对所述车道线检测模型进行训练。
7.根据本发明提供的一种车道线检测方法，所述车道线检测模型的训练过程包括：获取多个样本图像和所述样本图像对应的车道线样本数据；以所述样本图像为样本，以与所述样本图像对应的车道线样本数据为样本标签，对所述车道线检测模型进行训练。
8.根据本发明提供的一种车道线检测方法，所述车道线检测模型的训练过程包括：基于语义分割算法，对所述车道线检测模型进行训练。
9.根据本发明提供的一种车道线检测方法，所述车道线检测模型还包括：特征提取层，所述特征提取层用于基于所述待检测图像，提取到多种备选特征。
10.根据本发明提供的一种车道线检测方法，所述车道线检测模型还包括：特征金字塔网络层，所述特征金字塔网络层用于基于所述多种备选特征，得到多个多尺度表示特征，所述特征压缩层用于基于多个所述多尺度表示特征提取多个所述压缩特征。
11.根据本发明提供的一种车道线检测方法，所述车道线检测方法还包括：将所述车
道线检测结果映射到所述待检测图像上，得到车道线在所述待检测图像上的坐标信息。
12.本发明还提供一种车道线检测装置，该车道线检测装置包括：获取模块，用于获取待检测图像；检测模块，用于将所述待检测图像输入至车道线检测模型中，得到所述车道线检测模型输出的车道线检测结果；其中，车道线检测模型包括：特征压缩层、全连接层和网格分类层，所述特征压缩层用于基于所述待检测图像提取多个压缩特征，所述全连接层用于基于多个所述压缩特征获取全局信息，所述网格分类层用于基于多个所述压缩特征和所述全局信息，得到所述车道线检测结果。
13.本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述车道线检测方法的步骤。
14.本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述车道线检测方法的步骤。
15.本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述车道线检测方法的步骤。
16.本发明提供的车道线检测方法及装置，通过由特征压缩层、全连接层和网格分类层组成的车道线检测模型来从待检测图像得到车道线检测结果，能够提高抗干扰能力，降低漏检率和检测误差，且能够降低计算量，提高计算速度。
附图说明
17.为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
18.图1是本发明提供的车道线检测方法的流程示意图；
19.图2是本发明提供的车道线检测装置的结构示意图；
20.图3是本发明提供的电子设备的结构示意图。
具体实施方式
21.为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
22.下面结合图1-图3描述本发明的车道线检测方法及装置。
23.如图1所示，本发明提供一种车道线检测方法，该车道线检测方法包括：如下步骤110至步骤120。
24.步骤110、获取待检测图像。
25.可以理解的是，待检测图像是需要被检测出车道线的道路图像，该待检测图像可以是车辆的摄像头所拍摄到的道路图像，在待检测图像中可以包括车道线、车辆、行人、动物、交通设施或者其他物体，本发明的目的就在于从待检测图像中检测出车道线。
26.值得一提的是，此处的待检测图像中，真实的车道线可能被车辆、行人、动物或者其他物体部分遮挡，在车道线被部分遮挡的情况下，要实现对车道线的检测会存在干扰。
27.将待检测图像输入至车道线检测模型中，得到车道线检测模型输出的车道线检测结果。
28.其中，车道线检测模型包括：特征压缩层、全连接层和网格分类层，特征压缩层用于基于待检测图像提取多个压缩特征，全连接层用于基于多个压缩特征获取全局信息，网格分类层用于基于多个压缩特征和全局信息，得到车道线检测结果。
29.可以理解的是，车道线检测模型可以是神经网络模型，比如可以是卷积神经网络或者残差神经网络。
30.车道线检测模型可以包括特征压缩层、全连接层和网格分类层，特征压缩层的输出端与全连接层的输入端连接，特征压缩层的输出端以及全连接层的输出端均与网格分类层的输入端连接。
31.特征压缩层可以对待检测图像中stride为16的特征做fcm(feature compression moudle)操作。特征压缩层能够用于保持特征的高度，在宽度上进行压缩。因为车道线在图像中呈现线条状，并且大多从图像的左侧、右侧或者底部出发，在前方聚拢并消失。特征压缩层这种结构更有利于提取这种形状的特征。采用特征压缩层能够使得车道线检测模型更简洁，计算量更小，更适于部署在移动端。
32.全连接层可以对特征压缩层提取到的压缩特征进行全连接操作，从而基于多个压缩特征来获取到全局信息，由于车道线在形状和方向上都有一定的形状先验，对于车内的摄像头视角，车道线呈细长型，指向前方，并在较远的地方消失。此处利用全连接层来获取全局信息，这样就能够便于在从局部区域中提取到部分车道线位置后，基于全局信息，来推导出车道线的整体走向，这样就能通过部分来推导整体，降低计算量。
33.网格分类层能够根据多个压缩特征和全局信息reshape得到不同类别车道线的grid classification网格分类结果，最终通过grid网格的方式输出结果，车道线检测结果可以是以grid网格的方式呈现出来的，每个grid网格可以具有一个得分，得分可以为该grid网格为车道线的概率。
34.在一些实施例中，车道线检测模型的训练过程包括：获取多个样本图像和样本图像对应的车道线样本数据；以样本图像为样本，以与样本图像对应的车道线样本数据为样本标签，对车道线检测模型进行训练。
35.车道线检测模型可以通过大量的样本图像以及预先标记的车道线样本数据来进行训练，可以通过有监督学习的方式确保车道线检测模型的训练准确度。
36.车道线检测模型所使用的深度学习神经网络能够对输入的样本图像中的特征进行挑拣，将每个特征用于得到一个输出结果，将每个输出结果都和样本标签进行比对，经过比对符合要求的特征可以保留下来，而经过比对不符合要求的特征通过loss参数进行忽略，经过对输入的大量样本图像的不断迭代训练，可以最终学会那些需要记忆的核心特征，并将不同的核心特征进行分类，最终可以根据这些核心特征来对新输入的待检测图像进行判别。
37.在对车道线检测模型进行训练之前，深度学习神经网络的卷积层的滤波器是完全随机的，其不会对任何特征激活，也就是不能检测到任何特征，在训练的过程中，对空白的
滤波器修改权重以使其能够检测特定的场景，这正是一种有监督学习方式，基于这种有监督学习方式，深度学习神经网络能够自行学习需要出核心特征，以根据这些核心特征来对新输入的待检测图像进行判别。
38.值得一提的是，车道线检测是无人驾驶中的一个基础模块。随着经济的发展，建筑路面越来越多，车道线场景也越来越多样化。早期已经有很多基于传统图像处理方法的实现，比如canny和sobel做线检测，结构张量和条形滤波器做特征提取，hough、ransac和卡尔曼滤波等做后处理等等。但一直存在鲁棒性不强的问题，尤其是在出现了模糊、被光照影响或者被遮挡等情况时，经常出现漏检或者误检的情况，对于夜晚场景传统算法更是无法检测。随着深度学习和大数据的迅猛发展，越来越多的研究者转入到这个方向。
39.发明人在研究中发现，可以把该任务视为分割任务，需要对图像中每个像素点进行分类，但存在速度慢的问题，车道线检测大多跑在端侧，对算法的速度有严格的要求。
40.除此之外，分割正常采用全卷积的方式得到分割结果，全卷积每个像素的感受野几乎为局部的。而车道线的定位与周围车流走向这种全局信息息息相关，特别是遇到车道线被遮挡，模糊的情况时，这种全局信息更加重要。如何在保证算法速度的情况下，提升算法的性能，考虑车道线的先验信息和全局信息成了关键问题。
41.本发明提供的车道线检测方法，通过由特征压缩层、全连接层和网格分类层组成的车道线检测模型来从待检测图像得到车道线检测结果，能够提高抗干扰能力，降低漏检率和检测误差，且能够降低计算量，提高计算速度。
42.在一些实施例中，车道线检测模型的训练过程包括：获取原始样本图像，以及随机形状遮挡块；基于原始样本图像以及随机形状遮挡块，确定遮挡样本图像；基于原始样本图像和遮挡样本图像，对车道线检测模型进行训练。
43.可以理解的是，在对车道线检测模型进行训练的过程中，可以生成随机形状遮挡块，随机形状遮挡块的形状是随机的，可以是规则的圆形、方形或者梯形等形状，也可以为不规则的形状，随机形状遮挡块的数量可以为一个，也可以为多个，可以将随机形状遮挡块覆盖于原始样本图像上，随机形状遮挡块可以遮住原始样本图像上的部分区域，遮挡的内容可以是车辆、行人或者是部分车道线区域，此处不限定随机形状遮挡块的遮挡区域，只要部分遮挡即可，得到的是遮挡样本图像。
44.可以将遮挡样本图像和原始样本图像一起用于训练车道线检测模型，这样可以扩充训练样本的数量，同时利用遮挡样本图像训练车道线检测模型，可以模拟出实际应用场景下的待检测图像容易出现被部分遮挡的情况，使得训练得到的车道线检测模型的容错能力更强，提升抗干扰能力。
45.在一些实施例中，车道线检测模型的训练过程包括：基于语义分割算法，对车道线检测模型进行训练。
46.可以理解的是，在图像识别和计算机视觉领域，图像分割是指根据灰度、彩色、空间纹理、几何形状等特征把图像划分成若干个互不相交的区域，使得这些特征在同一区域内表现出一致性或相似性，而在不同区域间表现出明显的不同。换言之，普通分割是将分属不同类别的物体的像素区域分隔开，比如前景和后景分隔开，猫狗所处的区域与背景区域分隔开，而语义分割是在普通分割的基础上，分类出每一块区域的语义，也就是这块区域是什么物体，这样可以把画面中的所有物体都指出它们各自的类别，此处可以利用语义分割
算法对车道线检测模型进行训练，使得车道线检测模型能够获取到对待检测图像进行精确分割的能力。
47.在一些实施例中，车道线检测模型还包括：特征提取层，特征提取层用于基于待检测图像，提取到多种备选特征。
48.可以理解的是，特征提取层backbone可根据需求对速度和性能的要求从待检测图像中提取多种备选特征，比如res18、res34、res50、mobilenetv2、mobilenetv3和mobilenext等。
49.在一些实施例中，车道线检测模型还包括：特征金字塔网络层，特征金字塔网络层用于基于多种备选特征，得到多个多尺度表示特征，特征压缩层用于基于多个多尺度表示特征提取多个压缩特征。
50.可以理解的是，特征金字塔网络(feature pyramid network)简称fpn，类似tdm(top-down modulation)方法，fpn是一种自顶向下的特征融合方法，但是fpn是一种多尺度的目标检测算法，即不只有一个特征预测层。
51.特征金字塔网络这种网络结构，能够在增加较少计算量的前提下融合低分辨率语义信息较强的特征图和高分辨率语义信息较弱但空间信息丰富的特征图。特征金字塔网络可以使用最近邻值插值法，可以在上采样的过程中最大程度地保留特征图的语义信息，从而与bottom-up过程中相应的具有丰富的空间信息的特征图进行融合，从而得到既有良好的空间信息又有较强烈的语义信息的特征图。
52.虽然有些算法也采用多尺度特征融合来进行目标检测，但是往往只利用融合后得到的一种尺度的特征，这种做法虽然可以将顶层特征的语义信息和底层特征细节信息，但是在特征反卷积等过程中会造成一些偏差，只利用融合后得到的特征进行预测会对检测精度造成不良影响。
53.fpn方法从问题出发，可以在多个不同尺度的融合特征上进行预测，实现检测精度的最大化。
54.fpn特征金字塔的思想来源于传统算法中的多尺度识别，具体操作是将原始图像放缩到不同尺度大小的状态，缩小的图像应用于图像全局特征，放大的图像应用于细节特征。深度学习网络越深层次的特征图，拥有越多的全局和抽象特征。在图像分类任务中，这种深层次的特征保持了良好的平移不变性，不论分类物体图像在哪个位置，深层次的全局特征，依然可以获得信息。
55.但是在图像识别领域中，图像分类中的平移不变性就不成立了，不光要识别出物体的分类还要识别出物体的位置，所以如何结合浅层和深层的信息是一个重要的问题。
56.fpn通过横向连接段，纵向相加的方式，解决浅层和深层结合问题。总体结构采用自上而下的信息结构，可以基于多种备选特征，得到多个多尺度表示特征，这样就能够给特征压缩层提供多个多尺度表示特征，特征压缩层用于基于多个多尺度表示特征提取多个压缩特征。
57.特征金字塔网络层能够提升多尺度的特征表示。
58.在一些实施例中，车道线检测方法，还包括：将车道线检测结果映射到待检测图像上，得到车道线在待检测图像上的坐标信息。
59.可以理解的是，车道线检测结果可以是以grid网格的方式呈现出来的，每个grid
网格可以具有一个得分，得分可以为该grid网格为车道线的概率，此处可以对车道线每一类，以输出的每个grid的得分作为权值，grid的id为待加权量，求得车道线在grid上的浮点坐标。并映射到待检测图像的尺寸，得到每类车道线在待检测图像上的坐标。
60.下面对本发明提供的车道线检测装置进行描述，下文描述的车道线检测装置与上文描述的车道线检测方法可相互对应参照。
61.如图2所示，本发明还提供一种车道线检测装置，该车道线检测装置包括：获取模块210和检测模块220。
62.获取模块210，用于获取待检测图像。
63.检测模块220，用于将待检测图像输入至车道线检测模型中，得到车道线检测模型输出的车道线检测结果。
64.其中，车道线检测模型包括：特征压缩层、全连接层和网格分类层，特征压缩层用于基于待检测图像提取多个压缩特征，全连接层用于基于多个压缩特征获取全局信息，网格分类层用于基于多个压缩特征和全局信息，得到车道线检测结果。
65.本发明提供的车道线检测装置，通过由特征压缩层、全连接层和网格分类层组成的车道线检测模型来从待检测图像得到车道线检测结果，能够提高抗干扰能力，降低漏检率和检测误差，且能够降低计算量，提高计算速度。
66.根据本发明提供的一种车道线检测装置，所述车道线检测模型的训练过程包括：获取原始样本图像，以及随机形状遮挡块；基于所述原始样本图像以及所述随机形状遮挡块，确定遮挡样本图像；基于所述原始样本图像和所述遮挡样本图像，对车道线检测模型进行训练。
67.根据本发明提供的一种车道线检测装置，所述车道线检测模型的训练过程包括：获取多个样本图像和所述样本图像对应的车道线样本数据；以所述样本图像为样本，以与所述样本图像对应的车道线样本数据为样本标签，对所述车道线检测模型进行训练。
68.根据本发明提供的一种车道线检测装置，所述车道线检测模型的训练过程包括：基于语义分割算法，对所述车道线检测模型进行训练。
69.根据本发明提供的一种车道线检测装置，所述车道线检测模型还包括：特征提取层，所述特征提取层用于基于所述待检测图像，提取到多种备选特征。
70.根据本发明提供的一种车道线检测装置，所述车道线检测模型还包括：特征金字塔网络层，所述特征金字塔网络层用于基于所述多种备选特征，得到多个多尺度表示特征，所述特征压缩层用于基于多个所述多尺度表示特征提取多个所述压缩特征。
71.根据本发明提供的一种车道线检测装置，所述车道线检测方法还包括：将所述车道线检测结果映射到所述待检测图像上，得到车道线在所述待检测图像上的坐标信息。
72.图3示例了一种电子设备的实体结构示意图，如图3所示，该电子设备可以包括：处理器(processor)310、通信接口(communications interface)320、存储器(memory)330和通信总线340，其中，处理器310，通信接口320，存储器330通过通信总线340完成相互间的通信。处理器310可以调用存储器330中的逻辑指令，以执行车道线检测方法，该方法包括：获取待检测图像；将待检测图像输入至车道线检测模型中，得到车道线检测模型输出的车道线检测结果；其中，车道线检测模型包括：特征压缩层、全连接层和网格分类层，特征压缩层用于基于待检测图像提取多个压缩特征，全连接层用于基于多个压缩特征获取全局信息，
网格分类层用于基于多个压缩特征和全局信息，得到车道线检测结果。
73.本发明提供的电子设备，通过由特征压缩层、全连接层和网格分类层组成的车道线检测模型来从待检测图像得到车道线检测结果，能够提高抗干扰能力，降低漏检率和检测误差，且能够降低计算量，提高计算速度。
74.此外，上述的存储器330中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
75.另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的车道线检测方法，该方法包括：获取待检测图像；将待检测图像输入至车道线检测模型中，得到车道线检测模型输出的车道线检测结果；其中，车道线检测模型包括：特征压缩层、全连接层和网格分类层，特征压缩层用于基于待检测图像提取多个压缩特征，全连接层用于基于多个压缩特征获取全局信息，网格分类层用于基于多个压缩特征和全局信息，得到车道线检测结果。
76.本发明提供的计算机程序产品，通过由特征压缩层、全连接层和网格分类层组成的车道线检测模型来从待检测图像得到车道线检测结果，能够提高抗干扰能力，降低漏检率和检测误差，且能够降低计算量，提高计算速度。
77.又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的车道线检测方法，该方法包括：获取待检测图像；将待检测图像输入至车道线检测模型中，得到车道线检测模型输出的车道线检测结果；其中，车道线检测模型包括：特征压缩层、全连接层和网格分类层，特征压缩层用于基于待检测图像提取多个压缩特征，全连接层用于基于多个压缩特征获取全局信息，网格分类层用于基于多个压缩特征和全局信息，得到车道线检测结果。
78.本发明提供的非暂态计算机可读存储介质，通过由特征压缩层、全连接层和网格分类层组成的车道线检测模型来从待检测图像得到车道线检测结果，能够提高抗干扰能力，降低漏检率和检测误差，且能够降低计算量，提高计算速度。
79.以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
80.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该
计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
81.最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。