一种轨道数据集的生成方法、轨道识别方法和系统

1.本发明涉及轨道识别技术领域，尤其涉及一种轨道数据集的生成方法、基于轨道数据集的轨道识别方法和系统。


背景技术：

2.轨道识别技术是一种能够识别检测铁路视频中出现的轨道区域的技术；具体通过给定一张输入图像，通过轨道识别算法输出一个分割图或一系列像素点，以表示轨道区域。现今，列车驾驶安全是列车运行需要重点关注的问题，其中，障碍物检测和损坏检测是保证列车驾驶安全的重点；而对列车运行轨道上障碍物的检测，是轨道识别技术中的重要内容。轨道识别技术最大的挑战包括光线变化、轨道变化和速度要求快等问题。
3.为了解决上述问题，现有的轨道识别技术中提供了多种算法，主要包括：(1)、基于传统手工特征的轨道识别方法；(2)、基于深度卷积神经网络分割的轨道识别方法。传统的手工特征方法通常要首先提取线性特征，再根据线性特征检测具体的轨道。具体如图1所示，输入的图像经过线性算子，例如roberts、prewitt和sobel进行处理，再检测得到轨道的二值输出图，这类方法在简单的背景下有不错的效果。另一方面，深度学习分割方法采用大量的数据和深度神经网络进行轨道区域的检测与分割。如图1所示，输入的图像经过卷积神经网络，再输出轨道的二值分割图，这些方法能够展现出对真实背景的鲁棒性。
4.尽管现存有很多轨道识别算法，但是现有技术中并不存在能够直接处理的、公开的轨道数据集或者高速网络架构。传统方法通常直接处理测试图片，这样就难以处理复杂的背景或得到准确的识别效果。因为深度学习方法需要强大的鲁棒性，这就需要大量的、能够直接处理的轨道图片来训练卷积神经网络，然而如上所述，因为当前没有公开的轨道数据集，导致深度学习方法受阻。


技术实现要素：

5.本发明提供一种轨道数据集的生成方法、轨道识别方法和系统，旨在解决现有技术中没有大量可用于深度学习的轨道数据集的问题。
6.为实现上述目的，根据本发明的第一方面，本发明提出了一种轨道数据集的生成方法，包括：
7.获取轨道图像集，其中，轨道图像集包括多张真实轨道图像；
8.分别使用折线标记法标注每张真实轨道图像中的轨道，得到标注轨道图像；
9.按预设标注标准对每张标注轨道图像进行标注校正，得到与轨道图像集对应的轨道数据集。
10.优选的，上述轨道数据集的生成方法中，获取轨道数据集的步骤包括：
11.获取真实轨道视频；
12.使用自适应帧间隔提取算法从真实轨道视频提取多张真实轨道图像，得到轨道图像集。
13.优选的，上述轨道数据集的生成方法中，分别使用折线标记法标注每张真实轨道图像中的轨道的步骤包括：
14.使用不同类型的折线分别标注真实轨道图像中的每条轨道；
15.按照轨道在真实轨道图像中的位置，对真实轨道图像中的每条轨道进行编号，得到标注轨道图像。
16.优选的，上述轨道数据集的生成方法中，按预设标注标准对每张标注轨道图像进行标注校正的步骤包括：
17.使用预设标注标准，分别检测标注轨道图像中每条轨道的折线和编号；
18.使用折线标记法重新标注不符合预设标注标准的轨道，直至轨道的折线和编号符合预设标注标准；
19.分别检测每张标注轨道图像中的场景信息；
20.使用场景信息，分别标注每张标注轨道图像的场景属性。
21.根据本发明的第二方面，本发明还提供了一种基于轨道数据集的轨道识别方法，包括：
22.构建轨道数据集，其中，轨道数据集包括多张使用折线表示轨道的标注轨道图像；
23.使用基于锚点的轨道网络结构对轨道数据集中所有标注轨道图像分别进行下采样，得到与标注轨道图像对应的高级特征图，其中，高级特征图包括锚点形成的网格单元；
24.使用轨道网络结构对高级特征图进行分类预测，分别得到每张标注轨道图像中每个网格单元存在轨道的预测概率；
25.使用折线验证预测概率，当预测概率验证通过时使用轨道网络结构识别轨道位置。
26.优选的，上述轨道识别方法中，使用基于锚点的轨道网络结构对轨道数据集中所有标注轨道图像分别进行下采样，得到与标注轨道图像对应的高级特征图的步骤，包括：
27.将标注轨道图像输入至轨道网络结构的主干网络；
28.使用主干网络对标注轨道图像进行下采样操作，得到高级特征图。
29.优选的，上述轨道识别方法中，使用主干网络对标注轨道图像进行下采样操作的步骤包括：
30.使用锚点分割高级特征图，得到多个网格单元；
31.使用主干网络对带有多个网格单元的高级特征图进行下采样，得到轨道特征。
32.优选的，上述轨道识别方法中，使用轨道网络结构对高级特征图进行分类预测的步骤包括：
33.将高级特征图输入至轨道网络结构的分类器；其中，高级特征图包括轨道特征；
34.使用分类器，根据高级特征图包含的轨道、锚点和网格单元的数量，以及轨道特征，分别预测得到标注轨道图像中每个网格单元存在轨道的预测概率。
35.优选的，上述轨道识别方法，使用折线验证预测概率，当预测概率验证通过时使用轨道网络结构识别轨道位置的步骤包括：
36.使用折线与锚点相交的网格单元，作为轨道的位置标签；
37.根据每个网格单元存在轨道的预测概率和轨道的位置标签，计算轨道网络结构的分类损失函数；
38.使用标注轨道图像不断训练轨道网络结构，直至分类损失函数收敛；
39.当分类损失函数收敛时，使用标注轨道图像对应的所有网格单元存在轨道的预测概率，计算得到标注轨道图像中轨道位置的预测期望值，作为识别到的轨道位置。
40.根据本发明的第三方面，本发明还提供了一种轨道识别系统，包括：
41.存储器、处理器及存储在存储器上并可在处理器上运行的轨道识别程序，轨道识别程序被处理器执行时实现如上述任一项技术方案所述的轨道识别方法的步骤。
42.综上，本发明上述技术方案提供的轨道数据集的生成方法，通过获取轨道图像集，该轨道图像集中包括大量的真实轨道图像，这样通过该轨道图像集生成的轨道数据集的轨道是真实可靠的；然后使用折线标记法标注每张真实轨道图像上的轨道，从而得到标注轨道图像；因为该标注轨道图像上已经用折线标注了轨道，因此该标注轨道图像能够通过折线对神经网络的预测结果进行校验，从而得到适合于神经网络的标注轨道图像；另外按预设标注标准对每张标注轨道图像进行标注校正，能够得到与轨道位置准确对应的折线标记，通过对轨道图像集中每张真实轨道图像均进行上述操作，能够得到对应的轨道数据集，方便后续卷积神经网络进行训练。综上，通过上述方式能够解决现有技术中没有公开的大量的轨道数据集，导致深度学习方法受阻的问题。
附图说明
43.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
44.图1是本发明实施例提供的一种轨道识别系统的结构示意图；
45.图2是本发明实施例提供的一种基于锚点的轨道网络结构的结构示意图；
46.图3是本发明实施例提供的一种折线标注图像的结构示意图；
47.图4是本发明实施例提供的一种网格化的标注轨道图像的结构示意图；
48.图5是本发明实施例提供的一种轨道数据集的生成方法的流程示意图；
49.图6是图5所示实施例提供的一种轨道数据集的获取方法的流程示意图；
50.图7是图5所示实施例提供的一种使用折线标记法标注轨道的方法的流程示意图；
51.图8是图5所示实施例提供的一种标注轨道图像的标注校正方法的流程示意图；
52.图9是本发明实施例提供的一种基于轨道数据集的轨道识别方法的流程示意图；
53.图10是图9所示实施例提供的一种标注轨道图像的下采样方法的流程示意图；
54.图11是图11所示实施例提供的一种图像下采样方法的流程示意图；
55.图12是图9所示实施例提供的一种高级特征图的分类预测方法的流程示意图；
56.图13是图9所示实施例提供的一种轨道位置识别方法的流程示意图；
57.图14是本发明实施例提供的一种轨道识别系统的结构示意图；
58.图15是轨道网络结构rail-net与其他轨道识别算法的识别效果对比图。
59.本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
60.应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
61.本发明实施例的主要解决的技术问题是：
62.现在有很多轨道识别算法，但是现有技术中并不存在能够直接处理的、公开的，包含有大量图像的轨道数据集。传统方法通常直接处理测试图片，这样就难以处理复杂的背景或得到准确的识别效果。因为深度学习方法需要强大的鲁棒性，这就需要大量的、能够直接学习的轨道图片来训练卷积神经网络，然而如上所述，因为当前没有公开的轨道数据集，导致深度学习方法受阻
63.为了解决上述问题，本技术下述实施例提供了轨道数据集的生成方案，并给予该轨道数据集进一步提供了轨道识别方案，通过对包含真实轨道图像的轨道图像集，使用折线标记法进行标注，标注每张真实轨道图像中的轨道，从而得到标注轨道图像，进而形成轨道数据集，达到方便后续训练卷积神经网络的目的。
64.为实现上述目的，请参见图5，图5为本发明实施例提供的一种轨道数据集的生成方法的流程示意图，如图5所示，该轨道数据集的生成方法包括：
65.s110：获取轨道图像集，其中，轨道图像集包括多张真实轨道图像。该轨道图像集是从真实的列车运行视频中提取得到，通过自适应帧间隔提取图像，得到大量的真实轨道图像。
66.s120：分别使用折线标记法标注每张真实轨道图像中的轨道，得到标注轨道图像。
67.通过从真实运行的列车图像视频中收集轨道图片，切割成一系列的图片；为图片标注轨道位置，用多段线代表轨道，用数值代表轨道的主次；检查和修复不合格的标注；得到数据集后训练网络，选择一个合适的基础网络提取特征；分类器用特征基于锚点的特征来预测每条轨道，最终选择轨道的位置。
68.s130：按预设标注标准对每张标注轨道图像进行标注校正，得到与轨道图像集对应的轨道数据集。
69.本发明采集背景丰富的真实轨道图片，提出一个包含7432对图片和标签的公开轨道数据集，解决数据集缺失的问题。此外，当前深度学习方法需要输出为每个像素的类别，导致显存访问量大，计算量高和运行速度慢，不利于实时轨道检测。本发明提出基于锚点的轨道检测网络，用分类方法替代分割方法，减少输出的数量，大大提升运行速度，更适合实时轨道检测。
70.综上，本发明实施例提供的轨道数据集的生成方法，通过获取轨道图像集，该轨道图像集中包括大量的真实轨道图像，这样通过该轨道图像集生成的轨道数据集的轨道是真实可靠的；然后使用折线标记法标注每张真实轨道图像上的轨道，从而得到标注轨道图像；因为该标注轨道图像上已经用折线标注了轨道，因此该标注轨道图像能够通过折线对神经网络的预测结果进行校验，从而得到适合于神经网络的标注轨道图像；另外按预设标注标准对每张标注轨道图像进行标注校正，能够得到与轨道位置准确对应的折线标记，通过对轨道图像集中每张真实轨道图像均进行上述操作，能够得到对应的轨道数据集，方便后续卷积神经网络进行训练。综上，通过上述方式能够解决现有技术中没有公开的大量的轨道数据集，导致深度学习方法受阻的问题。
71.作为一种优选的实施例，如图6所示，上述获取轨道数据集的步骤包括：
72.s111：获取真实轨道视频。
73.s112：使用自适应帧间隔提取算法从真实轨道视频提取多张真实轨道图像，得到轨道图像集。
74.首先，我们从不同条件下的真实列车运行视频中获取真实轨道视频，以收集丰富的铁路数据。通过捕捉各种铁路上正在运行的列车的视频。随着列车速度的变化，我们使用自适应帧间隔提取图片，以保证相邻帧之间有足够的差异。最终能够得到大量的长视频，并提取数千个不同帧的真实轨道图像。本技术提取的不同帧的真实轨道图像，包含不同的环境：照明、道路结构和视图。相对当前的轨道数据集，当前的采集环境更加丰富。
75.另外，作为一种优选的实施例，如图7所示，本技术实施例提供的轨道数据集的生成方法中，上述分别使用折线标记法标注每张真实轨道图像中的轨道的步骤包括：
76.s121：使用不同类型的折线分别标注真实轨道图像中的每条轨道。例如使用不同颜色的折线标注不同轨道。
77.s122：按照轨道在真实轨道图像中的位置，对真实轨道图像中的每条轨道进行编号，得到标注轨道图像。
78.参见图3，本技术实施例标注的折线与编号的方法，与当前的分割标注方法相比，保持了良好的表征能力又提升了标注的速度。通过初步用折线标记轨道，这个阶段被称为粗略阶段。使用labelme来标记轨道，一条折线代表一条轨道，这符合轨道的细长结构。此外，我们用不同的数字来标明不同轨道，以编码路径的优先顺序。图像的中央轨道对获得编号1和2，因为它们是视图的主要轨道。其他轨道根据它们与主轨道的距离来标注，距离越大获得的数字越大。
79.另外，作为一种优选的实施例，如图8所示，本技术实施例提供的轨道数据集的生成方法中，上述按预设标注标准对每张标注轨道图像进行标注校正的步骤包括：
80.s131：使用预设标注标准，分别检测标注轨道图像中每条轨道的折线和编号。
81.s132：使用折线标记法重新标注不符合预设标注标准的轨道，直至轨道的折线和编号符合预设标注标准。
82.s133：分别检测每张标注轨道图像中的场景信息。
83.s134：使用场景信息，分别标注每张标注轨道图像的场景属性。
84.在粗略阶段进行标注并仔细完善它们。在提纯阶段还需要补充尾部的不完整标注。通过检查标注并提高它们的质量，这个阶段被称为提纯阶段。在粗略阶段之后，非主要轨道、轨道尾部和轨道的次序可能存在不完整和不准确的标注。因此需要在提纯阶段来提高粗略标注的质量：通过检查所有粗略的标注并仔细完善这些标注的折线和编号等内容。除了标注轨道外，还对所有图像进行场景属性标注，以探索算法的泛化性。这些图像包含上下文中的各种照明、结构和视图。本技术实施例中将上下文分为太阳、雨天、夜晚、曲线、坡度、跨越、直线、近镜头和远镜头；一些图像包括多个场景属性。
85.在构建得到上述轨道数据集后，本技术将轨道识别技术视为基于锚点的选择问题，而非分割问题，常规的分割方法是将标注的轨道折线转换为多值图，而本技术实施例中将折线转变为一系列的水平位置。具体参见图4，即通过锚点与折线相交，使用不同颜色的网格单元排布不同的轨道在同一锚点(同一行)内。这样采用预定义的行，即锚点和均匀的列就能够分割图像。
86.具体参见图9，图9为本发明实施例提供的一种基于轨道数据集的轨道识别方法，包括：
87.s210：构建轨道数据集，其中，轨道数据集包括多张使用折线表示轨道的标注轨道图像；标注轨道图像使用折线表示轨道，那么该标注轨道图像中使用折线就能够作为验证集验证后续轨道网络结构预测的轨道是否正确。
88.s220：使用基于锚点的轨道网络结构对轨道数据集中所有标注轨道图像分别进行下采样，得到与标注轨道图像对应的高级特征图，其中，高级特征图包括锚点形成的网格单元。参见图2，图2是轨道网络结构的示意图。该轨道网络结构是一种深度卷积神经网络，该深度卷积神经网络对轨道数据集进行训练时，能够使用锚点建立网格，该锚点即网格中的行，并通过该网格分割标注轨道图像，这样就能够通过锚点与折线相交的网格单元作为类标签，使用该类标签对轨道网络结构的轨道预测概率进行校验。另外该轨道网络结构对所有标注轨道图像分别进行下采样，得到的高级特征图能够包括轨道的大量轨道特征，从而通过该轨道特征预测图像中锚点构成的网络单元中存在轨道的概率。具体如图2所示，将输入图像(input image)输入至该轨道网络结构中，使用该轨道网络结构的主干网络(backbone)，对图像进行重塑(reshape)，从而提取特征，然后分类(classify)，得到预测结果(prediction)，进行重塑得到的预测结果(prediction)进行分类挑选(select)，能够得到带有轨道特征的输出图像，即高级特征图(output image)。
89.s230：使用轨道网络结构对高级特征图进行分类预测，分别得到每张标注轨道图像中每个网格单元存在轨道的预测概率。因为锚点与轨道相交形成的交叉区域，即网格单元，能够代表轨道的不同位置，这样选择折线轨道位置作为每个轨道的类标签，就能够使用预定义的行和列组成一个分类问题。这样在使用轨道网络结构对上述高级特征图进行轨道预测，就能够得到每张标注轨道图像中每个网格单元存在轨道的预测概率，从而对网格单元进行分类，分为存在轨道的网格单元和不存在轨道的网格单元。
90.s240：使用折线验证预测概率，当预测概率验证通过时使用轨道网络结构识别轨道位置。因为标注轨道图像中存在折线，该折线表示真实的轨道，这样上述基于锚点的轨道网络结构，锚点与折线相交的网格单元(即类标签或位置标签)，就能够成为锚点与轨道的相交区域，使用该位置标签就能够验证轨道网络结构预测得到的网格单元存在轨道的预测概率是否正确。通过反复执行上述步骤s230和s240，就能够不断训练轨道网络结构，使用训练通过的轨道网络结构识别轨道位置。
91.结合图4所示的轨道位置选择可知：折线与锚点在某一列相交，处于一定的网格单元内，使用不同颜色显示不同轨道的交叉区域(网格单元)，其中有着相同颜色的网格单元代表轨道的位置。因此，选择这些轨道位置作为每个轨道的类标签，而预定义的行和列就能组成一个分类问题。上述轨道识别算法通过基于锚点的轨道网络结构，就能够输出预测类标签而不是分割图以降低计算成本。
92.本技术实施例提供的技术方案中，通过构建轨道数据集，然后使用基于锚点的轨道网络结构对该轨道数据集进行训练，具体地，该轨道网络结构是基于锚点的深度卷积神经网络，这样锚点与原标注轨道图像中折线的相交区域，即类标签就能用于验证轨道网络结构的预测概率。因为使用锚点构成网格，得到大量的网格单元，这样使用轨道网络结构对每个网格单元进行是否存在轨道的预测，就能够将行和列构成的网格单元作为分类问题进
行处理。然后使用折线，即折线与锚点相交的类标签(存在折线的网格单元)，对轨道网络结构对轨道位置(即轨道存在的网格单元)的预测概率进行验证。当预测概率验证通过，即使用大量的标注轨道图像训练完成该轨道网络结构，得到一定正确的预测概率后，说明该轨道网络结构具有高预测性，使用该轨道网络结构就能够识别轨道位置，对轨道图像中的轨道位置进行高精度的预测。
93.其中，作为一种优选的实施例，如图10所示，上述步骤s220中，使用基于锚点的轨道网络结构对轨道数据集中所有标注轨道图像分别进行下采样，得到与标注轨道图像对应的高级特征图，具体包括：
94.s221：将标注轨道图像输入至轨道网络结构的主干网络。
95.s222：使用主干网络对标注轨道图像进行下采样操作，得到高级特征图。
96.本技术实施例提供的技术方案中，提供了基于锚点的轨道网络结构rail-net，如图3所示，该rail-net的网络结构包括18层的resnet作为主干网络，以及分类器。与传统的分割方法相比，本技术实施例丢弃了上采样和分割模块，降低显存占用量。
97.本技术实施例首先通过主干网络提取图像的高级特征图。具体来说，一个18层的resnet作为主干网络，输入的标注轨道图像大小为288
×
800
×
3，在主干网络中进行1/32下采样后，输出大小为9
×
25
×
512的高级特征图。然后，通过分类器利用高级特征图来预测所有锚点上的轨道。
98.其中，作为一种优选的实施例，如图11所示，上述步骤s222：使用主干网络对标注轨道图像进行下采样操作的步骤包括：
99.s2221：使用锚点分割高级特征图，得到多个网格单元。
100.s2222：使用主干网络对带有多个网格单元的高级特征图进行下采样，得到轨道特征。
101.本技术实施例提供的技术方案中，使用锚点分割高级特征图，得到多个网格单元，然后使用主干网络对上述多个网格单元的高级特征图进行下采样，就能够将不同的轨道特征分布在上述多个网格单元中，得到大量的轨道特征。
102.另外，作为一种优选的实施例，如图12所示，上述步骤s230：使用轨道网络结构对高级特征图进行分类预测的步骤包括：
103.s231：将高级特征图输入至轨道网络结构的分类器；其中，高级特征图包括轨道特征。
104.s232：使用分类器，根据高级特征图包含的轨道数量、锚点数量和网格单元数量，以及轨道特征，分别预测得到标注轨道图像中每个网格单元存在轨道的预测概率。
105.假设图像中轨道的数量是c，锚点的数量是h，网格单元的数量是w。另外假设x是通过主干网络提取的轨道特征，f
ij
(x)是用于选择第i轨道、第j行锚上的轨道位置的分类器；那么图像中网格单元存在轨道的预测概率可以写成：
106.p
i,j,:
＝f
ij
(x),s.t.i∈[1,c],j∈[1,h],
[0107]
其中p
i,j,:
是(w 1)维向量，表示第i条轨道第j行锚点的网格单元的预测概率。在此基础上添加一个维度来表示背景，因此预测概率是(w 1)维而不是w维。本技术实施例提供的方案预测每一行所有位置的概率分布，最终再根据概率分布选择正确的位置。
[0108]
具体来说，一个1
×
1的卷积层将特征图缩减为9
×
25
×
8，然后将特征图展平为
1800维向量。这些操作优于全局平均池化，因为向量既包含全局空间信息又避免计算冗余。
[0109]
最后，分类器将向量转换为c
×h×
(w 1)预测矩阵。分类器由一个1800-2048全连接层、一个relu层和一个2048-c
×h×
(w 1)全连接层组成。在本技术实施例的设置中，轨道数量c是4，锚点数量h是52，网格单元数量w是200。
[0110]
另外，作为一种优选的实施例，如图13所示，上述步骤s240：使用折线验证预测概率，当预测概率验证通过时使用轨道网络结构识别轨道位置，具体包括：
[0111]
s241：使用折线与锚点相交的网格单元，作为轨道的位置标签；该位置标签即上文提到的类标签。
[0112]
s242：根据每个网格单元存在轨道的预测概率和轨道的位置标签，计算轨道网络结构的分类损失函数。
[0113]
s243：使用标注轨道图像不断训练轨道网络结构，直至分类损失函数收敛。
[0114]
s244：当分类损失函数收敛时，使用标注轨道图像对应的所有网格单元存在轨道的预测概率，计算得到标注轨道图像中轨道位置的预测期望值，作为识别到的轨道位置。
[0115]
本技术实施例，在训练阶段采用交叉熵损失l
ce
，假设t
i,j,:
是轨道的位置标签(通过折线与网格单元相交得到，即存在折线的网格单元)，l
cls
是分类损失函数，则公式为：
[0116][0117]
本技术实施例中，在轨道网络结构的测试阶段输出轨道位置的预测期望值，首先softmax函数提供各个轨道位置的概率：
[0118]
prob
i,j,:
＝softmax(p
i,j,1:w
)
[0119]
其中p
i,j,1:w
是个w维向量，而prob
i,j,:
代表每个位置的概率。这个计算仅包含1到w，因为不包含背景的类别。接着，轨道位置的预测期望值loc
i,j
可写成：
[0120][0121]
其中，prob
i,j,k
即第i条铁轨，第j个锚点，第k个位置的概率。
[0122]
基于上述方法实施例的同一构思，本发明实施例还提出了轨道识别系统，用于实现本发明的上述方法，由于该系统实施例解决问题的原理与方法相似，因此至少具有上述实施例的技术方案所带来的所有有益效果，在此不再一一赘述。
[0123]
参见图14，图14为本发明实施例提供的一种轨道识别系统的结构示意图。如图14所示，该轨道识别系统包括：
[0124]
通信线路1002、存储器1004、处理器1001及存储在存储器1004上并可在处理器1001上运行的轨道识别程序，该轨道识别程序被处理器执行时实现上述任一项实施例提供的轨道识别方法的步骤。
[0125]
在本技术上述实施例提供的技术方案中，将轨道网络结构rail-net与传统手工方法和深度学习分割方法进行比较。rail-net使用18层resnet作为主干网络，使用全连接层作为分类器。传统手工方法使用sobel算子和多项式拟合来匹配铁轨。深度学习分割方法选
择与rail-net相同的主干，并选择类似fpn的卷积块来分割。我们在下面展示了定量和定性的比较结果。
[0126]
在定量上，我们比较每个场景下的准确率，每秒浮点数运算(flops)，运行显存占用和帧率(fps)，结果如下表1所示。若预测值和真实值的差值小于阈值，则认为预测是准确的。我们将准确的预测除以总数，即准确率。从下表1能够看出，rail-net在各方面取得了优势。在准确性方面，rail-net比手工方法和分割方法分别高出50.65％和5.86％，在大多数情况下都超过了替代方法。对于帧率fps，rail-net的运行速度比手工方法和分割方法快7.16倍和1.64倍，且运行显存占用和浮点数运算都小于其余方法。
[0127][0128]
表1：各方法的评估准确和帧率
[0129]
另外，我们选择日光和夜间条件的真实标签和预测标签着色，展示出各个方法(例如ground truth、hand-crafted、segmentation和rail-net)的效果图，如图15所示。可以看到rail-net的性能优于其他方法，显示出先进的完整性和准确性。具体来说，传统手工方法无法识别车道类别或远处的路径位置，因为sobel算子无法处理复杂的上下文，导致出现奇怪的拟合曲线。此外，深度学习分割方法混淆非主轨道和背景，因为次轨道远小于主轨道。相比之下，基于锚点的rail-net必须选择一行中的特定位置，产生更完整的结果。
[0130]
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0131]
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0132]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或
多个方框中指定的功能。
[0133]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0134]
应当注意的是，在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的部件或步骤。位于部件之前的单词“一”或“一个”不排除存在多个这样的部件。本发明可以借助于包括有若干不同部件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
[0135]
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
[0136]
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。