车道线分割模型的训练方法、装置、设备及存储介质与流程

1.本发明涉及机器学习领域，尤其涉及一种车道线分割模型的训练方法、装置、设备及存储介质。


背景技术：

2.随着科技的发展，自动驾驶技术已经逐渐走进人们的日常生活，潜移默化的改变着人们的出行方式。而自动驾驶技术中的车道线位置检测的精确性会影响路径规划的精确性。
3.现有技术中，为降低车道线位置检测时的资源消耗，通常采用轻量级的检测模型来进行车道线的位置检测，但这种轻量级的检测模型通常学习能力有限，无法很好的解决车道线检测中正负样本分布严重不平衡的问题，存在检测精度较低的问题。


技术实现要素：

4.本技术提供一种车道线分割模型的训练方法、装置、设备及存储介质，能够提高轻量级的车道线位置检测模型的检测精度。
5.本技术实施例第一方面，提供一种车道线分割模型的训练方法，该方法包括：获取车道线的训练图片；将训练图片分别输入第一模型和第二模型进行特征提取，得到第一特征数据和第二特征数据，第一模型的模型层数大于第二模型；根据第一特征数据和第二特征数据得到模仿损失函数；根据车道线的训练图片标签数据和第二特征数据得到分类损失函数；根据模仿损失函数和分类损失函数，对第二模型进行训练。
6.在一个实施例中，根据第一特征数据和第二特征数据得到模仿损失函数，包括：
7.分别对第一特征数据和第二特征数据进行特征融合处理，得到第一融合数据和第二融合数据；
8.根据第一融合数据和第二融合数据得到模仿损失函数。
9.在一个实施例中，根据第一融合数据和第二融合数据得到模仿损失函数，包括：
10.将第一融合数据和第二融合数据进行差运算，得到特征差；
11.将第一融合数据和第二融合数据分别输入至预设的分类网络，得到第一目标数据和第二目标数据；
12.根据特征差、第一目标数据和第二目标数据得到模仿损失函数。
13.在一个实施例中，根据特征差、第一目标数据和第二目标数据得到模仿损失函数，包括：
14.分别对第一目标数据和第二目标数据进行最大值运算，得到第一掩模和第二掩模；
15.根据特征差、第一掩模和第二掩模得到模仿损失函数。
16.在一个实施例中，根据特征差、第一掩模和第二掩模得到模仿损失函数，包括：
17.对第一掩模和第二掩模进行或运算，得到模仿掩模；
18.根据特征差和模仿掩模得到模仿损失函数。
19.在一个实施例中，根据车道线的训练图片标签数据和第二特征数据得到分类损失函数，包括：对第二特征数据进行特征融合处理，得到第二融合数据；将第二融合数据分别输入至预设的分类模型，得到模型分类结果；获取车道线训练图片的标签数据；根据模型分类结果和标签数据得到分类损失函数。
20.在一个实施例中，第二模型包括全卷积适应层，方法还包括：
21.利用包括全卷积适应层的第二模型，对训练图片进行特征提取。
22.本技术实施例第二方面，提供了一种车道线分割模型的训练装置，其特征在于，装置包括：
23.获取模块，用于获取车道线的训练图片；
24.提取模块，用于将训练图片分别输入第一模型和第二模型进行特征提取，得到第一特征数据和第二特征数据，第一模型的模型层数大于第二模型；
25.第一处理模块，用于根据第一特征数据和第二特征数据得到模仿损失函数；
26.第二处理模块，用于根据车道线的训练图片标签数据和第二特征数据得到分类损失函数；
27.训练模块，用于根据模仿损失函数和分类损失函数，对第二模型进行训练。
28.本技术实施例第三方面，提供一种计算机设备，该设备包括存储器和处理器，存储器存储有计算机程序，计算机程序被处理器执行时实现本技术实施例第一方面的车道线分割模型的训练方法。
29.本技术实施例第四方面，提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现本技术实施例第一方面的车道线分割模型的训练方法。
30.本技术实施例提供的车道线分割模型的训练方法，通过获取车道线的训练图片，并将训练图片分别输入至第一模型和第二模型进行特征提取，得到第一特征数据和第二特征数据，其中，第一模型的模型层数大于第二模型，然后根据第一特征数据和第二特征数据得到模仿损失函数，以及根据车道线的训练图片标签数据和第二特征数据得到分类损失函数，最后根据模仿损失函数和分类损失函数，对第二模型进行训练，这样，通过模仿损失函数和分类损失函数对第二模型进行训练，使第二模型去模仿第一模型的检测能力，能够提高轻量级的车道线位置检测模型的检测精度，同时，还能够减少计算资源的消耗。
附图说明
31.图1为本技术实施例提供的一种计算机设备的内部结构示意图；
32.图2为本技术实施例提供的一种车道线分割模型的训练方法的流程图；
33.图3为本技术实施例提供的一种模仿掩模生成过程的示意图；
34.图4为本技术实施例提供的一种车道线分割模型的训练的示意图一；
35.图5为本技术实施例提供的一种车道线分割模型的训练的示意图二；
36.图6为本技术实施例提供的一种车道线分割模型的训练装置的结构图。
具体实施方式
37.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完
整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
38.以下，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本公开实施例的描述中，除非另有说明，“多个”的含义是两个或两个以上。
39.另外，“基于”或“根据”的使用意味着开放和包容性，因为“基于”或“根据”一个或多个条件或值的过程、步骤、计算或其他动作在实践中可以基于额外条件或超出的值。
40.为解决车道线位置检测时计算资源消耗较多的问题，本技术实施例提供了一种车道线分割模型的训练方法，通过获取车道线的训练图片，并将训练图片分别输入至第一模型和第二模型进行特征提取，得到第一特征数据和第二特征数据，其中，第一模型的模型层数大于第二模型，然后根据第一特征数据和第二特征数据得到模仿损失函数，以及根据车道线的训练图片标签数据和第二特征数据得到分类损失函数，最后根据模仿损失函数和分类损失函数，对第二模型进行训练，这样，通过模仿损失函数和分类损失函数对第二模型进行训练，使第二模型去模仿第一模型的检测能力，能够提高轻量级的车道线位置检测模型的检测精度，同时，还能够减少计算资源的消耗。
41.本技术实施例提供的车道线分割模型的训练方法的执行主体可以为计算机设备、终端设备，或者服务器，其中，终端设备可以为车载终端，各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备等，本技术对比不作具体限定。
42.图1为本技术实施例提供的一种计算机设备的内部结构示意图。如图1所示，该计算机设备包括通过系统总线连接的处理器和存储器。其中，该处理器用于提供计算和控制能力。存储器可包括非易失性存储介质及内存储器。非易失性存储介质存储有操作系统和计算机程序。该计算机程序可被处理器所执行，以用于实现以上各个实施例提供的一种车道线分割模型的训练方法的步骤。内存储器为非易失性存储介质中的操作系统和计算机程序提供高速缓存的运行环境。
43.本领域技术人员可以理解，图1中示出的结构，仅仅是与本技术方案相关的部分结构的框图，并不构成对本技术方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
44.基于上述执行主体，本技术实施例提供一种车道线分割模型的训练方法。如图2所示，该方法包括以下步骤：
45.步骤201、获取车道线的训练图片。
46.其中，训练图片可以为采集的实际道路图片。
47.步骤202、将训练图片分别输入第一模型和第二模型进行特征提取，得到第一特征数据和第二特征数据。
48.其中，第一模型的模型层数大于第二模型。第一模型也可以称为教师模型，第二模型也可以称为学生模型。
49.可选的，第一模型可以为resnet101的网络模型，第二模型可以为resnet18的网络模型，本技术对于具体的网络模型的层数不作限定。
50.步骤203、根据第一特征数据和第二特征数据得到模仿损失函数。
51.步骤204、根据车道线的训练图片的标签数据和第二特征数据得到分类损失函数。
52.其中，标签数据用于指示车道线训练图片的真实分类结果。
53.步骤205、根据模仿损失函数和分类损失函数，对第二模型进行训练。
54.本技术实施例提供的车道线分割模型的训练方法，通过获取车道线的训练图片，并将训练图片分别输入至第一模型和第二模型进行特征提取，得到第一特征数据和第二特征数据，其中，第一模型的模型层数大于第二模型，然后根据第一特征数据和第二特征数据得到模仿损失函数，以及根据车道线的训练图片标签数据和第二特征数据得到分类损失函数，最后根据模仿损失函数和分类损失函数，对第二模型进行训练，这样，通过模仿损失函数和分类损失函数对第二模型进行训练，使第二模型去模仿第一模型的检测能力，能够提高轻量级的车道线位置检测模型的检测精度，同时，还能够减少计算资源的消耗。
55.在一个实施例中，根据第一特征数据和第二特征数据得到模仿损失函数，包括：分别对第一特征数据和第二特征数据进行特征融合处理，得到第一融合数据和第二融合数据；根据第一融合数据和第二融合数据得到模仿损失函数。
56.可选的，可以在对训练图片分别进行特征提取，得到第一特征数据和第二特征数据后，还可以将第一特征数据和第二特征数据输入至预设的特征融合网络进行特征融合，分别得到第一融合数据和第二融合数据。
57.在一种实施方式中，根据第一融合数据和第二融合数据得到模仿损失函数，包括：
58.将第一融合数据和第二融合数据进行差运算，得到特征差，将第一融合数据和第二融合数据分别输入至预设的分类网络，得到第一目标数据和第二目标数据，根据特征差、第一目标数据和第二目标数据得到模仿损失函数。
59.可选的，根据特征差、第一目标数据和第二目标数据得到模仿损失函数，包括：分别对第一目标数据和第二目标数据进行最大值运算，得到第一掩模和第二掩模；根据特征差、第一掩模和第二掩模得到模仿损失函数。
60.在一个实施例中，根据特征差、第一掩模和第二掩模得到模仿损失函数，包括：对第一掩模和第二掩模进行或运算，得到模仿掩模；根据特征差和模仿掩模得到模仿损失函数。
61.在具体实施过程中，可以通过教师模型输出的第一目标数据构成的第一目标图经过求大值运算后，得到一张预测图，计为mt计算一个阈值f：
[0062][0063]
根据阈值f，可以过滤掉那些预测值高于f的位置，得到一张w*h的第一掩模。
[0064]
通过学生模型的输出经过求大值运算后，也是得到一张预测图，计为ms，计算一个阈值f:
[0065][0066]
根据阈值f，可以过滤掉那些预测值高于f的位置，得到一张w*h的第二掩模。然后，对第一掩模和第二掩模做或运算，得到最终的细粒度的估计的模仿掩模。模仿掩膜生成图3所示。其中，图片中的数字表示预测图中的像素值，经过最大值运算后，预测图上保留对应像素值较大者，得到预测图，对预测图取大于阈值6为1，小于等于6为0，得到一张掩膜图，同
理可以得到学生模型的掩膜图，再对4和8做或运算得到最终的细粒度模仿掩膜图。
[0067]
定义s为学生模型特征图，t为教师模型特征图，对特征图上每一个车道线邻近区域(i,j)，定义目标函数如下，我们训练学生模型去最小化目标函数。
[0068][0069]
其中，(i,j)表示位置，c表示通道，fadap表示全卷积适应层。
[0070]
学习教师模型提取特征的能力，对于所有估计出来的位置，最小化这些位置上，学生网络与教师网络的特征响应图的距离，即最后的模仿损失函数如下：
[0071][0072][0073]
其中，w，h是特征图的宽，高，np是归一化值，i
ij
是掩膜，其他参数同上。最终用来训练学生网络的总损失：其中权重参数λ采用自适应参数，当模仿损失函数值比较大的时候，取大值；当模仿损失函数值比较小的时候，取小值。
[0074]
l＝l
gt
λl
imitation
[0075]
其中lgt是车道线分类的损失函数，模仿损失函数是知识蒸馏的损失函数。通过分类损失函数和模仿损失函数来训练第二网络。
[0076]
在一个实施例中，根据车道线的训练图片标签数据和第二特征数据得到分类损失函数，包括：对第二特征数据进行特征融合处理，得到第二融合数据；将第二融合数据分别输入至预设的分类网络，得到模型分类结果；获取车道线训练图片的标签数据；根据模型分类结果和标签数据得到分类损失函数。
[0077]
可选的，如图4所示，在将第一融合数据和第二融合数据分别输入至预设的分类网络之前，还可以对第一融合数据和第二融合数据分别进行编码处理，然后将编码后的第一融合数据和第二融合数据分别输入至预设的分类网络。
[0078]
在一个实施例中，第二模型包括全卷积适应层，方法还包括：利用包括全卷积适应层的第二模型，对训练图片进行特征提取。
[0079]
如图5所示，通过在学生网络后面加了一个全卷积适应层，可以统一教师网络和学生网络的特征响应图的通道数，还可以提升性能，可能有助于特征提取。
[0080]
为了便于本领域技术人员的理解，本技术实施例还提供了一种车道线分割模型的训练方法，具体的，该方法包括：
[0081]
(1)获取车道线的训练图片；
[0082]
(2)将训练图片分别输入第一模型和第二模型进行特征提取，得到第一特征数据和第二特征数据，第一模型的模型层数大于第二模型；
[0083]
(3)分别对第一特征数据和第二特征数据进行特征融合处理，得到第一融合数据和第二融合数据；
[0084]
(4)将第一融合数据和第二融合数据进行差运算，得到特征差；
[0085]
(5)将第一融合数据和第二融合数据分别输入至预设的分类网络，得到第一目标数据和第二目标数据；
[0086]
(6)分别对第一目标数据和第二目标数据进行最大值运算，得到第一掩模和第二掩模；
[0087]
(7)对第一掩模和第二掩模进行或运算，得到模仿掩模；
[0088]
(8)根据特征差和模仿掩模得到模仿损失函数。
[0089]
(9)对第二特征数据进行特征融合处理，得到第二融合数据；
[0090]
(10)将第二融合数据分别输入至预设的分类模型，得到分类结果；
[0091]
(11)获取车道线训练图片的标签数据；
[0092]
(12)根据模型分类结果和标签数据得到分类损失函数。
[0093]
(13)根据模仿损失函数和分类损失函数，对第二模型进行训练。
[0094]
本技术实施例提供的车道线分割模型的训练方法，通过获取车道线的训练图片，并将训练图片分别输入至第一模型和第二模型进行特征提取，得到第一特征数据和第二特征数据，其中，第一模型的模型层数大于第二模型，然后根据第一特征数据和第二特征数据得到模仿损失函数，以及根据车道线的标签数据和第二特征数据得到分类损失函数，最后根据模仿损失函数和分类损失函数，对第二模型进行训练，这样，通过模仿损失函数和分类损失函数第二模型对第二模型进行训练，使第二模型去模仿第一模型的检测能力，能够提高轻量级的车道线位置检测模型的检测精度，同时，还能够减少计算资源的消耗。
[0095]
需要说明的是，本技术实施例提供的车道线分割模型的训练方法可以和检测头蒸馏，自注意力蒸馏，温故而知新蒸馏等方案叠加互补应用，不会出现无法叠加应用的情况。
[0096]
进一步的，针对车道线检测当中正负样本不平衡的问题，本技术的提供的车道线分割模型的训练方法，是以教师模型和学生网络中预测的车道线正样本作为基准，从图像的梯度连续角度考虑，离车道线正样本较近范围内的区域是需要特别关注的，此区域是比较难以分类的像素区域。以车道线及附近区域形成掩膜，来提取教师模型的每个通道的特征图和学生模型相应的特征图之间的差异，指导学生模型重点学习教师模型提取车道线特征以及车道线附近区域提取特征的能力，而不是学习教师主干特征提取网络所有通道提取整个特征图的特征的能力，以降低背景区域引入的噪声，提高检测的精度。
[0097]
以上(1)至(13)的执行过程具体可以参见上述实施例的描述，其实现原理和技术效果类似，在此不再赘述。应该理解的是，上述各个车道线分割模型的训练方法的实施例中的步骤流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，上述流程图至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
[0098]
上述主要从方法的角度对本技术实施例提供的方案进行了介绍。为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，本技术能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方
式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本技术的范围。
[0099]
如图6所示，本技术实施例提供了一种车道线分割模型的训练装置，该装置包括：获取模块11、提取模块12、第一处理模块13、第二处理模块14和训练模块15。
[0100]
获取模块11，用于获取车道线的训练图片；
[0101]
提取模块12，用于将训练图片分别输入第一模型和第二模型进行特征提取，得到第一特征数据和第二特征数据，第一模型的模型层数大于第二模型；
[0102]
第一处理模块13，用于根据第一特征数据和第二特征数据得到模仿损失函数；
[0103]
第二处理模块14，用于根据车道线的训练图片标签数据和第二特征数据得到分类损失函数；
[0104]
训练模块15，用于根据模仿损失函数和分类损失函数，对第二模型进行训练。
[0105]
在一个实施例中，第一处理模块13具体用于：
[0106]
分别对第一特征数据和第二特征数据进行特征融合处理，得到第一融合数据和第二融合数据；
[0107]
根据第一融合数据和第二融合数据得到模仿损失函数。
[0108]
在一个实施例中，第一处理模块13具体用于：
[0109]
将第一融合数据和第二融合数据进行差运算，得到特征差；
[0110]
将第一融合数据和第二融合数据分别输入至预设的分类网络，得到第一目标数据和第二目标数据；
[0111]
根据特征差、第一目标数据和第二目标数据得到模仿损失函数。
[0112]
在一个实施例中，第一处理模块13具体用于：
[0113]
分别对第一目标数据和第二目标数据进行最大值运算，得到第一掩模和第二掩模；
[0114]
根据特征差、第一掩模和第二掩模得到模仿损失函数。
[0115]
在一个实施例中，第一处理模块13具体用于：
[0116]
对第一掩模和第二掩模进行或运算，得到模仿掩模；
[0117]
根据特征差和模仿掩模得到模仿损失函数。
[0118]
在一个实施例中，第二处理模块14具体用于：
[0119]
对特征差第二特征数据进行特征融合处理，得到第二融合数据；
[0120]
将第二融合数据分别输入至预设的分类模型，得到模型分类结果；
[0121]
获取车道线训练图片的标签数据；
[0122]
根据模型分类结果和标签数据得到分类损失函数。
[0123]
在一个实施例中，第二模型包括全卷积适应层，提取模块12还用于：利用包括全卷积适应层的第二模型，对训练图片进行特征提取。
[0124]
本技术实施例提供的车道线分割模型的训练装置，通过获取车道线的训练图片，并将训练图片分别输入至第一模型和第二模型进行特征提取，得到第一特征数据和第二特征数据，其中，第一模型的模型层数大于第二模型，然后根据第一特征数据和第二特征数据得到模仿损失函数，以及根据车道线的训练图片标签数据和第二特征数据得到分类损失函数，最后根据模仿损失函数和分类损失函数，对第二模型进行训练，这样，通过模仿损失函
数和分类损失函数第二模型对第二模型进行训练，使第二模型去模仿第一模型的检测能力，能够提高轻量级的车道线位置检测模型的检测精度，同时，还能够减少计算资源的消耗。
[0125]
本实施例提供的车道线分割模型的训练装置，可以执行上述方法实施例，其实现原理和技术效果类似，在此不再多加赘述。
[0126]
关于车道线分割模型的训练装置的具体限定可以参见上文中对于车道线分割模型的训练方法的限定，在此不再赘述。上述车道线分割模型的训练装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于服务器中的处理器中，也可以以软件形式存储于服务器中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
[0127]
本技术的另一实施例中，还提供一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，计算机程序被处理器执行时实现如本技术实施例的车道线分割模型的训练方法的步骤。
[0128]
本技术另一实施例中，还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现如本技术实施例的车道线分割模型的训练方法的步骤。
[0129]
本技术另一实施例中，还提供一种计算机程序产品，该计算机程序产品包括计算机指令，当计算机指令在车道线分割模型的训练装置上运行时，使得车道线分割模型的训练装置执行上述方法实施例所示的方法流程中车道线分割模型的训练方法执行的各个步骤。
[0130]
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件程序实现时，可以全部或部分地以计算机程序产品的形式来实现。该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机执行指令时，全部或部分地产生按照本技术实施例的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，计算机指令可以从一个网站站点、计算机、服务器或者数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line，dsl))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可以用介质集成的服务器、数据中心等数据存储设备。可用介质可以是磁性介质(例如，软盘、硬盘、磁带)，光介质(例如，dvd)、或者半导体介质(例如固态硬盘(solid state disk，ssd))等。
[0131]
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
[0132]
以上实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。