一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

车道线检测模型训练方法、车道线检测方法、车辆和介质与流程

2023-03-20 13:57:02 来源:中国专利 TAG:


1.本技术涉及自动驾驶技术领域,特别是涉及一种车道线检测模型训练方法、车道线检测方法、车辆以及存储介质。


背景技术:

2.随着自动驾驶技术的发展,出现了车道线检测技术,道路上的物体可以分为两大类:静态物体和动态物体,车道线是道路上的主要静态物体之一,更好的检测出车道线,能够为自动驾驶的下游任务提供更准确的先验知识,因此,车道线检测技术成为自动驾驶技术中的重要一环。
3.传统的车道线检测模型基于smooth函数对车道线的预测数据和真实数据进行损失计算,然而,采用smooth函数进行损失计算,车道线的一个参数的损失值过大或计算错误时,会影响其他参数的损失值的回归,从而影响车道线检测模型训练的准确性,进而,导致基于车道线检测模型的车道线检测的准确性低。


技术实现要素:

4.基于此,有必要针对上述技术问题,提供一种能够提高车道线检测准确性的车道线检测模型训练方法、车道线检测方法、车辆以及存储介质。
5.一种车道线检测模型训练方法,车道线检测模型用于进行车道线检测,该方法包括:获取样本道路图像;根据样本道路图像计算样本道路图像中车道线的各参数的预测数据,参数包括车道线起始点横坐标、车道线起始点纵坐标、车道线与样本道路图像的底部水平方向的车道线夹角以及车道线长度;分别获取各参数对应的损失函数;其中,至少两个参数对应的损失函数不同;以及根据各参数的预测数据、各参数的真实数据以及各参数对应的损失函数对车道线检测模型进行训练。
6.在一个或多个实施例中,车道线夹角对应第一损失函数、车道线起始点横坐标对应第二损失函数、车道线起始点纵坐标对应第三损失函数以及车道线长度对应第四损失函数,根据各参数的预测数据、各参数的真实数据以及各参数对应的损失函数对车道线检测模型进行训练,包括:根据车道线夹角的预测数据、车道线夹角的真实数据以及第一损失函数计算第一损失值;根据车道线起始点横坐标的预测数据、车道线起始点横坐标的真实数据、第一损失值以及第二损失函数计算第二损失值;根据车道线起始点纵坐标的预测数据、车道线起始点纵坐标的真实数据、第一损失值以及第三损失函数计算第三损失值;根据车道线长度的预测数据、车道线长度的真实数据以及第四损失函数计算第四损失值;以及根据第一损失值、第二损失值、第三损失值以及第四损失值对车道线检测模型进行训练。
7.在一个或多个实施例中,第一损失值的大小与第二损失值的大小成反比;和/或第一损失值的大小与第三损失值的大小成反比。
8.在一个或多个实施例中,第一损失值、第二损失值、第三损失值以及第四损失值的值域为[0,1]。
[0009]
在一个或多个实施例中,第二损失函数的生成方法包括:获取第一损失函数和以自然常数e为底数的指数函数;根据第一损失函数生成指数函数的负指数;以及根据指数函数以及负指数生成第二损失函数。
[0010]
在一个或多个实施例中,第三损失函数的生成方法包括:获取第一损失函数和以自然常数e为底数的指数函数;根据第一损失函数生成指数函数的负指数;以及根据指数函数以及负指数生成第三损失函数。
[0011]
在一个或多个实施例中,第一损失函数的公式为:
[0012][0013]
其中,l1为第一损失函数,为车道线夹角的预测数据,θj为车道线夹角的真实数据,j为输入的样本道路图像的索引。
[0014]
在一个或多个实施例中,第二损失函数的公式为:
[0015][0016]
其中,l2为第二损失函数,为车道线起始点横坐标的预测数据,xj为车道线起始点横坐标的真实数据,j为输入的样本道路图像的索引。
[0017]
在一个或多个实施例中,第三损失函数的公式为:
[0018][0019]
其中,l3为第三损失函数,为车道线起始点纵坐标的预测数据,yj为车道线起始点纵坐标的真实数据,j为输入的样本道路图像的索引。
[0020]
在一个或多个实施例中,第四损失函数的公式为:
[0021][0022]
其中,l4为第四损失函数,为车道线长度的预测数据,lj为车道线长度的真实数据,j为输入的样本道路图像的索引。
[0023]
在一个或多个实施例中,根据样本道路图像计算样本道路图像中车道线的各参数的预测数据,包括:将样本道路图像输入特征提取主干网络,得到特征提取主干网络输出的主干特征图;将主干特征图输入特征金字塔网络,得到特征金字塔网络输出的多个第一特征图;其中,各第一特征图的尺寸不同;将多个第一特征图输入特征细化网络,得到特征细化网络输出的各第一特征图对应的第二特征图;以及根据各第二特征图以及头注意力机制计算样本道路图像中车道线的各参数的预测数据。
[0024]
在一个或多个实施例中,根据样本道路图像计算车道线夹角的预测数据,包括:在预测的车道线上均匀采样多个采样点;根据各采样点的横坐标、车道线起始点横坐标的预测数据、采样点个数、样本道路图像的高度以及反正切函数计算各采样点对应的夹角;以及根据各采样点对应的夹角得到车道线夹角的预测数据。
[0025]
一种车道线检测方法,该方法包括:获取待检测道路图像;以及根据待检测道路图像以及训练后的车道线检测模型进行车道线检测;其中,车道线检测模型为根据上述的任一项的方法训练后的模型。
[0026]
一种车辆,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行计算机程序时实现上述的车道线检测方法的步骤。
[0027]
一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现上述的任一项的车道线检测模型训练方法的步骤。
[0028]
上述车道线检测模型训练方法、车道线检测方法、车辆和存储介质,在利用损失函数进行模型优化训练的过程中,分别利用车道线的各参数各自对应的损失函数以及各自对应的预测数据和真实数据进行损失计算,而且,至少有两个车道线的参数对应的损失函数的结构不同,因此,采用本方法,能够避免单一损失计算带来的回归不准确、训练不准确的问题,从而提高车道线检测模型的训练准确性,进而提高车道线检测准确性。
附图说明
[0029]
图1为一个或多个实施例中车道线检测模型训练方法的流程示意图;
[0030]
图2为一个或多个实施例中根据各参数的预测数据、各参数的真实数据以及各参数对应的损失函数对车道线检测模型进行训练的步骤的流程示意图;
[0031]
图3为一个或多个实施例中smoothl1损失函数、第一损失函数、第二损失函数和第三损失函数各自对应的曲线示意图;
[0032]
图4为一个或多个实施例中第四损失函数的计算结果分布示意图;
[0033]
图5为一个或多个实施例中车道线检测模型的训练过程的示意图;
[0034]
图6为一个或多个实施例中车道线检测方法的流程示意图;
[0035]
图7为一个或多个实施例中车辆的自动化控制系统的结构示意图。
具体实施方式
[0036]
为了使本技术的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本技术进行进一步详细说明。应当理解,此处描述的具体实施例仅用以解释本技术,并不用于限定本技术。
[0037]
在一个或多个实施例中,本技术所涉及的车道线检测模型训练方法可以应用于计算机设备中,需要说明的是,其执行主体可以是虚拟网卡资源的配置装置,该装置可以通过软件、硬件或者软硬件结合的方式实现成为计算机设备的部分或者全部,其中,该计算机设备可以是终端或客户端或服务器,服务器可以是一台服务器,也可以为由多台服务器组成的服务器集群,终端可以是车载终端、智能手机、个人电脑、平板电脑、可穿戴设备以及智能机器人等其他智能硬件设备。下述车道线检测模型训练方法的实施例中,均以执行主体是计算机设备为例来进行说明。
[0038]
在一个或多个实施例中,如图1所示,提供了一种车道线检测模型训练方法,车道线检测模型用于进行车道线检测,以该方法应用于计算机设备为例进行说明,可以包括以下步骤:
[0039]
步骤s102:获取样本道路图像。
[0040]
其中,样本道路图像是指作为车道线检测模型的训练样本的道路图像。样本道路图像的数量不限,可以根据训练需求自定义选择。样本道路图像可以通过图像采集装置采集,样本道路图像中可以包括车辆、车道、车道线以及路边景物等,也即是,反映车辆所行驶的道路景象的图像。样本道路图像可以预先进行预处理、标注等处理以便作为样本用于车道线检测模型的训练。样本道路图像的格式可以是jpg、jpeg或gif等,尺寸不限,均可以根据车道线检测模型的输入参数进行相关设置的调整。
[0041]
具体地,计算机设备可以从样本集中获取多个样本道路图像作为车道线检测模型的训练样本。
[0042]
步骤s104:根据样本道路图像计算样本道路图像中车道线的各参数的预测数据,参数包括车道线起始点横坐标、车道线起始点纵坐标、车道线与样本道路图像的底部水平方向的车道线夹角以及车道线长度。
[0043]
其中,车道线的参数是指用于描述车道线在样本图像中的位置、长度、方向等相关信息的参数。车道线的参数可以包括车道线起始点横坐标、车道线起始点纵坐标、车道线与样本道路图像的底部水平方向的车道线夹角以及车道线长度等。
[0044]
具体地,计算机设备可以将样本道路图像作为输入,输入至车道线检测模型中,车道线检测模型可以是基于神经网络结构构建的模型,例如,可以是clr net(cross layer refinement network,跨层优化网络)模型,通过车道线检测模型的各网络结构的计算,得到样本道路图像中车道线的各参数的预测数据。
[0045]
步骤s106:分别获取各参数对应的损失函数;其中,至少两个参数对应的损失函数不同。
[0046]
其中,在计算得到各参数的预测数据后,根据各参数分别调用各参数对应的损失函数,至少两个不同的参数对应的损失函数的构造不同。
[0047]
示例性地,车道线夹角可以对应夹角损失函数l1,车道线起始点横坐标可以对应横坐标损失函数l2,车道线起始点纵坐标可以对应纵坐标损失函数l3,车道线长度可以对应长度损失函数l4,其中,l1、l2、l3和l4分别为不同参数各自对应的损失函数,l1、l2、l3和l4中至少两个损失函数的构造不相同。
[0048]
步骤s108:根据各参数的预测数据、各参数的真实数据以及各参数对应的损失函数对车道线检测模型进行训练。
[0049]
其中,真实数据是指预先根据样本道路图像中车道线的位置、大小、方向等真实信息提取的车道线在样本道路图像中的数据。预测数据是指基于车道线检测模型,将样本道路图像作为输入而得到的车道线检测模型预测的样本道路图像中的车道线的数据。
[0050]
在传统的车道线检测模型的优化训练中,采用的loss(损失)计算方式是直接对预测数据和真实数据做smoothl1函数计算,模型的损失计算公式如下:
[0051][0052]
其中,表示车道线的各参数的预测数据,y
ij
表示车道线的各参数的真实数据,i表示车道线的参数的索引,j表示样本道路图像的索引,n为车道线的参数的数量,k为样本
道路图像的数量。从传统的模型损失计算公式中可以看出,无论参数是否相同,统一采用smoothl1函数进行优化,然而,在实际情况中,车道线起始点横坐标x、车道线起始点纵坐标y、车道线与样本道路图像的底部水平方式向的车道线夹角θ以及车道线长度length(l)等参数,他们的真实数据与预测数据之间的偏差并不相同,用同一个loss函数做梯度下降优化并不合理。
[0053]
因此,根据车道线的各参数,可以为各参数设置各自对应的损失函数,将各参数分别采用各自对应的损失函数以及各自对应的预测数据和真实数据进行以参数为单位的优化,然后,可以根据各参数的优化结果实现整个车道线检测模型的优化训练。
[0054]
示例性地,本技术实施例的车道线检测模型的损失计算公式可以为:
[0055][0056]
其中,li为参数i对应的损失函数,n为车道线的参数的数量,k为样本道路图像的数量。表示车道线的各参数的预测数据,y
ij
表示车道线的各参数的真实数据,i表示车道线的参数的索引,j表示样本道路图像的索引。li中至少有两个构造不同。
[0057]
例如,车道线夹角对应l1,车道线起始点坐标对应l2和l3(横坐标对应l2,纵坐标对应l3),车道线长度对应l4,其中,车道线夹角损失函数(l1)、车道线起始点坐标的损失函数(l2和l3)、车道线长度的损失函数(l4)的构造不同,l2和l3的构造可以相同,当然,也可以各参数对应的损失函数的构造均不相同。
[0058]
上述的车道线检测模型训练方法,在利用损失函数进行模型优化训练的过程中,分别利用车道线的各参数各自对应的损失函数以及各自对应的预测数据和真实数据进行损失计算,而且,至少有两个车道线的参数对应的损失函数的结构不同,因此,采用本方法,能够避免单一损失计算带来的回归不准确、训练不准确的问题,从而提高车道线检测模型的训练准确性,进而提高车道线检测准确性。
[0059]
在一个或多个实施例中,参考图2所示,图2示出了一个或多个实施例中根据各参数的预测数据、各参数的真实数据以及各参数对应的损失函数对车道线检测模型进行训练的步骤的流程示意图。
[0060]
其中,车道线夹角对应第一损失函数、车道线起始点横坐标对应第二损失函数、车道线起始点纵坐标对应第三损失函数以及车道线长度对应第四损失函数,根据各参数的预测数据、各参数的真实数据以及各参数对应的损失函数对车道线检测模型进行训练,包括:
[0061]
步骤s202:根据车道线夹角的预测数据、车道线夹角的真实数据以及第一损失函数计算第一损失值;
[0062]
步骤s204:根据车道线起始点横坐标的预测数据、车道线起始点横坐标的真实数据、第一损失值以及第二损失函数计算第二损失值;
[0063]
步骤s206:根据车道线起始点纵坐标的预测数据、车道线起始点纵坐标的真实数据、第一损失值以及第三损失函数计算第三损失值;
[0064]
步骤s208:根据车道线长度的预测数据、车道线长度的真实数据以及第四损失函数计算第四损失值;以及
[0065]
步骤s210:根据第一损失值、第二损失值、第三损失值以及第四损失值对车道线检测模型进行训练。
[0066]
在上述实施例中,车道线起始点横坐标、车道线起始点纵坐标这两个车道线的参数在进行损失计算时,除了根据各自对应的损失函数、各自对应的预测数据和真实数据之外,还融合了车道线夹角的损失计算结果(损失值),也即是,在进行车道线起始点横坐标和/或车道线起始点纵坐标的损失优化之前,先对车道线夹角进行损失优化。通过建立车道线夹角和车道线起始点横或纵坐标之间损失优化的关联关系,先优化车道线夹角的损失,再优化车道线起始点横和/或纵坐标的损失,能够在车道线夹角损失较小时提高车道线起始点坐标的优化准确性。
[0067]
由于同一条真实车道线的两条预测车道线,当车道线夹角的预测数据不同时,预测车道线上的各采样点到真实车道线上的各采样点之间的距离将会不同,这距离反映了车道线起始点坐标的预测结果,因此,优先优化车道线夹角的损失能够更好地优化车道线起始点坐标的损失值。
[0068]
在一个或多个实施例中,第一损失值的大小与第二损失值的大小成反比;和/或第一损失值的大小与第三损失值的大小成反比。其中,第一损失值为车道线夹角对应的损失值,第二损失值为车道线起始点横坐标对应的损失值,第三损失值为车道线起始点纵坐标对应的损失值。
[0069]
上述实施例中,通过限制车道线夹角对应的损失值与车道线起始点横坐标对应的损失值和/或车道线起始点纵坐标对应的损失值之间成反比关系,能够在车道线夹角的预测数据与真实数据之间的差异过大的时候,减小车道线起始点横坐标或车道线起始点纵坐标的损失贡献;在车道线夹角的预测数据与真实数据之间的差异过小的时候,增加车道线起始点横坐标或车道线起始点纵坐标的损失贡献,从而平衡整个车道线检测模型的损失值,防止整个车道线检测模型的损失过大而无法很好地回归,从而提高车道线检测模型的训练准确性。
[0070]
在一个或多个实施例中,第二损失函数的生成方法包括:获取第一损失函数和以自然常数e为底数的指数函数;根据第一损失函数生成指数函数的负指数;以及根据指数函数以及负指数生成第二损失函数。
[0071]
在一个或多个实施例中,第三损失函数的生成方法包括:获取第一损失函数和以自然常数e为底数的指数函数;根据第一损失函数生成指数函数的负指数;以及根据指数函数以及负指数生成第三损失函数。
[0072]
上述实施例中,通过根据车道线夹角对应的损失函数构建车道线起始点横、纵坐标对应的损失函数,也即是,根据第一损失函数构建第二损失函数和/或第三损失函数,而且,通过自然常数e为底数的指数函数与其负指数之间的关联,能够实现将车道线夹角的损失计算结果与车道线起始点横坐标和/或车道线起始点纵坐标的损失计算结果限制为成反比。
[0073]
在一个或多个实施例中,第一损失值、所述第二损失值、所述第三损失值以及所述第四损失值的值域为[0,1]。
[0074]
在传统方法中,当预测数据与真实数据相差过大时,各参数的损失值会越来越大,因此,在车道线的各参数的损失值求和后,整个车道线检测模型的损失值也会很大,若其中
某个参数的损失值过大,会影响其他损失值和整个模型的损失值的回归。上述实施例,通过将各参数对应的损失值的值域限制在[0,1]的范围内,能够很好地限制各参数的损失值的值域,提高整个模型的损失计算的回归效率。
[0075]
下面,结合具体的应用实例,示例性地给出各参数的损失函数的计算公式,下述的计算公式仅作为一种示例示出,对其进行形式变换、系数调整等操作而生成的其他公式在不脱离本技术构思的前提下,都属于本技术的保护范围内。
[0076]
在一个或多个实施例中,第一损失函数的公式为:
[0077][0078]
其中,l1为第一损失函数,为车道线夹角的预测数据,θj为车道线夹角的真实数据,j为输入的样本道路图像的索引。从上述的第一损失函数的计算公式中可以看出,l1采用sin2函数,能够将值域限制在[0,1]之内。
[0079]
在一个或多个实施例中,第二损失函数的公式为:
[0080][0081]
其中,l1为第一损失函数,l2为第二损失函数,为车道线起始点横坐标的预测数据,xj为车道线起始点横坐标的真实数据,j为输入的样本道路图像的索引。从上述的第二损失函数的计算公式中可以看出,由于l1的值域在[0,1]之内,所以,e-value
在[0,1]之内,因此,第二损失函数对应的第二损失值的值域也会被限制在[0,1]之内。而且,l1和l2之间符合下述条件:
[0082]
l1↑→
e-value
↑→
l2↓
[0083]
l1↓→
e-value
↓→
l2↑
[0084]
在一个或多个实施例中,第三损失函数的公式为:
[0085][0086]
其中,l1为第一损失函数,l3为第三损失函数,为车道线起始点纵坐标的预测数据,yj为车道线起始点纵坐标的真实数据,j为输入的样本道路图像的索引。从上述的第三损失函数的计算公式中可以看出,由于l1的值域在[0,1]之内,所以,e-value
会被限制在在[0,1]之内,因此,第二损失函数对应的第二损失值的值域也会被限制在[0,1]之内。而且,l1和l3之间符合下述条件:
[0087]
l1↑→
e-value
↑→
l3↓
[0088]
l1↓→
e-value
↓→
l3↑
[0089]
在一个或多个实施例中,第四损失函数的公式为:
[0090][0091]
其中,l4为第四损失函数,为车道线长度的预测数据,lj为车道线长度的真实数
据,j为输入的样本道路图像的索引。
[0092]
下面,参考图3和图4所示,图3示出了smoothl1损失函数、第一损失函数、第二损失函数和第三损失函数各自对应的曲线示意图。其中,曲线300为smoothl1损失函数对应的曲线,曲线301为第一损失函数对应的曲线,曲线302为第二损失函数或第三损失函数对应的曲线。从图3中可以看出,采用smoothl1损失函数时,随着各参数的预测数据与真实数据之间的差异的增加,损失值也会越来越大,其中某个参数的损失值过大会影响整个模型的损失优化结果。然而,采用本技术实施例的各参数对应的损失函数进行损失计算,各参数对应的损失值均可以限制在[0,1]的区间范围内,即使某一参数的预测数据与真实数据之间的差异过大,也不会影响其他参数的回归以及整个模型的损失优化结果。
[0093]
图4示出了一个或多个实施例中第四损失函数的计算结果的分布示意图。从图4中可以看出,第四损失值400分布在[0,1]的区间范围内。
[0094]
在一个或多个实施例中,根据样本道路图像计算样本道路图像中车道线的各参数的预测数据,包括:将样本道路图像输入特征提取主干网络,得到特征提取主干网络输出的主干特征图;将主干特征图输入特征金字塔网络,得到特征金字塔网络输出的多个第一特征图;其中,各第一特征图的尺寸不同;将多个第一特征图输入特征细化网络,得到特征细化网络输出的各第一特征图对应的第二特征图;以及根据各第二特征图以及头注意力机制计算样本道路图像中车道线的各参数的预测数据。
[0095]
示例性地,参考图5所示,图5示出了一个或多个实施例中车道线检测模型的训练过程的示意图。如图5所示,车道线检测模型可以基于clr net模型构建,具体可以包括以下步骤:
[0096]
1、作为输入的样本道路图像可以是800*320*3的图像数据。其中,宽(weigh)为800px,高(high)为320px,3表示通道数。
[0097]
2、输入的样本道路图像首先经过特征提取主干网络(backbone网络),例如,可以是深度残差网络的resnet34网络。
[0098]
3、然后,特征提取主干网络输出的主干特征图输入fpn(feature pyramid networks,特征金字塔网络),输出多种不同尺寸的特征图作为第一特征图,例如,输出3种尺寸的特征图作为第一特征图。
[0099]
4、fpn输出的不同尺寸的第一特征图继续输入各自对应的特征细化网络(refine网络),得到特征细化网络输出的各第一特征图对应的细化后的特征图作为第二特征图,例如,第二特征图可以包括3种不同尺寸的特征图,大小分别为[b,64,10,25],[b,64,20,50],[b,64,40,100],其中,b为batch size(批数量),64为通道数,10、20、40为宽,25、50、100为高。
[0100]
5、不同尺寸的各第二特征图输入对应的头注意力网络,基于头注意力机制进行车道线各参数的预测数据的计算,得到车道线起始点横坐标、车道线起始点纵坐标、车道线与所述样本道路图像的底部水平方向的车道线夹角以及车道线长度的预测数据。
[0101]
6、利用上述任一个实施例涉及的损失计算方法进行模型优化,将优化后的结果返回以更新模型中的待学习参数,从而实现对于车道线检测模型的训练。
[0102]
在一个或多个实施例中,根据样本道路图像计算车道线夹角的预测数据,包括:在预测的车道线上均匀采样多个采样点;根据各采样点的横坐标、车道线起始点横坐标的预
测数据、采样点个数、样本道路图像的高度以及反正切函数计算各采样点对应的夹角;以及根据各采样点对应的夹角得到车道线夹角的预测数据。
[0103]
在上述实施例中,可以通过划分多个采样点的方式计算车道线夹角的预测数据,从而提高车道线夹角预测的准确性。更为具体地,可以参考下述的计算公式:
[0104][0105]
其中,若θn》0,θn=θn,否则,θn=1-|θn|,上述公式中,x表示预测的车道线起始点横坐标,xn表示第n个采样点的横坐标,n表示采样点个数,img_h表示样本道路图像的高度,arctan表示反正切函数,θn为各采样点对应的夹角,将各采样点对应的夹角求和并取平均值后可以得到车道线夹角的预测数据。
[0106]
下面,本技术还提供一种车道线检测方法,本技术所涉及的车道线检测方法可以应用于计算机设备中,其中,该计算机设备可以是终端或服务器,终端可以是车载终端、智能手机、个人电脑、平板电脑、可穿戴设备以及智能机器人等其他智能硬件设备。服务器可以是一台服务器,也可以为由多台服务器组成的服务器集群。
[0107]
在一个或多个实施例中,如图6所示,提供了一种车道线检测方法,以该方法应用于车载终端为例进行说明,可以包括以下步骤:
[0108]
s602:获取待检测道路图像;
[0109]
s604:根据待检测道路图像以及训练后的车道线检测模型进行车道线检测。
[0110]
其中,车道线检测模型可以根据上述任一个或多个实施例的车道线检测模型训练方法进行训练。采用根据上述任一个或多个实施例的车道线检测模型训练方法进行训练后的车道线检测模型进行车道线检测,能够提高车道线检测的准确性,更好地为自动驾驶车辆的下游任务提供先验数据。
[0111]
应该理解的是,虽然图1-2和图6的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图1-2和图6中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
[0112]
在一个或多个实施例中,提供了一种车辆,该车辆的控制系统的结构可以如图7所示,可以包括通过系统总线连接的处理器710、存储器720和网络接口730。其中,该处理器710用于提供计算和控制能力。该存储器720包括非易失性存储介质、内存储器,该非易失性存储介质存储有操作系统和计算机程序,该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该网络接口730用于与外部的终端或服务器通过网络连接通信。该计算机程序被处理器710执行时以实现一种车道线检测方法。
[0113]
图7所示的车辆的控制系统仅是一个示例,并且可以具有比图7中所示的更多的或者更少的部件,可以组合两个或多个的部件,或者可以具有不同的部件配置。例如,还可以包括显示屏和输入装置,显示屏可以是液晶显示屏或电子墨水显示屏,输入装置可以是显
示屏上覆盖的触摸层,也可以是车辆面板上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。图中所示出的各种部件可以在包括一个或多个信号处理和/或专用集成电路在内的硬件、软件、或硬件和软件的组合中实现。
[0114]
在一个或多个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:获取样本道路图像;根据样本道路图像计算样本道路图像中车道线的各参数的预测数据,参数包括车道线起始点横坐标、车道线起始点纵坐标、车道线与样本道路图像的底部水平方向的车道线夹角以及车道线长度;分别获取各参数对应的损失函数;其中,至少两个参数对应的损失函数不同;以及根据各参数的预测数据、各参数的真实数据以及各参数对应的损失函数对车道线检测模型进行训练。
[0115]
在一个或多个实施例中,车道线夹角对应第一损失函数、车道线起始点横坐标对应第二损失函数、车道线起始点纵坐标对应第三损失函数以及车道线长度对应第四损失函数,计算机程序被处理器执行实现根据各参数的预测数据、各参数的真实数据以及各参数对应的损失函数对车道线检测模型进行训练时,具体实现以下步骤:根据车道线夹角的预测数据、车道线夹角的真实数据以及第一损失函数计算第一损失值;根据车道线起始点横坐标的预测数据、车道线起始点横坐标的真实数据、第一损失值以及第二损失函数计算第二损失值;根据车道线起始点纵坐标的预测数据、车道线起始点纵坐标的真实数据、第一损失值以及第三损失函数计算第三损失值;根据车道线长度的预测数据、车道线长度的真实数据以及第四损失函数计算第四损失值;以及根据第一损失值、第二损失值、第三损失值以及第四损失值对车道线检测模型进行训练。
[0116]
在一个或多个实施例中,计算机程序被处理器执行还实现以下步骤:获取第一损失函数和以自然常数e为底数的指数函数;根据第一损失函数生成指数函数的负指数;以及根据指数函数以及负指数生成第二损失函数。
[0117]
在一个或多个实施例中,计算机程序被处理器执行还实现以下步骤:获取第一损失函数和以自然常数e为底数的指数函数;根据第一损失函数生成指数函数的负指数;以及根据指数函数以及负指数生成第三损失函数。
[0118]
在一个或多个实施例中,计算机程序被处理器执行实现根据样本道路图像计算样本道路图像中车道线的各参数的预测数据时,具体实现以下步骤:将样本道路图像输入特征提取主干网络,得到特征提取主干网络输出的主干特征图;将主干特征图输入特征金字塔网络,得到特征金字塔网络输出的多个第一特征图;其中,各第一特征图的尺寸不同;将多个第一特征图输入特征细化网络,得到特征细化网络输出的各第一特征图对应的第二特征图;以及根据各第二特征图以及头注意力机制计算样本道路图像中车道线的各参数的预测数据。
[0119]
在一个或多个实施例中,计算机程序被处理器执行时还实现以下步骤:在预测的车道线上均匀采样多个采样点;根据各采样点的横坐标、车道线起始点横坐标的预测数据、采样点个数、样本道路图像的高度以及反正切函数计算各采样点对应的夹角;以及根据各采样点对应的夹角得到车道线夹角的预测数据。
[0120]
在一个或多个实施例中,计算机程序被处理器执行时还实现以下步骤:获取待检测道路图像;以及根据待检测道路图像以及训练后的车道线检测模型进行车道线检测;其中,车道线检测模型为根据上述的任一或多个实施例的方法训练后的模型。
[0121]
本领域普通技术人员可以理解实现上述实施例的方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本技术所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限,ram以多种形式可得,诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双数据率sdram(ddrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)等。
[0122]
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
[0123]
另外,本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,a和/或b,可以表示:单独存在a,同时存在a和b,单独存在b这三种情况。另外,本文中字符一般表示前后关联对象是一种“或”的关系。
[0124]
本技术中的诸如“第一”、“第二”的术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何实际的前后关系或先后顺序或重要性差别。
[0125]
以上所述实施例仅表达了本技术的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本技术构思的前提下,还可以做出若干变形和改进,这些都属于本技术的保护范围。因此,本技术专利的保护范围应以所附权利要求为准。
再多了解一些

本文用于创业者技术爱好者查询,仅供学习研究,如用于商业用途,请联系技术所有人。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献