目标检测、行驶控制方法、装置、电子设备及存储介质与流程

1.本公开涉及深度学习技术领域，具体而言，涉及一种目标检测、行驶控制方法、装置、电子设备及存储介质。


背景技术：

2.随着科技的发展，自动驾驶技术引起了研究人员的极大关注。为了确保车辆在行驶过程中的安全性，车辆的控制系统需要保证车辆在道路上沿着车道线进行行驶，故需要准确感知道路上的车道线。因此，车道线的检测在车辆的控制系统中起着重要的作用，尤其是在高级驾驶员辅助系统(advanced driving assistance system，adas)中。
3.因此，提出一种车道线检测方法尤为重要。


技术实现要素：

4.有鉴于此，本公开至少提供一种目标检测、行驶控制方法、装置、电子设备及存储介质。
5.第一方面，本公开提供了一种目标检测方法，包括：
6.获取道路图像；
7.对所述道路图像进行特征提取，得到所述道路图像对应的目标特征图；
8.基于所述目标特征图，生成所述道路图像对应的位置图和偏移图；其中，所述位置图中的目标像素点的像素信息表征所述道路图像中的车道线上的关键点在所述道路图像中的位置，所述偏移图中的目标像素点的像素信息表征所述道路图像中的所述车道线上的关键点的位置、与车道线起始点的位置之间的偏移信息；
9.基于所述偏移图和所述位置图，确定所述道路图像包括的每条车道线的车道线信息。
10.上述方法中，通过对道路图像进行特征提取，得到道路图像对应的目标特征图，并基于目标特征图，生成道路图像对应的位置图和偏移图，其中，该位置图中目标像素点的像素信息表征道路图像中的车道线上的关键点在道路图像中的位置，以及偏移图中目标像素点的像素信息表征道路图像中的车道线上的关键点的位置、与车道线起始点之间的偏移信息，进而可以基于偏移图和位置图，通过确定属于车道线的目标像素点的位置信息和偏移信息的方式，较为准确的确定道路图像包括的每条车道线的车道线信息。同时，本公开是在确定了位置图和偏移图之后，利用偏移图和位置图可以并行的确定每条车道线对应的车道线信息，提高了车道线信息的确定效率。
11.一种可能的实施方式中，所述基于所述偏移图和所述位置图，确定所述道路图像包括的每条车道线的车道线信息，包括：
12.基于所述偏移图指示的目标像素点对应的偏移信息，确定至少一个车道线起始点的起始点位置信息；
13.基于所述偏移图中所述目标像素点对应的像素信息，对所述位置图中对应的目标
像素点的像素信息进行调整，得到所述位置图中所述目标像素点对应的调整后的像素信息；
14.基于所述位置图中每个所述目标像素点对应的所述调整后的像素信息、和所述至少一个车道线起始点的起始点位置信息，确定所述目标像素点对应的车道线起始点；
15.基于每个所述车道线起始点的起始点位置信息、和与该车道线起始点匹配的各个目标像素点的像素位置，确定所述道路图像包括的每条车道线的车道线信息。
16.这里，可以先根据偏移图，确定车道线起始点的起始点位置信息，以及基于偏移图中目标像素点对应的像素信息，对位置图中对应的目标像素点的像素信息进行调整，得到位置图中目标像素点对应的调整后的像素信息；再基于位置图中每个目标像素点对应的调整后的像素信息、和至少一个车道线起始点的起始点位置信息，确定目标像素点对应的车道线起始点，比如，可以将与目标像素点距离最近的车道线起始点，确定为该目标像素点对应的车道线起始点。进而可以基于每个车道线起始点的起始点位置信息、和与该车道线起始点匹配的各个目标像素点的像素位置，较为快速的确定道路图像包括的每条车道线的车道线信息，提高了车道线检测效率。
17.一种可能的实施方式中，所述基于所述偏移图指示的目标像素点对应的偏移信息，确定至少一个车道线起始点的起始点位置信息，包括：
18.基于所述偏移图指示的目标像素点在竖直方向上的第一偏移信息、和设置的第一偏移阈值，从各个目标像素点中确定至少一个车道线起始点，并确定所述车道线起始点的起始点位置信息；或者，
19.基于所述偏移图指示的目标像素点在竖直方向上的第一偏移信息、在水平方向上的第二偏移信息，确定所述目标像素点对应的目标偏移值；
20.基于所述目标偏移值和设置的第二偏移阈值，从各个目标像素点中确定至少一个车道线起始点，并确定所述车道线起始点的起始点位置信息。
21.通过上述两种方式，可以较为灵活的确定车道线起始点的起始点位置信息。
22.一种可能的实施方式中，所述基于所述偏移图指示的目标像素点对应的偏移信息，确定至少一个车道线起始点的起始点位置信息，包括：
23.基于所述偏移图指示的目标像素点对应的偏移信息，从各个目标像素点中确定多个候选起始点；
24.基于所述多个候选起始点的像素位置，确定多个候选起始点中任意两个候选起始点之间的第一距离；
25.响应于存在第一距离小于或等于设置的距离阈值的多个候选起始点，基于所述多个候选起始点的像素位置，确定所述多个候选起始点构成的平面图形的中心点的位置信息；
26.基于所述中心点的位置信息、和/或第一距离大于所述距离阈值的候选起始点的像素位置，确定至少一个车道线起始点的起始点位置信息。
27.实施时，可以先基于偏移图，确定多个候选起始点，并确定多个候选起始点之间的第一距离；在确定存在第一距离小于或等于设置的距离阈值的多个候选起始点时，可以确定多个候选起始点构成的平面图形的中心点的位置信息，利用中心点的位置信息，替换该多个候选起始点对应的像素位置；再基于中心点的位置信息、和/或第一距离大于距离阈值
的候选起始点的像素位置，确定至少一个车道线起始点的起始点位置信息时，提高了起始点位置信息的准确度。
28.一种可能的实施方式中，所述基于所述位置图中每个所述目标像素点对应的所述调整后的像素信息、和所述至少一个车道线起始点的起始点位置信息，确定所述目标像素点对应的车道线起始点，包括：
29.基于每个所述目标像素点对应的所述调整后的像素信息、和所述至少一个车道线起始点的起始点位置信息，确定每个所述目标像素点与各个所述车道线起始点之间的第二距离；
30.基于每个所述目标像素点与各个所述车道线起始点之间的第二距离，确定所述目标像素点对应的车道线起始点。
31.实施时，可以确定每个目标像素点与各个车道线起始点之间的第二距离，利用第二距离较高效和较精准的确定目标像素点对应的车道线起始点。
32.一种可能的实施方式中，所述基于所述目标特征图，生成所述道路图像对应的位置图，包括：
33.基于所述目标特征图，生成所述道路图像对应的置信度图；其中，置信度图中每个像素点的像素信息表征所述像素点属于车道线的概率；
34.基于所述置信度图指示的各个目标像素点对应的像素位置，生成所述位置图；其中，所述目标像素点为所述置信度图中概率大于设置的概率阈值的像素点。
35.上述方法中，可以先基于目标特征图，生成道路图像对应的置信度图，该置信度图中每个像素点的像素信息表征像素点属于车道线的概率；进而可以基于置信度图，较为准确的生成位置图。
36.一种可能的实施方式中，在所述基于所述目标特征图，生成所述道路图像对应的置信度图之后，还包括：
37.针对所述置信度图中的每行像素点，依次将该行像素点包括的预设数量个相邻像素点中像素信息的值最大的像素点作为目标像素点；以及
38.将该行像素点中除所述目标像素点之外的其他像素点的像素信息调整为预设值，得到该行像素点对应的调整后像素信息；
39.基于所述置信度图中各行像素点分别对应的调整后像素信息，生成调整后置信度图；
40.所述基于所述置信度图指示的各个目标像素点对应的像素位置，生成所述位置图，包括：
41.基于所述调整后置信度图指示的各个目标像素点对应的像素位置，生成所述位置图。
42.这里，在得到置信度图之后，可以对置信度图的各行像素点进行调整，生成每行像素点对应的调整后像素信息；再基于置信度图中各行像素点分别对应的调整后像素信息，生成调整后置信度图，以便后续利用调整后置信度图，生成位置图时，提高位置图的准确度。
43.一种可能的实施方式中，所述基于所述目标特征图，生成所述道路图像对应的置信度图，包括：
44.对所述目标特征图进行至少一次第一特征提取，生成所述道路图像对应的置信度图。
45.一种可能的实施方式中，在对所述目标特征图进行至少一次第一特征提取之前，所述方法还包括：
46.基于所述目标特征图，预测所述目标特征图中属于车道线上的目标特征点、和每个所述目标特征点对应的相邻目标特征点；
47.针对每个所述目标特征点，将所述目标特征点对应的相邻目标特征点的特征信息、与所述目标特征点的特征信息进行融合，得到所述目标特征点对应的特征增强后的特征信息；
48.基于各个目标特征点对应的特征增强后的特征信息，生成特征增强后的目标特征图；
49.所述对所述目标特征图进行至少一次第一特征提取，生成所述道路图像对应的置信度图，包括：
50.对所述特征增强后的目标特征图进行至少一次第一特征提取，生成所述道路图像对应的置信度图。
51.这里，可以针对目标特征图中的每个目标特征点，将目标特征点对应的相邻目标特征点的特征信息、与目标特征点的特征信息进行融合，得到目标特征点对应的特征增强后的特征信息，增强了车道线上多个局部关键点之间的联系，且该目标特征点对应的特征增强后的特征信息较为丰富，进而后续对特征增强后的目标特征图进行至少一次第一特征提取，能够生成更为准确的置信度图。
52.一种可能的实施方式中，所述基于所述目标特征图，生成所述道路图像对应的偏移图，包括：对所述目标特征图进行至少一次第二特征提取，生成所述道路图像对应的偏移图。
53.一种可能的实施方式中，所述道路图像包括的每条车道线的车道线信息为利用训练得到的目标神经网络确定的；
54.训练得到所述目标神经网络，包括：
55.获取样本数据，所述样本数据包括样本道路图像、该样本道路图像对应的样本置信度图、样本偏移图；
56.将所述样本数据输入至待训练神经网络中，得到所述样本道路图像对应的预测数据，其中，所述预测数据包括：所述样本道路图像对应的预测车道线信息、预测置信度图、预测偏移图；
57.基于所述预测数据和所述样本图像，对所述待训练神经网络进行训练，得到所述目标神经网络。
58.这里，通过获取样本数据，该样本数据中包括样本道路图像、该样本道路图像对应的样本置信度图、样本偏移图，样本数据的信息较为丰富，进而利用样本数据，对待训练神经网络进行训练时，提高了训练得到的目标神经网络的性能。
59.一种可能的实施方式中，所述将所述样本数据输入至待训练神经网络中，得到所述样本道路图像对应的预测数据，包括：
60.利用所述待训练神经网络中包括的骨干网络，对所述样本数据进行特征提取，生
成第一中间特征图；
61.利用所述待训练神经网络中包括的自注意力网络，对所述第一中间特征图进行全局特征提取，生成第二中间特征图；
62.利用所述待训练神经网络中包括的金字塔网络，对所述第二中间特征图进行特征提取，得到多种尺寸的特征数据；以及将所述多种尺寸的特征数据进行特征融合，得到所述样本特征图；
63.基于所述样本特征图，生成所述样本道路图像对应的预测数据。
64.一种可能的实施方式中，根据下述步骤生成所述样本道路图像对应的样本置信度图：
65.确定所述样本道路图像中属于车道线上的样本像素点的位置信息；
66.将初始置信度图中与所述样本像素点的位置信息匹配的、第一像素点的像素信息的值调整为第一预设值；以及将所述初始置信度图中与所述样本像素点周围的其他像素点的位置信息匹配的、第二像素点的像素信息的值调整为第二预设值，得到样本置信度图；其中，所述第一像素点的像素信息的值和所述第二像素点的像素信息的值之间满足高斯分布。
67.通过确定样本道路图像中属于车道线上的样本像素点的位置信息，利用样本像素点的位置信息，对初始置信度图中第一像素点的像素信息的值和第二像素点的像素信息的值进行调整，得到样本置信度图，该样本置信度图中第一像素点的像素信息的值和第二像素点的像素信息的值之间满足高斯分布，使得样本置信度图中各个像素点的像素信息较为丰富、且具有层次性。
68.第二方面，本公开提供了一种行驶控制方法，包括：
69.获取行驶装置在行驶过程中采集的目标道路图像；
70.利用第一方面或任一实施方式所述的目标检测方法，确定所述目标道路图像中包括的目标车道线的车道线信息；
71.基于所述目标道路图像中包括的目标车道线的车道线信息，控制所述行驶装置。
72.上述实施方式中，在获取到目标道路图像之后，可以利用上述实施方式所述目标检测方式，较准确和较高效的确定目标道路图像中包括的目标车道线的车道线信息，再基于目标道路图像中包括的目标车道线的车道线信息，控制行驶装置时，能够较快速和较准确的控制行驶装置的行驶，提高行驶装置行驶的安全性。
73.以下装置、电子设备等的效果描述参见上述方法的说明，这里不再赘述。
74.第三方面，本公开提供了一种目标检测装置，包括：
75.第一获取模块，用于获取道路图像；
76.提取模块，用于对所述道路图像进行特征提取，得到所述道路图像对应的目标特征图；
77.生成模块，用于基于所述目标特征图，生成所述道路图像对应的位置图和偏移图；其中，所述位置图中的目标像素点的像素信息表征所述道路图像中的车道线上的关键点在所述道路图像中的位置，所述偏移图中的目标像素点的像素信息表征所述道路图像中的所述车道线上的关键点的位置、与所述车道线起始点的位置之间的偏移信息；
78.第一确定模块，用于基于所述偏移图和所述位置图，确定所述道路图像包括的每
条车道线的车道线信息。
79.第四方面，本公开提供了一种行驶控制装置，包括：
80.第二获取模块，用于获取行驶装置在行驶过程中采集的目标道路图像；
81.第二确定模块，用于利用第一方面或任一实施方式所述的目标检测方法，确定所述目标道路图像中包括的目标车道线的车道线信息；
82.控制模块，用于基于所述目标道路图像中包括的目标车道线的车道线信息，控制所述行驶装置。
83.第五方面，本公开提供一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如上述第一方面或任一实施方式所述的目标检测方法的步骤；或执行如上述第二方面所述的行驶控制方法的步骤。
84.第六方面，本公开提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如上述第一方面或任一实施方式所述的目标检测方法的步骤；或执行如上述第二方面所述的行驶控制方法的步骤。
85.为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
86.为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，此处的附图被并入说明书中并构成本说明书中的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
87.图1示出了本公开实施例所提供的一种目标检测方法的流程示意图；
88.图2示出了本公开实施例所提供的一种目标检测方法中，位置图的示意图；
89.图3示出了本公开实施例所提供的一种目标神经网络的网络结构的示意图；
90.图4示出了本公开实施例所提供的一种行驶控制方法的流程示意图；
91.图5示出了本公开实施例所提供的一种目标检测装置的架构示意图；
92.图6示出了本公开实施例所提供的一种行驶控制装置的架构示意图；
93.图7示出了本公开实施例所提供的一种电子设备的结构示意图。
具体实施方式
94.为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。
95.随着科技的发展，自动驾驶技术引起了研究人员的极大关注。为了确保车辆在行驶过程中的安全性，车辆的控制系统需要保证车辆在道路上沿着车道线进行行驶，故需要准确感知道路上的车道线。因此，车道线的检测在车辆的控制系统中起着重要的作用，尤其是在高级驾驶员辅助系统(advanced driving assistance system，adas)中。
96.一般的，可以利用车道线检测算法确定图像中的车道线。其中，车道线检测算法可以包括：基于分割的车道线检测算法、基于锚的车道线检测算法等。
97.基于分割的车道线检测算法可以确定图像中每个像素点对应的车道线实例或背景。但是，由于图像中属于车道线的像素点的比例较低，使得像素级分割拟合车道线是冗余的，且容易带入噪声，导致检测结果下降。
98.基于锚的车道线检测算法，可以从图像上的不同的点(起始点或消失点)出发，预定义不同倾斜角度的直线作为锚线。然后，利用锚线上的点对车道线上的点回归偏移量，使用该偏移量较为精确的表示车道线。最后，使用非极大抑制筛选出置信度最高的一条线作为车道线。由于预定义的锚线形状单一，导致该算法的灵活性较低；且由于强先验限制了其描述不同车道线形状的能力，会导致产生次优的车道线检测结果。
99.为了缓解上述问题，本公开实施例提供了一种目标检测、行驶控制方法、装置、电子设备及存储介质。
100.应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
101.为便于对本公开实施例进行理解，首先对本公开实施例所公开的一种目标检测方法进行详细介绍。本公开实施例所提供的目标检测方法的执行主体一般为具有一定计算能力的计算机设备，该计算机设备例如包括：终端设备或服务器或其它处理设备，终端设备可以为用户设备(user equipment，ue)、移动设备、用户终端、终端、手持设备、计算设备、车载设备等。在一些可能的实现方式中，该目标检测方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
102.参见图1所示，为本公开实施例所提供的目标检测方法的流程示意图，该方法包括s101-s104，其中：
103.s101，获取道路图像；
104.s102，对道路图像进行特征提取，得到道路图像对应的目标特征图；
105.s103，基于目标特征图，生成道路图像对应的位置图和偏移图；其中，位置图中的目标像素点的像素信息表征道路图像中的车道线上的关键点在道路图像中的位置，偏移图中的目标像素点的像素信息表征道路图像中的车道线上的关键点的位置、与车道线起始点的位置之间的偏移信息；
106.s104，基于偏移图和位置图，确定道路图像包括的每条车道线的车道线信息。
107.上述方法中，通过对道路图像进行特征提取，得到道路图像对应的目标特征图，并基于目标特征图，生成道路图像对应的位置图和偏移图，其中，该位置图中目标像素点的像素信息表征道路图像中的车道线上的关键点在道路图像中的位置，以及偏移图中目标像素点的像素信息表征道路图像中的车道线上的关键点的位置、与车道线起始点之间的偏移信息，进而可以基于偏移图和位置图，通过确定属于车道线的目标像素点的位置信息和偏移信息的方式，较为准确的确定道路图像包括的每条车道线的车道线信息。同时，本公开是在
确定了位置图和偏移图之后，利用偏移图和位置图可以并行的确定每条车道线对应的车道线信息，提高了车道线信息的确定效率。
108.下述对s101-s104进行具体说明。
109.针对s101以及s102：
110.道路图像可以为获取到的任一包括车道线的图像。比如，该道路图像可以为车辆在行驶过程中采集的图像。其中，可以在车辆顶部设置图像采集设备，通过该图像采集设备采集车辆行驶过程中的道路图像。
111.实施时，可以利用特征处理层，对道路图像进行多次特征提取，得到道路图像对应的目标特征图。比如，特征处理层包括但不限于：卷积层、全连接层、池化层等。
112.在利用目标神经网络确定道路图像中包括的车道线的车道线信息时，可以将获取到的道路图像输入至目标神经网络中，目标神经网络中包括的骨干网络可以对道路图像进行特征提取，生成第一特征图；其中，道路图像的尺寸可以为第一特征图的尺寸的32倍，即骨干网络将道路图像进行了32倍的下采样，得到了第一特征图。
113.再将第一特征图输入至目标神经网络包括的自注意力网络，利用自注意力网络对第一特征图进行全局特征提取，生成第二特征图，第二特征图的尺寸可以与第一特征图一致。再将第二特征图输入至目标神经网络包括的金字塔网络，利用金字塔网络对第二特征图进行特征提取，得到多种尺寸的第三特征图，并利用金字塔网络将多种尺寸的第三特征图进行特征融合，生成道路图像对应的目标特征图，道路图像的尺寸为目标特征图的尺寸的8倍，即金字塔网络对第三特征图进行了4倍上采样，得到目标特征图。其中，目标神经网络中骨干网络、自注意力网络、金字塔网络的网络结构可以根据需要进行设置。
114.针对s103：
115.实施时，可以基于目标特征图，生成道路图像对应的位置图和偏移图。比如，可以设置与目标特征图的尺寸一致的第一初始矩阵，对目标特征图进行至少一次第一特征提取，并将提取到的特征融合到第一初始矩阵中，生成道路图像对应的位置图，该位置图的尺寸可以与目标特征图一致。再比如，可以设置与目标特征图的尺寸一致的第二初始矩阵，对目标特征图进行至少一次第二特征提取，并将提取到的特征融合到第二初始矩阵中，生成道路图像对应的偏移图，该偏移图的尺寸可以与目标特征图一致。即道路图像对应的位置图和偏移图尺寸一致。
116.这里，位置图和偏移图可以为两通道的特征图。其中，针对位置图中任一属于车道线的目标像素点，该位置图中该目标像素点的像素信息为该目标像素点在位置图中的像素位置。即位置图的第一通道表征目标像素点在宽度方向的像素位置，第二通道表征目标像素点在高度方向的像素位置。比如，任一属于车道线的目标像素点1在位置图中的像素位置为100
×
50，则位置图中位于100
×
50位置处的该目标像素点的第一通道的像素信息的值可以为100、第二通道的像素信息的值可以为50。位置图中除目标像素点之外的其他像素点的像素信息可以为第一预设数值，比如，第一预设数值可以为0。其中，位置图中的目标像素点的像素信息能够表征道路图像中的车道线上的关键点在道路图像中的位置。
117.针对偏移图中的每个目标像素点，该目标像素点的像素信息可以表征道路图像中的车道线上的关键点的位置、与车道线起始点的位置之间的偏移信息。该偏移图的第一通道表征该目标像素点的位置、与对应的车道线起始点的位置之间在宽度方向上的第一偏移
信息，第二通道表征该目标像素点的位置、与对应的车道线起始点的位置之间在高度方向上的第二偏移信息。
118.其中，偏移图中除目标像素点之外的其他像素点的偏移信息可以为第二预设数值，比如，第二预设数值可以为0。即偏移图中其他像素点的像素信息无意义。
119.比如，偏移图中目标像素点1在第一通道上的像素信息为该目标像素点与车道线起始点之间在宽度方向上的第一偏移信息、在第二通道上的像素信息为该目标像素点与车道线起始点之间在高度方向上的第二偏移信息。
120.下述分别对生成位置图和生成偏移图的过程进行说明。
121.一种可选实施方式中，基于目标特征图，生成道路图像对应的位置图，可以包括：
122.步骤a1，基于目标特征图，生成道路图像对应的置信度图；其中，置信度图中每个像素点的像素信息表征像素点属于车道线的概率；
123.步骤a2，基于置信度图指示的各个目标像素点对应的像素位置，生成位置图；其中目标像素点为置信度图中概率大于设置的概率阈值的像素点。
124.上述方法中，可以先基于目标特征图，生成道路图像对应的置信度图，该置信度图中每个像素点的像素信息表征像素点属于车道线的概率；进而可以基于置信度图，较为准确的生成位置图。
125.在步骤a1中，可以对目标特征图进行特征提取，生成道路图像对应的置信度图。实施时，可以利用目标神经网络包括的第一检测头，生成道路图像对应的置信度图，该第一检测头中可以包括至少一个卷积层。其中，该第一检测头包括与目标特征图的尺寸一致的第一初始化矩阵，该第一检测头通过对目标特征图进行特征提取，并将提取到的特征信息融入第一初始化矩阵中，生成道路图像对应的置信度图。
126.置信度图中每个像素点的像素信息表征该像素点属于车道线的概率，进而可以根据每个像素点对应的概率和设置的概率阈值，确定置信度图中属于车道线的目标像素点，即该目标像素点为置信度图中概率大于设置的概率阈值的像素点。
127.在步骤a2中，考虑到后续根据目标像素点确定车道线信息时，使用的是目标像素点的像素位置，而非概率，故可以基于置信度图指示的各个目标像素点对应的像素位置，生成位置图。该位置图的宽度和高度、与置信度图的宽度和高度一致。在位置图上，与置信度图中目标像素点匹配的第三像素点的像素信息，为该目标像素点在置信度图中的像素位置(也即该三像素点在位置图上的像素位置)，位置图上除第三像素点之外的其他像素点的像素信息为第一预设数值。
128.一种可选实施方式中，在步骤a1的基于目标特征图，生成道路图像对应的置信度图之后，还包括：
129.步骤b1，针对置信度图中的每行像素点，依次将该行像素点包括的预设数量个相邻像素点中像素信息的值最大的像素点作为目标像素点。
130.步骤b2，将该行像素点中除目标像素点之外的其他像素点的像素信息调整为预设值，得到该行像素点对应的调整后像素信息。
131.步骤b3，基于置信度图中各行像素点分别对应的调整后像素信息，生成调整后置信度图。
132.这里，在得到置信度图之后，可以对置信度图的各行像素点进行调整，生成每行像
素点对应的调整后像素信息；再基于置信度图中各行像素点分别对应的调整后像素信息，生成调整后置信度图，以便后续利用调整后置信度图，生成位置图时，提高位置图的准确度。
133.在步骤b1中，在得到置信度图之后，可以针对置信度图中的每行像素点，设置滑动窗口，依次确定滑动窗口内包括的预设数量个相邻像素点中像素信息的值最大的目标像素点，得到该行像素点包括的至少一个目标像素点。
134.或者，针对置信度图中的每行像素点，设置滑动窗口，依次确定滑动窗口内包括的预设数量个相邻像素点中像素信息的值最大的候选像素点；并在候选像素点对应的阈值大于设置的判断阈值时，将该候选像素点确定为目标像素点，得到该行像素点包括的至少一个目标像素点。
135.在步骤b2中，在确定了目标像素点之后，保持该目标像素点的像素信息不变，将该行像素点中除目标像素点之外的其他像素点的像素信息调整为预设值，比如，该预设值可以为0、1等，得到该行像素点对应的调整后像素信息。
136.在步骤b3中，可以基于置信度图中各行像素点分别对应的调整后像素信息，生成调整后置信度图。
137.进而可以基于调整后置信度图指示的各个目标像素点对应的像素位置，生成位置图。其中，生成位置图的过程可以参见对步骤a2的说明。
138.一种可选实施方式中，基于目标特征图，生成道路图像对应的置信度图，可以包括：对目标特征图进行至少一次第一特征提取，生成道路图像对应的置信度图。
139.实施时，可以利用至少一个卷积层对目标特征图进行至少一次第一特征提取，生成道路图像对应的置信度图。比如，可以利用目标神经网络包括的第一检测头，对目标特征图进行至少一次第一特征提取，生成道路图像对应的置信度图。
140.一种可选实施方式中，在对目标特征图进行至少一次第一特征提取之前，所述方法还可以包括步骤c1至步骤c3，其中：
141.步骤c1，基于目标特征图，预测目标特征图中属于车道线上的目标特征点、和每个目标特征点对应的相邻目标特征点。
142.步骤c2，针对每个目标特征点，将目标特征点对应的相邻目标特征点的特征信息、与目标特征点的特征信息进行融合，得到目标特征点对应的特征增强后的特征信息。
143.步骤c3，基于各个目标特征点对应的特征增强后的特征信息，生成特征增强后的目标特征图。
144.可以基于目标特征图，预测目标特征图中属于车道线上的目标特征点、以及每个目标特征点对应的相邻目标特征点。比如，利用卷积层对目标特征图进行特征提取，得到特征图；根据该特征图中包括的特征信息，确定目标特征图上属于车道线的目标特征点、以及该目标特征点对应的相邻目标特征点。比如，特征图包括的特征信息可以包括每个特征点是否属于目标特征点的概率、以及与该特征点匹配的至少一个相邻特征点的偏移信息(该偏移信息可以为相邻特征点与该特征点之间的偏移信息)。
145.再可以针对每个目标特征点，将目标特征点的特征信息、与至少一个相邻特征点的特征信息进行加权求和，实现了相邻目标特征点的特征信息与目标特征点的特征信息的融合，得到目标特征点对应的特征加强后的特征信息。
146.可以基于各个目标特征点对应的特征增强后的特征信息，生成特征增强后的目标特征图。比如，可以基于各个目标特征点对应的特征增强后的特征信息、以及目标特征图中除目标特征点之外的其他特征点对应的特征信息(没有进行特征增强的特征信息)，生成特征增强后的目标特征图。
147.或者，还可以针对目标特征图中的每个特征点，确定该特征点匹配的多个候选特征点，利用该特征点对应的多个候选特征点的特征信息、对该特征点的特征信息进行加强，生成该特征点对应的特征加强后的特征信息，进而可以基于各个特征点分别对应的特征加强后的特征信息，生成特征增强后的目标特征图。其中，该目标特征图中，位于车道线上的目标特征点进行的是有效的特征增强处理，除目标特征点之外的其他特征点进行的是无效的特征增强处理。
148.具体实施时，可以利用卷积层对目标特征图进行特征提取，得到与目标特征图尺寸一致的特征图一。其中，该特征图一中每个特征点的特征信息包括至少一个候选特征点的位置相对于该特征点的偏移信息。
149.比如，针对目标特征图中像素位置为50
×
50的特征点1，特征图一中50
×
50位置处的特征点的特征信息可以包括：(δx1，δy1)、(δx2，δy2)、(δx3，δy3)；其中，(δx1，δy1)为特征点1对应的候选特征点1的位置、与特征点1的位置之间的横向偏移信息和纵向偏移信息；(δx2，δy2)为特征点1对应的候选特征点2的位置、与特征点1的位置之间的横向偏移信息和纵向偏移信息；(δx3，δy3)为特征点1对应的候选特征点3的位置、与特征点1的位置之间的横向偏移信息和纵向偏移信息。
150.进而，可以根据目标特征图对应的特征图一，确定目标特征图中每个特征点对应的至少一个候选特征点。比如，像素位置为50
×
50的特征点1对应的候选特征点1的位置为(50 δx1，50 δy1)、候选特征点2的位置为(50 δx2，50 δy2)、候选特征点3的位置为(50 δx3，50 δy3)。
151.再可以针对目标特征图中的每个特征点，将该特征点的特征信息、与该特征点对应的至少一个候选特征点的特征信息进行加权求和，得到该特征点对应的特征增强后的特征信息。基于各个特征点对应的特征增强后的特征信息，生成特征增强后的目标特征图。
152.实施时，可以利用目标神经网络中包括的特征增强网络对目标特征图进行特征加强处理，得到特征加强后的目标特征图。其中，特征增强网络可以为包括至少一个卷积层、可变形卷积层等构成的网络。
153.在得到特征增强后的目标特征图之后，可以对特征增强后的目标特征图进行至少一次第一特征提取，生成道路图像对应的置信度图。
154.这里，可以针对目标特征图中的每个目标特征点，将目标特征点对应的相邻目标特征点的特征信息、与目标特征点的特征信息进行融合，得到目标特征点对应的特征增强后的特征信息，增强了车道线上多个局部关键点之间的联系，且该目标特征点对应的特征增强后的特征信息较为丰富，进而后续对特征增强后的目标特征图进行至少一次第一特征提取，能够生成更为准确的置信度图。
155.一种可选实施方式中，基于目标特征图，生成道路图像对应的偏移图，包括：对目标特征图进行至少一次第二特征提取，生成道路图像对应的偏移图。
156.可以对目标特征图进行至少一次第二特征提取，生成道路图像对应的偏移图。实
施时，可以利用目标神经网络包括的第二检测头，生成道路图像对应的偏移图，该第二检测头中可以包括至少一个卷积层。其中，该第二检测头包括与目标特征图的尺寸一致的第二初始化矩阵，该第二检测头通过对目标特征图进行特征提取，并将提取到的特征信息融入第二初始化矩阵中，生成道路图像对应的偏移图。
157.实施时，在利用目标神经网络，确定道路图像包括的车道线的车道线信息时，该目标神经网络还可以包括用于确定位置图的第一检测分支和用于确定偏移图的第二检测分支。在得到目标特征图之后，可以将目标特征图分别输入至第一检测分支和第二检测分支中。
158.第一检测分支中包括的特征增强网络可以对目标特征图进行特征增强处理，得到特征增强后的目标特征图。再利用第一检测分支中的第一检测头对特征增强后的目标特征图进行特征提取，生成道路图像对应的置信度图。再基于该置信度图，生成位置图。第二检测分支中的第二检测头对目标特征图进行特征提取，生成道路图像对应的偏移图。
159.针对s104：
160.实施时，可以基于偏移图和位置图，确定道路图像包括的每条车道线的车道线信息。其中，车道线的车道线信息可以包括位于车道线上的至少一个关键点的位置信息。比如，可以用下述公式表示车道线信息：
161.l＝{(sx,sy),(x2,y2),(x3,y3),
…
,(xk,yk)}
162.其中，(sx,sy)为车道线的起始点的起始点位置信息，(xj,yj)，j∈[2,k]表示该车道线上的其他关键点的位置信息。
[0163]
比如，可以根据位置图，确定该道路图像中包括的多个关键点，在确定每个关键点所属的车道线，得到每条车道线对应的车道线信息。其中，可以根据位置图指示的目标像素点的像素信息、和位置图与道路图像之间的尺寸比例，确定道路图像中包括的多个关键点。比如，若道路图像的尺寸是位置图的8倍，则可以将位置图中目标像素点的像素信息乘以8，得到道路图像中该目标像素点对应的关键点的位置信息，进而可以得到道路图像中包括的各个关键点的位置信息。再确定每个关键点所属的车道线，得到每条车道线对应的车道线信息。
[0164]
或者，还可以针对位置图中的每个目标像素点，确定偏移图中与该目标像素点的像素位置一致的像素点；并利用确定的偏移图中该像素点的像素信息，对位置图中该目标像素点的像素信息进行调整，得到目标像素点对应的调整后的像素信息。再基于各个目标像素点对应的调整后的像素信息，对各个位置图中各个目标像素点进行聚类，确定属于同一车道线的各个目标像素点。最后，根据位置图指示的目标像素点的像素信息(未调整的像素信息)、和位置图与道路图像之间的尺寸比例，在道路图像中确定目标像素点对应的关键点，得到道路图像中包括的每条车道线的车道线信息。
[0165]
一种可选实施方式中，基于偏移图和位置图，确定道路图像包括的每条车道线的车道线信息，可以包括：
[0166]
步骤d1，基于偏移图指示的目标像素点对应的偏移信息，确定至少一个车道线起始点的起始点位置信息。
[0167]
步骤d2，基于偏移图中目标像素点对应的像素信息，对位置图中对应的目标像素点的像素信息进行调整，得到位置图中目标像素点对应的调整后的像素信息。
[0168]
步骤d3，基于位置图中每个目标像素点对应的调整后的像素信息、和至少一个车道线起始点的起始点位置信息，确定目标像素点对应的车道线起始点。
[0169]
步骤d4，基于每个车道线起始点的起始点位置信息、和与该车道线起始点匹配的各个目标像素点的像素位置，确定道路图像包括的每条车道线的车道线信息。
[0170]
这里，可以先根据偏移图，确定车道线起始点的起始点位置信息，以及基于偏移图中目标像素点对应的像素信息，对位置图中对应的目标像素点的像素信息进行调整，得到位置图中目标像素点对应的调整后的像素信息；再基于位置图中每个目标像素点对应的调整后的像素信息、和至少一个车道线起始点的起始点位置信息，确定目标像素点对应的车道线起始点，比如，可以将与目标像素点距离最近的车道线起始点，确定为该目标像素点对应的车道线起始点。进而可以基于每个车道线起始点的起始点位置信息、和与该车道线起始点匹配的各个目标像素点的像素位置，较为快速的确定道路图像包括的每条车道线的车道线信息，提高了车道线检测效率。
[0171]
在步骤d1中，根据偏移图指示的目标像素点对应的偏移信息，确定至少一个车道线起始点的起始点位置信息。其中，该车道线起始点可以为车道线上距离图像采集设备距离最近的点。比如，可以将偏移图中偏移信息最小的目标像素点，确定为车道线起始点。或者，可以将偏移图中偏移信息小于设置的偏移阈值的目标像素点，确定为车道线起始点。
[0172]
一种可选实施方式中，基于偏移图指示的目标像素点对应的偏移信息，确定至少一个车道线起始点的起始点位置信息，包括下述两种方式：
[0173]
方式一、基于偏移图指示的目标像素点在竖直方向上的第一偏移信息、和设置的第一偏移阈值，从各个目标像素点中确定至少一个车道线起始点，并确定车道线起始点的起始点位置信息。
[0174]
实施时，可以确定偏移图中每个目标像素点在竖直方向上的第一偏移信息，其中，该第一偏移信息可以为偏移图中目标像素点在第一通道上的像素值。在目标像素点的第一偏移信息小于或等于设置的第一偏移阈值时，确定该目标像素点属于车道线起始点，将该目标像素点在偏移图中的像素位置，确定为车道线起始点的起始点位置信息。在目标像素点的第一偏移信息大于设置的第一偏移阈值时，确定该目标像素点不属于车道线起始点。
[0175]
方式二、基于偏移图指示的目标像素点在竖直方向上的第一偏移信息、在水平方向上的第二偏移信息，确定目标像素点对应的目标偏移值；基于目标偏移值和设置的第二偏移阈值，从各个目标像素点中确定至少一个车道线起始点，并确定车道线起始点的起始点位置信息。
[0176]
实施时，可以确定偏移图中每个目标像素点在竖直方向上的第一偏移信息、和在水平方向上的第二偏移信息。其中，该第一偏移信息可以为偏移图中目标像素点在第一通道上的像素值、该第二偏移信息可以为偏移图中目标像素点在第二通道上的像素值。并基于第一偏移信息和第二偏移信息，确定目标像素点对应的目标偏移值。比如，可以确定第一偏移信息的平方与第二偏移信息的平方的和值，在确定该和值的平方根，得到目标像素点的目标偏移值。
[0177]
在目标像素点的目标偏移值小于或等于设置的第二偏移阈值时，确定该目标像素点属于车道线起始点，将该目标像素点在偏移图中的像素位置，确定为车道线起始点的起始点位置信息。在目标像素点的目标偏移值大于设置的第二偏移阈值时，确定该目标像素
点不属于车道线起始点。
[0178]
通过上述两种方式，可以较为灵活的确定车道线起始点的起始点位置信息。
[0179]
考虑到确定的偏移图、置信度图可能存在误差，比如由于车道线起始点与周围的其他像素点之间的图像信息可能较相似，造成将车道线起始点周围的至少一个其他像素点误确定为目标像素点，使得无法准确的得到车道线起始点。为了缓解上述问题，另一种方式中，基于偏移图指示的目标像素点对应的偏移信息，确定至少一个车道线起始点的起始点位置信息，可以包括：
[0180]
步骤d11，基于偏移图指示的目标像素点对应的偏移信息，从各个目标像素点中确定多个候选起始点。
[0181]
步骤d12，基于多个候选起始点的像素位置，确定多个候选起始点中任意两个候选起始点之间的第一距离。
[0182]
步骤d13，响应于存在第一距离小于或等于设置的距离阈值的多个候选起始点，基于多个候选起始点的像素位置，确定多个候选起始点构成的平面图形的中心点的位置信息。
[0183]
步骤d14，基于中心点的位置信息、和/或第一距离大于距离阈值的候选起始点的像素位置，确定至少一个车道线起始点的起始点位置信息。
[0184]
在步骤d11中，可以根据偏移图指示的目标像素点对应的偏移信息，从各个目标像素点中确定多个候选起始点。比如，可以确定偏移图中每个目标像素点在竖直方向上的第一偏移信息；在目标像素点的第一偏移信息小于或等于设置的第一偏移阈值时，确定该目标像素点属于候选起始点。
[0185]
或者，也可以确定偏移图中每个目标像素点在竖直方向上的第一偏移信息、和在水平方向上的第二偏移信息。并基于第一偏移信息和第二偏移信息，确定目标像素点对应的目标偏移值。比如，可以确定第一偏移信息的平方与第二偏移信息的平方的和值，在确定该和值的平方根，得到目标像素点的目标偏移值。在目标像素点的目标偏移值小于或等于设置的第二偏移阈值时，确定该目标像素点属于候选起始点。
[0186]
在步骤d12中，在确定了多个候选起始点之后，可以根据多个候选起始点的像素位置，确定多个候选起始点中任意两个候选起始点之间的第一距离。比如，该第一距离可以为欧式距离、马氏距离等。
[0187]
在步骤d13中，确定第一距离小于或等于距离阈值的多个候选起始点。基于多个候选起始点的像素位置，确定多个候选起始点构成的平面图形的中心点的位置信息。并使用该中心点的位置信息，替换多个候选起始点的像素位置；即将中心点的位置信息，作为多个候选起始点对应的、车道线起始点的起始点位置信息。
[0188]
在步骤d14中，可以基于中心点的位置信息，和/或第一距离大于距离阈值的候选起始点的像素位置，确定至少一个车道线起始点的起始点位置信息。即可以将中心点的位置信息作为车道线起始点的起始点位置信息；将第一距离大于距离阈值的候选起始点的像素位置，作为车道线起始点的起始点位置信息，得到至少一个车道线起始点的起始点位置信息。此时，车道线起始点的起始点位置信息为在偏移图(或位置图)上的像素位置。
[0189]
实施时，还可以在得到多个候选起始点之后，基于各个候选起始点的像素位置进行聚类，即将距离较近的多个候选起始点聚类在一起，并确定聚类在一起的多个候选起始
点构成的平面图形的中心点的位置信息，使用该中心点的位置信息，替换聚类在一起的多个候选起始点的像素位置。最后可以基于至少一个中心点的位置信息和/或未被聚类的候选起始点的像素位置，确定至少一个车道线起始点的起始点位置信息。
[0190]
实施时，可以先基于偏移图，确定多个候选起始点，并确定多个候选起始点之间的第一距离；在确定存在第一距离小于或等于设置的距离阈值的多个候选起始点时，可以确定多个候选起始点构成的平面图形的中心点的位置信息，利用中心点的位置信息，替换该多个候选起始点对应的像素位置；再基于中心点的位置信息、和/或第一距离大于距离阈值的候选起始点的像素位置，确定至少一个车道线起始点的起始点位置信息时，提高了起始点位置信息的准确度。
[0191]
在步骤d2中，针对位置图指示的目标像素点1，确定位置图中该目标像素点1的像素位置，该像素位置也即为位置图中该目标像素点1的像素信息。以及确定偏移图中目标像素点2对应的偏移信息，该偏移信息也即为偏移图中该目标像素点2的像素信息。其中，偏移图中目标像素点2的像素位置与位置图中目标像素点1的像素位置一致。目标像素点1可以为位置图中的每个目标像素点。
[0192]
再可以利用偏移图上目标像素点2对应的像素信息(也即为偏移信息)，对位置图上目标像素点1的像素信息进行调整，得到位置图中目标像素点1对应的调整后的像素信息。进而可以得到位置图中各个目标像素点分别对应的调整后的像素信息。
[0193]
实施时，可以将偏移图中各个像素点的像素信息，与位置图中对应像素点的像素信息相加，得到调整后的位置图，其中，调整后的位置图中包括目标像素点对应的调整后的像素信息。
[0194]
在步骤d3中，示例性的，可以针对位置图中的每个目标像素点，基于该目标像素点的调整后的像素信息和各个车道线起始点的起始点位置信息，确定目标像素点与每个车道线起始点之间的距离(欧式距离、马氏距离等)，再将距离最小时对应的车道线起始点，作为该目标像素点对应的车道线起始点。
[0195]
一种可选实施方式中，基于位置图中每个目标像素点对应的调整后的像素信息、和至少一个车道线起始点的起始点位置信息，确定目标像素点对应的车道线起始点，包括：
[0196]
步骤d31，基于每个目标像素点对应的调整后的像素信息、和至少一个车道线起始点的起始点位置信息，确定每个目标像素点与各个车道线起始点之间的第二距离。
[0197]
步骤d32，基于每个目标像素点与各个车道线起始点之间的第二距离，确定目标像素点对应的车道线起始点。
[0198]
可以基于目标像素点对应的调整后的像素信息和至少一个车道线起始点的起始点位置信息，确定每个目标像素点与各个车道线起始点之间的第二距离，该第二距离可以为欧式距离、马氏距离等。
[0199]
再基于每个目标像素点与各个车道线起始点之间的第二距离，确定目标像素点对应的车道线起始点。比如，针对任一目标像素点，确定该目标像素点对应的最小第二距离；在该最小第二距离小于设置的阈值时，将该最小第二距离对应的车道线起始点，确定为该目标像素点对应的车道线起始点。
[0200]
实施时，可以确定每个目标像素点与各个车道线起始点之间的第二距离，利用第二距离较高效和较精准的确定目标像素点对应的车道线起始点。
[0201]
在步骤d4中，针对每个车道线起始点，可以基于该车道线起始点的起始点位置信息、和与该车道线起始点匹配的各个目标像素点的像素位置，确定道路图像中与该车道线起始点匹配的关键点的位置信息、和与该车道线起始点对应的各个目标像素点匹配的关键点的位置信息；再将各个关键点的位置信息，确定为道路图像包括的一条车道线的车道线信息。
[0202]
在位置图与道路图像的尺寸一致时，可以将车道线起始点的起始点位置信息，确定为道路图像中与该车道线起始点匹配的关键点的位置信息；以及将与该车道线起始点匹配的各个目标像素点的像素位置，确定为与该车道线起始点对应的各个目标像素点匹配的关键点的位置信息。
[0203]
在位置图与道路图像的尺寸不一致时，可以确定道路图像和位置图之间的尺寸比例；根据该尺寸比例、和车道线起始点的起始点位置信息，确定道路图像中与该车道线起始点匹配的关键点的位置信息。以及根据该尺寸比例、和与该车道线起始点匹配的各个目标像素点的像素位置，确定与该车道线起始点对应的各个目标像素点匹配的关键点的位置信息。比如，若道路图像和位置图之间的尺寸比例为8:1时，则可以将车道线起始点的起始点位置信息乘以8，得到道路图像中与该车道线起始点匹配的关键点的位置信息。
[0204]
参见图2所示提出的一种位置图的示意图，图2包括的a中包括5个目标像素点；再利用偏移图中指示的每个目标像素点的偏移信息，将位置图中对应的目标像素点的像素信息进行调整后，得到目标像素点对应的调整后的像素信息，参见图2中b所示。其中，(sx
′
，sy
′
)为目标像素点对应的调整后的像素信息，(sx，sy)为车道线起始点的起始点位置信息，(δx，δy)为目标像素点对应的偏移信息。再可以基于位置图中每个目标像素点对应的调整后的像素信息、和至少一个车道线起始点的起始点位置信息，确定目标像素点对应的车道线起始点。如图2中c所示得到了位于同一车道线上的各个目标像素点。
[0205]
目前的方式中，可以先确定图像中车道线的起始点的位置信息，再基于起始点(关键点)的位置信息，确定车道线上与该起始点之间的距离满足要求的第二关键点的位置信息，这种依次利用前一次确定的关键点的位置信息，确定车道线上的各个关键点的位置信息的方式，使得各个关键点的确定过程存在依赖性，进而使得关键点确定过程的误差在不断累计，使得确定的关键点的准确度较低，以及依次确定各个关键点的方式的效率较低。
[0206]
本公开中通过基于目标特征图，生成偏移图和位置图，利用偏移图和位置图，确定道路图像包括的每条车道线的车道线信息，车道线上的各个关键点是同时确定得到的，关键点的确定较为快速。并能够缓解关键点确定过程中的误差累计，提高了车道线信息的准确度。
[0207]
具体实施时，该道路图像包括的每条车道线的车道线信息可以为利用训练得到的目标神经网络确定的。
[0208]
其中，训练得到目标神经网络的步骤，可以包括：
[0209]
步骤e1，获取样本数据，样本数据包括样本道路图像、该样本道路图像对应的样本置信度图、样本偏移图；
[0210]
步骤e2，将样本数据输入至待训练神经网络中，得到样本道路图像对应的预测数据，其中，预测数据包括：样本道路图像对应的预测车道线信息、预测置信度图、预测偏移图；
[0211]
步骤e3，基于预测数据和样本图像，对待训练神经网络进行训练，得到目标神经网络。
[0212]
这里，通过获取样本数据，该样本数据中包括样本道路图像、该样本道路图像对应的样本置信度图、样本偏移图，样本数据的信息较为丰富，进而利用样本数据，对待训练神经网络进行训练时，提高了训练得到的目标神经网络的性能。
[0213]
在步骤e1中，获取样本数据，该样本数据中包括样本道路图像、样本道路图像对应的样本置信度图、样本道路图像对应的样本偏移图。
[0214]
一种可选实施方式中，根据下述步骤生成样本道路图像对应的样本置信度图：确定样本道路图像中属于车道线上的样本像素点的位置信息；将初始置信度图中与样本像素点的位置信息匹配的、第一像素点的像素信息的值调整为第一预设值；以及将初始置信度图中与样本像素点周围的其他像素点的位置信息匹配的、第二像素点的像素信息的值调整为第二预设值，得到样本置信度图；其中，第一像素点的像素信息的值和第二像素点的像素信息的值之间满足高斯分布。
[0215]
实施时，可以确定样本道路图像中属于车道线上的样本像素点的位置信息。比如，从样本道路图像包括的车道线上均匀采样k个样本像素点，并确定k个样本像素点的位置信息。其中，k为正整数。以及确定与样本道路图像的尺寸一致的初始置信度图，该初始置信度图中每个像素点的像素信息的值为0。
[0216]
将初始置信度图中与样本像素点的位置信息匹配的、第一像素点的像素信息的值调整为第一预设值；其中，该第一预设值可以为1。
[0217]
将初始置信度图中与样本像素点周围的其他像素点的位置信息匹配的、第二像素点的像素信息的值调整为第二预设值，得到样本置信度图；其中，第一像素点的像素信息的值和第二像素点的像素信息的值之间满足高斯分布。
[0218]
实施时，可以针对每个第一像素点，确定与该第一像素点位于同一行的、周围的第二像素点。并根据每个第二像素点的像素位置、和该第一像素点的像素位置，确定第二像素点对应的第二预设值。
[0219]
比如可以根据下述公式确定第二像素点对应的第二预设值：
[0220][0221]
其中，x、y为第一像素点的像素位置，为第二像素点的像素位置，y
yx
为第二像素点的像素信息，σ为标准偏差，其中σ的值可以根据需要进行设置。
[0222]
通过确定样本道路图像中属于车道线上的样本像素点的位置信息，利用样本像素点的位置信息，对初始置信度图中第一像素点的像素信息的值和第二像素点的像素信息的值进行调整，得到样本置信度图，该样本置信度图中第一像素点的像素信息的值和第二像素点的像素信息的值之间满足高斯分布，使得样本置信度图中各个像素点的像素信息较为丰富、且具有层次性。
[0223]
实施时，还可以根据下述步骤生成样本道路图像对应的样本偏移图：
[0224]
第一、确定样本道路图像中属于车道线上的样本像素点的位置信息。比如，从样本道路图像包括的车道线上均匀采样k个样本像素点，并确定k个样本像素点的位置信息。其中，k为正整数。实施时，k的值可以根据车道线在样本道路图像中的长度进行确定，比如车
道线越长，k的值越大。
[0225]
第二、针对每条车道线，从该条车道线包括的k个样本像素点中确定样本起始点、和样本起始点的位置信息。并确定k个样本像素点对应的偏移信息。
[0226]
其中，样本起始点对应的偏移信息为0，除样本起始点之外的k-1个样本像素点，计算该样本像素点的位置信息、与样本起始点的位置信息的差值，将该差值确定该样本像素点对应的偏移信息。
[0227]
比如，针对除样本起始点之外的k-1个样本像素点中的任一样本像素点1，将该样本像素点1的横坐标信息、与样本起始点的位置信息指示的横坐标信息相减，得到样本像素点1对应的在水平方向上的第一偏移信息；将该样本像素点1的纵坐标信息、与样本起始点的位置信息指示的纵坐标信息相减，得到样本像素点1对应的在竖直方向上的第二偏移信息。该第一偏移信息和第二偏移信息，为该样本像素点1对应的偏移信息。
[0228]
第三、基于道路图像包括的各条车道线上的每个样本像素点对应的偏移信息，生成样本道路图像对应的样本偏移图。
[0229]
比如，可以生成与样本道路图像的尺寸一致的初始偏移图，其中，该初始偏移图中每个像素点的像素信息的值可以为0。将该初始偏移图中与样本像素点的位置一致的、候选像素点的像素信息调整为该样本像素点对应的偏移信息，初始偏移图中除候选像素点之外的其他像素点的像素信息保持为0，得到样本道路图像对应的样本偏移图。
[0230]
在步骤e2中，在获取到样本数据之后，可以将样本数据输入至待训练神经网络中，待训练神经网络对样本数据进行特征提取，生成样本道路图像对应的预测数据。其中，该预测数据包括：样本道路图像对应的预测车道线信息、预测置信度图、预测偏移图。
[0231]
一种可选实施方式中，将样本数据输入至待训练神经网络中，得到样本道路图像对应的预测数据，包括：
[0232]
步骤一、利用待训练神经网络中包括的骨干网络，对样本数据进行特征提取，生成第一中间特征图；
[0233]
步骤二、利用待训练神经网络中包括的自注意力网络，对第一中间特征图进行全局特征提取，生成第二中间特征图；
[0234]
步骤三、利用待训练神经网络中包括的金字塔网络，对第二中间特征图进行特征提取，得到多种尺寸的特征数据；以及将多种尺寸的特征数据进行特征融合，得到样本特征图；
[0235]
步骤四、基于样本特征图，生成样本道路图像对应的预测数据。
[0236]
参见图3所示的一种目标神经网络的网络结构的示意图。结合图3对得到预测数据的过程进行说明。其中，待训练神经网络中可以包括骨干网络、自注意力网络、金字塔网络、第一检测分支、第二检测分支、车道线检测模块。
[0237]
在将样本输入至待训练神经网络之后，待训练神经网络中的骨干网络可以对样本数据进行特征提取，生成第一中间特征图。再将第一中间特征图输入至自注意力网络中，利用自注意力网络对第一中间特征图进行全局特征提取，生成第二中间特征图。将第二中间特征图输入至金字塔网络中，利用金字塔网络对第二中间特征图进行特征提取，得到多种尺寸的特征数据；以及将多种尺寸的特征数据进行特征融合，得到样本特征图。再分别将样本特征图输入至第一检测分支和第二检测分支中。
[0238]
第一检测分支中的特征增强网络对样本特征图中的特征点进行特征增强处理，得到特征增强后的样本特征图，再利用第一检测分支中的第一检测头对特征增强后的样本特征图进行特征提取，生成样本道路图像对应的预测置信度图。再利用预测置信度图，生成样本道路图像对应的预测位置图(即x图、y图)。第二检测分支中的第二检测头对样本特征图进行特征提取，生成样本道路图像对应的预测偏移图。
[0239]
车道线检测模块根据预测位置图和预测偏移图，生成道路图像对应的预测车道线信息。
[0240]
在步骤e3中，实施时，可以基于预测数据和样本图像，确定待训练神经网络的总损失值，利用该总损失值对待训练神经网络的网络参数进行调整，直至满足训练截止条件为止，得到目标神经网络。其中，训练截止条件可以包括：待训练神经网络的总损失值小于损失阈值、待训练神经网络收敛等。
[0241]
考虑到样本道路图像中车道线上的关键点的像素占比较少，存在类别不平衡的问题，因此可以采用focal loss，基于样本置信度图和预测置信度图，确定第一损失值。
[0242]
以及可以使用l1 loss，基于样本偏移图和预测偏移图，确定第二损失值。在确定第二损失值时，可以只关于样本偏移图中位于车道线上的像素点，缓解关注位于车道线之外的其他像素点带来的资源浪费，提高了第二损失值的确定效率。
[0243]
可以根据样本道路图像中标注的车道线信息、和预测得到的预测车道线信息，确定车道线检测对应的第三损失值，比如，可以确定预测车道线信息、与标注的车道线信息之间的偏差，根据该偏差确定第三损失值。
[0244]
实施时，还可以利用smooth l1 loss，监督特征增强网络对样本特征图中每个关键点对应的相邻关键点的预测，以使得特征增强网络能够较为准确的找到位于车道线上的目标特征点对应的至少一个相邻目标特征点。
[0245]
实施时，可以将各个损失值相加，得到待训练神经网络对应的总损失值。
[0246]
参见图4所示，为本公开实施例所提供的行驶控制方法的流程示意图，该方法包括：s401-s403，其中：
[0247]
s401，获取行驶装置在行驶过程中采集的目标道路图像；
[0248]
s402，利用上述实施方式所述的目标检测方法，确定目标道路图像中包括的目标车道线的车道线信息；
[0249]
s403，基于目标道路图像中包括的目标车道线的车道线信息，控制行驶装置。
[0250]
示例性的，行驶装置可以为自动驾驶车辆、装有高级驾驶辅助系统(advanced driving assistance system，adas)的车辆、或者机器人等。目标道路图像可以为行驶装置在行驶过程中实时采集到的图像。
[0251]
利用上述实施方式提出的目标检测方法，确定目标道路图像中包括的目标车道线的车道线信息，进而可以利用目标道路图像中包括的目标车道线的车道线信息，控制行驶装置。比如，可以根据检测到的车道线，控制行驶装置沿着车道线的中心进行行驶。
[0252]
其中，在控制行驶装置时，可以控制行驶装置加速、减速、转向、制动等，或者可以播放语音提示信息，以提示驾驶员控制行驶装置加速、减速、转向、制动等。
[0253]
上述实施方式中，在获取到目标道路图像之后，可以利用上述实施方式所述目标检测方式，较准确和较高效的确定目标道路图像中包括的目标车道线的车道线信息，再基
于目标道路图像中包括的目标车道线的车道线信息，控制行驶装置时，能够较快速和较准确的控制行驶装置的行驶，提高行驶装置行驶的安全性。
[0254]
本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
[0255]
基于相同的构思，本公开实施例还提供了一种目标检测装置，参见图5所示，为本公开实施例提供的目标检测装置的架构示意图，包括第一获取模块501、提取模块502、生成模块503、第一确定模块504，具体的：
[0256]
第一获取模块501，用于获取道路图像；
[0257]
提取模块502，用于对所述道路图像进行特征提取，得到所述道路图像对应的目标特征图；
[0258]
生成模块503，用于基于所述目标特征图，生成所述道路图像对应的位置图和偏移图；其中，所述位置图中的目标像素点的像素信息表征所述道路图像中的车道线上的关键点在所述道路图像中的位置，所述偏移图中的目标像素点的像素信息表征所述道路图像中的所述车道线上的关键点的位置、与所述车道线起始点的位置之间的偏移信息；
[0259]
第一确定模块504，用于基于所述偏移图和所述位置图，确定所述道路图像包括的每条车道线的车道线信息。
[0260]
一种可能的实施方式中，所述第一确定模块504，在基于所述偏移图和所述位置图，确定所述道路图像包括的每条车道线的车道线信息时，用于：
[0261]
基于所述偏移图指示的目标像素点对应的偏移信息，确定至少一个车道线起始点的起始点位置信息；
[0262]
基于所述偏移图中所述目标像素点对应的像素信息，对所述位置图中对应的目标像素点的像素信息进行调整，得到所述位置图中所述目标像素点对应的调整后的像素信息；
[0263]
基于所述位置图中每个所述目标像素点对应的所述调整后的像素信息、和所述至少一个车道线起始点的起始点位置信息，确定所述目标像素点对应的车道线起始点；
[0264]
基于每个所述车道线起始点的起始点位置信息、和与该车道线起始点匹配的各个目标像素点的像素位置，确定所述道路图像包括的每条车道线的车道线信息。
[0265]
一种可能的实施方式中，所述第一确定模块504，在基于所述偏移图指示的目标像素点对应的偏移信息，确定至少一个车道线起始点的起始点位置信息时，用于：
[0266]
基于所述偏移图指示的目标像素点在竖直方向上的第一偏移信息、和设置的第一偏移阈值，从各个目标像素点中确定至少一个车道线起始点，并确定所述车道线起始点的起始点位置信息；或者，
[0267]
基于所述偏移图指示的目标像素点在竖直方向上的第一偏移信息、在水平方向上的第二偏移信息，确定所述目标像素点对应的目标偏移值；
[0268]
基于所述目标偏移值和设置的第二偏移阈值，从各个目标像素点中确定至少一个车道线起始点，并确定所述车道线起始点的起始点位置信息。
[0269]
一种可能的实施方式中，所述第一确定模块504，在基于所述偏移图指示的目标像素点对应的偏移信息，确定至少一个车道线起始点的起始点位置信息时，用于：
[0270]
基于所述偏移图指示的目标像素点对应的偏移信息，从各个目标像素点中确定多个候选起始点；
[0271]
基于所述多个候选起始点的像素位置，确定多个候选起始点中任意两个候选起始点之间的第一距离；
[0272]
响应于存在第一距离小于或等于设置的距离阈值的多个候选起始点，基于所述多个候选起始点的像素位置，确定所述多个候选起始点构成的平面图形的中心点的位置信息；
[0273]
基于所述中心点的位置信息、和/或第一距离大于所述距离阈值的候选起始点的像素位置，确定至少一个车道线起始点的起始点位置信息。
[0274]
一种可能的实施方式中，所述第一确定模块504，在基于所述位置图中每个所述目标像素点对应的所述调整后的像素信息、和所述至少一个车道线起始点的起始点位置信息，确定所述目标像素点对应的车道线起始点时，用于：
[0275]
基于每个所述目标像素点对应的所述调整后的像素信息、和所述至少一个车道线起始点的起始点位置信息，确定每个所述目标像素点与各个所述车道线起始点之间的第二距离；
[0276]
基于每个所述目标像素点与各个所述车道线起始点之间的第二距离，确定所述目标像素点对应的车道线起始点。
[0277]
一种可能的实施方式中，所述生成模块503，在基于所述目标特征图，生成所述道路图像对应的位置图时，用于：
[0278]
基于所述目标特征图，生成所述道路图像对应的置信度图；其中，置信度图中每个像素点的像素信息表征所述像素点属于车道线的概率；
[0279]
基于所述置信度图指示的各个目标像素点对应的像素位置，生成所述位置图；其中，所述目标像素点为所述置信度图中概率大于设置的概率阈值的像素点。
[0280]
一种可能的实施方式中，在所述基于所述目标特征图，生成所述道路图像对应的置信度图之后，所述生成模块503，还用于：
[0281]
针对所述置信度图中的每行像素点，依次将该行像素点包括的预设数量个相邻像素点中像素信息的值最大的像素点作为目标像素点；以及
[0282]
将该行像素点中除所述目标像素点之外的其他像素点的像素信息调整为预设值，得到该行像素点对应的调整后像素信息；
[0283]
基于所述置信度图中各行像素点分别对应的调整后像素信息，生成调整后置信度图；
[0284]
所述生成模块503，在基于所述置信度图指示的各个目标像素点对应的像素位置，生成所述位置图时，用于：
[0285]
基于所述调整后置信度图指示的各个目标像素点对应的像素位置，生成所述位置图。
[0286]
一种可能的实施方式中，所述生成模块503，在基于所述目标特征图，生成所述道路图像对应的置信度图时，用于：
[0287]
对所述目标特征图进行至少一次第一特征提取，生成所述道路图像对应的置信度图。
[0288]
一种可能的实施方式中，在对所述目标特征图进行至少一次第一特征提取之前，所述生成模块503，还用于：
[0289]
基于所述目标特征图，预测所述目标特征图中属于车道线上的目标特征点、和每个所述目标特征点对应的相邻目标特征点；
[0290]
针对每个所述目标特征点，将所述目标特征点对应的相邻目标特征点的特征信息、与所述目标特征点的特征信息进行融合，得到所述目标特征点对应的特征增强后的特征信息；
[0291]
基于各个目标特征点对应的特征增强后的特征信息，生成特征增强后的目标特征图；
[0292]
所述生成模块503，在对所述目标特征图进行至少一次第一特征提取，生成所述道路图像对应的置信度图时，用于：
[0293]
对所述特征增强后的目标特征图进行至少一次第一特征提取，生成所述道路图像对应的置信度图。
[0294]
一种可能的实施方式中，所述生成模块503，在基于所述目标特征图，生成所述道路图像对应的偏移图时，用于：
[0295]
对所述目标特征图进行至少一次第二特征提取，生成所述道路图像对应的偏移图。
[0296]
一种可能的实施方式中，所述道路图像包括的每条车道线的车道线信息为利用训练得到的目标神经网络确定的；所述装置还包括：训练模块505，所述训练模块505，用于根据下述步骤训练得到所述目标神经网络：
[0297]
获取样本数据，所述样本数据包括样本道路图像、该样本道路图像对应的样本置信度图、样本偏移图；
[0298]
将所述样本数据输入至待训练神经网络中，得到所述样本道路图像对应的预测数据，其中，所述预测数据包括：所述样本道路图像对应的预测车道线信息、预测置信度图、预测偏移图；
[0299]
基于所述预测数据和所述样本图像，对所述待训练神经网络进行训练，得到所述目标神经网络。
[0300]
一种可能的实施方式中，所述训练模块505，在将所述样本数据输入至待训练神经网络中，得到所述样本道路图像对应的预测数据时，用于：
[0301]
利用所述待训练神经网络中包括的骨干网络，对所述样本数据进行特征提取，生成第一中间特征图；
[0302]
利用所述待训练神经网络中包括的自注意力网络，对所述第一中间特征图进行全局特征提取，生成第二中间特征图；
[0303]
利用所述待训练神经网络中包括的金字塔网络，对所述第二中间特征图进行特征提取，得到多种尺寸的特征数据；以及将所述多种尺寸的特征数据进行特征融合，得到所述样本特征图；
[0304]
基于所述样本特征图，生成所述样本道路图像对应的预测数据。
[0305]
一种可能的实施方式中，所述训练模块505，用于根据下述步骤生成所述样本道路图像对应的样本置信度图：
[0306]
确定所述样本道路图像中属于车道线上的样本像素点的位置信息；
[0307]
将初始置信度图中与所述样本像素点的位置信息匹配的、第一像素点的像素信息的值调整为第一预设值；以及将所述初始置信度图中与所述样本像素点周围的其他像素点的位置信息匹配的、第二像素点的像素信息的值调整为第二预设值，得到样本置信度图；其中，所述第一像素点的像素信息的值和所述第二像素点的像素信息的值之间满足高斯分布。
[0308]
本公开实施例还提供了一种行驶控制装置，参见图6所示，为本公开实施例提供的行驶控制装置的架构示意图，包括第二获取模块601、第二确定模块602、控制模块603，具体的：
[0309]
第二获取模块601，用于获取行驶装置在行驶过程中采集的目标道路图像；
[0310]
第二确定模块602，用于利用上述实施方式所述的目标检测方法，确定所述目标道路图像中包括的目标车道线的车道线信息；
[0311]
控制模块603，用于基于所述目标道路图像中包括的目标车道线的车道线信息，控制所述行驶装置。
[0312]
在一些实施例中，本公开实施例提供的装置具有的功能或包含的模板可以用于执行上文方法实施例描述的方法，其具体实现可以参照上文方法实施例的描述，为了简洁，这里不再赘述。
[0313]
基于同一技术构思，本公开实施例还提供了一种电子设备。参照图7所示，为本公开实施例提供的电子设备的结构示意图，包括处理器701、存储器702、和总线703。其中，存储器702用于存储执行指令，包括内存7021和外部存储器7022；这里的内存7021也称内存储器，用于暂时存放处理器701中的运算数据，以及与硬盘等外部存储器7022交换的数据，处理器701通过内存7021与外部存储器7022进行数据交换，当电子设备700运行时，处理器701与存储器702之间通过总线703通信，使得处理器701在执行以下指令：
[0314]
获取道路图像；
[0315]
对所述道路图像进行特征提取，得到所述道路图像对应的目标特征图；
[0316]
基于所述目标特征图，生成所述道路图像对应的位置图和偏移图；其中，所述位置图中的目标像素点的像素信息表征所述道路图像中的车道线上的关键点在所述道路图像中的位置，所述偏移图中的目标像素点的像素信息表征所述道路图像中的所述车道线上的关键点的位置、与车道线起始点的位置之间的偏移信息；
[0317]
基于所述偏移图和所述位置图，确定所述道路图像包括的每条车道线的车道线信息。
[0318]
或处理器701执行以下指令：
[0319]
获取行驶装置在行驶过程中采集的目标道路图像；
[0320]
利用上述实施方式所述的目标检测方法，确定所述目标道路图像中包括的目标车道线的车道线信息；
[0321]
基于所述目标道路图像中包括的目标车道线的车道线信息，控制所述行驶装置。
[0322]
其中，处理器701的具体处理流程可以参照上述方法实施例的记载，这里不再赘述。
[0323]
此外，本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上
存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中所述的目标检测方法、行驶控制方法的步骤。其中，该存储介质可以是易失性或非易失的计算机可读取存储介质。
[0324]
本公开实施例还提供一种计算机程序产品，该计算机程序产品承载有程序代码，所述程序代码包括的指令可用于执行上述方法实施例中所述的目标检测方法、行驶控制方法的步骤，具体可参见上述方法实施例，在此不再赘述。
[0325]
其中，上述计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(software development kit，sdk)等等。
[0326]
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本公开所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
[0327]
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0328]
另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
[0329]
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read-only memory，rom)、随机存取存储器(random access memory，ram)、磁碟或者光盘等各种可以存储程序代码的介质。
[0330]
以上仅为本公开的具体实施方式，但本公开的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应以权利要求的保护范围为准。