路面标识检测方法、装置、车辆及存储介质与流程

1.本发明涉及车辆技术领域，更具体地，涉及一种路面标识检测方法、装置、车辆及存储介质。


背景技术：

2.随着经济快速的发展、国民生活水平不断提高，我国汽车保有量迅速增加。这导致公路交通事故发生率居高不下，交通安全问题日益突出。车辆安全驾驶辅助系统已成为当前世界交通安全领域研究的热点问题之一。在过去的几十年里，国内外的专家及学者在智能驾驶辅助系统的研究方面做出了很多贡献。现阶段，国外已出现比较成熟的高级辅助驾驶系统，且已投入到商业化应用中。相比于国外的技术，国内研究的起步相对较晚。车道线识别是智能驾驶和无人驾驶系统的重要组成部分。目前的车道线及其他路面标识检测技术方案基于前向和侧向摄像头图像，仅能检测图像中车道线的粗略位置信息及属性。


技术实现要素：

3.鉴于上述问题，本发明提出了一种路面标识检测方法、装置、车辆及存储介质，以克服或至少部分地解决以上现有技术的问题。
4.第一方面，本发明实施例提供了一种路面标识检测方法，该方法包括：获取车载摄像头拍摄的图像；对所述图像进行转换，得到路面俯视图；将所述路面俯视图输入已训练的神经网络模型进行关键点检测，确定所述路面俯视图中的关键点的数量及位置；根据所述已训练的神经网络模型对所述路面俯视图进行属性识别，得到所述路面俯视图的属性识别结果；根据所述已训练神经网络模型对所述路面俯视图进行框体长宽回归检测，得到所述路面俯视图的框体长宽回归检测结果；基于所述路面俯视图中的关键点的数量及位置，所述属性识别结果以及所述框体长宽回归检测结果确定所述路面俯视图中的路面标识检测结果。
5.第二方面，本发明实施例提供了一种路面标识检测装置，该装置包括：图像获取模块，用于获取车载摄像头拍摄的图像；图像转换模块，用于对所述图像进行转换，得到路面俯视图；关键点检测模块，用于将所述路面俯视图输入已训练的神经网络模型进行关键点检测，确定所述路面俯视图中的关键点的数量及位置；属性识别模块，用于根据所述已训练的神经网络模型对所述路面俯视图进行属性识别，得到所述路面俯视图的属性识别结果；回归检测模块，用于根据所述已训练神经网络模型对所述路面俯视图进行框体长宽回归检测，得到所述路面俯视图的框体长宽回归检测结果；结果输出模块，用于基于所述路面俯视图中的关键点的数量及位置，所述属性识别结果以及所述框体长宽回归检测结果确定所述路面俯视图中的路面标识检测结果。
6.第三方面，本发明实施例提供了一种车辆，包括摄像头，所述摄像头设置于所述车辆的车体外部，所述车辆还包括一个或多个处理器；存储器；一个或多个程序，其中所述一个或多个程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个
或多个程序配置用于执行上述方法。
7.第四方面，本发明实施例提供了一种计算机可读取存储介质，所述计算机可读取存储介质中存储有程序代码，所述程序代码可被处理器调用执行上述方法。
8.本发明实施例提供路面标识检测方法、装置、车辆及存储介质，该方法包括：获取车载摄像头拍摄的图像；对所述图像进行转换，得到路面俯视图；将所述路面俯视图输入已训练的神经网络模型进行关键点检测，确定路面俯视图中的关键点的数量及位置；根据已训练的神经网络模型对路面俯视图进行属性识别，得到路面俯视图的属性识别结果；根据已训练神经网络模型对路面俯视图进行框体长宽回归检测，得到路面俯视图的框体长宽回归检测结果；基于路面俯视图中的关键点的数量及位置，属性识别结果以及框体长宽回归检测结果确定路面俯视图中的路面标识检测结果。从而通过根据车载摄像头拍摄的图像获取路面俯视图，基于神经网络模型对路面俯视图进行关键点检测，以确定路面标识的检测结果，有效覆盖各种车道线及路面标识，包含各类点、线、框等各种类型，并提供更精确的检测结果。
附图说明
9.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
10.图1示出了本发明实施例提供的一路面标识检测方法的流程示意图；
11.图2示出了本发明实施例提供的又一路面标识检测方法的流程示意图；
12.图3示出了本发明实施例提供的模型推理流程图；
13.图4示出了本发明实施例提供的再一路面标识检测方法的流程示意图；
14.图5示出了本发明实施例提供的模型训练流程图；
15.图6示出了本发明实施例提供的一检测方法的流程图；
16.图7示出了本发明实施例提供的路面标识检测装置的模块框图；
17.图8示出了本发明实施例用于执行根据本发明实施例的路面标识检测方法的车辆的框图；
18.图9示出了本发明实施例提供的一种计算机可读取存储介质的结构框图。
具体实施方式
19.为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。
20.随着经济快速的发展、国民生活水平不断提高，我国汽车保有量迅速增加。这导致公路交通事故发生率居高不下，交通安全问题日益突出。车辆安全驾驶辅助系统已成为当前世界交通安全领域研究的热点问题之一。在过去的几十年里，国内外的专家及学者在智能驾驶辅助系统的研究方面做出了很多贡献。现阶段，国外已出现比较成熟的高级辅助驾驶系统，且已投入到商业化应用中。相比于国外的技术，国内研究的起步相对较晚。车道线识别是智能驾驶和无人驾驶系统的重要组成部分。目前的车道线及其他路面标识检测技术
方案基于前向和侧向摄像头图像，对车道线检测，仅能检测图像中车道线的粗略位置信息及属性，对其他路面标识，仅使用前向摄像头图像进行检测，从而存在较大的局限性。进一步地，现有技术仅能覆盖自车附近较小范围内的车道线及行车标识，远处或侧向识别结果较差或无法设备，同时仅检测车道线横向信息，无法检测车道线纵向起止点。
21.针对上述问题，发明人提出了本发明实施例提供的路面标识检测方法、装置、车辆及存储介质，通过根据车载摄像头拍摄的图像获取路面俯视图，基于神经网络模型对路面俯视图进行关键点检测，以确定路面标识的检测结果，从而有效覆盖各种车道线及路面标识，包含各类点、线、框等各种类型，并提供更精确的检测结果。其中，具体的路面标识检测方法在后续的实施例中进行详细的说明。
22.请参阅图1，图1示出了本发明实施例提供的一路面标识检测方法的流程示意图。下面将针对图1所示的流程进行详细的阐述，该路面标识检测方法具体可以包括以下步骤s110至步骤s160。
23.步骤s110：获取车载摄像头拍摄的图像。
24.现有技术在检测车道线时，通常仅采用前向摄像头拍摄的图像进行检测，使得仅能检测到车道线的粗略位置，且仅能检测自车附近小范围的车道线。因此，在本实施例中，本方案采用前向主摄以及左右侧前共三目摄像头所拍摄的图像，即本方案的车辆在进行拍摄时，至少可以获取到车辆正前方、左前方及右前方的图像，从而相较于现有技术，可以检测到侧向或远处的路面标识进行检测，同时由于可识别的范围变大，因此本方案不仅可以检测车道线横向信息，还可以检测到车道线纵向起止点，从而可以获取更为精准的车道线检测结果。
25.在一些实施方式中，车载摄像头在对路面进行拍摄，可以是对路面实时进行拍摄，并发送给车辆；也可以是每隔一段时间，对路面进行拍摄，例如，车载摄像头可以每隔五分钟对路面进行一次拍摄，或车载摄像头可以每隔五分钟对路面进行连续的多次拍摄，以确保图像的完整性。进一步地，车载摄像头也可以在满足预设情况下开始对路面进行拍摄，例如，可以是当车辆启动时，车载摄像头开始进行拍摄；也可以是当车辆检测到此时车辆行驶在公路上时，控制车载摄像头开始对路面进行拍摄。上述方式仅为示例，在此不作限定。
26.在一些实施方式中，车辆在获取车载摄像头拍摄的图像时，可以实时获取车载摄像头拍摄的图像，并对图像进行对应的处理；也可以每隔一段时间，获取车载摄像头拍摄的图像，例如，可以每隔一分钟获取车载摄像头拍摄的图像。进一步地，车辆还可以在满足预设条件时获取车载摄像头拍摄的图像，例如，可以是当车辆在行驶状态下时获取车载摄像头拍摄的图像；也可以是当车辆接收到获取车载摄像头拍摄的图像的指令时，响应指令去获取车载摄像头拍摄的图像。上述方式仅为示例，在此不作限定。其中，获取的车载摄像头拍摄的图像的数量为多个。
27.步骤s120：对图像进行转换，得到路面俯视图。
28.车辆在获取到车载摄像头拍摄的图像时，可以对图像进行处理，以更好的去检测图像中的车道线及其他路面标识，提供更精确的检测结果给用户。在本实施例中，可以对车载摄像头拍摄的图像进行转换，得到路面俯视图。其中，车载摄像头拍摄的图像至少可以包括车辆正前方、车辆左侧前以及车辆右侧前的图像，但根据每个方向的图像去检测路面标识，可能会由于不同方向上路面标识的图像的扭曲，使得得到的路面标识不够准确。因此，
可以通过将三个方向的图像进行转换拼接，即可得到前方路面的路面俯视图，而通过路面俯视图进行关键点检测，可以得到更为精准的路面标识检测结果。其中，路面标识可以包括车道线、停止线、斑马线、路面箭头、路面文字、减速带等。
29.在一些实施方式中，可以将获取到的车载摄像头拍摄的多个图像直接进行拼接，从而得到路面俯视图。
30.进一步地，为了消除不同角度下拍摄的图像所产生的畸形，可以先对车载摄像头拍摄的图像进行处理。具体地，可以对车载摄像头的进行相机标定，例如，使用每个摄像头分别对黑白方格图进行多角度拍摄，以获取该摄像头在不同角度的图像，从而能够获取该相机的内参矩阵和畸变参数，并根据摄像头的内参矩阵和畸变参数对获取的图像进行畸变矫正，然后对车载摄像头拍摄的多个图像进行透视变换，从而将每个图像转换为俯视图，将各个图像的俯视图进行拼接从而得到路面俯视图。
31.在一些实施方式中，车辆上可以安装有车载360度环视摄像头，可以基于车载360度摄像头直接生成路面俯视图，从而无需俯视图转换和拼接，节省车载运算资源，同时通过车载360度摄像头可以获取各个方位的图像，得到的俯视图更为精准，且受路面平整程度、上下坡影响较小。
32.步骤s130：将路面俯视图输入已训练的神经网络模型进行关键点检测，确定路面俯视图中的关键点的数量及位置。
33.在本实施例中，在得到路面俯视图后，可以对路面俯视图进行关键点检测，以确定路面俯视图中的关键点的数量及位置。具体地，可以将路面俯视图输入已训练的神经网络模型进行关键点检测，得到已训练的神经网络模型输出的路面俯视图中的关键点的数量及位置。其中，已训练的神经网络模型，可以是基于大量样本路面俯视图以及样本路面俯视图对应的路面标识的训练样本，通过神经网络训练得到的。其中，路面标识的关键点，可以是线型物体上均匀采样的点，也可以是路面箭头的端点，还可以是路面文字的中心点等。
34.步骤s140：根据已训练的神经网络模型对路面俯视图进行属性识别，得到路面俯视图的属性识别结果。
35.在本实施例中，仅对路面俯视图的关键点进行检测，得到路面俯视图中关键点的数量及位置，是不足以确定路面俯视图中的路面标识，因此，在得到路面俯视图中的关键点的数量及位置后，进一步地，可以根据已训练的神经网络模型对路面俯视图进行属性识别，得到路面俯视图的属性识别结果。其中，属性识别可以是对路面俯视图中路面标识的属性进行识别，属性可以包括是否为边界车道线、是否为减速车道线，从而根据关键点的数量及位置确定路面标识的大致类别，再根据属性识别结果确定具体的路面标识。
36.步骤s150：根据已训练的神经网络模型对路面俯视图进行框体长宽回归检测，得到路面俯视图的框体长宽回归检测结果。
37.在本实施例中，由于路面标识所包含的类别不仅包括车道线这类简单标识，还可以包括路面箭头、路面文字等复杂标识，因此，可以通过对路面俯视图进行框体长宽回归检测，以确定路面俯视图中的复杂标识。具体地，可以根据已训练的神经网络模型对路面俯视图进行框体长宽回归检测，得到路面俯视图的框体长宽回归检测结果。其中，框体长宽回归检测结果可以包括路面俯视图中的框体物体对应的长宽以及位置，以定位框体物体的大小及方位。
38.步骤s160：基于路面俯视图中的关键点的数量及位置，属性识别结果以及框体长宽回归检测结果确定路面俯视图中的路面标识检测结果。
39.在本实施例中，通过已训练的神经网络模型对路面俯视图进行检测，以得到路面俯视图路面标识检测结果。具体地，已训练的神经网络模型包括关键点检测、属性识别、框体长宽回归等网络，通过各个网络对路面俯视图进行检测，得到路面俯视图中的关键点的数量及位置、属性识别结果以及框体长宽回归检测结果，从而可以得到更为精准的路面俯视图中的路面标识检测结果。例如，当检测到路面俯视图中的关键点数量为一个时，可以确定该路面俯视图中的路面标识为一个点型物体，再结合该路面俯视图的属性识别结果，即可得出具体的路面标识。
40.上述实施例提供的路面标识检测方法，获取车载摄像头拍摄的图像；对图像进行转换，得到路面俯视图；将路面俯视图输入已训练的神经网络模型进行关键点检测，确定路面俯视图中的关键点的数量及位置；根据已训练的神经网络模型对路面俯视图进行属性识别，得到路面俯视图的属性识别结果；根据已训练神经网络模型对路面俯视图进行框体长宽回归检测，得到路面俯视图的框体长宽回归检测结果；基于路面俯视图中的关键点的数量及位置，属性识别结果以及框体长宽回归检测结果确定路面俯视图中的路面标识检测结果。从而通过根据车载摄像头拍摄的图像获取路面俯视图，基于神经网络模型对路面俯视图进行关键点检测，以确定路面标识的检测结果，有效覆盖各种车道线及路面标识，包含各类点、线、框等各种类型，并提供更精确的检测结果。
41.请参阅图2，图2示出了本发明实施例提供的又一路面标识检测方法的流程示意图。下面将针对图2所示的流程进行详细的阐述，该方法具体可以包括以下步骤s210至步骤s280。
42.步骤s210：获取车载摄像头拍摄的图像。
43.步骤s220：对图像进行转换，得到路面俯视图。
44.步骤s230：将路面俯视图输入已训练的神经网络模型进行关键点检测，确定路面俯视图中的关键点的数量及位置。
45.步骤s240：根据已训练的神经网络模型对路面俯视图进行属性识别，得到路面俯视图的属性识别结果。
46.步骤s250：根据已训练的神经网络模型对路面俯视图进行框体长宽回归检测，得到路面俯视图的框体长宽回归检测结果。
47.其中，步骤s210至步骤s250的具体描述请参阅步骤s110至步骤s150，在此不再赘述。
48.步骤s260：若基于路面俯视图中的关键点的数量及位置，属性识别结果以及框体长宽回归检测结果确定路面俯视图中包括线型物体，则根据已训练的神经网络模型对路面俯视图进行双向向量场估计，得到线型物体的双向向量场估计结果，其中，双向向量场估计是通过对图像中的每个像素点估计下一段线段的方向得到一个向量，所述向量用于表征像素点到下一个连接点的连接关系。
49.在本实施例中，当检测到路面俯视图中的关键点为两个或两个以上，通过关键点的位置以及路面俯视图的属性识别结果对关键点进行聚类，可以得到路面俯视图的线段检测结果。当聚类结果表明该关键点形成一条线段时，可以确定该路面俯视图中包括线型物
体。而车道线可以包括实线车道线和虚线车道线，实线车道线与虚线车道线的代表的含义是不同的，因此，如图3所示，可以进一步根据已训练的神经网络模型对路面俯视图进行双向向量场估计，得到线型物体的双向向量场估计结果，其中，双向向量场估计是通过对图像中的每个像素点估计下一段线段的方向得到一个向量，所述向量用于表征像素点到下一个连接点的连接关系。
50.步骤s270：若双向向量场估计结果表征线型物体的连接关系满足虚线连接关系，则确定线型物体为虚线。
51.步骤s280：若双向向量场估计结果表征线型物体的连接关系不满足虚线连接关系，则确定线型物体为实线。
52.在本实施例中，由于虚线和实线的连接关系的不同，因此，可以根据双向向量场估计结果来判断路面俯视图中的线型物体是实线还是虚线。其中，双向向量长估计是通过对图像中的每个像素点估计下一段线段的方向得到一个向量，所述向量用于表征像素点到下一个连接点的连接关系，在多个像素点的共同作用下会形成一个向量场，而由于实线是不间断的，因此，在双向向量场估计结果中得到的可以是一个向量场，而虚线是不连贯的，因此，在双向向量场估计结果中得到的可以是多个向量场。因此，若双向向量场估计结果中得到的是多个向量场，则可以说明双向向量场估计结果表征线型物体的连接关系满足虚线连接关系，则可以确定该线型物体为虚线；若双向向量场估计结果中得到的是一个向量场，则可以说明双向向量场估计结果表征线型物体的连接关系不满足虚线连接关系，则可以确定该线型物体为实线。
53.上述实施例提供的路面标识检测方法，相较于图1所示的路面标识检测方法，本实施例还获取根据已训练的神经网络模型对路面俯视图进行双向向量场估计，得到线型物体的双向向量场估计结果，从而得到更为精确的路面标识检测结果。请参阅图4，图4示出了本发明实施例提供的再一路面标识检测方法的流程示意图。下面将针对图4所示的流程进行详细的阐述，该方法具体可以包括以下步骤s310至步骤s380。
54.步骤s310：获取车载摄像头拍摄的图像。
55.步骤s320：对图像进行转换，得到路面俯视图。
56.其中，步骤s310至步骤s320的具体描述请参阅步骤s110至步骤s120，在此不再赘述。
57.步骤s330：获取训练样本集，该训练样本集包括多个样本路面俯视图以及多个样本路面俯视图分别对应的路面标识样本。
58.在本实施例中，对神经网络模型进行训练时，可以先获取训练样本集，其中，该训练样本集可以包括多个样本路面俯视图以及多个样本路面俯视图分别对应的路面标识样本。
59.在一些实施方式中，获取训练样本集之前，可以先进行大量的数据采集，以获取足够多的数据去训练模型。其中，可以从数据库中采集大量的数据，例如，本方案是对路面俯视图进行路面标识的检测，因此，可以在智能车辆对应的图像数据库中查找大量包含路面的图像作为训练的数据，进一步地，若数据集不够大时，还可以收集更多的图像，或为同一图像创建多种副本，产生多个变体，从而获得大量的额外图像。为了确保数据集中的数据质量，还可以对数据集进行检查，去除质量很差的图像，从而优化模型结果。
60.在获取数据集，即获取大量的包含路面的图像后，可以对数据集进行标注。具体地，可以对图像中的路面标识进行标注，并将标注与图像进行匹配。进而对数据集按比例进行划分，得到模型训练的训练样本集以及测试集。其中，训练样本集可以包括多个样本路面俯视图以及多个样本路面俯视图分别对应的标注好的路面标识。
61.在一些实施方式中，步骤s330还可以包括步骤s331至步骤s333。
62.步骤s331：采集多个样本图像数据。
63.在本实施例中，如图5所示的检测方法的流程图，在获取训练样本集时，也可以先采集多个样本图像数据。作为一种实施方式，可以通过测试车辆的前向主摄、左右侧前三目摄像头拍摄多张路面图像，将拍摄的多张路面图像作为多个样本图像数据。作为另一种实施方式，智能车辆对应的图像数据库中可以包括不同车辆的前向主摄、左右侧前三目摄像头拍摄的多张路面图像，可以从图像数据库中获取大量的不同车辆的前向主摄、左右侧前三目摄像头拍摄的路面图像，从而丰富模型训练的数据集。
64.进一步地，可以在高精度图覆盖区域采集车辆的前向主摄、左右侧前三目摄像头拍摄的路面图像数据，从而可以保证图像的质量，优化模型结果。
65.步骤s332：对样本图像数据进行转换，得到多个样本图像数据对应的样本路面俯视图。
66.在本实施例中，可以对样本图像数据进行进一步地处理，从而得到多个样本图像数据对应的样本路面俯视图。
67.在一些实施方式中，对于通过测试车辆的前向主摄、左右侧前三目摄像头拍摄多张路面图像，在获取图像时可以同时获取图像的属性，根据图像的属性对图像进行转换，得到多个路面俯视图，具体地，可以将同一时刻的前向主摄、左侧前、右侧前同时拍摄的路面图像进行转换得到该时刻的路面俯视图，其中，图像的属性可以包括时间、拍摄该图像的摄像头。例如，采集测试车辆的前向主摄、左右侧前三目摄像头拍摄的多张路面图像，其中，多张路面图像的属性分别是图像1“17:00，前向主摄”、图像2“17:00，左侧前摄”、图像3“17:00，右侧前摄”、图像4“17:01，前向主摄”、图像5“17:01，左侧前摄”、图像6“17:01，右侧前摄”。其中，图像1、2、3的拍摄时间一致，图像4、5、6的拍摄时间一致，因此，可以将图像1、2、3一起进行转换拼接得到路面俯视图1，将图像4、5、6一起进行转换拼接得到路面俯视图2。其中，将前向主摄、左右侧前摄像头拍摄的图像转换为路面俯视图的方法可以参阅上述实施例，在此不再赘述。
68.在另一些实施方式中，对于通过智能车辆的图像数据库中采集大量的不同车辆的前向主摄、左右侧前三目摄像头拍摄的路面图像，在获取图像时可以同时获取图像的属性，根据图像的属性对图像进行转换，得到多个路面俯视图，具体地，可以将同一车辆、同一时刻的前向主摄、左侧前、右侧前同时拍摄的路面图像进行转换得到该时刻的路面俯视图，其中，图像的属性可以包括车辆型号、时间、拍摄该图像的摄像头。例如，采集图像数据库中的多张路面图像，其中，多张路面图像的属性分别是图像1“车辆1，17:00，前向主摄”、图像2“车辆1，17:00，左侧前摄”、图像3“车辆1，17:00，右侧前摄”、图像4“车辆2，17:00，前向主摄”、图像5“车辆2，17:00，左侧前摄”、图像6“车辆2，17:00，右侧前摄”、图像7“车辆1，17:01，前向主摄”、图像8“车辆1，17:01，左侧前摄”、图像9“车辆1，17:01，右侧前摄”。其中，图像1、2、3的车辆型号一致且拍摄时间一致，图像4、5、6的车辆型号一致且拍摄时间一致，图
像7、8、9的车辆型号一致且拍摄时间一致，因此，可以将图像1、2、3一起进行转换拼接得到路面俯视图1，将图像4、5、6一起进行转换拼接得到路面俯视图2，将图像7、8、9一起进行转换拼接得到路面俯视图3。
69.进一步地，对于在高精度图覆盖区域采集车辆的前向主摄、左右侧前三目摄像头拍摄的路面图像数据，可以将同一时刻的前向主摄、左侧前、右侧前同时拍摄的路面图像进行转换得到该时刻的路面俯视图。
70.步骤s333：分别对样本路面俯视图中需要标注的对象画点、线、框，并进行属性标注，得到样本路面俯视图分别对应的路面标识样本。
71.在本实施例中，得到多个样本路面俯视图后，可以对需要标注的对象画点、线、框进行属性标注，从而得到多个样本路面俯视图分别对应的路面标识样本。
72.具体地，样本路面俯视图中需要标注的对象可以是样本路面俯视图中的路面标识，根据路面标识的不同画点、线、框。例如，对于路面箭头，可以对路面箭头的端点画点来进行标注，同时标注箭头的属性；对于车道线，可以对车道线画线，同时标注车道线的属性；对于路面文字，可以对路面文字画框，同时标注路面文字的属性等，在此不作限定。具体标注方式可以根据不同的规定对应不同的标注。进一步地，在对路面俯视图中需要标注的对象进行标注时，可以进行人工标注，也可以是由机器进行标注，其中，通过人工标注可以提高标注的准确性，通过机器标注可以提升标注的效率。如图5所示，在标注结束后，还可以有质检员对标注的内容进行质检，从而进一步确保标注的准确性，进而优化训练的模型。
73.步骤s340：将训练样本集输入至主干神经网络及多通道检测网络进行训练，得到已训练的神经网络模型，其中，所述多通道检测网络包括关键点检测、属性识别、框体长宽回归检测及双向向量场估计中的至少两个检测模型。在本实施例中，如图6所示，在获取训练样本集后，可以将训练样本集输入至主干神经网络及多通道检测网络进行训练，得到已训练的神经模型。其中，在模型训练阶段，获取到数据集后，可以对图像和标注信息进行匹配，并按照比例将所有已标注图像分割为训练样本集和测试集，例如，可以将数据集的80％作为训练样本集，剩下的20％作为测试集。
74.在一些实施方式中，获取到训练样本集时，可以对训练数据进行预处理，其中，预处理可以包括图像缩放和标签解析。具体地，可以先获取缩放比例，将训练数据中的图像按比例进行缩放，然后计算需要填充的像素长度对缩放后的图像进行填充，得到最终的图像，然后对最终的图像进行标签解析，得到预处理后的训练数据和标签。同时在训练过程中可以对训练数据进行数据增广，从而增加模型鲁棒性及可推广性。例如，可以基于灰度、旋转、平移、噪声、大小、水平/垂直翻转、缩放、裁剪、剪切、对比度、色彩抖动等等的数据增广。
75.进一步地，可以使用预处理后的训练集图像数据，在云端工作站集群上使用gpu训练深度神经网络。具体地，可以采用基于深度残差网络的主干网络和基于多层卷积神经网络的识别网络。其中，在对神经网络模型进行训练时，训练是迭代的过程，每次迭代进行一次前向网络传播，得到网络输出和损失函数值，然后可以通过随机梯度下降法基于损失函数进行优化，从而得到对应的网络参数值，进而得到训练完成的神经网络模型。其中，多通道检测网络可以包括关键点检测、属性识别、框体长宽回归检测及双向向量场估计中的至少两个检测网络，通过对每一个检测网络进行训练，可以得到每一个检测网络对应的损失函数，将每个检测网络对应的损失函数进行整合得到总体损失函数，来优化神经网络模型，
从而得到训练完成的神经网络模型。
76.进一步地，在一些实施方式中，步骤s340可以包括步骤s341至步骤s343。
77.步骤s341：基于路面标识样本中的点、线、框物体的中心点建立高斯核。
78.在本实施例中，在模型训练的预处理阶段，可以基于点、线、框物体的中心建立高斯核，具体地，可以在图像坐标系以点、线、框的关键点为中心画一个二阶高斯核，以用来在计算损失函数时设定每个点的权重，从而平衡正样本和负样本的比例。
79.步骤s342：基于多通道检测网络对物体的关键点进行检测，得到物体的关键点检测结果。
80.在本实施例中，可以基于多通道检测网络对物体的关键点进行检测，得到物体的关键点检测结果。其中，物体的关键点可以是指点型物体的位置，或框型物体的中心点，或线型物体中均匀采样的点。
81.具体地，在对物体的关键点进行检测时，根据不同的物体类型可以得到不同的检测结果。当物体为点型物体时，点型物体的关键点即为点型物体本身，因此可以直接输出该点型物体为检测结果。当物体为框型物体时，框型物体的关键点可以是框型物体的中心点。当物体为线型物体时，线型物体的关键点可以是线型物体上均匀采样的点，即线型物体可以包括多个关键点，通过进行基于欧氏距离的聚类，从而得到线段检测结果，并输出线型物体的线段检测结果。
82.步骤s343：基于多通道检测网络对物体进行属性识别，得到物体的属性识别结果。
83.在本实施例中，可以基于多通道检测网络对物体进行属性识别，得到物体的属性识别结果。其中，属性识别可以包括对物体本身的属性进行识别，也可以包括对物体的周边进行属性识别。通过对物体本身的属性进行识别，可以确定物体的大致属性，而通过对物体的周边进行属性识别，可以在具有相近属性的物体中通过周边环境来得到更为精准的物体属性。例如，物体的大致属性为车道线，通过对物体的周边进行属性识别，来确定物体的周边是道路边缘还是道路中间，来进一步确定该车道线是边界车道线还是其他类型的车道线。
84.步骤s344：基于多通道检测网络对物体进行框体长宽回归检测，得到物体的框体长宽回归检测结果。
85.在本实施例中，进一步地，可以基于多通道检测网络对物体进行框体长宽回归检测，得到物体的框体长宽回归检测。具体地，可以对框型物体以关键点为锚点，回归框体的长宽，实现框体检测，输出框型物体的关键点以及框型物体的尺寸。进一步地，还可以利用交叉熵损失函数对框体属性进行分类，以确定框体物体。
86.在一些实施方式中，线型物体还包括虚线线型物体，例如车道线的虚线，实虚线、虚实线。可以基于双向关键点向量场，通过深度神经网络学习向量场信息，估计对应检测点的连接关系，并根据检测点的连接关系确定线型物体是否为虚线。具体地，双向关键点向量场是根据对每个像素估计下一段线段的方向可以得到一个向量，在图像中体现为向量场，其中，该向量可以表示从当前点到下一个连接点的连接关系，进而得到车道线虚线线段的连接关系图。具体地，由于实线是不间断的，因此，在连接关系图中得到的可以是一个向量场，而虚线是不连贯的，因此，在连接关系图中得到的可以是多个向量场。因此，若双向向量场估计结果中得到的是多个向量场，则可以说明双向向量场估计结果表征线型物体的连接
关系满足虚线连接关系，则可以确定该线型物体为虚线；若双向向量场估计结果中得到的是一个向量场，则可以说明双向向量场估计结果表征线型物体的连接关系不满足虚线连接关系，则可以确定该线型物体为实线。
87.步骤s345：基于物体的检测结果、属性识别结果、框体长宽回归检测结果以及高斯核计算损失函数。
88.在本实施例中，不同的网络在训练时都会产生一定的损失函数，因此，可以将多个网络的损失函数加权平均整合，根据整合后的损失函数优化神经网络，得到已训练的神经网络模型。具体地，可以基于物体的检测结果、属性识别结果、框体长宽回归检测结果以及高斯核计算损失函数。
89.在一些实施方式中，通过关键点的检测结果，可以得到检测结果中的关键点位置和实际的关键点位置的差异，通过该差异可以调整损失函数，进而根据调整后的损失函数训练深度神经网络模型，以增加模型鲁棒性和准确性。进一步地，对于点型物体的检测结果可以对损失函数进行调整，对于框型物体的检测结果也可以对损失函数进行调整，对于线型物体的检测结果也可以对损失函数进行调整，最后对损失函数按照加权平均进行整合，根据整合后的损失函数训练深度神经网络模型。
90.步骤s346：通过损失函数优化多通道检测网络。
91.通过对上述所有的损失函数加权平均整合，根据整合后的损失函数训练神经网络，得到已训练的神经网络模型。在一些实施方式中，模型训练后，可以进行模型部署及推理阶段。具体地，可以将已训练的神经网络模型进行onnx至tensorrt的格式转换，并将格式转换后的神经网络模型部署至车载模块，从而在车端作为功能模块，输出对应的感知结果。
92.在对已训练的神经网络模型进行推理阶段时，可以将车载摄像头随自车运动按照固定频率采集多目摄像头数据，即前向主摄、左右侧前三目摄像头，并以预设的频率完成俯视图的转换，得到路面俯视图，例如，车载摄像头可以按照20hz采集前向主摄、左右侧前三目摄像头拍摄的路面图像，并以1hz的频率将路面图像转换为路面俯视图。其中，上述频率可以由工程师进行设定，也可以是由系统进行设定，在此不作限定。进一步地，基于部署的神经网络模型，对当前时刻的路面俯视图进行一次前向网络传播，输出结构化检测结果至下游模块，即可以输出点型物体、线型物体或框型物体的检测结果。步骤s350：将路面俯视图输入已训练的神经网络模型进行关键点检测，确定路面俯视图中的关键点的数量及位置。
93.步骤s360：根据已训练的神经网络模型对路面俯视图进行属性识别，得到路面俯视图的属性识别结果。
94.步骤s370：根据已训练的神经网络模型对路面俯视图进行框体长宽回归检测，得到路面俯视图的框体长宽回归检测结果。
95.步骤s380：基于路面俯视图中的关键点的数量及位置，属性识别结果以及框体长宽回归检测结果确定路面俯视图中的路面标识检测结果。
96.其中，步骤s350-步骤s380的具体描述请参阅步骤s130-步骤s160，在此不再赘述。
97.上述实施例提供的路面标识检测方法，相较于图1所示的路面标识检测方法，本实施例还获取训练样本集，该训练样本集包括多个样本路面俯视图以及多个样本路面俯视图分别对应的路面标识样本；将训练样本集输入至深度神经网络模型进行训练，得到已训练
的神经网络模型，从而通过对深度神经网络模型进行训练，通过已训练的神经网络模型对路面俯视图进行关键点检测，得到更为精确的路面标识检测结果。
98.请参阅图7，图7示出了本发明实施例提供的路面标识检测装置100的模块框图。下面将针对图7所述的框图进行阐述，该路面标识检测装置100包括：图像获取模块110、图像转换模块120、关键点检测模块130、属性识别模块140、回归检测模块150以及结果输出模块160，其中：
99.图像获取模块110，用于获取车载摄像头拍摄的图像。
100.图像转换模块120，用于对图像进行转换，得到路面俯视图。
101.关键点检测模块130，用于将路面俯视图输入已训练的神经网络模型进行关键点检测，确定路面俯视图中的关键点的数量及位置。
102.属性识别模块140，用于根据已训练的神经网络模型对路面俯视图进行属性识别，得到路面俯视图的属性识别结果；
103.回归检测模块150，用于根据已训练神经网络模型对路面俯视图进行框体长宽回归检测，得到路面俯视图的框体长宽回归检测结果；
104.结果输出模块160，用于基于路面俯视图中的关键点的数量及位置，属性识别结果以及框体长宽回归检测结果确定路面俯视图中的路面标识检测结果。
105.进一步地，结果输出模块160可以包括向量场估计子模块、虚线确定子模块以及实线确定子模块，其中：
106.向量场估计子模块，用于若基于路面俯视图中的关键点的数量及位置，属性识别结果以及所述框体长宽回归检测结果确定路面俯视图中包括线型物体，则根据已训练的神经网络模型对路面俯视图进行双向向量场估计，得到线型物体的双向向量场估计结果，其中，双向向量场估计是通过对图像中的每个像素点估计下一段线段的方向得到一个向量，向量用于表征所述像素点到下一个连接点的连接关系。
107.虚线确定子模块，用于若双向向量场估计结果表征线型物体的连接关系满足虚线连接关系，则确定线型物体为虚线。
108.实现确定子模块，用于若双向向量场估计结果表征线型物体的连接关系不满足虚线连接关系，则确定线型物体为实线。
109.进一步地，路面标识检测装置100还可以包括样本获取模块以及模型训练模块，其中：
110.样本获取模块，用于获取训练样本集，该训练样本集包括多个样本路面俯视图以及多个样本路面俯视图分别对应的路面标识样本。
111.进一步地，样本获取模块包括数据采集子模块、数据转换子模块以及图像标注子模块，其中：
112.数据采集子模块，用于采集多个样本图像数据。
113.数据转换子模块，用于对样本图像数据进行转换，得到多个样本图像数据对应的样本路面俯视图。
114.图像标注子模块，用于分别对样本路面俯视图中需要标注的对象画点、线、框，并进行属性标注，得到样本路面俯视图分别对应的路面标识样本。
115.模型训练模块，用于将训练样本集输入至主干神经网络及多通道检测网络进行训
练，得到已训练的神经网络模型，其中，所述多通道检测网络包括关键点检测、属性识别、框体长宽回归检测及双向向量场估计中的至少两个检测模型。
116.进一步地，模型训练模块包括：高斯核建立子模块、关键点检测子模块、属性识别子模块、回归检测子模块、函数计算子模块以及网络优化子模块，其中：
117.高斯核建立子模块，用于基于路面标识样本中的点、线、框物体的中心点检测高斯核。
118.关键点检测子模块，用于基于多通道检测网络对物体的关键点进行检测，得到物体的关键点检测结果。
119.进一步地，关键点检测子模块包括点型物体检测单元、框型物体检测单元以及线型物体检测单元，其中：
120.点型物体检测单元，用于当物体为点型物体时，输出点型物体的检测结果。
121.框型物体检测单元，用于当物体为框型物体时，输出框型物体的关键点以及框型物体的尺寸。
122.线型物体检测单元，用于当物体为线型物体时，输出线型物体的线段检测结果。
123.进一步地，关键点检测子模块还可以包括：连接关系检测单元、虚线物体检测单元以及实线物体检测单元，其中：
124.连接关系检测单元，用于对所述线型物体的每个像素点估计下一段线段的方向得到一个向量，所述向量用于表征所述像素点到下一个连接点的连接关系。
125.虚线物体检测单元，用于当连接关系满足虚线线段连接关系时，确定该线型物体为虚线。
126.实线物体检测单元，用于当连接关系不满足虚线线段连接关系时，确定线型物体为实线。
127.属性识别子模块，用于基于多通道检测网络对物体进行属性识别，得到物体的属性识别结果。
128.回归检测子模块，用于基于多通道检测网络对物体进行框体长宽回归检测，得到物体的框体长宽回归检测结果。
129.函数计算子模块，用于基于物体的检测结果、属性识别结果、框体长宽回归检测结果以及高斯核计算损失函数。
130.网络优化子模块，用于通过损失函数优化多通道检测网络。
131.所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
132.在本发明所提供的几个实施例中，模块相互之间的耦合可以是电性，机械或其它形式的耦合。
133.另外，在本发明各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
134.请参阅图8，其示出了本发明实施例提供的一种车辆200的结构框图。本发明中的车辆200可以包括一个或多个如下部件：处理器210、存储器230以及一个或多个应用程序，其中一个或多个应用程序可以被存储在存储器230中并被配置为由一个或多个处理器210
执行，一个或多个程序配置用于执行如前述方法实施例所描述的方法。
135.其中，处理器210可以包括一个或者多个处理核。处理器210利用各种接口和线路连接整个车辆200内的各个部分，通过运行或执行存储在存储器230内的指令、程序、代码集或指令集，以及调用存储在存储器230内的数据，执行车辆200的各种功能和处理数据。可选地，处理器210可以采用数字信号处理(digital signal processing，dsp)、现场可编程门阵列(field－programmable gate array，fpga)、可编程逻辑阵列(programmable logic array，pla)中的至少一种硬件形式来实现。处理器210可集成中央处理器(central processing unit，cpu)、图形处理器(graphics processing unit，gpu)和调制解调器等中的一种或几种的组合。其中，cpu主要处理操作系统、用户界面和应用程序等；gpu用于负责显示内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器210中，单独通过一块通信芯片进行实现。
136.存储器230可以包括随机存储器(random access memory，ram)，也可以包括只读存储器(read-only memory)。存储器230可用于存储指令、程序、代码、代码集或指令集。存储器230可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现下述各个方法实施例的指令等。存储数据区还可以车辆200在使用中所创建的数据(比如电话本、音视频数据、聊天记录数据)等。
137.请参阅图9，其示出了本发明实施例提供的一种计算机可读取存储介质的结构框图。该计算机可读取存储介质300中存储有程序代码，所述程序代码可被处理器调用执行上述方法实施例中所描述的方法。
138.计算机可读取存储介质300可以是诸如闪存、eeprom(电可擦除可编程只读存储器)、eprom、硬盘或者rom之类的电子存储器。可选地，计算机可读取存储介质300包括非易失性计算机可读介质(non-transitory computer-readable storage medium)。计算机可读取存储介质300具有执行上述方法中的任何方法步骤的程序代码310的存储空间。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码310可以例如以适当形式进行压缩。
139.综上所述，本发明实施例提供的路面标识检测方法、装置、车辆及存储介质，获取车载摄像头拍摄的图像；对所述图像进行转换，得到路面俯视图；将所述路面俯视图输入已训练的神经网络模型进行关键点检测，确定路面俯视图中的关键点的数量及位置；根据已训练的神经网络模型对路面俯视图进行属性识别，得到路面俯视图的属性识别结果；根据已训练神经网络模型对路面俯视图进行框体长宽回归检测，得到路面俯视图的框体长宽回归检测结果；基于路面俯视图中的关键点的数量及位置，属性识别结果以及框体长宽回归检测结果确定路面俯视图中的路面标识检测结果。从而通过根据车载摄像头拍摄的图像获取路面俯视图，基于神经网络模型对路面俯视图进行关键点检测，以确定路面标识的检测结果，可以有效覆盖各种车道线及路面标识，包含各类点、线、框等各种类型，并提供更精确的检测结果
140.最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而
这些修改或者替换，并不驱使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。