一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

应用于自动驾驶的可变潮汐车道自动识别方法及装置与流程

2023-03-27 16:23:27 来源:中国专利 TAG:


1.本发明涉及自动驾驶的技术领域,具体地,涉及一种应用于自动驾驶的可变潮汐车道自动识别方法及装置。


背景技术:

2.随着我国快速进入城市化、现代化,汽车的保有量也是呈指数级增长,这就不可避免地带来了一系列社会问题。交通拥堵是其中最常见的问题。为缓解这个问题,潮汐车道便应势而出。潮汐车道是在道路路段,根据交通流需求可改变车辆行驶方向的车道。城市内部根据早晚交通流量不同情况,对有条件的道路设置一个或多个车辆行驶方向规定随不同时段变化的车道。目前,对于潮汐车道的指示都是依靠地图提示是否进入潮汐车道,还有司机本身人眼来判断具体的指示方向。
3.公开号为cn105489009a的中国发明专利文献公开了一种潮汐车道识别方法与系统,通过读取交叉口表,获取所有交叉口id,全部标记为unvisited,并取其中一个标记为unvisited的交叉口id,标记为visited,以上述交叉口id为下游路口id或上游路口id查表路段表,获取与该交叉口id相连的路段id;再进行路段匹配:若两个路段id的上游路口id对应下游路口id,下游路口id对应上游路口id,则路段匹配成功,进行下一步处理;若匹配不成功,则该路段id不作下一步处理;对于匹配成功的路段id对,以路段id查车道表md_lane,统计每条路段的车道数,并将同一个路段id对的车道数求总和,若总车道数《3,则该路段id对不满足车道条件,不予处理;若总车道数》=3,则进行基于早高峰和晚高峰时段的轻交通流、重交通流的方向判别、流量统计、计算方向系数以及通行能力,实现潮汐车道的识别。
4.上述技术方案,获取可变的潮汐车道信息仅仅依赖于地图提供的信息是不够的,希望提供一种能自动能获取当前车道是否为潮汐车道,以及当前潮汐车道的行驶信息为自动驾驶车辆提供识别结果。


技术实现要素:

5.针对现有技术中的缺陷,本发明的目的是提供一种应用于自动驾驶的可变潮汐车道自动识别方法及装置。
6.第一方面,本发明提供一种应用于自动驾驶的可变潮汐车道自动识别方法,包括如下步骤:
7.步骤s1:训练目标检测神经网络,得到针对潮汐车道牌的目标检测模型;
8.步骤s2:将所述目标检测模型部署在自动驾驶车辆上,在车辆行驶过程中利用车载前视相机实时采集车辆前方图像,得到相机画面;
9.步骤s3:利用所述目标检测模型对所述相机画面中的潮汐车道牌进行识别,得到位置识别信息和内容识别信息;
10.步骤s4:从地图中获取车辆当前位置前方预设距离内潮汐车道牌的地图位置信息;
11.步骤s5:将所述地图位置信息映射到相机画面中,得到映射后地图位置信息;
12.步骤s6:根据所述位置识别信息和所述映射后地图位置信息,对相机画面和地图中的潮汐车道牌进行匹配,得到多个车道牌匹配对;
13.步骤s7:针对多个所述车道牌匹配对进行信息融合,并根据融合后的信息和内容识别信息得到最终的潮汐车道识别结果;
14.步骤s8:根据所述潮汐车道识别结果指引车辆行驶。
15.优选地,所述地图包含道路信息、车道线信息、信号灯信息和标志牌信息,车辆利用地图接口从所述地图中获取潮汐车道牌的地图位置信息;
16.所述潮汐车道牌为一组多个车道指示牌,每个车道指示牌显示一种或两种允许行驶方向,且至少一个车道指示牌显示的允许行驶方向是变化的,所述允许行驶方向包括直行、逆行、左转、右转和禁止通行;
17.每个车道牌匹配对包含一个识别车道指示牌和一个地图车道指示牌,所述识别车道指示牌是指目标检测模型从相机画面中识别出的潮汐车道牌中的车道指示牌,所述地图车道指示牌是指从地图中获取的潮汐车道牌中的车道指示牌;
18.所述地图位置信息包括各地图车道指示牌在地图中的位置坐标;
19.所述映射后地图位置信息包括各地图车道指示牌映射在相机画面中的位置坐标;
20.所述位置识别信息包括各识别车道指示牌的位置坐标;
21.所述内容识别信息包括各识别车道指示牌的显示内容,显示内容包含允许行驶方向;
22.所述潮汐车道识别结果包括对应车道指示牌显示的允许行驶方向。
23.优选地,所述步骤s1包括:
24.步骤s1.1:利用数据采集车的车载前视相机采集潮汐车道牌图像;
25.步骤s1.2:对所述潮汐车道牌图像进行筛选后,标注检测框和类别;
26.步骤s1.3:将标注好的图像按照预设比例随机划分为训练集和验证集;
27.步骤s1.4:令所述目标检测神经网络在所述训练集上训练预设轮次,每训练完一个轮次在所述验证集上进行验证,得到该轮次的目标检测准确率;
28.步骤s1.5:所有轮次训练完成后得到各轮次的准确率,从中选择准确率最高的轮次所对应的目标检测神经网络,作为最终部署的目标检测模型。
29.优选地,所述目标检测神经网络采用yolox-s架构且已预训练。
30.优选地,所述步骤s4包括:
31.步骤s4.1:利用车辆位姿信息,将所述地图位置信息从世界坐标系转换到车辆坐标系中,得到第一中间位置信息;
32.步骤s4.2:利用相机标定的外参矩阵,将所述第一中间位置信息从车辆坐标系转换到相机坐标系中,得到第二中间位置信息;
33.步骤s4.3:利用相机标定的内参矩阵,将所述第二中间位置信息从相机坐标系转换到相机拍摄的图像坐标系,得到映射后地图位置信息。
34.优选地,所述步骤s6采用匈牙利算法,包括:
35.步骤s6.1:目标检测模型从相机画面中识别出的潮汐车道牌包含n个车道指示牌,依次编号为第一至第n识别车道指示牌,所述位置识别信息即第一至第n识别车道指示牌的
位置坐标;从地图中获取的潮汐车道牌包含m个车道指示牌,依次编号为第一至第m地图车道指示牌,所述映射后地图位置信息即第一至第m地图车道指示牌的位置坐标;
36.步骤s6.2:创建一个n
×
m矩阵h,根据第一至第n识别车道指示牌以及第一至第m地图车道指示牌的位置坐标,首先分别计算第一识别车道指示牌与第一至第m地图车道指示牌的距离a
11
、a
12


、a
1m
,令它们作为矩阵h的第一行元素;然后分别计算第二识别车道指示牌与第一至第m地图车道指示牌的距离a
21
、a
22


、a
2m
,令它们作为矩阵h的第二行元素;以此类推,直至最后分别计算第n识别车道指示牌与第一至第m地图车道指示牌的距离a
n1
、a
n2


、a
nm
,令它们作为矩阵h的第n行元素,至此矩阵h构建完毕;
37.步骤s6.3:对矩阵h做匈牙利运算,迭代构造0元素,用数量最少的线段覆盖矩阵中所有的0元素,如果线段数量k=n,则停止迭代,得到重构矩阵h’;
38.步骤s6.4:利用重构矩阵h’找到最优匹配,具体地,首先在h’中找到只包含一个0元素的行,该0元素所对应的行和列即构成第一个匹配对;然后删掉该0元素所在的行和列得到新矩阵,在新矩阵中重新找到只包含一个0元素的行,该新0元素所对应的行和列即构成第二个匹配对;以此类推,直至最后一个0元素,该最后0元素所对应的行和列构成第n个匹配对;
39.步骤s6.5:由于每行对应一个识别车道指示牌,每列对应一个地图车道指示牌,因此步骤s6.4得到的n个行列匹配对即对应n个车道牌匹配对。
40.优选地,所述步骤s6.3包括:
41.步骤s6.3.1:对于矩阵h的每一行,找到其中最小的元素,然后令该行的每个元素都减去该最小的元素;
42.步骤s6.3.2:对于矩阵h的每一列,找到其中最小的元素,然后令该列的每个元素都减去该最小的元素;
43.步骤s6.3.3:用数量最少的线段覆盖矩阵中所有的0元素,然后如果线段数量k=n,则执行步骤s6.3.5,否则执行步骤s6.3.4;
44.步骤s6.3.4:找到没有被线段覆盖的元素中最小的元素,令每个没有完全被线段覆盖的行中的元素减去该最小元素的值,然后让每个完全被线段覆盖的列中的元素加上该最小元素的值,然后跳回步骤s6.3.3;
45.步骤s6.3.5:停止迭代,得到重构矩阵h’。
46.优选地,所述步骤s7包括:
47.步骤s7.1:根据相机画面,确定车辆当前行驶车道;
48.步骤s7.2:根据地图,确定车辆当前行驶车道对应的地图车道指示牌;
49.步骤s7.3:根据所述地图车道指示牌,确定对应的车道牌匹配对,进而确定对应的识别车道指示牌;
50.步骤s7.4:根据目标检测模型对所述识别车道指示牌的内容识别信息,得到最终的潮汐车道识别结果。
51.第二方面。本发明提供一种应用于自动驾驶的可变潮汐车道自动识别装置,包括如下模块:
52.图像采集模块:在车辆行驶过程中实时采集车辆前方图像,得到相机画面;
53.目标检测模块:利用所述目标检测模型对所述相机画面中的潮汐车道牌进行识
别,得到位置识别信息和内容识别信息;
54.地图获取模块:从地图中获取车辆当前位置前方预设距离内潮汐车道牌的地图位置信息;
55.位置映射模块:将所述地图位置信息映射到相机画面中,得到映射后地图位置信息;
56.车道牌匹配模块:根据所述位置识别信息和所述映射后地图位置信息,对相机画面和地图中的潮汐车道牌进行匹配,得到多个车道牌匹配对;
57.信息融合模块:针对多个所述车道牌匹配对进行信息融合,并根据融合后的信息和内容识别信息得到最终的潮汐车道识别结果;
58.规划控制模块:根据所述潮汐车道识别结果指引车辆行驶。
59.优选地,所述地图包含道路信息、车道线信息、信号灯信息和标志牌信息,车辆利用地图接口从所述地图中获取潮汐车道牌的地图位置信息;
60.所述潮汐车道牌为一组多个车道指示牌,每个车道指示牌显示一种或两种允许行驶方向,且至少一个车道指示牌显示的允许行驶方向是变化的,所述允许行驶方向包括直行、逆行、左转、右转和禁止通行;
61.每个车道牌匹配对包含一个识别车道指示牌和一个地图车道指示牌,所述识别车道指示牌是指目标检测模型从相机画面中识别出的潮汐车道牌中的车道指示牌,所述地图车道指示牌是指从地图中获取的潮汐车道牌中的车道指示牌;
62.所述地图位置信息包括各地图车道指示牌在地图中的位置坐标;
63.所述映射后地图位置信息包括各地图车道指示牌映射在相机画面中的位置坐标;
64.所述位置识别信息包括各识别车道指示牌的位置坐标;
65.所述内容识别信息包括各识别车道指示牌的显示内容,显示内容包含允许行驶方向;
66.所述潮汐车道识别结果包括对应车道指示牌显示的允许行驶方向。
67.优选地,所述位置映射模块包括:
68.利用车辆位姿信息,将所述地图位置信息从世界坐标系转换到车辆坐标系中,得到第一中间位置信息;
69.利用相机标定的外参矩阵,将所述第一中间位置信息从车辆坐标系转换到相机坐标系中,得到第二中间位置信息;
70.利用相机标定的内参矩阵,将所述第二中间位置信息从相机坐标系转换到相机拍摄的图像坐标系,即相机画面中,得到映射后地图位置信息。
71.优选地,所述车道牌匹配模块包括:
72.目标检测模型从相机画面中识别出的潮汐车道牌包含n个车道指示牌,依次编号为第一至第n识别车道指示牌,所述位置识别信息即第一至第n识别车道指示牌的位置坐标;从地图中获取的潮汐车道牌包含m个车道指示牌,依次编号为第一至第m地图车道指示牌,所述映射后地图位置信息即第一至第m地图车道指示牌的位置坐标;
73.采用匈牙利算法,创建一个n
×
m矩阵h,根据第一至第n识别车道指示牌以及第一至第m地图车道指示牌的位置坐标,首先分别计算第一识别车道指示牌与第一至第m地图车道指示牌的距离a
11
、a
12


、a
1m
,令它们作为矩阵h的第一行元素;然后分别计算第二识别车
道指示牌与第一至第m地图车道指示牌的距离a
21
、a
22


、a
2m
,令它们作为矩阵h的第二行元素;以此类推,直至最后分别计算第n识别车道指示牌与第一至第m地图车道指示牌的距离a
n1
、a
n2


、a
nm
,令它们作为矩阵h的第n行元素,至此矩阵h构建完毕;
74.对矩阵h做匈牙利运算,具体地,首先对于矩阵h的每一行,找到其中最小的元素,然后令该行的每个元素都减去该最小的元素;然后对于矩阵h的每一列,找到其中最小的元素,然后令该列的每个元素都减去该最小的元素;接着用数量最少的线段覆盖矩阵中所有的0元素,然后如果线段数量k=n,则停止迭代,得到重构矩阵h’,如果线段数量k≠n,则找到没有被线段覆盖的元素中最小的元素,令每个没有完全被线段覆盖的行中的元素减去该最小元素的值,然后让每个完全被线段覆盖的列中的元素加上该最小元素的值,重复上述操作直至线段数量k=n,则停止迭代,得到重构矩阵h’;
75.利用重构矩阵h’找到最优匹配,具体地,首先在h’中找到只包含一个0元素的行,该0元素所对应的行和列即构成第一个匹配对;然后删掉该0元素所在的行和列得到新矩阵,在新矩阵中重新找到只包含一个0元素的行,该新0元素所对应的行和列即构成第二个匹配对;以此类推,直至最后一个0元素,该最后0元素所对应的行和列构成第n个匹配对;
76.由于每行对应一个识别车道指示牌,每列对应一个地图车道指示牌,因此上步得到的n个行列匹配对即对应n个车道牌匹配对。
77.优选地,所述信息融合模块包括:
78.根据相机画面,确定车辆当前行驶车道;
79.根据地图,确定车辆当前行驶车道对应的地图车道指示牌;
80.根据所述地图车道指示牌,确定对应的车道牌匹配对,进而确定对应的识别车道指示牌;
81.根据目标检测模型对所述识别车道指示牌的内容识别信息,得到最终的潮汐车道识别结果。
82.与现有技术相比,本发明具有如下的有益效果:
83.1、本发明结合现有地图和深度学习技术,大大提高潮汐车道识别的准确率;
84.2、本发明为自动驾驶行业提供一种自动化识别潮汐车道信息的解决方案,加速自动驾驶技术的发展;
85.3、本发明针对可变的潮汐车道,利用深度学习技术检测并识别当前路口的所有潮汐车道牌;结合地图技术,匹配深度学习模型检测结果,获取当前行驶车道的潮汐车道牌的指示信息。
附图说明
86.通过阅读参照以下附图对非限制性实施例所作的详细描述,本发明的其它特征、目的和优点将会变得更明显:
87.图1为本技术实施例所提供方法的整体流程图;
88.图2为图1中步骤s1的具体流程图;
89.图3为图1中步骤s4的具体流程图;
90.图4为图1中步骤s6的具体流程图;
91.图5为图4中步骤s6.3的具体流程图;
92.图6为图1中步骤s7的具体流程图。
具体实施方式
93.下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明,但不以任何形式限制本发明。应当指出的是,对本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变化和改进。这些都属于本发明的保护范围。
94.本发明实施例公开了一种应用于自动驾驶的可变潮汐车道自动识别方法,如图1所示,包括如下步骤:
95.步骤s1:训练目标检测神经网络,得到针对潮汐车道牌的目标检测模型。
96.步骤s2:将目标检测模型部署在自动驾驶车辆上,在车辆行驶过程中利用车载前视相机实时采集车辆前方图像,得到相机画面。
97.步骤s3:从地图中获取车辆当前位置前方预设距离内潮汐车道牌的地图位置信息。
98.步骤s4:将地图位置信息映射到相机画面中,得到映射后地图位置信息。
99.步骤s5:利用目标检测模型对相机画面中的潮汐车道牌进行识别,得到位置识别信息和内容识别信息。
100.步骤s6:根据位置识别信息和映射后地图位置信息,对相机画面和地图中的潮汐车道牌进行匹配,得到多个车道牌匹配对。
101.步骤s7:针对多个车道牌匹配对进行信息融合,得到最终的潮汐车道识别结果。
102.步骤s8:根据潮汐车道识别结果指引车辆行驶。
103.在一个实施例中,步骤s3中前方预设距离为200米。
104.在一个实施例中,地图为高精度地图,包含道路信息、车道线信息、信号灯信息和标志牌信息,车辆利用地图接口从地图中获取潮汐车道牌的位置信息。
105.潮汐车道牌为一组多个车道指示牌,每个车道指示牌显示一种或两种允许行驶方向,且至少一个车道指示牌显示的允许行驶方向是可变的,允许行驶方向包括直行、逆行、左转、右转和禁止通行。
106.每个车道牌匹配对包含一个识别车道指示牌和一个地图车道指示牌,识别车道指示牌是指目标检测模型从相机画面中识别出的潮汐车道牌中的车道指示牌,地图车道指示牌是指从地图中获取的潮汐车道牌中的车道指示牌。
107.地图位置信息包括各地图车道指示牌在地图中的位置坐标。
108.映射后地图位置信息包括各地图车道指示牌映射在相机画面中的位置坐标。
109.位置识别信息包括各识别车道指示牌的位置坐标。
110.内容识别信息包括各识别车道指示牌的显示内容,即允许行驶方向。
111.潮汐车道识别结果即对应车道指示牌显示的允许行驶方向。
112.在一个实施例中,如图2所示,步骤s1包括:
113.步骤s1.1:利用数据采集车的车载前视相机采集大量潮汐车道牌图像。
114.步骤s1.2:对潮汐车道牌图像进行筛选后,标注检测框和类别。
115.步骤s1.3:将标注好的图像按照预设比例随机划分为训练集和验证集。
116.步骤s1.4:令目标检测神经网络在训练集上训练预设轮次(例如150轮次),每训练完一个轮次就在验证集上进行验证,得到该轮次的目标检测准确率。
117.步骤s1.5:所有轮次训练完成后得到各轮次的准确率,从中选择准确率最高的那个轮次所对应的目标检测神经网络,作为最终部署的目标检测模型。
118.目标检测神经网络采用yolox-s架构且已预训练。
119.在一个实施例中,步骤s1.3中预设比例为8:2。
120.在一个实施例中,如图3所示,步骤s4包括:
121.步骤s4.1:利用车辆位姿信息,将地图位置信息(潮汐车道牌原始位置信息)从世界坐标系转换到车辆坐标系中,得到第一中间位置信息。
122.步骤s4.2:利用相机标定的外参矩阵,将第一中间位置信息从车辆坐标系转换到相机坐标系中,得到第二中间位置信息。
123.步骤s4.3:利用相机标定的内参矩阵,将第二中间位置信息从相机坐标系转换到相机拍摄的图像坐标系,即相机画面中,得到映射后地图位置信息。
124.在一个实施例中,如图4所示,步骤s6采用匈牙利算法,包括:
125.步骤s6.1:目标检测模型从相机画面中识别出的潮汐车道牌包含n个车道指示牌,依次编号为第一至第n识别车道指示牌,位置识别信息即第一至第n识别车道指示牌的位置坐标;从地图中获取的潮汐车道牌包含m个车道指示牌,依次编号为第一至第m地图车道指示牌,映射后地图位置信息即第一至第m地图车道指示牌的位置坐标。
126.步骤s6.2:创建一个n
×
m矩阵h,根据第一至第n识别车道指示牌以及第一至第m地图车道指示牌的位置坐标,首先分别计算第一识别车道指示牌与第一至第m地图车道指示牌的距离a
11
、a
12


、a
1m
,令它们作为矩阵h的第一行元素;然后分别计算第二识别车道指示牌与第一至第m地图车道指示牌的距离a
21
、a
22


、a
2m
,令它们作为矩阵h的第二行元素;以此类推,直至最后分别计算第n识别车道指示牌与第一至第m地图车道指示牌的距离a
n1
、a
n2


、a
nm
,令它们作为矩阵h的第n行元素,至此矩阵h构建完毕。
127.步骤s6.3:对矩阵h做匈牙利运算,迭代构造0元素,用数量最少的线段覆盖矩阵中所有的0元素,如果线段数量k=n,则停止迭代,得到重构矩阵h’。
128.步骤s6.4:利用重构矩阵h’找到最优匹配,具体地,首先在h’中找到只包含一个0元素的行,该0元素所对应的行和列即构成第一个匹配对;然后删掉该0元素所在的行和列得到新矩阵,在新矩阵中重新找到只包含一个0元素的行,该新0元素所对应的行和列即构成第二个匹配对;以此类推,直至最后一个0元素,该最后0元素所对应的行和列构成第n个匹配对。
129.步骤s6.5:由于每行对应一个识别车道指示牌,每列对应一个地图车道指示牌,因此上步得到的n个行-列匹配对即对应n个车道牌匹配对。
130.在一个实施例中,如图5所示,步骤s6.3包括:
131.步骤s6.3.1:对于矩阵h的每一行,找到其中最小的元素,然后令该行的每个元素都减去该最小的元素。
132.步骤s6.3.2:对于矩阵h的每一列,找到其中最小的元素,然后令该列的每个元素都减去该最小的元素。
133.步骤s6.3.3:用数量最少的线段覆盖矩阵中所有的0元素,然后如果线段数量k=
n,则执行步骤s6.3.5,否则执行步骤s6.3.4。
134.步骤s6.3.4:找到没有被线段覆盖的元素中最小的元素,令每个没有完全被线段覆盖的行中的元素减去该最小元素的值,然后让每个完全被线段覆盖的列中的元素加上该最小元素的值,然后跳回步骤s6.3.3。
135.步骤s6.3.5:停止迭代,得到重构矩阵h’。
136.在一个实施例中,如图6所示,步骤s7包括:
137.步骤s7.1:根据相机画面,确定车辆当前行驶车道。
138.步骤s7.2:根据地图,确定车辆当前行驶车道对应的地图车道指示牌。
139.步骤s7.3:根据地图车道指示牌,确定对应的车道牌匹配对,进而确定对应的识别车道指示牌。
140.步骤s7.4:根据目标检测模型对识别车道指示牌的内容识别信息,得到最终的潮汐车道识别结果。
141.本发明实施例还公开了一种应用于自动驾驶的可变潮汐车道自动识别装置,包括如下模块:
142.图像采集模块:在车辆行驶过程中实时采集车辆前方图像,得到相机画面。
143.地图获取模块:从地图中获取车辆当前位置前方预设距离内潮汐车道牌的地图位置信息。
144.位置映射模块:将地图位置信息映射到相机画面中,得到映射后地图位置信息。
145.目标检测模块:利用目标检测模型对相机画面中的潮汐车道牌进行识别,得到位置识别信息和内容识别信息。
146.车道牌匹配模块:根据位置识别信息和映射后地图位置信息,对相机画面和地图中的潮汐车道牌进行匹配,得到多个车道牌匹配对。
147.信息融合模块:针对多个车道牌匹配对进行信息融合,得到最终的潮汐车道识别结果。
148.规划控制模块:根据潮汐车道识别结果指引车辆行驶。
149.该自动识别装置安装在自动驾驶车辆上,图像采集模块包括车载前视相机。
150.地图为高精度地图,包含道路信息、车道线信息、信号灯信息和标志牌信息,车辆利用地图接口从地图中获取潮汐车道牌的位置信息。
151.潮汐车道牌为一组多个车道指示牌,每个车道指示牌显示一种或两种允许行驶方向,且至少一个车道指示牌显示的允许行驶方向是可变的,允许行驶方向包括直行、逆行、左转、右转和禁止通行。
152.每个车道牌匹配对包含一个识别车道指示牌和一个地图车道指示牌,识别车道指示牌是指目标检测模型从相机画面中识别出的潮汐车道牌中的车道指示牌,地图车道指示牌是指从地图中获取的潮汐车道牌中的车道指示牌。
153.地图位置信息包括各地图车道指示牌在地图中的位置坐标。
154.映射后地图位置信息包括各地图车道指示牌映射在相机画面中的位置坐标。
155.位置识别信息包括各识别车道指示牌的位置坐标。
156.内容识别信息包括各识别车道指示牌的显示内容,即允许行驶方向。
157.潮汐车道识别结果即对应车道指示牌显示的允许行驶方向。
158.位置映射模块实施位置映射的方法包括:
159.利用车辆位姿信息,将地图位置信息从世界坐标系转换到车辆坐标系中,得到第一中间位置信息。
160.利用相机标定的外参矩阵,将第一中间位置信息从车辆坐标系转换到相机坐标系中,得到第二中间位置信息。
161.利用相机标定的内参矩阵,将第二中间位置信息从相机坐标系转换到相机拍摄的图像坐标系,即相机画面中,得到映射后地图位置信息。
162.车道牌匹配模块实施车道牌匹配的方法包括:
163.目标检测模型从相机画面中识别出的潮汐车道牌包含n个车道指示牌,依次编号为第一至第n识别车道指示牌,所述位置识别信息即第一至第n识别车道指示牌的位置坐标;从地图中获取的潮汐车道牌包含m个车道指示牌,依次编号为第一至第m地图车道指示牌,所述映射后地图位置信息即第一至第m地图车道指示牌的位置坐标;
164.采用匈牙利算法,创建一个n
×
m矩阵h,根据第一至第n识别车道指示牌以及第一至第m地图车道指示牌的位置坐标,首先分别计算第一识别车道指示牌与第一至第m地图车道指示牌的距离a
11
、a
12


、a
1m
,令它们作为矩阵h的第一行元素;然后分别计算第二识别车道指示牌与第一至第m地图车道指示牌的距离a
21
、a
22


、a
2m
,令它们作为矩阵h的第二行元素;以此类推,直至最后分别计算第n识别车道指示牌与第一至第m地图车道指示牌的距离a
n1
、a
n2


、a
nm
,令它们作为矩阵h的第n行元素,至此矩阵h构建完毕;
165.对矩阵h做匈牙利运算,具体地,首先对于矩阵h的每一行,找到其中最小的元素,然后令该行的每个元素都减去该最小的元素;然后对于矩阵h的每一列,找到其中最小的元素,然后令该列的每个元素都减去该最小的元素;接着用数量最少的线段覆盖矩阵中所有的0元素,然后如果线段数量k=n,则停止迭代,得到重构矩阵h’,如果线段数量k≠n,则找到没有被线段覆盖的元素中最小的元素,令每个没有完全被线段覆盖的行中的元素减去该最小元素的值,然后让每个完全被线段覆盖的列中的元素加上该最小元素的值,重复上述操作直至线段数量k=n,则停止迭代,得到重构矩阵h’;
166.利用重构矩阵h’找到最优匹配,具体地,首先在h’中找到只包含一个0元素的行,该0元素所对应的行和列即构成第一个匹配对;然后删掉该0元素所在的行和列得到新矩阵,在新矩阵中重新找到只包含一个0元素的行,该新0元素所对应的行和列即构成第二个匹配对;以此类推,直至最后一个0元素,该最后0元素所对应的行和列构成第n个匹配对;
167.由于每行对应一个识别车道指示牌,每列对应一个地图车道指示牌,因此上步得到的n个行列匹配对即对应n个车道牌匹配对。
168.信息融合模块实施信息融合的方法包括:
169.根据相机画面,确定车辆当前行驶车道。
170.根据地图,确定车辆当前行驶车道对应的地图车道指示牌。
171.根据地图车道指示牌,确定对应的车道牌匹配对,进而确定对应的识别车道指示牌。
172.根据目标检测模型对识别车道指示牌的内容识别信息,得到最终的潮汐车道识别结果。
173.本发明也可将目标检测模型yoloxs替换成其他有相同功能的模型。
174.本发明是一种利用深度学习手段来实时检测潮汐车道的方法,通过深度学习技术来智能识别当前行进车道的类别信息和行驶方向信息,主要基于地图和深度学习技术,提供一个自动化检测当前潮汐车道信息的解决方案。
175.本发明结合地图与深度学习技术定位并识别当前行驶车道的潮汐车道信息。本发明针对可变的潮汐车道,利用深度学习技术检测并识别当前路口的所有潮汐车道牌;结合地图技术,匹配深度学习模型检测结果,获取当前行驶车道的潮汐车道牌的指示信息。
176.本领域技术人员知道,除了以纯计算机可读程序代码方式实现本发明提供的系统及其各个装置、模块、单元以外,完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统及其各个装置、模块、单元以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同功能。所以,本发明提供的系统及其各项装置、模块、单元可以被认为是一种硬件部件,而对其内包括的用于实现各种功能的装置、模块、单元也可以视为硬件部件内的结构;也可以将用于实现各种功能的装置、模块、单元视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
177.以上对本发明的具体实施例进行了描述。需要理解的是,本发明并不局限于上述特定实施方式,本领域技术人员可以在权利要求的范围内做出各种变化或修改,这并不影响本发明的实质内容。在不冲突的情况下,本技术的实施例和实施例中的特征可以任意相互组合。
再多了解一些

本文用于创业者技术爱好者查询,仅供学习研究,如用于商业用途,请联系技术所有人。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献