应用于自动驾驶的可变潮汐车道自动识别方法及装置与流程

技术特征：
1.一种应用于自动驾驶的可变潮汐车道自动识别方法，其特征在于，包括如下步骤：步骤s1：训练目标检测神经网络，得到针对潮汐车道牌的目标检测模型；步骤s2：将所述目标检测模型部署在自动驾驶车辆上，在车辆行驶过程中利用车载前视相机实时采集车辆前方图像，得到相机画面；步骤s3：利用所述目标检测模型对所述相机画面中的潮汐车道牌进行识别，得到位置识别信息和内容识别信息；步骤s4：从地图中获取车辆当前位置前方预设距离内潮汐车道牌的地图位置信息；步骤s5：将所述地图位置信息映射到相机画面中，得到映射后地图位置信息；步骤s6：根据所述位置识别信息和所述映射后地图位置信息，对相机画面和地图中的潮汐车道牌进行匹配，得到多个车道牌匹配对；步骤s7：针对多个所述车道牌匹配对进行信息融合，并根据融合后的信息和内容识别信息得到最终的潮汐车道识别结果；步骤s8：根据所述潮汐车道识别结果指引车辆行驶。2.根据权利要求1所述的应用于自动驾驶的可变潮汐车道自动识别方法，其特征在于，所述地图包含道路信息、车道线信息、信号灯信息和标志牌信息，车辆利用地图接口从所述地图中获取潮汐车道牌的地图位置信息；所述潮汐车道牌为一组多个车道指示牌，每个车道指示牌显示一种或两种允许行驶方向，且至少一个车道指示牌显示的允许行驶方向是变化的，所述允许行驶方向包括直行、逆行、左转、右转和禁止通行；每个车道牌匹配对包含一个识别车道指示牌和一个地图车道指示牌，所述识别车道指示牌是指目标检测模型从相机画面中识别出的潮汐车道牌中的车道指示牌，所述地图车道指示牌是指从地图中获取的潮汐车道牌中的车道指示牌；所述地图位置信息包括各地图车道指示牌在地图中的位置坐标；所述映射后地图位置信息包括各地图车道指示牌映射在相机画面中的位置坐标；所述位置识别信息包括各识别车道指示牌的位置坐标；所述内容识别信息包括各识别车道指示牌的显示内容，显示内容包含允许行驶方向；所述潮汐车道识别结果包括对应车道指示牌显示的允许行驶方向。3.根据权利要求1所述的应用于自动驾驶的可变潮汐车道自动识别方法，其特征在于，所述步骤s1包括：步骤s1.1：利用数据采集车的车载前视相机采集潮汐车道牌图像；步骤s1.2：对所述潮汐车道牌图像进行筛选后，标注检测框和类别；步骤s1.3：将标注好的图像按照预设比例随机划分为训练集和验证集；步骤s1.4：令所述目标检测神经网络在所述训练集上训练预设轮次，每训练完一个轮次在所述验证集上进行验证，得到该轮次的目标检测准确率；步骤s1.5：所有轮次训练完成后得到各轮次的准确率，从中选择准确率最高的轮次所对应的目标检测神经网络，作为最终部署的目标检测模型。4.根据权利要求3所述的应用于自动驾驶的可变潮汐车道自动识别方法，其特征在于，所述目标检测神经网络采用yolox-s架构且已预训练。5.根据权利要求1所述的应用于自动驾驶的可变潮汐车道自动识别方法，其特征在于，
所述步骤s4包括：步骤s4.1：利用车辆位姿信息，将所述地图位置信息从世界坐标系转换到车辆坐标系中，得到第一中间位置信息；步骤s4.2：利用相机标定的外参矩阵，将所述第一中间位置信息从车辆坐标系转换到相机坐标系中，得到第二中间位置信息；步骤s4.3：利用相机标定的内参矩阵，将所述第二中间位置信息从相机坐标系转换到相机拍摄的图像坐标系，得到映射后地图位置信息。6.根据权利要求1所述的应用于自动驾驶的可变潮汐车道自动识别方法，其特征在于，所述步骤s6采用匈牙利算法，包括：步骤s6.1：目标检测模型从相机画面中识别出的潮汐车道牌包含n个车道指示牌，依次编号为第一至第n识别车道指示牌，所述位置识别信息即第一至第n识别车道指示牌的位置坐标；从地图中获取的潮汐车道牌包含m个车道指示牌，依次编号为第一至第m地图车道指示牌，所述映射后地图位置信息即第一至第m地图车道指示牌的位置坐标；步骤s6.2：创建一个n
×
m矩阵h，根据第一至第n识别车道指示牌以及第一至第m地图车道指示牌的位置坐标，首先分别计算第一识别车道指示牌与第一至第m地图车道指示牌的距离a
11
、a
12
、
…
、a
1m
，令它们作为矩阵h的第一行元素；然后分别计算第二识别车道指示牌与第一至第m地图车道指示牌的距离a
21
、a
22
、
…
、a
2m
，令它们作为矩阵h的第二行元素；以此类推，直至最后分别计算第n识别车道指示牌与第一至第m地图车道指示牌的距离a
n1
、a
n2
、
…
、a
nm
，令它们作为矩阵h的第n行元素，至此矩阵h构建完毕；步骤s6.3：对矩阵h做匈牙利运算，迭代构造0元素，用数量最少的线段覆盖矩阵中所有的0元素，如果线段数量k＝n，则停止迭代，得到重构矩阵h’；步骤s6.4：利用重构矩阵h’找到最优匹配，具体地，首先在h’中找到只包含一个0元素的行，该0元素所对应的行和列即构成第一个匹配对；然后删掉该0元素所在的行和列得到新矩阵，在新矩阵中重新找到只包含一个0元素的行，该新0元素所对应的行和列即构成第二个匹配对；以此类推，直至最后一个0元素，该最后0元素所对应的行和列构成第n个匹配对；步骤s6.5：由于每行对应一个识别车道指示牌，每列对应一个地图车道指示牌，因此步骤s6.4得到的n个行列匹配对即对应n个车道牌匹配对。7.根据权利要求6所述的应用于自动驾驶的可变潮汐车道自动识别方法，其特征在于，所述步骤s6.3包括：步骤s6.3.1：对于矩阵h的每一行，找到其中最小的元素，然后令该行的每个元素都减去该最小的元素；步骤s6.3.2：对于矩阵h的每一列，找到其中最小的元素，然后令该列的每个元素都减去该最小的元素；步骤s6.3.3：用数量最少的线段覆盖矩阵中所有的0元素，然后如果线段数量k＝n，则执行步骤s6.3.5，否则执行步骤s6.3.4；步骤s6.3.4：找到没有被线段覆盖的元素中最小的元素，令每个没有完全被线段覆盖的行中的元素减去该最小元素的值，然后让每个完全被线段覆盖的列中的元素加上该最小元素的值，然后跳回步骤s6.3.3；
步骤s6.3.5：停止迭代，得到重构矩阵h’。8.根据权利要求1所述的应用于自动驾驶的可变潮汐车道自动识别方法，其特征在于，所述步骤s7包括：步骤s7.1：根据相机画面，确定车辆当前行驶车道；步骤s7.2：根据地图，确定车辆当前行驶车道对应的地图车道指示牌；步骤s7.3：根据所述地图车道指示牌，确定对应的车道牌匹配对，进而确定对应的识别车道指示牌；步骤s7.4：根据目标检测模型对所述识别车道指示牌的内容识别信息，得到最终的潮汐车道识别结果。9.一种应用于自动驾驶的可变潮汐车道自动识别装置，其特征在于，包括如下模块：图像采集模块：在车辆行驶过程中实时采集车辆前方图像，得到相机画面；目标检测模块：利用所述目标检测模型对所述相机画面中的潮汐车道牌进行识别，得到位置识别信息和内容识别信息；地图获取模块：从地图中获取车辆当前位置前方预设距离内潮汐车道牌的地图位置信息；位置映射模块：将所述地图位置信息映射到相机画面中，得到映射后地图位置信息；车道牌匹配模块：根据所述位置识别信息和所述映射后地图位置信息，对相机画面和地图中的潮汐车道牌进行匹配，得到多个车道牌匹配对；信息融合模块：针对多个所述车道牌匹配对进行信息融合，并根据融合后的信息和内容识别信息得到最终的潮汐车道识别结果；规划控制模块：根据所述潮汐车道识别结果指引车辆行驶。10.根据权利要求9所述的应用于自动驾驶的可变潮汐车道自动识别装置，其特征在于，所述地图包含道路信息、车道线信息、信号灯信息和标志牌信息，车辆利用地图接口从所述地图中获取潮汐车道牌的地图位置信息；所述潮汐车道牌为一组多个车道指示牌，每个车道指示牌显示一种或两种允许行驶方向，且至少一个车道指示牌显示的允许行驶方向是变化的，所述允许行驶方向包括直行、逆行、左转、右转和禁止通行；每个车道牌匹配对包含一个识别车道指示牌和一个地图车道指示牌，所述识别车道指示牌是指目标检测模型从相机画面中识别出的潮汐车道牌中的车道指示牌，所述地图车道指示牌是指从地图中获取的潮汐车道牌中的车道指示牌；所述地图位置信息包括各地图车道指示牌在地图中的位置坐标；所述映射后地图位置信息包括各地图车道指示牌映射在相机画面中的位置坐标；所述位置识别信息包括各识别车道指示牌的位置坐标；所述内容识别信息包括各识别车道指示牌的显示内容，显示内容包含允许行驶方向；所述潮汐车道识别结果包括对应车道指示牌显示的允许行驶方向。11.根据权利要求10所述的应用于自动驾驶的可变潮汐车道自动识别装置，其特征在于，所述位置映射模块包括：利用车辆位姿信息，将所述地图位置信息从世界坐标系转换到车辆坐标系中，得到第一中间位置信息；
利用相机标定的外参矩阵，将所述第一中间位置信息从车辆坐标系转换到相机坐标系中，得到第二中间位置信息；利用相机标定的内参矩阵，将所述第二中间位置信息从相机坐标系转换到相机拍摄的图像坐标系，即相机画面中，得到映射后地图位置信息。12.根据权利要求10所述的应用于自动驾驶的可变潮汐车道自动识别装置，其特征在于，所述车道牌匹配模块包括：目标检测模型从相机画面中识别出的潮汐车道牌包含n个车道指示牌，依次编号为第一至第n识别车道指示牌，所述位置识别信息即第一至第n识别车道指示牌的位置坐标；从地图中获取的潮汐车道牌包含m个车道指示牌，依次编号为第一至第m地图车道指示牌，所述映射后地图位置信息即第一至第m地图车道指示牌的位置坐标；采用匈牙利算法，创建一个n
×
m矩阵h，根据第一至第n识别车道指示牌以及第一至第m地图车道指示牌的位置坐标，首先分别计算第一识别车道指示牌与第一至第m地图车道指示牌的距离a
11
、a
12
、
…
、a
1m
，令它们作为矩阵h的第一行元素；然后分别计算第二识别车道指示牌与第一至第m地图车道指示牌的距离a
21
、a
22
、
…
、a
2m
，令它们作为矩阵h的第二行元素；以此类推，直至最后分别计算第n识别车道指示牌与第一至第m地图车道指示牌的距离a
n1
、a
n2
、
…
、a
nm
，令它们作为矩阵h的第n行元素，至此矩阵h构建完毕；对矩阵h做匈牙利运算，具体地，首先对于矩阵h的每一行，找到其中最小的元素，然后令该行的每个元素都减去该最小的元素；然后对于矩阵h的每一列，找到其中最小的元素，然后令该列的每个元素都减去该最小的元素；接着用数量最少的线段覆盖矩阵中所有的0元素，然后如果线段数量k＝n，则停止迭代，得到重构矩阵h’，如果线段数量k≠n，则找到没有被线段覆盖的元素中最小的元素，令每个没有完全被线段覆盖的行中的元素减去该最小元素的值，然后让每个完全被线段覆盖的列中的元素加上该最小元素的值，重复上述操作直至线段数量k＝n，则停止迭代，得到重构矩阵h’；利用重构矩阵h’找到最优匹配，具体地，首先在h’中找到只包含一个0元素的行，该0元素所对应的行和列即构成第一个匹配对；然后删掉该0元素所在的行和列得到新矩阵，在新矩阵中重新找到只包含一个0元素的行，该新0元素所对应的行和列即构成第二个匹配对；以此类推，直至最后一个0元素，该最后0元素所对应的行和列构成第n个匹配对；由于每行对应一个识别车道指示牌，每列对应一个地图车道指示牌，因此上步得到的n个行列匹配对即对应n个车道牌匹配对。13.根据权利要求10所述的应用于自动驾驶的可变潮汐车道自动识别装置，其特征在于，所述信息融合模块包括：根据相机画面，确定车辆当前行驶车道；根据地图，确定车辆当前行驶车道对应的地图车道指示牌；根据所述地图车道指示牌，确定对应的车道牌匹配对，进而确定对应的识别车道指示牌；根据目标检测模型对所述识别车道指示牌的内容识别信息，得到最终的潮汐车道识别结果。

技术总结
本发明提供了一种应用于自动驾驶的可变潮汐车道自动识别方法及装置，包括：在车辆行驶过程中利用车载前视相机实时采集车辆前方图像，得到相机画面；利用目标检测模型对相机画面中的潮汐车道牌进行识别，得到位置识别信息和内容识别信息；从地图中获取车辆当前位置前方预设距离内潮汐车道牌的地图位置信息；将地图位置信息映射到相机画面中，得到映射后地图位置信息；根据位置识别信息和映射后地图位置信息，对相机画面和地图中的潮汐车道牌进行匹配，得到多个车道牌匹配对；对多个车道牌匹配对进行信息融合，并根据融合后的信息和内容识别信息得到最终的潮汐车道识别结果。本发明结合地图和深度学习技术，大大提高潮汐车道识别的准确率。别的准确率。别的准确率。


技术研发人员：廖文龙 何弢 周海进 彭湃
受保护的技术使用者：上海酷移机器人有限公司
技术研发日：2022.11.21
技术公布日：2023/3/3