融合语义地图与道路信息的车辆定位方法及装置与流程

1.本发明涉及车辆定位技术领域，尤其涉及一种融合语义地图与道路信息的车辆定位方法及装置。


背景技术：

2.车辆在行驶过程中需要实时获取到车辆的定位信息，尤其是对于自动驾驶车辆，车辆必须依赖于精确的定位信息，定位到语义地图中的位置，以进行可靠的自动驾驶控制。针对于车辆定位，现有技术中主要采用以下几种方式实现：
3.1、gps imu定位方式。即融合gps(全球定位系统)与imu(惯性测量单元)的方式，由gps来实时获取定位信息，由imu来对gps的定位信息进行补偿。该类融合gps与imu的定位方式，不仅实现成本高，且需要高度依赖于gps信号，在gps信号较弱或无法获得gps信号的场合即无法进行定位，而在获得的gps信号不可靠的场合亦无法确保定位的精准可靠性。
4.2、激光点云数据 高精地图匹配定位方式。即由自动驾驶汽车通过激光雷达获取周围场景的点云数据，与事先采集制作的高精度地图数据进行匹配，获取对车辆当前位置的估计。该类方式需要依赖于高精度地图数据，而高精度地图的制作流程复杂且更新周期长，相应的匹配方法(如icp算法)的速度较低，导致实际的定位实现复杂、效率低，且难以确保实时的定位精度。
5.3、语义地图特征识别的定位方式。即通过识别语义地图中特定的语义特征点，如道路等有语义且易于识别的特征，然后再利用识别的语义特征点校正车辆在室内语义地图中的定位信息。该类方式实现定位需要依赖于特征点的信息以进行特征匹配，而特征点的提取仅适用于结构化的场景中，即具有特定结构的场景，而对于不具有特定结构的非结构化场景，实际就难以有效的进行特征点的提取，因而上述语义地图特征识别的定位方式，就不适用于非结构化场景下。
6.如中国专利申请cn111521186a公开一种车辆定位方法及装置、车辆、存储介质，该方案即是通过识别场地入口；根据场地入口获取场地的室内语义地图,室内语义地图包括场地的语义特征点；根据车辆在运动中获得的语义特征点校正车辆在室内语义地图中的定位信息。该方案可适用于停车场或者其他室内场地等高度结构化特征点信息丰富的环境下，但是当环境存在一定的变化时，比如停车场车辆的进出，或者停车场车辆停车位置的改变，上述方法即无法实现定位，而对于非结构化场景，由于难以获取结构化特征点信息，上述方法也难以获取精准的定位效果。
7.综上，现有技术中车辆定位方式，要么实现复杂、成本高、效率低，要么只能够适用于结构化场景中，环境适应性差，就不能兼顾定位的效率、精度以及环境适应性。


技术实现要素：

8.本发明要解决的技术问题就在于：针对现有技术存在的技术问题，本发明提供一种实现方法简单、成本低、效率以及精度高且环境适应性强，能够适用于非结构化场景中的
融合语义地图与道路信息的车辆定位方法及装置。
9.为解决上述技术问题，本发明提出的技术方案为：
10.一种融合语义地图与道路信息的车辆定位方法，步骤包括：
11.s01.获取车载图像采集设备采集的道路环境图像，分割出道路区域后投影到车体坐标系下的栅格地图中，得到道路投影下的栅格地图；
12.s02.根据车辆当前获取的初始定位信息，在语义地图上查找到对应的定位点，并根据所述定位点搜索所述语义地图上的最近邻道路语义区域，得到语义地图区域；
13.s03.以道路区域作为中心从所述道路投影下的栅格地图中获取目标区域，得到栅格地图区域；
14.s04.将所述语义地图区域与所述栅格地图区域进行匹配，当匹配成功时根据所述车辆当前的初始定位信息、所述定位点的位置以及所述道路投影下的栅格地图中道路区域与车体中心的位置关系，得到车辆在语义地图中的最终位姿输出。
15.进一步的，所述步骤s01中，使用深度卷积语义分割模型从所述道路环境图像中分割出道路区域。
16.进一步的，所述步骤s02的步骤包括：
17.s201.通过在以查找到的所述定位点为圆心、指定大小半径的区域内，搜索离所述圆心最近的道路区域中线上的点，得到所述新定位点；
18.s202.根据所述新定位点在语义地图上获取指定的地图区域，得到所述语义地图区域。
19.进一步的，所述步骤s201后、s202前还包括计算所述新定位点获取当前道路区域的中线与x轴的夹角，根据所述夹角旋转语义地图，以使得道路区域的中线与x轴垂直；所述步骤s202中，以所述新定位点为基准点，在所述旋转后语义地图上获取所述基准点向左、右指定距离以及向前指定距离的地图区域，得到所述语义地图区域。
20.进一步的，所述步骤s03的步骤包括：
21.s301.根据所述道路投影下的栅格地图，计算车体中心到道路区域左右边界的距离，得到车辆在道路中的横向位置；
22.s302.根据步骤s301计算的结果，将所述道路投影下的栅格地图中的道路区域平移至栅格地图的中间，位移的方向为朝向车体中心距离道路左右边界距离小的一侧，得到平移后的栅格地图；
23.s303.从所述平移后的栅格地图中取向左右指定距离、向前指定距离的区域，得到所述栅格地图区域。
24.进一步的，所述步骤s04中，计算所述语义地图区域与所述栅格地图区域之间道路区域的iou值，根据所述iou值判断是否匹配成功，当判定匹配不成功时，判定车辆偏离道路区域。
25.进一步的，所述步骤s04中，将步骤s02中确定的定位点在地图中的纵坐标作为最终纵向定位坐标，将车体中心在所述道路投影下的栅格地图中的横向位置信息，结合所述定位点在所述语义地图区域中的横向坐标，得到车辆最终的横向定位坐标。
26.进一步的，具体将所述定位点在所述语义地图区域中的横向坐标，向所述车体中心距离道路左右边界距离小的方向移动，移动距离为车体中心到道路左右边界距离差值的
一半，得到所述车辆最终的横向定位坐标。
27.一种融合语义地图与道路信息的车辆定装置，包括：
28.图像分割模块，用于获取车载图像采集设备采集的道路环境图像，分割出道路区域后投影到车体坐标系下的栅格地图中，得到道路投影下的栅格地图；
29.语义地图获取模块，用于根据车辆当前获取的初始定位信息，在语义地图上查找到对应的定位点，并根据所述定位点搜索所述语义地图上的最近邻道路语义区域，得到语义地图区域；
30.栅格地图获取模块，用于以道路区域作为中心从所述道路投影下的栅格地图中获取目标区域，得到栅格地图区域；
31.位姿输出模块，用于将所述语义地图区域与所述栅格地图区域进行匹配，当匹配成功时根据所述车辆当前的初始定位信息、所述定位点的位置以及所述道路投影下的栅格地图中道路区域与车体中心的位置关系，得到车辆在语义地图中的最终位姿输出。
32.一种计算机装置，包括处理器以及存储器，所述存储器用于存储计算机程序，所述处理器用于执行所述计算机程序，其特征在于，所述处理器用于执行所述计算机程序以执行如上述方法。
33.与现有技术相比，本发明的优点在于：
34.1、本发明通过融合语义地图与道路信息，充分利用高精度语义分割信息，结合语义地图的道路信息在语义地图上进行简单的图像信息匹配，实现车辆定位，无需使用复杂的定位设备，实现成本低，且整个定位流程实现操作简单，所需使用的信息量也较少，无需依赖特征点的信息，不仅定位实现效率以及精度高，且环境适应性、鲁棒性强，由于是基于整体的道路区域分割信息进行定位，不仅可以适用于结构化的场景中，还可以适用于非结构化等各类场景中。
35.2、本发明通过计算栅格地图与语义地图之间的iou值，实现定位的判断，无需执行复杂的迭代匹配过程，可以快速、高效的判别出车辆是否处于正常的道路区域中，避免如传统的icp等需要采取迭代方法进行匹配时带来的耗时过长、易陷入局部最优等问题，进而可实现快速、精准的车辆定位。
附图说明
36.图1是本实施例融合语义地图与道路信息的车辆定位方法的实现流程示意图。
37.图2是本发明在具体应用实施例中融合语义地图与道路信息实现车辆定位的实现流程示意图。
38.图3是本发明在具体应用实施例中得到的栅格地图示意图。
具体实施方式
39.以下结合说明书附图和具体优选的实施例对本发明作进一步描述，但并不因此而限制本发明的保护范围。
40.如图1所示，本实施例融合语义地图与道路信息的车辆定位方法的步骤包括：
41.s01.图像分割：获取车载图像采集设备采集的道路环境图像，分割出道路区域后投影到车体坐标系下的栅格地图中，得到道路投影下的栅格地图。
42.车载图像采集设备具体可以为车载摄像头等设备，车载摄像头在车辆行驶过程中，实时采集车辆周围的道路环境信息。获取到车载摄像头采集到的道路环境图像后，使用深度卷积语义分割模型从道路环境图像中分割出道路区域。深度卷积语义分割模型预先可使用包含有各类型道路的图像作为训练数据进行训练，将实时采集到的由训练后的道路环境图像，输入至训练好的深度卷积语义分割模型中，即可将图像中道路区域分割出来，得到分割后的道路区域。
43.分割出道路区域后，将道路区域投影到车体坐标系下的栅格地图中，即得到道路投影下的栅格地图。
44.s02.语义地图获取：根据车辆当前的定位信息，在语义地图上查找到对应的定位点，并根据定位点搜索语义地图上的最近邻道路语义区域，得到语义地图区域。
45.车辆的定位信息具体可使用gps、imu等获得，以作为初始的定位信息，基于该初始的定位信息，在语义地图上查找对应的定位点，然后基于该定位点再搜索语义地图上的最近邻道路语义区域，可以利用gps的定位信息，进而融合道路区域以及语义地图来共同实现车辆定位。上述初始的定位信息也可以采用除gps以外的其他定位系统获得，如采用北斗系统或者其他类型的组合导航系统获得。
46.最近邻道路语义区域即为距离定位点最近的道路区域。本实施例中，上述步骤s02的具体步骤为：
47.s201.通过在以查找到的所述定位点为圆心、指定大小半径的区域内，搜索离圆心最近的道路区域中线上的点，得到新定位点，道路区域中线即为离道路边界距离相等的线；
48.s202.根据新定位点在语义地图上获取指定的地图区域，得到语义地图区域。
49.在具体应用实施例中，根据定位点搜索语义地图上的最近邻道路语义区域时，先通过在以查找到的定位点为圆心、指定大小(如半径为4～6m)半径的区域内，搜索离圆心最近的道路区域中线上的点，得到新定位点；然后以该新定位点为基准点来获取语义地图中的指定区域，如根据新定位点在地图上获取向左右一定距离、向前一定距离的语义地图区域，即可得到所需的语义地图区域。上述所取的距离大小、语义地图区域所取的面积大小均可以根据实际需求确定。
50.本实施例通过利用gps在语义地图上确定的初始定位点，搜索最近邻道路语义区域，可以快速的定位、获取到语义地图中的道路区域信息。
51.上述步骤s201后、s202前还包括根据新定位点获取当前道路区域的中线与x轴的夹角，根据夹角旋转语义地图，以使得道路区域的中线与x轴垂直；步骤s202中，具体以新定位点为基准点，在旋转后语义地图上获取基准点向左、右指定距离以及向前指定距离的地图区域，得到语义地图区域。
52.s03.栅格地图获取：以道路区域作为中心从道路投影下的栅格地图中获取目标区域，得到栅格地图区域。
53.根据步骤s01将道路区域投影得到的栅格地图，进一步从栅格地图获取以道路区域为中心的区域，得到栅格地图区域。
54.上述步骤s03的步骤包括：
55.s301.根据道路投影下的栅格地图，计算车体中心到道路区域左右边界的距离，得到车辆在道路中的横向位置；
56.s302.根据步骤s301计算的结果，将所述道路投影下的栅格地图中的道路区域平移至栅格地图的中间，位移的方向为朝向车体中心距离道路左右边界距离小的一侧，得到平移后的栅格地图；
57.s303.从平移后的栅格地图中取向左右指定距离、向前指定距离的区域，得到栅格地图区域。
58.本实施例具体假设车体中心在栅格地图的中心位置，则计算车体中心到道路区域左右边界的距离，即可得到车辆在道路中的横向位置，然后根据计算出的车体中心到道路左右边界的距离以及栅格地图中道路区域的特殊像素值(如若像素值为0则对应为道路区域，若像素值为其他值则对应为非道路区域)，将栅格地图中的道路区域横向平移至栅格地图的中间，位移的距离具体即为车体中心到道路左右边界距离差值的一半，位移的方向为向车体中心距离道路左右边界距离小的一侧，即向车体中心距离道路左右边界距离小的一侧，移动车体中心到道路左右边界距离差值的一半。然后从平移后的栅格地图指定距离、向前指定距离的栅格地图区域，即可得到道路区域位于中间位置的栅格地图，使得栅格地图中包含尽可能多的道路区域信息。
59.上述道路区域的特殊像素值可以为能够表示道路区域特征的特定像素值，当然也可以根据实际需求引入其他的辅助判定方式，如道路两旁规律设置的路灯、树木等。
60.s04.将语义地图区域与栅格地图区域进行匹配，当匹配成功时根据车辆当前的定位信息、定位点的位置以及道路投影下的栅格地图中道路区域与车体中心的位置关系，得到车辆在语义地图中的最终位姿输出。
61.通过步骤s02得到语义地图区域、步骤s03得到的栅格地图区域后，具体计算两幅图像中道路区域的iou值(交并比)，即语义地图区域和栅格地图区域的交集和并集的比值，根据iou值的大小来判定定位是否成功。若语义地图区域、栅格地图区域两幅图像中道路区域的iou值比值较大，表明两幅图像重叠区域较大，车辆处于正常的道路区域中行驶，反之若若语义地图区域、栅格地图区域两幅图像中道路区域的iou值比值较小，表明两幅图像重叠区域较小，车辆可能已偏离道路区域，需要进一步采取如紧急制动等的措施。
62.本实施例通过计算栅格地图与语义地图之间的iou值，实现定位的判断，无需执行复杂的迭代匹配过程，可以快速、高效的判别出车辆是否处于正常的道路区域中，避免如传统的icp等需要采取迭代方法进行匹配时带来的耗时过长、易陷入局部最优等问题，进而可实现快速、精准的车辆定位。
63.在具体应用实施例中，当且仅当步骤s02能有效搜索到新定位点，且计算出的iou的值大于预设阈值(如0.7)时，判定为定位成功，如出现其他情况则判定车辆已偏离道路区域，车辆需采取紧急制动措施，确保车辆的行驶安全。
64.当判定出匹配成功时，将步骤s02中确定的定位点在地图中的纵坐标作为最终纵向定位坐标，将车体中心在道路投影下的栅格地图中的横向位置信息，结合定位点在所述语义地图区域中的横向坐标，得到车辆最终的横向定位坐标。
65.在具体应用实施例中，将定位点在所述语义地图区域中的横向坐标，向所述车体中心距离道路左右边界距离小的方向移动，移动距离为车体中心到道路左右边界距离差值的一半，即得到车辆最终的横向定位坐标。
66.本发明通过融合语义地图与道路信息，充分利用高精度语义分割信息，结合语义
地图的道路信息在语义地图上进行简单的图像信息匹配，实现车辆定位，无需使用复杂的定位设备，实现成本低，且整个定位流程实现操作简单，所需使用的信息量也较少，无需依赖特征点的信息，不仅定位实现效率以及精度高，且环境适应性、鲁棒性强，由于是基于整体的道路区域分割信息进行定位，不仅可以适用于结构化的场景中，还可以适用于非结构化等各类场景中。
67.以下以在具体应用实施例中，采用本发明上述方法实现车辆定位为例，对本发明进行进一步说明
68.如图2所示，本实施例融合语义地图与道路信息实现车辆定位的详细步骤为：
69.步骤1：使用深度卷积语义分割模型分割出道路区域，并将道路区域投影到车体坐标系下的栅格地图中。在具体应用实施例中得到的栅格地图如图3所示，白色栅格区域表示投影到车体坐标系下道路区域。
70.步骤2:获取车辆当前的gps和imu给出的初始定位信息。
71.步骤3:根据gps和imu给出的定位信息，定位到语义地图上得到相应的定位点，以该定位点为圆心、半径为6米的区域内搜索离圆心最近的道路区域中线上的点，并作为新的定位点，其中道路区域中线即为离道路边界距离相等的线。
72.步骤4:根据步骤3得到点以及中线，获取当前位置中线与x轴的夹角，根据夹角旋转地图，以使中线与x轴垂直。
73.步骤5:根据新定位点在地图上获取向左右25米、向前45米的语义地图区域。
74.步骤6：根据道路区域投影得到的栅格地图，并根据车体中心在栅格地图中心的假设，计算车体中心到道路区域左右边界的距离即为车辆在道路中的横向位置。
75.步骤7:根据计算出的车体中心到道路左右边界的距离以及栅格地图中道路区域的特殊像素值，将栅格地图中的道路区域横向平移至栅格地图的中间，位移的距离为车体中心到道路左右边界距离差值的一半，位移的方向为向车体中心距离道路左右边界距离小的一边移动；然后取栅格左右25米、向前45米的栅格地图区域。
76.步骤8：使用步骤5得到的语义地图区域和步骤7得到的栅格地图区域，计算两幅图像中道路区域的iou(交并比)，即语义地图区域和栅格地图区域的交集和并集的比值。
77.步骤9:当且仅当步骤3能有效搜索到新的定位点，且步骤8得到的iou的值大于0.7时，判定定位成功，如出现其他情况说明车辆已偏离道路区域，需控制车辆采取紧急制动措施。
78.步骤10：将步骤3得到的定位点在地图道路纵向坐标作为最终纵向定位坐标，取步骤6得到的车体中心在栅格地图道路区域中的横向位置信息，并结合步骤3得到的定位点在语义地图道路横向坐标得到最终的横向定位坐标，即将步骤3的坐标向步骤6得到的车体中心距离道路左右边界距离小的方向移动，移动距离为车体中心到道路左右边界距离差值的一半。
79.步骤11:输出最终结果，包括当前车辆在语义地图中的最终位姿以及iou的值。
80.本实施例通过上述步骤，能够充分利用高精度的语义分割信息并结合在语义地图上进行iou算法匹配，所需使用的信息少但鲁棒性强，计算方法简单且执行效率很高，能够快速、高效的实现相应的匹配定位。
81.本实施例融合语义地图与道路信息的车辆定装置，包括：
82.图像分割模块，用于获取车载图像采集设备采集的道路环境图像，分割出道路区域后投影到车体坐标系下的栅格地图中，得到道路投影下的栅格地图；
83.语义地图获取模块，用于根据车辆当前获取的初始定位信息，在语义地图上查找到对应的定位点，并根据定位点搜索语义地图上的最近邻道路语义区域，得到语义地图区域；
84.栅格地图获取模块，用于以道路区域作为中心从道路投影下的栅格地图中获取目标区域，得到栅格地图区域；
85.位姿输出模块，用于将语义地图区域与栅格地图区域进行匹配，当匹配成功时根据车辆当前的初始定位信息、定位点的位置以及道路投影下的栅格地图中道路区域与车体中心的位置关系，得到车辆在语义地图中的最终位姿输出。
86.本实施例中，语义地图获取模块包括：
87.搜索单元，用于通过在以查找到的定位点为圆心、指定大小半径的区域内，搜索离圆心最近的道路区域中线上的点，得到新定位点；
88.第一地图获取单元，用于根据新定位点在语义地图上获取指定的地图区域，得到语义地图区域。
89.本实施例中，栅格地图获取模块包括：
90.计算单元，用于根据道路投影下的栅格地图，计算车体中心到道路区域左右边界的距离，得到车辆在道路中的横向位置；
91.平移单元，用于根据计算单元计算的结果，将道路投影下的栅格地图中的道路区域平移至栅格地图的中间，位移的方向为朝向车体中心距离道路左右边界距离小的一侧，得到平移后的栅格地图；
92.第二地图获取单元，用于从平移后的栅格地图中取向左右指定距离、向前指定距离的区域，得到栅格地图区域。
93.本实施例中，位姿输出模块中通过计算语义地图区域与栅格地图区域之间道路区域的iou值，根据iou值判断是否匹配成功，当判定匹配不成功时，判定车辆偏离道路区域。当判定出匹配成功时，将语义地图获取模块中确定的定位点在地图中的纵坐标作为最终纵向定位坐标，将车体中心在道路投影下的栅格地图中的横向位置信息，结合定位点在语义地图区域中的横向坐标，得到车辆最终的横向定位坐标。
94.本实施例融合语义地图与道路信息的车辆定装置与上述融合语义地图与道路信息的车辆定位方法为一一对应，在此不再一一赘述。
95.本实施例还提供计算机装置，包括处理器以及存储器，存储器用于存储计算机程序，处理器用于执行计算机程序，其特征在于，处理器用于执行计算机程序以执行如上述方法。
96.本领域技术人员可以理解，上述计算机装置的描述仅仅是示例，并不构成对计算机装置的限定，可以包括比上述描述更多或更少的部件，或者组合某些部件，或者不同的部件，例如可以包括输入输出设备、网络接入设备、总线等。所称处理器可以是中央处理单元(central processing unit，cpu)，还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现成可编程门阵列(field-programmable gate array，fpga)或者其他可编程逻辑
器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，处理器是计算机装置的控制中心，利用各种接口和线路连接整个计算机装置的各个部分。
97.存储器可用于存储计算机程序和/或模块，处理器通过运行或执行存储在存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现计算机装置的各种功能。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(smart media card,smc)，安全数字(secure digital,sd)卡，闪存卡(flashcard)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
98.计算机装置集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个基于模板标注的分布式爬虫方法实施例的步骤。其中，计算机程序包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、电载波信号、电信号以及软件分发介质等。
99.上述只是本发明的较佳实施例，并非对本发明作任何形式上的限制。虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明。因此，凡是未脱离本发明技术方案的内容，依据本发明技术实质对以上实施例所做的任何简单修改、等同变化及修饰，均应落在本发明技术方案保护的范围内。