一种基于图像的多层停车场定位方法、装置和汽车与流程

1.本公开涉及汽车定位技术领域，尤其涉及一种基于图像的多层停车场定位方法、装置和汽车。


背景技术：

2.近年来，随着经济的快速发展和生活水平的日益提高，社会中的汽车保有量也日益增加，随之而来的是越来越多的大型多层地下停车场。但是大型多层地下停车场往往存在着道路复杂、停车困难等问题，使得车主的停车体验严重下降，影响用户体验与使用效率。因此，地下停车场内的导航系统越来越受重视。
3.然而，当前的停车场车辆定位方案存在着众多问题，例如，在一种现有技术中，通过在车辆上安装二维码，并利用停车场中的摄像头识别车辆上的二维码来进行车辆在停车场的连续定位，不过这种定位技术需要对车辆和停车场进行改造，改造成本较高；在另一种现有技术中，使用单目摄像机和底盘信息的定位系统来提供车辆在二维停车场平面上的定位结果，但这种技术无法提供车辆在高度上的定位信息，因此无法进行多层停车场中的跨层定位；在又一种现有技术中，提供了一种基于高精度地图的多层停车场跨层定位的方法，该方法在定位时通过获取车辆gps位置来加载附近停车场每一层的高精度地图，再进行地图的匹配得到定位结果，但实际应用中停车场内gps信号准确度往往较低，经常出现加载错误地图的情况下，并且同时加载每一层的地图存在数据量大，导致加载时间长。
4.由此可见，如何低成本低解决车辆在多层停车场中的定位，是当前汽车应用中遇见的一个技术难题。


技术实现要素：

5.鉴于以上现有技术的缺点，本公开公开了一种基于图像的多层停车场定位方法、装置和汽车，以解决如何低成本地实现车辆在多层停车场中定位的问题。
6.根据本公开实施例的一方面，提供一种基于图像的多层停车场定位方法，包括：在车辆处于停车场定位模式的情况下，加载车辆当前所处多层停车场的层级对应的地图，地图为预先利用车辆在停车场采集的图像建立的地图文件，其中，地图文件包括车辆在所处停车场预先采集的图像、以及图像中的特征点在停车场地图坐标系下的空间坐标和图像对应时刻车辆在停车场地图坐标系中的位姿，车辆当前所处停车场包括多层停车场；获取车辆周围的实时图像，并提取实时图像的特征点；将实时图像的特征点与地图文件中保存的图像中的特征点进行匹配，确定地图文件中与实时图像匹配特征点数量最多的图像为目标图像；计算实时图像与目标图像之间车辆的相对位置关系；基于相对位置关系和目标图像中车辆的位姿，确定实时图像对应时刻车辆在停车场的定位结果，定位结果包括车辆在地图坐标系中的位姿。
7.根据本公开实施例的另一方面，提供一种基于图像的多层停车场定位装置，包括：地图加载模块，被配置为在车辆处于停车场定位模式的情况下，加载车辆当前所处多层停
车场的层级对应的地图，地图为预先利用车辆在停车场采集的图像建立的地图文件，其中，地图文件包括车辆在所处停车场预先采集的图像、以及图像中的特征点在停车场地图坐标系下的空间坐标和图像对应时刻车辆在停车场地图坐标系中的位姿，车辆当前所处停车场包括多层停车场；图像采集模块，被配置为获取车辆周围的实时图像，并提取实时图像的特征点；图像匹配模块，被配置为将实时图像的特征点与地图文件中保存的图像中的特征点进行匹配，确定地图文件中与实时图像匹配特征点数量最多的图像为目标图像；位置计算模块，被配置为计算实时图像与目标图像之间车辆的相对位置关系；车辆定位模块，被配置为基于相对位置关系和目标图像中车辆的位姿，确定实时图像对应时刻车辆在停车场的定位结果，定位结果包括车辆在地图坐标系中的位姿。
8.根据本公开实施例的又一方面，提供一种汽车，其包括：一个或多个处理器和存储装置，该存储装置用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行时，使得汽车实现上述方法的步骤。
9.本公开的有益效果：通过在车辆处于停车场定位模式的情况下，加载车辆当前所处多层停车场的层级对应的地图，地图为预先利用车辆在停车场采集的图像建立的地图文件，其中，地图文件包括车辆在所处停车场预先采集的图像、以及图像中的特征点在停车场地图坐标系下的空间坐标和图像对应时刻车辆在停车场地图坐标系中的位姿，车辆当前所处停车场包括多层停车场；获取车辆周围的实时图像，并提取实时图像的特征点；将实时图像的特征点与地图文件中保存的图像中的特征点进行匹配，确定地图文件中与实时图像匹配特征点数量最多的图像为目标图像；计算实时图像与目标图像之间车辆的相对位置关系；基于相对位置关系和目标图像中车辆的位姿，确定实时图像对应时刻车辆在停车场的定位结果，定位结果包括车辆在地图坐标系中的位姿，从而使得车辆只需通过周围的图像即可实现在多层停车场中任一层级的定位，不需要对停车场进行改造，降低了定位的实现成本。
附图说明
10.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本技术的实施例，并与说明书一起用于解释本技术的原理。显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术者来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
11.图1是本公开实施例提供的一种基于图像的多层停车场定位方法的流程图；
12.图2是本公开实施例提供的车辆在建图模式下的定位原理示意图；
13.图3是本公开实施例提供的一种基于图像的多层停车场定位装置的结构示意图；
14.图4是本公开实施例提供的另一种基于图像的多层停车场定位装置的结构示意图；
15.图5是本公开实施例提供的一计算机系统的结构示意图。
具体实施方式
16.以下通过特定的具体实例说明本公开的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本公开的其他优点与功效。本公开还可以通过另外不同的具体实
施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本公开的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的子样本可以相互组合。
17.需要说明的是，以下实施例中所提供的图示仅以示意方式说明本公开的基本构想，遂图式中仅显示与本公开中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
18.在下文描述中，探讨了大量细节，以提供对本公开实施例的更透彻的解释，然而，对本领域技术人员来说，可以在没有这些具体细节的情况下实施本公开的实施例是显而易见的，在其他实施例中，以方框图的形式而不是以细节的形式来示出公知的结构和设备，以避免使本公开的实施例难以理解。
19.除非另有说明，术语“多个”表示两个或两个以上。
20.本公开实施例中，字符“/”表示前后对象是一种“或”的关系。例如，a/b表示：a或b。
21.术语“和/或”是一种描述对象的关联关系，表示可以存在三种关系。例如，a和/或b，表示：a或b，或，a和b这三种关系。
22.请参见图1，示出了本公开实施例提供的一种基于图像的多层停车场定位方法的流程图，图1中的基于图像的多层停车场定位方法可以应用于汽车中，由汽车执行。如图1所示，该基于图像的多层停车场定位方法包括：
23.s101，在车辆处于停车场定位模式的情况下，加载车辆当前所处多层停车场的层级对应的地图，地图为预先利用车辆在停车场采集的图像建立的地图文件，其中，地图文件包括车辆在所处停车场预先采集的图像、以及图像中的特征点在停车场地图坐标系下的空间坐标和图像对应时刻车辆在停车场地图坐标系中的位姿，车辆当前所处停车场包括多层停车场；
24.s102，获取车辆周围的实时图像，并提取实时图像的特征点；
25.s103，将实时图像的特征点与地图文件中保存的图像中的特征点进行匹配，确定地图文件中与实时图像匹配特征点数量最多的图像为目标图像；
26.s104，计算实时图像与目标图像之间车辆的相对位置关系；
27.s105，基于相对位置关系和目标图像中车辆的位姿，确定实时图像对应时刻车辆在停车场的定位结果，定位结果包括车辆在地图坐标系中的位姿。
28.上述基于图像的多层停车场定位方法的工作原理在于：在车辆进入停车场时，将车辆切换为停车场定位模式，此时用户可以在车辆的车机屏幕上输入车辆当前所处的层级，从而使车辆加载当前所处停车场层级的地图，同时利用设置在车辆上的一个或多个摄像头采集车辆周围的实时图像，并提取实时图像中的特征点，通过将实时图像中的特征点与地图中预先保存的图像进行特征点匹配，找到与当前采集的实时图像匹配特征点数量最多的一帧图像为目标图像，由于特征点的位置是不变的，目标图像中车辆的位姿为已知，因此，根据实时图像与地图中目标图像之间的车辆相对位置关系，即可快速计算出实时图像对应时刻车辆的位姿，即实现车辆在停车场的定位。
29.本实施例通过在车辆处于停车场定位模式的情况下，加载车辆当前所处多层停车场的层级对应的地图，地图为预先利用车辆在停车场采集的图像建立的地图文件，其中，地
图文件包括车辆在所处停车场预先采集的图像、以及图像中的特征点在停车场地图坐标系下的空间坐标和图像对应时刻车辆在停车场地图坐标系中的位姿，车辆当前所处停车场包括多层停车场；获取车辆周围的实时图像，并提取实时图像的特征点；将实时图像的特征点与地图文件中保存的图像中的特征点进行匹配，确定地图文件中与实时图像匹配特征点数量最多的图像为目标图像；计算实时图像与目标图像之间车辆的相对位置关系；基于相对位置关系和目标图像中车辆的位姿，确定实时图像对应时刻车辆在停车场的定位结果，定位结果包括车辆在地图坐标系中的位姿，从而使得车辆只需通过周围的图像即可实现在多层停车场中任一层级的定位，不需要对停车场进行改造，降低了车辆定位的实现成本。
30.在一个实施例中，加载车辆当前所处多层停车场的层级对应的地图，包括：获取用户输入的当前车辆在多层停车场所处的层级，并加载与用户输入的层级相对应的地图。
31.具体地，当车辆刚进入停车场时，需要确认车辆在停车场的初始层级。例如，当车辆切换为停车场定位模式时，在车辆的车机屏幕上提供请求用户确认车辆当前所处的停车场层级的输入选项，使车辆根据用户输入的停车场层级自动加载相应的地图，来对车辆进行定位。
32.在一个实施例中，加载车辆当前所处多层停车场的层级对应的地图，包括：在确定车辆当前所处停车场层级的情况下，获取车辆的轮速和三轴角速度；基于车辆的轮速和三轴角速度，确定实时图像对应时刻车辆在停车场地图坐标系中的俯仰角和高程变化；基于俯仰角和高程变化判断车辆是否处于跨层状态，若是，结合车辆当前所处停车场层级确定车辆前往的停车场层级，并加载车辆将前往停车场层级的地图，其中，跨层状态包括车辆进入下一停车层或进入上一停车层。
33.其中，车辆的轮速可以是车辆的后轮轮速，也可以是车辆的前轮轮速，本公开实施例对此不作限制。此外，三轴角速度可以通过在车辆上预设imu(英文inertial measurement unit的缩写，翻译为：惯性测量单元，是一种测量物体三轴角速度和加速度的设备)来获得。
34.值得一提的是，车辆可以利用三轴角速度进行航迹推算，根据焊机推算的俯仰角和高程变化，来判断车辆是否处于停车场跨层通道内。例如，当车辆开始进入跨层通道时，可以依据俯仰角的正负来判断车辆是在前往上一层停车场还是下一层的停车场，而后由车辆开始加载上一层或下一层停车场的地图。当车辆到达新的层级后，便开始用加载完成的地图进行定位。
35.需要说明的是，实际应用中也可以通过对实时图像中的特征点或特定标志进行识别，来确定车辆当前所处的层级，但由于图像识别存在不确定性，而车辆的轮速和三轴角速度相对更可靠，不容易出错。
36.在一个实施例中，计算实时图像与目标图像之间车辆的相对位置关系，包括：基于实时图像与目标图像匹配的特征点，利用对极约束、pnp或icp算法计算实时图像与目标图像之间的车辆位姿变化。
37.对极约束是指在已知2d的像素坐标的前提下，根据两幅图像间多组2d像素点对来估计相机的运动。
38.pnp(英文perspective-n-point的缩写)是求解3d到2d点对运动的方法，目的是求解相机坐标系相对世界坐标系的位姿。在本实施例中，相机坐标系可以为车辆上采集实时
图像的相机坐标系，而世界坐标系可以为停车场坐标系。具体地，基于实时图像可以确定特征点与车辆之间的相对位置关系，再利用车辆坐标系与停车场坐标系的变化关系，即可确定实时图像对应时刻车辆在停车场坐标系下的位姿，由于目标图像中车辆在停车场坐标系下的位姿是已知的，那么即可计算出实时图像与目标图像之间车辆在停车场坐标系下车辆的相对位置关系，即车辆位姿变化。
39.icp(英文iterative closest point的缩写，翻译为：迭代最近点)算法是基于em(expectation-maximization algorithm)思想的方法，采用交替迭代法优化得到最优值。即icp分为两步迭代优化，优化点云匹配及优化运动估计。点云匹配是将两帧点云数据在同一个坐标系下，一帧数据中的点找到另一帧数据最近的点，就作为一对匹配点。运动估计就是根据得到得两帧点云得匹配情况，构建最小二乘方程，求解。
40.值得一提的是，对极约束、pnp和icp算法均是利用匹配特征点来计算两帧图像之间的运动估计，即车辆位姿变化。由于这些算法都是视觉运动领域的常规算法，故这里不作详细说明。
41.本实施例使用实时图像与目标图像之间匹配的特征点，基于对极约束、pnp和icp算法，可以快速计算出实时图像与目标图像之间车辆的相对位置关系，再利目标图像在停车场坐标系(即地图坐标系)中的位姿计算出实时图像对应时刻车辆在停车场坐标系的二维位姿，完成对车辆的定位。
42.在一个实施例中，预先利用车辆在停车场采集的图像建立地图文件，包括：在车辆处于建图模式的情况下，确定车辆当前所处的停车场层级，并实时获取车辆周围的图像；提取图像中的特征点，并将当前帧图像中的特征点与上一帧图像中的特征点进行相同特征点匹配，得到匹配的特征点；基于匹配的特征点，确定车辆的位姿和特征点对应的空间坐标；将特征点对应的空间坐标、特征点所在的图像以及图像对应时刻的车辆位姿保存为车辆所经过停车场层级的地图文件。
43.具体地，当需要对停车场建图时，可以将车辆切换为建图模式，通过用户在车辆的车机屏幕上输入车辆当前所处停车场层级来完成车辆在停车场的层级初始化。
44.其中，与车辆在停车场定位模式下一样，对实时图像和周围图像提取的特征点可以包括每帧图像中的fsat角点和brief描述子。
45.fsat角点被定义为：若某像素点与其周围领域内足够多的像素点处于不同的区域，则该像素点可能为角点。也就是某些属性与众不同，考虑灰度图像，即若该点的灰度值比其周围领域内足够多的像素点的灰度值大或者小，则该点可能为角点。
46.brief描述子也称为brief(binary robust independent elementary features的缩写)，是对已检测到的特征点进行描述，它是一种二进制编码的描述子，摈弃了利用区域灰度直方图描述特征点的传统方法，大大的加快了特征描述符建立的速度，同时也极大的降低了特征匹配的时间，是一种非常快速，很有潜力的算法。
47.由于brief仅仅是特征描述子，所以事先要得到特征点的位置，可以利用fast特征点检测算法或harris角点检测算法或sift、surf等算法检测特征点的位置，接下来利用特征点邻域brief算法建立特征描述符。
48.具体地，匹配不同图像(例如周围图像中的上一帧图像与当前帧图像，或者实时图像与周围图像等)之间的特征点是指准确的匹配出两个不同视角的图像中的同一个物体。
虽然图像在计算机中是以灰度矩阵的形式存在的，但是利用图像的灰度并不能准确的找出两幅图像中的同一个物体。这是由于灰度受光照的影响，并且当图像视角变化后，同一个物体的灰度值也会跟着变化。所以，就需要找出一种能够在相机进行移动和旋转(视角发生变化)，仍然能够保持不变的特征，利用这些不变的特征来找出不同视角的图像中的同一个物体。
49.本实施例通过fsat角点和brief描述子作为图像的特征点可以保留图像的重要特征，同时可以降低图像数据的计算量，可以实现不同图像之间特征点的准确匹配。
50.在一个实施例中，提取图像中的特征点，并将当前帧图像中的特征点与上一帧图像中的特征点进行相同特征点匹配，得到匹配的特征点，包括：生成当前帧图像和上一帧图像的图像金字塔；基于灰度质心法，分别逐层提取当前帧图像和上一帧图像对应的图像金字塔的特征点；利用近似最近邻算法对当前帧图像的特征点和上一帧图像的特征点进行匹配，得到相匹配的特征点。
51.具体地，图像金字塔是一种以多分辨率来解释图像的有效但概念简单的结构。一幅图像的金字塔是一系列以金字塔形状排列的分辨率逐步降低，且来源于同一张原始图的图像集合。
52.结合以上特征点为fsat角点和brief描述子来说，fast角点是没有尺度不变性的，这里构建高斯金字塔，在每一层金字塔图像上检测fast角点，并利用灰度质心法用于计算特征点的方向，假设角点的灰度与质心之间存在一个偏移，这个向量可以用于表示一个方向。这种方法的主要思想就是，首先把特征点的邻域范围看成一个patch，然后求取这个patch的质心，最后把该质心与特征点进行连线，求出该直线与横坐标轴的夹角，即为该特征点的方向。
53.在本实施例中，采用近似最近邻算法来对两帧图像之间的特征点进行匹配，其原理是通过将两帧图像分别转换为以fsat角点和brief描述子的特征向量空间，然后查找特征向量距离最近的向量来进行特征点的匹配，从而确定两帧图像之间匹配的特征点。
54.当然，实际应用中也可以采用其它与近似最近邻算法类似的算法来进行特征点的匹配，例如还可以采用k最近邻算法，本公开实施例对此不作限制。
55.在一个实施例中，基于匹配的特征点，确定车辆的位姿和特征点对应的空间坐标，包括：建立车体坐标系；将开始建图的第一帧图像对应时刻的车体坐标系设定为停车场地图坐标系的原点；基于两帧图像匹配上的特征点，利用对极约束、pnp或icp算法计算两帧图像对应时刻之间的车辆位姿变化；基于两帧图像中上一帧图像对应时刻的车辆位姿和两帧图像对应时刻之间的车辆位姿变化，确定当前帧图像对应时刻车辆相对于停车场地图坐标系的位姿，以及匹配的特征点相对于停车场地图坐标系的空间坐标。
56.请参见图2，示出了车辆在建图模式下的定位原理示意图，如图2所示，可以以车辆的纵轴中心线为x轴，后轮中心线为y轴，后轮中心为原点，以此建立车体坐标系x0y，例如，图2中特征点d在车体坐标系下的坐标可以表示为(x，y)。此外，车辆在建图模式下，图2中车辆在时间t1时刻采集的图像p1可以为车辆采集的一帧周围图像，车辆在时间t2时刻采集的图像p2可以为车辆采集的另一帧周围图像。
57.因此，当车辆开始建图时，将获取的车辆的周围图像中的第一帧图像对应时刻车辆所在位置下的车体坐标系的作为停车场坐标系，即此时车体坐标系与停车场地图坐标系
的原点重合，或者也可以称为地图坐标系。例如，图2中，周围图像中的特征点d在停车场坐标系下的坐标可以表示为(x0，y0)。
58.其中，基于两帧图像匹配上的特征点确定车辆位姿变化是指两帧图像对应的不同时刻之间车辆的运动位置变化关系。也就是说，利用相同特征点在不同图像中的位姿变化，可以确定车辆上相机位置的运动变化关系，由于相机与车辆的相对位置是固定的，从而可以确定车辆在两帧不同图像对应时刻之间的位姿变化，再通过车体坐标系与停车场坐标系之间的转换关系，即可得到当前帧图像对应时刻停车场坐标系下车辆的位姿和当前帧图像中特征点对应的空间坐标。具体地，这里车辆的位姿包括车辆的位置，例如，车辆在停车场坐标系下的位置。
59.本实施例通过对图像进行特征点提取，并利用特征点匹配来计算出每帧图像中特征点在停车场坐标系下的空间坐标，以及车辆的位姿。也就是说，每帧图像均对应一个车辆在停车场中的位置标记，从而将图像、以及图像中特征点的空间坐标和图像对应时刻车辆的位姿保存为地图文件。
60.值得一提的是，车辆在停车场定位模式和建图模式下的工作原理是相同的，因此，建图模式下利用对极约束、pnp或icp算法计算两帧图像对应时刻之间的车辆位姿变化的原理可以参考停车场定位模式下的描述，这里不再赘述。
61.另外，车辆在建图模式下，获取的周围图像的数量非常大，并且车辆在停车场过程中并非一直处于移动状态，因此，若将全部周围对应的各帧图像全部保存为地图文件，会导致地图文件占用过多的存储空间，或一些重复的图像。
62.在一个实施例中，在基于匹配的特征点，确定车辆的位姿和特征点对应的空间坐标之后，还包括：判断当前帧图像是否满足以下条件之一：当前帧图像与上一帧图像之间匹配的特征点的数量小于或等于预设的数量阈值；当前帧图像与上一关键帧图像之间的车辆相对运动距离大于预设的距离阈值；当前帧图像与上一关键帧图像的时间差大于预设的时间阈值；若当前帧图像满足以上至少一个条件，则确定当前帧图像为关键帧图像，其中，上一帧图像包括关键帧图像，地图文件中保存的图像包括关键帧图像。
63.具体地，上述数量阈值、距离阈值和时间阈值均为根据经验或实验结果而预先设定的阈值，实际应用中该阈值可以是固定的，也可以根据不同的停车场或车辆数据反馈进行调整，本公开实施例对此不作限制。
64.具体地，这里设置多个条件，只要图像满足其中之一，就可以将其作为关键帧图像进行图像处理。其中，以上部分条件中上一帧图像为关键帧图像，因此，可以在建图开始时，将第一帧图像默认为关键帧图像。本实施例通过从获取的周围图像中选取关键帧图像来提取特征点进行处理，那么最好保存为地图文件的图像也为关键帧图像，从而大大减少了地图文件中的图像的数量。
65.上述所有可选技术方案，可以采用任意结合形成本技术的可选实施例，在此不再一一赘述。
66.下述为本公开装置实施例，可以用于执行本公开方法实施例。对于本公开装置实施例中未披露的细节，请参照本公开方法实施例。
67.图3是本公开实施例提供的一种基于图像的多层停车场定位装置的示意图。如图3所示，该基于图像的多层停车场定位装置包括：
68.地图加载模块301，被配置为在车辆处于停车场定位模式的情况下，加载车辆当前所处多层停车场的层级对应的地图，地图为预先利用车辆在停车场采集的图像建立的地图文件，其中，地图文件包括车辆在所处停车场预先采集的图像、以及图像中的特征点在停车场地图坐标系下的空间坐标和图像对应时刻车辆在停车场地图坐标系中的位姿，车辆当前所处停车场包括多层停车场；
69.图像采集模块302，被配置为获取车辆周围的实时图像，并提取实时图像的特征点；
70.图像匹配模块303，被配置为将实时图像的特征点与地图文件中保存的图像中的特征点进行匹配，确定地图文件中与实时图像匹配特征点数量最多的图像为目标图像；
71.位置计算模块304，被配置为计算实时图像与目标图像之间车辆的相对位置关系；
72.车辆定位模块305，被配置为基于相对位置关系和目标图像中车辆的位姿，确定实时图像对应时刻车辆在停车场的定位结果，定位结果包括车辆在地图坐标系中的位姿。
73.本实施例通过在车辆处于停车场定位模式的情况下，加载车辆当前所处多层停车场的层级对应的地图，地图为预先利用车辆在停车场采集的图像建立的地图文件，其中，地图文件包括车辆在所处停车场预先采集的图像、以及图像中的特征点在停车场地图坐标系下的空间坐标和图像对应时刻车辆在停车场地图坐标系中的位姿，车辆当前所处停车场包括多层停车场；获取车辆周围的实时图像，并提取实时图像的特征点；将实时图像的特征点与地图文件中保存的图像中的特征点进行匹配，确定地图文件中与实时图像匹配特征点数量最多的图像为目标图像；计算实时图像与目标图像之间车辆的相对位置关系；基于相对位置关系和目标图像中车辆的位姿，确定实时图像对应时刻车辆在停车场的定位结果，定位结果包括车辆在地图坐标系中的位姿，从而使得车辆只需通过周围的图像即可实现在多层停车场中任一层级的定位，不需要对停车场进行改造，降低了定位的实现成本。
74.在一个实施例中，图3中的地图加载模块301用于获取用户输入的当前车辆在多层停车场所处的层级，并加载与用户输入的层级相对应的地图。
75.在一个实施例中，图3中的地图加载模块301用于在确定车辆当前所处停车场层级的情况下，获取车辆的轮速和三轴角速度；基于车辆的轮速和三轴角速度，确定实时图像对应时刻车辆在停车场地图坐标系中的俯仰角和高程变化；基于俯仰角和高程变化判断车辆是否处于跨层状态，若是，结合车辆当前所处停车场层级确定车辆前往的停车场层级，并加载车辆将前往停车场层级的地图，其中，跨层状态包括车辆进入下一停车层或进入上一停车层。
76.在一个实施例中，图3中的位置计算模块304用于基于实时图像与目标图像匹配的特征点，利用对极约束、pnp或icp算法计算实时图像与目标图像之间的车辆位姿变化。
77.在一个实施例中，请参见图4，该基于图像的多层停车场定位装置还包括：
78.地图建立模块306，被配置为在车辆处于建图模式的情况下，确定车辆当前所处的停车场层级，并实时获取车辆周围的图像；提取图像中的特征点，并将当前帧图像中的特征点与上一帧图像中的特征点进行相同特征点匹配，得到匹配的特征点；基于匹配的特征点，确定车辆的位姿和特征点对应的空间坐标；将特征点对应的空间坐标、特征点所在的图像以及图像对应时刻的车辆位姿保存为车辆所经过停车场层级的地图文件。
79.在一个实施例中，继续参见图3，该基于图像的多层停车场定位装置还包括：
80.图像筛选模块307，被配置为在基于匹配的特征点，确定车辆的位姿和特征点对应的空间坐标之后，判断当前帧图像是否满足以下条件之一：当前帧图像与上一帧图像之间匹配的特征点的数量小于或等于预设的数量阈值；当前帧图像与上一关键帧图像之间的相对运动大于预设的阈值；当前帧图像与上一关键帧图像的时间差大于预设的阈值；若当前帧图像满足以上至少一个条件，则确定当前帧图像为关键帧图像，其中，上一帧图像包括关键帧图像，地图文件中保存的图像包括关键帧图像。
81.在一个实施例中，特征点包括：每帧图像中的fsat角点或/和brief描述子。
82.在一个实施例中，图4中的地图建立模块306用于生成当前帧图像和上一帧图像的图像金字塔；基于灰度质心法，分别逐层提取当前帧图像和上一帧图像对应的图像金字塔的特征点；利用近似最近邻算法对当前帧图像的特征点和上一帧图像的特征点进行匹配，得到相匹配的特征点。
83.在一个实施例中，图4中的地图建立模块306用于建立车体坐标系；将开始建图的第一帧图像对应时刻的车体坐标系设定为停车场地图坐标系的原点；基于两帧图像匹配上的特征点，利用对极约束、pnp或icp算法计算两帧图像对应时刻之间的车辆位姿变化；基于两帧图像中上一帧图像对应时刻的车辆位姿和两帧图像对应时刻之间的车辆位姿变化，确定当前帧图像对应时刻车辆相对于停车场地图坐标系的位姿，以及匹配的特征点相对于停车场地图坐标系的空间坐标。
84.另外，请参见图5，示出了本公开实施例提供的一种计算机系统的结构示意图，图5中的计算机系统可以应用于汽车中，作为汽车的车机系统，用于执行上述基于图像的多层停车场定位方法。如图5所示，计算机系统500包括中央处理单元(central processing unit，cpu)501，其可以根据存储在只读存储器(read-only memory，rom)502中的程序或者从储存部分508加载到随机访问存储器(random access memory，ram)503中的程序而执行各种适当的动作和处理，例如执行上述实施例中的方法。在ram 503中，还存储有系统操作所需的各种程序和数据。cpu 501、rom 502以及ram 503通过总线504彼此相连。输入/输出(input/output，i/o)接口505也连接至总线504。
85.以下部件连接至i/o接口505：包括键盘、鼠标等的输入部分506；包括诸如阴极射线管(cathode ray tube，crt)、液晶显示器(liquid crystal display，lcd)等以及扬声器等的输出部分507；包括硬盘等的储存部分508；以及包括诸如lan(local area network，局域网)卡、调制解调器等的网络接口卡的通信部分509。通信部分509经由诸如因特网的网络执行通信处理。驱动器510也根据需要连接至i/o接口505。可拆卸介质511，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器510上，以便于从其上读出的计算机程序根据需要被安装入储存部分508。
86.特别地，根据本技术的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本技术的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的计算机程序。在这样的实施例中，该计算机程序可以通过通信部分509从网络上被下载和安装，和/或从可拆卸介质511被安装。在该计算机程序被中央处理单元(cpu)501执行时，执行本技术的装置中限定的各种功能。
87.需要说明的是，本技术实施例所示的计算机可读介质可以是计算机可读信号介质
或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(erasable programmable read only memory，eprom)、闪存、光纤、便携式紧凑磁盘只读存储器(compact disc read-only memory，cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本技术中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的计算机程序。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的计算机程序可以用任何适当的介质传输，包括但不限于：无线、有线等等，或者上述的任意合适的组合。
88.在本实施例中，存储器可能包含随机存取存储器(random access memory，简称ram)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
89.上述的处理器可以是通用处理器，包括中央处理器(central processing unit，简称cpu)、图形处理器(graphics processing unit，简称gpu)，网络处理器(network processor，简称np)等；还可以是数字信号处理器(digital signal processing，简称dsp)、专用集成电路(application specific integrated circuit，简称asic)、现场可编程门阵列(field－programmable gate array，简称fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
90.以上描述和附图充分地示出了本公开的实施例，以使本领域的技术人员能够实践它们。其他实施例可以包括结构的、逻辑的、电气的、过程的以及其他的改变。实施例仅代表可能的变化。除非明确要求，否则单独的部件和功能是可选地，并且操作的顺序可以变化。一些实施例的部分和子样本可以被包括在或替换其他实施例的部分和子样本。而且，本技术中使用的用词仅用于描述实施例并且不用于限制权利要求。如在实施例以及权利要求的描述中使用的，除非上下文清楚地表明，否则单数形式的“一个”(a)、“一个”(an)和“所述”(the)旨在同样包括复数形式。类似地，如在本技术中所使用的术语“和/或”是指包含一个或一个以上相关联的列出的任何以及所有可能的组合。另外，当用于本技术中时，术语“包括”(comprise)及其变型“包括”(comprises)和/或包括(comprising)等指陈述的子样本、整体、步骤、操作、元素，和/或组件的存在，但不排除一个或一个以上其它子样本、整体、步骤、操作、元素、组件和/或这些的分组的存在或添加。在没有更多限制的情况下，由语句“包括一个
…”
限定的要素，并不排除在包括所述要素的过程、方法或者设备中还存在另外的相同要素。本文中，每个实施例重点说明的可以是与其他实施例的不同之处，各个实施例之间相同相似部分可以互相参见。对于实施例公开的方法、产品等而言，如果其与实施例公开的方法部分相对应，那么相关之处可以参见方法部分的描述。
91.附图中的流程图和框图显示了根据本公开实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现
规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这可以依所涉及的功能而定。在附图中的流程图和框图所对应的描述中，不同的方框所对应的操作或步骤也可以以不同于描述中所披露的顺序发生，有时不同的操作或步骤之间不存在特定的顺序。例如，两个连续的操作或步骤实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这可以依所涉及的功能而定。框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。