一种基于手机的机场地下停车位定位导航方法

1.本发明属于室内定位领域，特别是涉及一种基于手机的机场地下停车位定位导航方法。


背景技术：

2.近些年随着经济的快速发展，汽车的数量已经大大增加，使用汽车出行也越来越受欢迎，停车已成为汽车出行的刚需，为了应对激增的停车位的需求，随之而来地下停车场的不断建设和增加，并且其规模也越来越大，当车主在停车之后进行其他活动，再回到停车场进行寻找车辆变得非常困难，所以对于规模很大的停车场的定位导航服务是必不可少的，尤其是机场的地下停车场，一般都是开私家车停车之后乘坐飞机去往外地再返回到停车场寻找车辆，经过长时间之后再寻找停车位置变得更加困难。
3.目前市面上主要是针对室外定位导航技术开发的平台比较多，并且大部分都已经很成熟，一般的地上的停车场的导航定位，主要采用gps定位系统，系统会为车主提供车辆的位置信息，并且还可以得到车主人员的位置信息，利用gps定位得到的车主自身的位置信息，根据停车位与车主人员本身的之间的相对位置规划出到达停车位最好的的导航方案，进行导航定位寻找车辆。但是在地下停车场，往往卫星信号会变得十分微弱，所以定位技术一般效果不佳甚至不可用，我国对于地下停车场的室内导航技术目前技术比较少，并且已有的室内定位导航技术大都设备昂贵或者定位精度低，所以利用手机的室内定位技术应用于机场地下停车场的停车位导航定位技术变得十分必要，基于普及的手机端进行定位导航具有普及性和可行性。


技术实现要素：

4.针对以上问题，本发明旨在提供一种基于手机的机场地下停车位定位导航方法，用以在地下停车场实现室内定位导航技术，可以满足普遍的手机端下的低成本、精确的导航性能。
5.本发明提供一种基于手机的机场地下停车位定位导航方法，具体步骤如下，其特征在于
6.s11手机端的图像采集单元采集图像，通过可微分的ransac方法对获取的rgb图像进行坐标回归，得到该张图像中心点位姿预测，
7.上述可微分ransac方法包括：
8.s11-1场景坐标回归，通过resnet网络预测二维rgb图像的每个像素i对应的3维停车场的场景坐标yi(ω)，其中ω为神经网络resnet模型的参数，通过该模型实现图像2维像素点(xi,yi)到3维场景坐标的(r,t)，r表示3个自由度的空间旋转，t表示3个自由度的位移，其中表示用f(ω)表示2维图像相机坐标系到相机6维姿态的映射，其中ω为resnet神经网络需要学习的参数，优化可学习的参数ω通过最小化训练集上最终估计的期望姿势损失l：
[0009][0010]
式中f
*
表示图像i的位姿的真值，为了对神经网络通过梯度下降法训练优化参数ω，对参数ω求导，上述公式的偏导数为：
[0011][0012]
s11-2位姿假设采样，每个假设f(ω)的生成都是由图像对应的子集产生的，这个子集的大小为计算唯一解所需的最小映射数，这个最小子集为mj，其中j＝{j1,l,jn}，其中n为最小子集数量；假设f(ω)的场景回归坐标为pnp问题，所以四个场景坐标足以定义一个独特的相机姿态，所以n＝4，由于每次随机选取四个点进行预测的结果可能是错误的，所以通过随机选择4对的图像到场景坐标进行预测，最终可以生成n个图像的姿态预测f(ω)的集合，每一个生成的场景坐标假设f(ω)都取决于参数ω；
[0013]
s11-3选择最优位姿假设，对于有不同场景坐标回归性能的假设f(ω)，需要有评价机制选择最优的假设，评价决定了相机姿态假设的选择和最后细化假设的效果，以产生最终的估计，具体如下；
[0014]
首先定义图像的像素i和假设f(ω)的重投影误差为：
[0015]ei
(f,ω)＝||cf-1ki
(ω)-pi||
[0016]
式中pi为图像的每个像素i的图像坐标(xi,yi)，c为相机投影矩阵，ki为内点，如果ei＜τ，其中τ确定内点的误差阈值；
[0017]
场景坐标回归工作依赖于对内点ki计数来对假设进行评分，为了实现神经网络端到端的训练，通过用sigmoid函数来构造一个可微函数：
[0018][0019]
式中ei表示重投影误差，超参数β控制sigmoid的柔软度；
[0020]
评价函数p(f)对每个假设与所有场景坐标预测的一致性进行评分，指标为j的假设fj(ω)是根据评分值导出的概率分布p(j,ω,α)选择的，得分高的假设更有可能被选中，选择最终假设根据softmax分布p：
[0021][0022]
内点计数分数的大小可以根据场景的难度而有很大的不同，通常在不同环境下有很大数量级的不同，将评价分数保持在合理的范围内对于拥有广泛的分布p(j；ω,α)很重要，对稳定端到端训练很重要，手动设置每个场景的超参数α是一项乏味的任务，在端到端训练中自动适应α，通过熵来对超参数α大小进行选择：
[0023][0024]
在端到端的训练中训练是通过argmin
α
|s(α)-s
*
|梯度下降来确定参数α，选择是在刚开始的端到端训练迭代中建立目标熵，并在整个过程中保持稳定；
[0025]
s11-4细化最优位姿假设，细化函数r是一个迭代过程，它在使用当前姿态估计确
定内点像素和优化内点像素的估计之间交替进行，迭代过程如果要使用神经网络，必须实现端到端的训练，为了提高训练得到模型的泛化性和精度，训练过程分为两步，第一步采用maml方法把训练过程分为内循环和外循环，使模型有一个较好的初始参数，第二部对细化过程可微化，最后可以使神经网络模型输出最终位姿r(yj(ω))；
[0026]
s21通过对手机拍摄获得的图像进行场景坐标回归获得当前人员的位姿，其中可微分的ransac的坐标回归方法精度非常高，位姿精度误差可以在5cm和5
°
之内，以通过图像获得的位置和姿态作为当前的初始位置。
[0027]
s22获取此时此刻手机内置的imu的数据，根据获得的初始位置姿态数据，也就是上一时刻的姿态数据进行推理更新，获得当前时刻的位姿数据，
[0028]
s23通过imu进行位姿更新和导航过程中，并通过图像的场景坐标回归得到的位姿作为新的初始坐标，初始化imu的迭代更新过程，通过高精度的视觉定位消除惯性传感器的累计误差。
[0029]
作为本发明进一步改进，步骤s11-4中训练过程的第一步，采用maml方法把训练过程分为内循环和外循环具体如下：
[0030]
对于模型初始化引入maml初始化模型参数并且使模型有一个较好的初始性能，把神经网络的训练过程分为内循环和外循环，内循环实现基本的模型功能的训练，外循环提高模型泛化性的训练，同样也把训练集分为两部分用于两个循环的训练；
[0031]
其中内循环的训练集在有3d模型时，使用渲染的场景真值进行初始化，否则近似的真值进行启发式的初始化，内循环的优化为：
[0032][0033]
内循环的具体参数迭代过程表示为：
[0034]
ω'＝ω-μ
▽
ω
l(f
ω
)
[0035]
式中，ω'为内循环迭代的最优参数，ω是初始化参数，μ为内训话训练过程的学习率，
▽
ω
l(f
ω
)表示内循环的梯度。
[0036]
对于外循环，使用地面真值姿态计算的重投影误差，在第内循环步骤中使用启发式算法，则有效地恢复场景点的正确深度；
[0037]
因此,内循环的优化过程为：
[0038][0039]
关于内循环和外循环参数的传递，具体参数传递方法为在采样下一批任务之前，执行元更新或元优化，通过对内循环的训练找到了最优参数ω，之后计算对每个内循环的ω的梯度，并通过梯度更新的方法来更新随机初始化参数ω，这使得随机初始化参数θ找到一个和目标任务更加近似的初始参数，当训练下一批任务时不需要采取许多梯度步骤；
[0040]
整个过程表述如下：
[0041][0042]
式中，ω是初始化参数，η是外循环的学习率超参数，是对于外循
环对于参数ω'的梯度；
[0043]
对于第二步训练，以端到端方式训练模型，要求所有过程都是可微的，包括姿态优化，对于细化假设的过程，细化位姿的过程为：
[0044][0045]
由于argmin函数不可微，采用高斯牛顿法求得细化函数的微分：
[0046][0047]
式中，je表示雅可比矩阵，其中包含偏导数其中ho＝r
t＝∞
(y)，最终实现端到端的训练。
[0048]
作为本发明进一步改进，所述每个假设y(ω)依赖于相应场景坐标的参数。
[0049]
作为本发明进一步改进，所述超参数α控制了分布的宽度，选择合适的超参数有助于端到端学习，其作用就是减小假设评分之间的差别，使得梯度值相差不会太远。
[0050]
针对目前的定位导航系统在地下停车场室内环境下精度低或成本高的问题，本发明提出一种基于手机的机场地下停车位定位导航方法。该方法应用分为两步进行实现，第一步在人员停车的时候通过可微分ransac的视觉定位方法对手机拍摄的图像进行定位，获得车辆停放位置作为后续导航定位的终点坐标；第二步在人员再次进入地下停车场寻找车辆的时候，首先通过手机拍摄图像视觉定位获取导航的初始坐标位置，同样作为手机惯性传感器imu的初始坐标，通过imu不断解算推理进行导航定位到达终点坐标。
[0051]
本发明对室内定位导航定位问题，提出一种可微分ransac视觉定位与惯性定位融合的方法，可以融合高精度视觉定位和高频惯性定位，有效解决室内定位无gps定位精度低的问题，同时可在手机平台上实现导航定位，能够广泛的应用于机场地下停车场的停车位导航服务。
附图说明
[0052]
图1为本发明一种基于手机的机场地下停车位定位导航方法的总体流程图；
[0053]
图2为可微分ransac场景回归视觉定位算法的示意图。
具体实施方式
[0054]
下面结合附图与具体实施方式对本发明作进一步详细描述：
[0055]
本发明的一种基于手机的机场地下停车位定位导航方法，如图1所示，本发明是视觉和惯性融合的室内定位方法，包括以下步骤：
[0056]
s11手机端的图像采集单元采集图像，通过可微分的ransac方法对获取的rgb图像进行坐标回归，得到该张图像中心点位姿预测，
[0057]
图2为可微分ransac方法，其具体的实现方法包括：
[0058]
s11-1场景坐标回归，通过resnet网络预测二维rgb图像的每个像素i对应的3维停车场的场景坐标yi(ω)，其中ω为神经网络resnet模型的参数，该模型的主要作用是实现
图像2维像素点(xi,yi)到3维场景坐标的(r,t)，r表示3个自由度的空间旋转，t表示3个自由度的位移，其中表示用f(ω)表示2维图像相机坐标系到相机6维姿态的映射，其中ω为resnet神经网络需要学习的参数，优化可学习的参数ω通过最小化训练集上最终估计的期望姿势损失l：
[0059][0060]
式中f
*
表示图像i的位姿的真值，为了对神经网络通过梯度下降法训练优化参数ω，我们需要对参数ω求导，上述公式的偏导数为：
[0061][0062]
s11-2位姿假设采样，每个假设f(ω)的生成都是由图像对应的子集产生的，这个子集的大小为计算唯一解所需的最小映射数，这个最小子集为mj，其中j＝{j1,l,jn}，其中n为最小子集数量。本文的假设f(ω)的场景回归坐标为pnp问题，所以四个场景坐标足以定义一个独特的相机姿态，所以n＝4。但是每次随机选取四个点进行预测的结果可能是错误的，所以通过随机选择4对的图像到场景坐标进行预测，最终可以生成n个图像的姿态预测f(ω)的集合，每一个生成的场景坐标假设f(ω)都取决于参数ω。
[0063]
s11-3选择最优位姿假设，对于有不同场景坐标回归性能的假设f(ω)，需要有评价机制选择最优的假设，评价决定了相机姿态假设的选择和最后细化假设的效果，以产生最终的估计。首先本发明定义图像的像素i和假设f(ω)的重投影误差为：
[0064]ei
(f,ω)＝||cf-1ki
(ω)-pi||
[0065]
式中pi为图像的每个像素i的图像坐标(xi,yi)，c为相机投影矩阵，ki为内点，如果ei＜τ，其中τ确定内点的误差阈值。
[0066]
本发明的场景坐标回归工作依赖于对内点ki计数来对假设进行评分，为了实现神经网络端到端的训练，我们通过用sigmoid函数来构造一个可微函数：
[0067][0068]
式中ei表示重投影误差，超参数β控制sigmoid的柔软度。
[0069]
评价函数p(f)对每个假设与所有场景坐标预测的一致性进行评分。指标为j的假设fj(ω)是根据评分值导出的概率分布p(j,ω,α)选择的。得分高的假设更有可能被选中，选择最终假设根据softmax分布p：
[0070][0071]
内点计数分数的大小可以根据场景的难度而有很大的不同，通常在不同环境下有很大数量级的不同。将评价分数保持在合理的范围内对于拥有广泛的分布p(j；ω,α)很重要，对稳定端到端训练很重要。手动设置每个场景的超参数α是一项乏味的任务，因此我们在端到端训练中自动适应α，通过熵来对超参数α大小进行选择：
[0072]
[0073]
在端到端的训练中训练是通过argmin
α
|s(α)-s
*
|梯度下降来确定参数α，选择是在刚开始的端到端训练迭代中建立目标熵，并在整个过程中保持稳定。
[0074]
s11-4细化最优位姿假设，细化函数r是一个迭代过程，它在使用当前姿态估计确定内点像素和优化内点像素的估计之间交替进行，迭代过程如果要使用神经网络，必须实现端到端的训练，为了提高训练得到模型的泛化性和精度，训练过程分为两步，第一步采用maml方法把训练过程分为内循环和外循环，使模型有一个较好的初始参数，第二部对细化过程可微化，最后可以使神经网络模型输出最终位姿r(hj(ω))。
[0075]
本发明的神经网络使用成对的rgb图像和地面真实姿势以端到端方式进行训练，但从头开始这样做将会失败，因为系统很快就会达到局部最小值。我们提出了一种新的二步训练模式，每一步都有不同的目标函数。根据3d场景模型是否可用，我们在第一步使用渲染或近似场景坐标初始化网络并提高系统准确性。训练第二步提高了系统的准确性，这在没有提供三维模型用于初始化时是至关重要的。
[0076]
训练过程的第一步，对于模型初始化引入maml初始化模型参数并且使模型有一个较好的初始性能，把神经网络的训练过程分为内循环和外循环，内循环实现基本的模型功能的训练，外循环提高模型泛化性的训练，同样也把训练集分为两部分用于两个循环的训练。
[0077]
其中内循环的训练集在有3d模型时，使用渲染的场景真值进行初始化，否则近似的真值进行启发式的初始化，内循环的优化为：
[0078][0079]
内循环的具体参数迭代过程可以表示为：
[0080]
ω'＝ω-μ
▽
ω
l(f
ω
)
[0081]
式中，ω'为内循环迭代的最优参数，ω是初始化参数，μ为内训话训练过程的学习率，
▽
ω
l(f
ω
)表示内循环的梯度。
[0082]
对于外循环，我们优化了使用地面真值姿态计算的重投影误差。如果我们在第内循环步骤中使用启发式算法，则可以有效地恢复场景点的正确深度。因此,内循环的优化过程为：
[0083][0084]
关于内循环和外循环参数的传递，具体参数传递方法为在采样下一批任务之前，我们执行元更新或元优化。也就是说，在上一步中，通过对内循环的训练找到了最优参数ω，之后计算对每个内循环的ω的梯度，并通过梯度更新的方法来更新我们的随机初始化参数ω。这使得随机初始化参数θ找到一个和目标任务更加近似的初始参数，当训练下一批任务时不需要采取许多梯度步骤。整个过程它可以表述如下：
[0085][0086]
式中，ω是初始化参数，η是外循环的学习率超参数，是对于外循环对于参数ω'的梯度。
[0087]
第二步训练，我们要想以端到端方式训练我们的模型。这要求所有过程都是可微的，包括姿态优化。对于细化假设的过程，我们细化位姿的过程为：
[0088][0089]
由于argmin函数不可微，采用高斯牛顿法求得细化函数的微分：
[0090][0091]
式中，je表示雅可比矩阵，其中包含偏导数其中ho＝r
t＝∞
(y)，最终我们可以实现端到端的训练。
[0092]
s21通过对手机拍摄获得的图像进行场景坐标回归获得当前人员的位姿，其中可微分的ransac的坐标回归方法精度非常高，位姿精度误差可以在5cm和5
°
之内，以通过图像获得的位置和姿态作为当前的初始位置。
[0093]
s22获取此时此刻手机内置的imu的数据，根据获得的初始位置姿态数据，也就是上一时刻的姿态数据进行推理更新，获得当前时刻的位姿数据，
[0094]
s23通过imu进行位姿更新和导航过程中，并通过图像的场景坐标回归得到的位姿作为新的初始坐标，初始化imu的迭代更新过程，通过高精度的视觉定位消除惯性传感器的累计误差。
[0095]
以上所述，仅是本发明的较佳实施个例而已，并非是对本发明作任何其他形式的限制，而是依据本发明的技术实质所作的任何修改或等同变化，仍然属于本发明所要求保护的范围。