一种基于视觉特征的室内空间辅助定位方法

1.本发明涉及同步定位与地图构建(slam)领域的一种室内图像定位方法，具体是涉及到一种基于视觉特征的室内空间辅助定位方法。


背景技术：

2.智能手机已经成为现代生活必不可少的一个重要工具，给我们的生活带来了便捷，而且基本上都配置有高清的相机来满足人们日常摄影的需求。随着智能手机的快速普及和广泛应用，利用手机进行定位的技术也备受人们关注。尤其是在室内或者其他gps信号弱的复杂环境下，难以通过基站信号等进行定位。当手机进入到室内环境时，卫星信号和基站信号在一定程度上都达不到精确定位的要求。
3.近年来，国家明确指出要推动感知定位技术发展，促进位置服务水平的提升。目前已经有许多科研工作者将感知技术部署在机器人、自动驾驶等领域。利用视觉特征进行辅助定位能弥补了gps等定位技术在复杂环境中定位不精准的不足。
4.故，针对现有技术的缺陷，实有必要提出一种技术方案以解决在手机上进行取景拍摄进行辅助定位与生成稀疏点云的技术方案以解决现有技术存在的技术问题。


技术实现要素：

5.为了解决背景技术中存在的问题，本发明提供了一种基于视觉特征的室内空间辅助定位方法，解决在手机上进行取景拍摄进行辅助定位与生成稀疏点云的技术方案以解决现有技术存在的技术问题，应用于手机感知定位领域。
6.本发明方法不需要架设基础辅助，具有较低的复杂度和较高的普适度，为以后手机定位开发提供了一个新的方向。载体携带智能手机运动，手机的相机所拍摄到的图像经过该方法计算反映设备的转向角与轨迹，同时生成稀疏点云地图。
7.本发明的技术方案包括以下步骤：
8.步骤s1：使用手机的单个相机实时采集室内空间的视频流，在采集视频流过程中将每一帧图像实时通过局域网传输到服务器；相机为单目摄像头。
9.初始帧的图像在采集时手机处于室内空间中的位置是固定的、已知的。通常预先设定一个起点，从起点开始移动手机进行拍摄采集视频流。
10.步骤s2：从服务器中对视频流中的每一帧图像提取图像的特征点；
11.步骤s3：根据图像的特征点筛选出关键帧；
12.步骤s4：对筛选的关键帧及其特征点进行位置跟踪，获得关键帧及其特征点的位置；
13.步骤s5：将经过跟踪的关键帧、关键帧的特征点加入室内空间的地图形成里程计和稀疏点云位置信息，由所有关键帧及其位置构成里程计信息，所有关键帧的特征点及其位置构成稀疏点云位置信息，将稀疏点云位置信息和里程计信息结合生成世界坐标系下室内空间的位置信息，由稀疏点云位置信息和里程计信息构建字典数据库，由所有关键帧及
其特征点构建字典数据库；
14.步骤s6：实时拍摄采集到的当前待测图像和字典数据库中的关键帧进行匹配，获得当前待测图像对应获得的手机在室内空间中的位置，进而获得手机拍摄过程在室内空间中的路线轨迹，实现室内空间辅助定位。
15.所述步骤s2，具体为：
16.步骤s21：在一帧图像中，选择自身的亮度值与其周围邻域的像素点的像素值之间的差值均大于亮度阈值的像素点作为关键点；
17.步骤s22：将每一个关键点周围邻域的每个像素点的像素值存储作为该关键点的描述子；
18.步骤s23：一个关键点及其描述子组成一个特征点，使用灰度质心法计算特征点的方向。
19.原始的特征点没有方向信息，当下一帧图像发生旋转后，描述子也会发生变化，使得特征点对旋转不鲁棒，使用灰度质心法来计算特征点的方向给特征点加上了方向，使其具有旋转不变性。
20.所述步骤s3，根据当前帧图像获得的特征点进行以下判断获得关键帧：
21.若当前帧图像和上一关键帧之间的帧数大于第一判定阈值、且当前帧图像和上一关键帧之间的距离大于第二判定阈值、且当前帧图像获得的特征点数量大于第三判定阈值，则将当前帧图像作为关键帧；
22.否则不将当前帧图像作为关键帧；
23.所述的当前帧图像和上一关键帧之间的距离是指当前帧图像在采集时手机处于室内空间中的位置和上一关键帧在采集时手机处于室内空间中的位置之间的距离。
24.所述关键帧指的是视频流局部相近帧里面具有代表性的一帧。
25.具体实施的使用ba方法优化手机的相机位姿和关键帧，相比icp或者光度误差最小化的方法的更加精确。
26.所述步骤s4中，以关键帧在采集时手机处于室内空间中的位置作为关键帧的位置，在服务器上采用纯视觉特征方法实时根据当前关键帧的特征点和上一关键帧的特征点之间的变化关系计算相邻帧间的手机相机位姿变化，进而利用手机相机位姿变化结合上一关键帧的位置获得当前关键帧的位置。
27.所述步骤s4中，根据相邻关键帧中同一个特征点在各自关键帧图像中的位置关系以及相邻帧间的手机相机位姿变化采用三角测量的方法获取特征点所对应的物体目标在空间中的位置作为关键帧的特征点的位置。
28.所述步骤s5具体为：
29.对当前关键帧的特征点并存放到vector容器中，调用预先加载好的字典数据库，使用三维空间相似变换方法计算当前关键帧与字典数据库中的关键帧之间的相似度建立联系，根据相似度计算当前待测图像与字典数据库中的关键帧之间的手机相机位姿变化，进而利用手机相机位姿变化结合字典数据库中的关键帧的位置获得当前待测图像的位置，即获得当前待测图像在拍摄采集时手机在室内空间中的位置，由连续拍摄采集的当前待测图像的位置构成了手机拍摄过程的路线轨迹。
30.所述的serchbysim3方法就是把相间隔的两个关键帧通过字典数据库进行匹配，
重新建立连接，做一个软过渡尽可能将累计误差分摊到所有关键帧。
31.所述的字典数据库为词袋字典结构，并采用改进后的二进制存储方法来压缩处理。加载常规的文本文件格式的字典数据库速度非常慢，改进后的二进制存储格式将加载时间从8.37秒减少到0.32秒。
32.具体实施中，提前加载离线训练好的词袋字典结构的字典数据库，还采用改进后的二进制存储方法来压缩词袋，减少了存储空间，提升加载速度。
33.所述的改进后的二进制存储方法具体为：遍历所有离线待训练图像，对每一帧待训练图像提取图像的特征点，将图像及其特征点以二进制的方式存储成一个字典数据库，最终保存为一个加载速度更快、占用程序内存更少的bin文件。
34.由此本发明能仅依靠手机上的单目相机采集的图像，在没有深度图像和精准gps的情况下，实现室内空间辅助定位的效果。
35.本发明的有益效果是：
36.本发明提出了一种不依赖于卫星信号的基于视觉特征的室内空间辅助定位方法。方法能够在基于内置单目相机的智能手机作为定位装置的条件下，有效利用视觉特征，实时计算出手机的运行轨迹，并生成场景的稀疏点云地图进行辅助定位。
37.本发明在室内或者其他gps信号弱的环境下，能达到精度为2厘米的定位。本发明方法通过图像处理和slam框架计算出了手机运行轨迹和姿态，具有良好的精度和鲁棒效果，有效降低了室内定位系统的建设周期和维护成本。
附图说明
38.图1为本发明方法流程图；
39.图2为图像获取与传输方案框图；
40.图3为关键帧筛选流程图；
41.图4为稀疏点云位置信息图和手机拍摄过程的路线轨迹。
具体实施方式
42.以下结合附图和具体实施案例对本发明做具体的介绍。以下实施例仅用于更加清楚地说明本发明的技术方案，因此只作为示例，而不能以此来限制本发明的保护范围。
43.本发明的室内空间辅助定位方法不受卫星信号和基站信号的影响，在一定程度上可以解决室内场景中的精确定位问题。
44.参见图1，本发明的实施例具体如下：
45.步骤s1：使用手机单个相机采集视频流，采集到的图像数据通过局域网传输到服务器；
46.参见图2为图像获取与传输方案框图；
47.借助智能手机配置的相机实时采集视频流，同时打开手机的局域网接口，本地服务器会通过局域网主动连接手机，通过局域网的的ip和端口接收手机实时传输过来的视频流数据；
48.步骤s2：从服务器中提取视频流中的每一帧图像的特征点；
49.当前帧需要提取的特征点数量n，采用图像金字塔方法对当前帧图像进行特征点
提取，图像金字塔层数为m，m值为8，图像金字塔缩放因子为s，s值为即将当前帧图像依次进行1:1.2缩放比例进行降采样得到共计8张图片，其中，第0层图像的宽为w，高为h，对应的面积h*w＝c，然后分别对得到的图像金字塔层特征点数量进行分配，第0层需要提取的特征点数量为：
[0050][0051]
第i层金字塔特征点数量为：
[0052][0053]
进一步地，对每层图像金字塔进行特征点提取，在当前层图像金字塔中选取像素点p，其亮度为ip，设置一个阈值t，以像素p为中心，选取半径为3个像素点的圆上的16个像素点，如果有连续的5个点的亮度大于ip t或小于ip-t，则像素点p进行下一步描述子计算，否则舍弃该像素点重新选取像素点；
[0054]
在像素p周围选取n个点对，把这n个点对的比较结果组合起来作为描述子，那么带有描述子的该像素p被认为是特征点；
[0055]
进一步地，使用灰度质心法来计算特征点的方向，给特征点加上了方向后的特征点具有旋转不变性；
[0056]
步骤s3：筛选出视频流中的关键帧；
[0057]
参见图3，筛选合适的关键帧步骤为：
[0058]
步骤s31：对于从视频流中提取的当前帧进行判断，当前帧图像和上一关键帧之间的帧数是否大于设定的第一判定阈值；
[0059]
步骤s32：判断当前帧图像和上一关键帧之间的距离是否大于第二判定阈值；
[0060]
步骤s33：当前帧图像获得的特征点数量是否大于第三判定阈值；
[0061]
步骤s34：满足以上，将当前帧判定为关键帧，否则舍弃当前帧；
[0062]
步骤s4：对筛选的关键帧及其特征点进行位置跟踪；
[0063]
根据连续相邻关键帧中同一个特征点在各自关键帧图像中的位置关系以及相邻帧间的手机相机位姿变化采用三角测量的方法获取特征点所对应的物体目标在空间中的位置作为关键帧的特征点的位置，对关键帧及其特征点进行位置跟踪进行位置跟踪；
[0064]
步骤s5：将经过跟踪的关键帧及其特征点加入室内空间的地图形成里程计和稀疏点云位置信息，由所有关键帧及其位置构成里程计信息，所有关键帧的特征点及其位置构成稀疏点云位置信息，由所有关键帧及其特征点构建字典数据库；
[0065]
步骤s51：将经过跟踪的关键帧及其位置加入室内空间的地图形成里程计信息；
[0066]
步骤s52：将经过跟踪的关键帧的特征点及其位置加入室内空间的地图形成稀疏点云位置信息；
[0067]
步骤s53：由所有关键帧及其特征点构建字典数据库；
[0068]
步骤s6：实时拍摄采集到的当前待测图像和字典数据库中的关键帧进行匹配，获得当前待测图像对应获得的手机在室内空间中的位置，进而获得手机拍摄过程在室内空间中的路线轨迹，实现室内空间辅助定位。
[0069]
步骤s61：调用预先加载好的字典数据库，使用三维空间相似变换方法serchbysim3方法计算当前关键帧待测图像与字典数据库中的关键帧之间的相似度；
[0070]
步骤s62：根据相似度计算当前待测图像与字典数据库中的关键帧之间的手机相机位姿变化；
[0071]
步骤s63：利用手机相机位姿变化结合字典数据库中的关键帧的位置获得当前待测图像的位置，即获得当前待测图像在拍摄采集时手机在室内空间中的位置，由连续拍摄采集的当前待测图像的位置构成了手机拍摄过程的路线轨迹。
[0072]
参见图4，为稀疏点云位置信息图和手机拍摄过程的路线轨迹，左图是手机拍摄过程的路线轨迹，右图是稀疏点云位置信息图，图中点表示地图点，框表示关键帧，关键帧之间的约束表示关键帧之间的连接关系；
[0073]
本发明解决了在室内空间下，难以通过基站信号等进行精准定位的问题。基于视觉特征的室内空间辅助定位方法通过对关键帧中特征点的变化反推手机的位置以及手机拍摄过程的路线轨迹，具有较好的普适性和鲁棒性。本发明方法不仅适用于室内空间，也适用于其他复杂环境下手机的辅助定位。