一种室内定位方法、系统、存储介质及电子设备与流程

1.本技术涉及定位处理技术领域，更具体地说，涉及一种室内定位方法、系统、存储介质及电子设备。


背景技术：

2.当用户处于一个不熟悉的室内环境下，gps定位不准确时，很难知道自己处于室内的哪个位置，目的地在哪个方位上。这个时候，视觉导航的应用就显得十分必要了。
3.实现视觉导航的应用主要是通过移动端的跟踪系统实现视觉定位。视觉定位的实现，需要采集室内场景的图像对室内进行地图构建。
4.目前采集室内场景的图像的采集方式主要有单目相机加惯性传感器采集、激光雷达采集等。上述采集室内图像方式存在如下缺点：
5.在单目相机加惯性传感器的采集方式中，由于单目相机视角相对较小，为了拍摄全面，需要不断地将镜头转向四周，以保证尽可能多的拍摄角度与方向，造成效率低，且单目相机拍摄构建的地图会存在一定的缺失。在激光雷达的采集方式中，该方法相对成本更高。
6.因此，在构建室内地图的过程中采集室内图像的采集方式的成本高，效率低，且构建的地图会存在缺失现象。


技术实现要素：

7.有鉴于此，本技术公开了一种室内定位方法、系统、存储介质及电子设备，旨在提高采集室内图像的效率，也确保构建室内地图的全面性，避免构建的地图存在缺失现象，且提高构建室内地图的灵活性。
8.为了实现上述目的，其公开的技术方案如下：
9.本技术第一方面公开了一种室内定位方法，所述方法包括：
10.获取待定位图像，所述待定位图像在室内采集得到；
11.通过预先构建的预设室内地图对所述待定位图像进行定位，得到定位结果；所述预设室内地图通过预先获取到的原始全景图像的关键帧位姿和局部特征点进行构建得到；所述原始全景图像为通过预设全景设备采集所述室内的全景图像；所述局部特征点从所述原始全景图像进行拆分后提取得到；所述定位结果用于表征所述待定位图像在所述预设室内地图中的位姿。
12.优选的，预设室内地图的构建过程，包括：
13.获取原始全景图像；
14.通过预设位姿估计方法对所述原始全景图像中的关键帧进行位姿估计，得到关键帧位姿；
15.通过预设拆分方式对所述原始全景图像进行拆分，得到多个拆分图像；
16.从所述多个拆分图像中提取各个局部特征点；
17.将所述多个拆分图像进行重组，得到目标全景图像；所述目标全景图像用于表征重组后的全景图像；
18.确定所述待定位图像的采集方式，并基于所述采集方式对所述目标全景图像进行拆分，得到所述采集方式对应的预设形式的图像；
19.将所述各个局部特征点分配至所述预设形式的图像中；
20.通过所述关键帧位姿和分配后的预设形式的图像，构建预设室内地图。
21.优选的，所述采集方式包括横屏采集方式和竖屏采集方式，所述基于所述采集方式对所述目标全景图像进行拆分，得到所述采集方式对应的预设形式的图像，包括：
22.当所述采集方式为所述横屏采集方式时，对所述目标全景图像进行拆分，得到所述横屏采集方式对应的横屏图像；
23.当所述采集方式为所述竖屏采集方式时，对所述目标全景图像进行拆分，得到所述竖屏采集方式对应的竖屏图像。
24.优选的，所述通过预先构建的预设室内地图对所述待定位图像进行定位，得到定位结果，包括：
25.从所述待定位图像提取出查询帧；
26.从所述待定位图像提取出特征向量；所述特征向量用于从预设图像库中得到预设候选关键帧集合；
27.将所述待定位图像的查询帧和所述候选关键帧集合的各个候选帧进行特征匹配，得到初始匹配结果；所述初始匹配结果为所述查询帧和所述各个候选帧进行特征匹配的结果；
28.通过预设筛除规则对所述初始匹配结果进行筛除，得到目标特征点；所述目标特征点为二维特征点；
29.将所述目标特征点与预设特征点进行匹配，得到目标匹配结果；所述预设特征点为预设特征库中的三维特征点；所述目标匹配结果用于对所述目标特征点与所述预设特征点相匹配所作出的提示；
30.通过预设算法对所述目标匹配结果进行计算，得到定位结果；所述定位结果用于指示所述待定位图像在所述预设室内地图中的位姿。
31.优选的，在所述通过预先构建的预设室内地图对所述待定位图像进行定位，得到定位结果之后，还包括：
32.将所述定位结果展示于预设设备中。
33.本技术第二方面公开了一种室内定位系统，所述系统包括：
34.获取单元，用于获取待定位图像，所述待定位图像在室内采集得到；
35.定位单元，用于通过预先构建的预设室内地图对所述待定位图像进行定位，得到定位结果；所述预设室内地图通过预先获取到的原始全景图像的关键帧位姿和局部特征点进行构建得到；所述原始全景图像为通过预设全景设备采集所述室内的全景图像；所述局部特征点从所述原始全景图像进行拆分后提取得到；所述定位结果用于表征所述待定位图像在所述预设室内地图中的位姿。
36.优选的，预设室内地图的构建过程的定位单元，包括：
37.获取模块，用于获取原始全景图像；
38.估计模块，用于通过预设位姿估计方法对所述原始全景图像中的关键帧进行位姿估计，得到关键帧位姿；
39.第一拆分模块，用于通过预设拆分方式对所述原始全景图像进行拆分，得到多个拆分图像；
40.第一提取模块，用于从所述多个拆分图像中提取各个局部特征点；
41.重组模块，用于将所述多个拆分图像进行重组，得到目标全景图像；所述目标全景图像用于表征重组后的全景图像；
42.第二拆分模块，用于确定所述待定位图像的采集方式，并基于所述采集方式对所述目标全景图像进行拆分，得到所述采集方式对应的预设形式的图像；
43.分配模块，用于将所述各个局部特征点分配至所述预设形式的图像中；
44.构建模块，用于通过所述关键帧位姿和分配后的预设形式的图像，构建预设室内地图。
45.优选的，所述第二拆分模块，包括：
46.第一拆分子模块，用于当所述采集方式为所述横屏采集方式时，对所述目标全景图像进行拆分，得到所述横屏采集方式对应的横屏图像；
47.第二拆分子模块，用于当所述采集方式为所述竖屏采集方式时，对所述目标全景图像进行拆分，得到所述竖屏采集方式对应的竖屏图像。
48.本技术第三方面公开了一种存储介质，其特征在于，所述存储介质包括存储的指令，其中，在所述指令运行时控制所述存储介质所在的设备执行如第一方面任意一项所述的室内定位方法。
49.本技术第四方面公开了一种电子设备，包括存储器，以及一个或者一个以上的指令，其中一个或者一个以上指令存储于存储器中，且经配置以由一个或者一个以上处理器执行如第一方面任意一项所述的室内定位方法。
50.经由上述技术方案可知，本技术公开了一种室内定位方法、系统、存储介质及电子设备，获取待定位图像，待定位图像在室内采集得到，通过预先构建的预设室内地图对待定位图像进行定位，得到定位结果，预设室内地图通过预先获取到的原始全景图像的关键帧位姿和局部特征点进行构建得到，原始全景图像为通过预设全景设备采集所述室内的全景图像，局部特征点从原始全景图像进行拆分后提取得到，定位结果用于表征待定位图像在所述预设室内地图中的位姿。通过上述方案，使用预设全景设备采集室内的全景图像，预设全景设备可以是全景相机等成本较低的设备，从而降低了在建图过程中采集室内图像方式的成本，且由于预设全景设备可拍摄360度范围的场景，提高采集室内图像的效率，也确保构建室内地图的全面性，避免构建的地图存在缺失现象。此外，通过对全景图像的不同拆分可模拟不同分辨率相机采集图像，从而根据实际使用需求构建出不同的地图，提高构建室内地图的灵活性。
附图说明
51.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据
提供的附图获得其他的附图。
52.图1为本技术实施例公开的一种室内定位方法的流程示意图；
53.图2为本技术实施例公开的原始全景图像的示意图；
54.图3为本技术实施例公开的对原始全景图像拆分示意图；
55.图4为本技术实施例公开的3sfm地图的示意图；
56.图5为本技术实施例公开的一种室内定位系统的结构示意图；
57.图6为本技术实施例公开的一种电子设备的结构示意图。
具体实施方式
58.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
59.在本技术中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
60.由背景技术可知，现有的建图过程中采集室内图像方式的成本高，采集效率低，且构建的地图会存在缺失现象。
61.为了解决上述问题，本技术实施例公开了一种室内定位方法、系统、存储介质及电子设备，使用预设全景设备采集室内的全景图像，预设全景设备可以是全景相机等成本较低的设备，从而降低了在建图过程中采集室内图像方式的成本，且由于预设全景设备可拍摄360度范围的场景，提高采集室内图像的效率，也确保构建室内地图的全面性，避免构建的地图存在缺失现象。此外，通过对全景图像的不同拆分可模拟不同分辨率相机采集图像，从而根据实际使用需求构建出不同的地图，提高构建室内地图的灵活性。具体实现方式通过下述实施例进行说明。
62.参考图1所示，为本技术实施例公开的一种室内定位方法的流程示意图，该室内定位方法主要包括如下步骤：
63.s101：获取待定位图像，待定位图像在室内采集得到。
64.在s101中，获取用户通过移动设备在室内采集到的待定位图像。
65.其中，移动设备可以是手机、平板电脑等。
66.s102：通过预先构建的预设室内地图对待定位图像进行定位，得到定位结果；预设室内地图通过预先获取到的原始全景图像的关键帧位姿和局部特征点进行构建得到；原始全景图像为通过预设全景设备采集室内的全景图像；局部特征点从原始全景图像进行拆分后提取得到；定位结果用于表征待定位图像在预设室内地图中的位姿。
67.为了形成二维与三维世界的关联，首先需要对室内地图进行三维构建，一般室内地图的三维构建方式主要通过运动恢复结构(structure from motion，sfm)的方式。
68.sfm是一种从可能带有本地运动信号结合的二维图像序列中预测三维结构的摄影
测量序列图像技术，可以从一个运动物体或场景投影的二维运动领域恢复三维结构的现象。
69.具体预设室内地图的构建过程如a1-a8所示。
70.a1：获取原始全景图像。
71.其中，在采集过程中，通过预设全景设备采集原始全景图像。
72.原始全景图像通过广角的表现手段以及绘画、相片、视频、三维模型等形式，尽可能多表现出周围的环境。具体原始全景图像可参考图2所示，图2示出了原始全局图像的示意图。
73.预设全景设备可以是全景相机，也可以是其他全景拍摄设备等。预设全局设备本技术不做具体限定。
74.a2：通过预设位姿估计方法对原始全景图像中的关键帧进行位姿估计，得到关键帧位姿。
75.其中，预设位姿估计方法可以是同步定位与建图(simultaneous localization and mapping，slam)，也可以是其他位姿估计方法。预设位姿估计方法的确定由技术人员根据实际情况进行设置，本技术不做具体限定。本技术的预设位姿估计方法优选slam方法。
76.本技术主要使用通过具有高可用性和可拓展性的可视化slam的框架openvslam方法，对原始全景图像中特征点进行跟踪，推算得到原始全景图像中的关键帧的位姿并记录。
77.a3：通过预设拆分方式对原始全景图像进行拆分，得到多个拆分图像。
78.其中，由于常用地图构建方案不接受全景图像，因此对原始全景图像进行拆分，这里可以根据建图场景的需求进行不同的拆分。
79.常用的预设拆分方式可以是天空盒拆分，也可以是其他形式的拆分。预设拆分方式由技术人员根据实际情况进行设置，本技术不做具体限定。本技术的预设拆分方式优选天空盒拆分。
80.通过天空盒拆分方式对原始全景图像进行拆分，可参考图3所示，图3示出了天空盒拆分方式对原始全景图像进行拆分的示意图。
81.a4：从多个拆分图像中提取各个局部特征点。
82.其中，局部特征点是图像特征的局部表达，它能反正图像上具有的局部特殊性，局部特征点适合于对图像进行匹配，检索等应用。
83.a5：将多个拆分图像进行重组，得到目标全景图像；目标全景图像用于表征重组后的全景图像。
84.a6：确定待定位图像的采集方式，并基于采集方式对目标全景图像进行拆分，得到采集方式对应的预设形式的图像。
85.其中，采集方式包括横屏采集方式和竖屏采集方式。
86.预设形式的图像包括横屏图像和竖屏图像。
87.当采集方式为横屏采集方式时，对目标全景图像进行拆分，得到横屏采集方式对应的横屏图像。
88.当采集方式为竖屏采集方式时，对目标全景图像进行拆分，得到竖屏采集方式对应的竖屏图像。
89.拆分成横屏图像或者竖屏图像，可以保证用户图片数据(待定位图像)的检索，譬
如采集图像为横屏采集，但用户使用时，如果竖屏拍摄，图像检索很可能无法准确检索到，导致位姿估计出现偏差。
90.a7：将各个局部特征点分配至预设形式的图像中。
91.a8：通过关键帧位姿和分配后的预设形式的图像，构建预设室内地图。
92.其中，预设室内地图可以是3sfm地图，也可以是其他形式的地图，预设室内地图的确定由技术人员根据实际情况进行设置，本技术不做具体限定。本技术的预设室内地图优选3sfm地图。
93.具体3sfm地图的结构，可参考图4所示，图4示出了3sfm地图的示意图。
94.图4中，p1(x，y)、p2(x，y)和p3(x，y)为二维特征点。
95.p1(x，y，z)、p2(x，y，z)和p3(x，y，z)为三维特征点。
96.c1、c2和c3为相机。
97.通过不同位姿的相机(c1、c2和c3)拍到同一个点，对该同一个点进行三角化，得到三维特征点具体的位置。例如，通过不同位姿的c1相机、c2相机和c3相机，均拍到p1、p1和p3得到其位置(p1(x，y)、p2(x，y)和p3(x，y))，得到p1、p1和p3在三维空间的位置，即p1(x，y，z)、p2(x，y，z)和p3(x，y，z)。
98.具体通过预先构建的预设室内地图对待定位图像进行定位，得到定位结果的过程如b1-b6所示。
99.b1：从待定位图像提取出查询帧。
100.其中，当接收到用户传输的待定位图像时，对待定位图像进行特征提取，查询帧。
101.b2：从待定位图像提取出特征向量；特征向量用于从预设图像库中得到预设候选关键帧集合。
102.其中，根据特征向量可以找到在采集图像库中和用户图片数据特征向量最为接近的候选关键帧集合。
103.b3：将待定位图像的查询帧和候选关键帧集合的各个候选帧进行特征匹配，得到初始匹配结果；初始匹配结果为查询帧和各个候选帧进行特征匹配的结果。
104.b4：通过预设筛除规则对初始匹配结果进行筛除，得到目标特征点；目标特征点为二维特征点。
105.其中，将候选关键帧集合中的每一个候选帧中与查询帧进行特征匹配，并利用最优和次优的比例对特征点进行筛除，得到目标特征点。
106.预设筛除规则可以是最优和次优的比例的规则，也可以是其他筛除规则。预设筛除规则由技术人员根据实际情况进行设置，本技术不做具体限定。
107.b5：将目标特征点与预设特征点进行匹配，得到目标匹配结果；预设特征点为预设特征库中的三维特征点；目标匹配结果用于对目标特征点与所述预设特征点相匹配所作出的提示。
108.其中，目标特征点为通过预设筛除规则筛除之后保留下来的二维特征点。
109.b6：通过预设算法对目标匹配结果进行计算，得到定位结果；定位结果用于指示待定位图像在预设室内地图中的位姿。
110.其中，预设算法可以是ransac算法 pnp算法，也可以是ransac算法等。预设算法由技术人员根据实际情况进行设置，本技术不做具体限定。本技术的预设算法优选ransac算
法 pnp算法。
111.通过ransac算法 pnp算法对目标匹配结果进行计算，得到待定位图像在预设室内地图中的位姿。
112.将定位结果展示于预设设备中。
113.其中，预设设备可以是手机设备、平板电脑等。预设设备本方案不做具体限定。
114.本技术实施例中，使用预设全景设备采集室内的全景图像，预设全景设备可以是全景相机等成本较低的设备，从而降低了在建图过程中采集室内图像方式的成本，且由于预设全景设备可拍摄360度范围的场景，提高了采集室内图像的效率，也确保了构建室内地图的全面性，避免构建的地图存在缺失现象。此外，通过对全景图像的不同拆分可模拟不同分辨率相机采集图像，从而根据实际使用需求构建出不同的地图，提高了构建室内地图的灵活性。
115.基于上述实施例图1公开的一种室内定位方法，本技术实施例还对应公开了一种室内定位系统，如图5所示，该室内定位系统主要包括获取单元501和定位单元502。
116.获取单元501，用于获取待定位图像，待定位图像在室内采集得到。
117.定位单元502，用于通过预先构建的预设室内地图对待定位图像进行定位，得到定位结果；预设室内地图通过预先获取到的原始全景图像的关键帧位姿和局部特征点进行构建得到；原始全景图像为通过预设全景设备采集室内的全景图像；局部特征点从原始全景图像进行拆分后提取得到；定位结果用于表征待定位图像在预设室内地图中的位姿。
118.进一步的，预设室内地图的构建过程的定位单元502包括获取模块、估计模块、第一拆分模块、第一提取模块、重组模块、第二拆分模块、分配模块和构建模块。
119.获取模块，用于获取原始全景图像。
120.估计模块，用于通过预设位姿估计方法对原始全景图像中的关键帧进行位姿估计，得到关键帧位姿。
121.第一拆分模块，用于通过预设拆分方式对原始全景图像进行拆分，得到多个拆分图像。
122.第一提取模块，用于从多个拆分图像中提取各个局部特征点。
123.重组模块，用于将多个拆分图像进行重组，得到目标全景图像；目标全景图像用于表征重组后的全景图像。
124.第二拆分模块，用于确定待定位图像的采集方式，并基于采集方式对目标全景图像进行拆分，得到采集方式对应的预设形式的图像。
125.分配模块，用于将各个局部特征点分配至预设形式的图像中。
126.构建模块，用于通过关键帧位姿和分配后的预设形式的图像，构建预设室内地图。
127.进一步的，第二拆分模块包括第一拆分子模块和第二拆分子模块。
128.第一拆分子模块，用于当采集方式为所述横屏采集方式时，对目标全景图像进行拆分，得到横屏采集方式对应的横屏图像。
129.第二拆分子模块，用于当采集方式为所述竖屏采集方式时，对目标全景图像进行拆分，得到竖屏采集方式对应的竖屏图像。
130.进一步的，定位单元502包括第二提取模块、第三提取模块、第一匹配模块、筛除模块、第二匹配模块和计算模块。
131.第二提取模块，用于从待定位图像提取出查询帧。
132.第三提取模块，用于从待定位图像提取出特征向量；特征向量用于从预设图像库中得到预设候选关键帧集合。
133.第一匹配模块，用于将待定位图像的查询帧和候选关键帧集合的各个候选帧进行特征匹配，得到初始匹配结果；初始匹配结果为查询帧和各个候选帧进行特征匹配的结果。
134.筛除模块，用于通过预设筛除规则对初始匹配结果进行筛除，得到目标特征点；目标特征点为二维特征点。
135.第二匹配模块，用于将目标特征点与预设特征点进行匹配，得到目标匹配结果；预设特征点为预设特征库中的三维特征点；目标匹配结果用于对目标特征点与预设特征点相匹配所作出的提示。
136.计算模块，用于通过预设算法对目标匹配结果进行计算，得到定位结果；定位结果用于指示待定位图像在预设室内地图中的位姿。
137.进一步的，室内定位系统还包括展示单元。
138.展示单元，用于将定位结果展示于预设设备中。
139.本技术实施例中，使用预设全景设备采集室内的全景图像，预设全景设备可以是全景相机等成本较低的设备，从而降低了在建图过程中采集室内图像方式的成本，且由于预设全景设备可拍摄360度范围的场景，提高了采集室内图像的效率，也确保了构建室内地图的全面性，避免构建的地图存在缺失现象。此外，通过对全景图像的不同拆分可模拟不同分辨率相机采集图像，从而根据实际使用需求构建出不同的地图，提高了构建室内地图的灵活性。
140.本技术实施例还提供了一种存储介质，存储介质包括存储的指令，其中，在指令运行时控制存储介质所在的设备执行上述室内定位方法。
141.本技术实施例还提供了一种电子设备，其结构示意图如图6所示，具体包括存储器601，以及一个或者一个以上的指令602，其中一个或者一个以上指令602存储于存储器601中，且经配置以由一个或者一个以上处理器603执行所述一个或者一个以上指令602执行上述室内定位方法。
142.上述各个实施例的具体实施过程及其衍生方式，均在本技术的保护范围之内。
143.本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统或系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的系统及系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
144.专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业
技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本技术的范围。
145.对所公开的实施例的上述说明，使本领域技术人员能够实现或使用本技术。对这些实施例的多种修改对本领域技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本技术的精神或范围的情况下，在其它实施例中实现。因此，本技术将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
146.以上所述仅是本技术的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本技术原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本技术的保护范围。