基于建筑平面图先验信息的视觉室内定位方法及系统

1.本发明方法涉及室内定位技术领域，更具体的涉及一种基于建筑平面图先验信息的视觉室内定位方法及系统。


背景技术：

2.室内定位问题一直是许多现实应用的基础问题，例如ar看房、室内导航、现场家具布局设计、建筑信息系统、移动机器人等应用。目前室内定位主要有两类技术方案，一类是基于外部信标实现的技术，如超宽带无线通信技术定位(uwb)、蓝牙、定位二维码等，但此类技术依赖于预先对定位场景布置相关信标，另一类则是基于同步定位与建图(simultaneous localization and mapping,slam)技术实现室内定位，该技术可利用激光雷达、摄像头等传感器实现设备自身的定位而无需外部信标，因此具有较为广泛的应用价值。视觉slam技术具有观测信息丰富、快速适应环境变化、较快的重定位速度等诸多优点，成为了slam研究领域中的重要研究方向。然而传统视觉slam技术中，定位与建图是两个相互耦合、同时进行的过程——定位依赖于建图过程提供的路标(landmark)信息，而建立地图则需要先确定自身当前的位置才能确定观测到的路标位置，且地图坐标系仅与初始位置有关，若设备需要在定位的一开始了解到自身在建筑体环境中的具体位置，那么就需要引入先验的建筑体结构信息。
3.建筑平面图就是一种可以直观、方便的表达建筑体结构信息的一种先验数据，建筑平面图可将建筑空间中的相关实体例如门、窗户、墙壁等，抽象成二维的表现形式并保留一定的空间结构关系，这些建筑平面图通常由人工精细绘制，具有较高的精度和丰富的静态结构信息。发明人认为，将设备当前观测到的视觉信息与建筑平面图进行配准，估计位置参数，那么即可实现设备在未完全探索建筑体的情况下估计自身在建筑体的位置，从而提高室内定位相关应用对未知室内环境的适应性、以及应用使用上的便利性。


技术实现要素：

4.为了解决现有技术的不足，本发明提供一种基于建筑平面图先验信息的视觉室内定位方法及系统，用于至少解决背景技术中的一个技术问题。
5.本发明所采用的技术方案是：
6.一种基于建筑平面图先验信息的视觉室内定位方法，包括：
7.根据待配准建筑平面图的图像数据，获取真实尺寸的建筑平面图点集；
8.构建三维路标点集，并对所述三维路标点集与所述建筑平面图点集进行降采样，得到降采样后的三维路标点集与降采样后的建筑平面图点集；
9.分别提取所述降采样后的三维路标点集与所述降采样后的建筑平面图点集的k近邻距离直方图n维特征向量后，获取所述降采样后的三维路标点集中任一点对应的三维路标输入张量以及所述降采样后的建筑平面图点集中任一点的平面图点集输入张量；
10.提取所述三维路标输入张量的三维路标特征向量，以及所述平面图点集输入张量
的平面图点集特征向量，并将所述三维路标特征向量与所述平面图点集特征向量进行匹配，得到所述建筑平面图点集中的任一点到所述三维路标点集对应点的匹配矩阵；
11.根据所述匹配矩阵，获取所述三维路标点集到所述建筑平面图点集的刚体变换r，t，其中r为旋转矩阵，t为平移向量；
12.采用自监督训练的方法进行端到端深度学习，得到用于室内定位的模型。
13.所述“根据待配准建筑平面图的图像数据，获取真实尺寸的建筑平面图点集”，包括：
14.取待配准建筑平面图的墙壁图层图像数据；
15.提取所述墙壁图层图像的边缘；
16.将所有所述边缘上的点的像素坐标作为待配准建筑平面图点集，并按照所述待配准建筑平面图的比例尺信息，将所述待配准建筑平面图点集转换成真实尺寸的建筑平面图点集。
17.所述“提取所述降采样后的三维路标点集与所述降采样后的建筑平面图点集的k近邻距离直方图n维特征向量”的过程，包括：
18.查询与所述降采样后的三维路标点集与所述降采样后的建筑平面图点集中的任一点欧氏距离最近的k个点，按距离由近到远排序各点欧氏距离值；
19.在0到最大距离值之间划分m个区间，计算落入各个区间点的数量；
20.各个区间的点数量除以k，得到各区间点出现的频率，从而构成一个频率直方图，即所述k近邻距离直方图，由n维向量表示。
21.所述“获取所述降采样后的三维路标点集中任一点对应的三维路标输入张量以及所述降采样后的建筑平面图点集中任一点的平面图点集输入张量”的过程，包括：
22.将所述k近邻距离直方图n维特征向量与所述降采样后的三维路标点集中各点对应的三维坐标向量拼接，得到所述三维路标输入张量；
23.将所述k近邻距离直方图n维特征向量与所述降采样后的建筑平面图点集中各点对应的三维坐标向量拼接，得到所述平面图点集输入张量。
24.所述“提取所述三维路标输入张量的三维路标特征向量，以及所述平面图点集输入张量的平面图点集特征向量，并将所述三维路标特征向量与所述平面图点集特征向量进行匹配”的具体步骤，包括：
25.所述三维路标输入张量以及所述平面图点集输入张量经过动态图卷积神经网络进行特征提取，输出包含各点特征向量组成的矩阵；
26.通过点集构成一个完全多重图，该图包含点集内边和点集间边，其中点集内边连接了点云各自的所有顶点，而点集间边连接了点集中某一点与另一点集的所有的顶点；
27.所述完全多重图输入至多层图注意力网络实现特征聚合；
28.通过所述特征聚合得到三维路标张量和平面图点集张量，经过内积计算后，得到传输代价矩阵；
29.通过sinkhorn最优传输算法获得所述匹配矩阵。
30.所述“根据所述匹配矩阵，获取所述三维路标点集到所述建筑平面图点集的刚体变换r，t，其中r为旋转矩阵，t为平移向量”的具体步骤，包括：
31.将所述匹配矩阵pn×m，通过下式生成一个软映射矩阵y'f：
32.y'＝(yn×3)
t
·
pn×m；
33.式中，yn×3为建筑平面图点集构成的矩阵；
34.将该软映射矩阵代入下式所示的icp目标函数中,采用奇异值分解的方法，计算刚体变换r,t；
[0035][0036]
式中，xi为三维路标点集各点，y'
(xi)
为xi匹配的对应点，n为xi数量，r
*
,t
*
为刚体变换r,t的最终结果。
[0037]
所述“采用自监督训练的方法进行端到端深度学习，得到用于室内定位的模型”的具体步骤，包括：
[0038]
取一定范围内的随机高度，对建筑平面图表示墙面的部分垂直生成一定数量的点，形成一个与建筑平面图对应的三维点云；
[0039]
对生成的所述三维点云进行裁切和/或随机旋转和/或平移和/或添加噪声点，实现数据增强；
[0040]
采用以下损失函数训练深度学习模型各部分参数：
[0041]
loss＝||r
trg-i||2 ||t-tg|| λ||θ||2；
[0042]
其中，rg、tg分别为数据集中建筑平面图点集到orb-slam路标点集的旋转矩阵和平移向量的真实值，i为单位矩阵，λ||θ||2为l2正则项，θ为模型参数。
[0043]
一种基于建筑平面图先验信息的视觉室内定位系统，包括：
[0044]
采集模块，与外界采集装置连接，用于采集待配准建筑平面图的图像数据；
[0045]
处理单元，与所述采集模块连接，用于获得待配准建筑平面图的图像数据并根据所述用于室内定位的模型对所述待配准建筑平面图进行识别，进行室内定位；
[0046]
显示模块，与所述处理单元连接，用于显示室内定位的信息。
[0047]
一种基于建筑平面图先验信息的视觉室内定位电子装置，包括：
[0048]
存储介质，用于存储计算机程序；
[0049]
处理单元，与所述存储介质进行数据交换，用于在进行室内定位时，通过所述处理单元执行所述计算机程序，进行如上所述的视觉室内定位方法的步骤。
[0050]
一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序；
[0051]
所述计算机程序在运行时，执行如上所述的视觉室内定位方法的步骤。
[0052]
本发明的有益效果是：
[0053]
本发明提供一种基于建筑平面图先验信息的视觉室内定位方法，涉及一个端到端的深度学习模型，该模型创新性的引入k近邻距离直方图、点云特征提取网络、图注意力网络、最优传输算法和自监督的训练方法，使得模型的具有较强的鲁棒性和适应性，且模型参数较小、易于训练和部署；本发明所述的方法能够在并未完全探索建筑体的情况下，仅仅根据建筑平面图即可估计设备在建筑体的位置。
[0054]
本发明所述的系统，利用处理单元与存储模块之间进行数据交换，将采集到的建筑平面图数据进行识别，能够自估计设备自身在建筑体的位置。
附图说明
[0055]
图1本发明所述方法流程示意图；
[0056]
图2配准结果示意图；
[0057]
图3(a)、图3(b)为k近邻距离直方图构建方法示意图；
[0058]
图4特征提取与特征匹配模型示意图；
[0059]
图5自监督训练中虚拟三维路标点集生成示意图；
[0060]
图6为本发明所述系统的系统框图。
具体实施方式
[0061]
下面结合附图对本发明进行进一步的说明。
[0062]
本发明目的在于克服目前传统视觉slam定位与建图耦合关系，在此基础上实现引入建筑平面图先验信息实现视觉室内定位功能，充分利用建筑平面图所带来的先验信息，基于特征匹配的思路，设计了一套端到端建筑平面图到三维路标点集配准的深度学习模型；提升室内定位设备的应用灵活性、便利性、扩展室内定位的应用场景，在定位系统初始条件下获得自身相对建筑体的位姿。
[0063]
本发明提供一种实施例：
[0064]
如图1所示，一种基于建筑平面图先验信息的视觉室内定位方法，包括以下步骤：
[0065]
s1：建筑平面图预处理：取待配准建筑平面图的墙壁图层图像数据，经canny边缘检测算法提取该图像的边缘，取所有边缘点像素坐标作为建筑平面图点集，按照建筑平面图比例尺信息转换成真实尺寸的建筑平面图点集；
[0066]
s2：数据降采样：将orb-slam系统所构建的三维路标点集与建筑平面图点集采用体素滤波和均匀抽样进行降采样；
[0067]
s3：输入张量构建：分别提取降采样后三维路标点集与建筑平面图点集的k近邻距离直方图n维特征向量，将该特征向量与点集各点三维坐标向量拼接，形成每个点都由(n 3)维向量描述的输入张量；
[0068]
s4：特征提取与特征匹配：采用动态图卷积神经网络(dynamic graph convolutional neural network,dgcnn)特征提取网络分别对三维路标点集和建筑平面图点集对应的输入张量提取特征，然后采用图注意力网络(graph attention network,gat)和sinkhorn最优传输的方法，对特征向量进行匹配，得到建筑平面图点集各点到三维路标点集各点的匹配矩阵，该匹配矩阵描述各点之间的匹配程度；
[0069]
s5：配准与位姿计算：引入对应关系迭代最近点(correspondence-icp)算法，根据对应关系匹配结果进行软配准，计算路标点集到建筑平面图的刚体变换r，t，即设备相对建筑体位姿，其中r为旋转矩阵，t为平移向量；
[0070]
s6：模型训练：采用自监督训练的方法，对s3,s4,s5所述过程构成的端到端深度学习模型参数进行训练。
[0071]
在具体实施过程中，主要利用的是orb-slam所构建的局部环境路标点集与建筑平面图所共同表示的几何特征，结合特征匹配的思路，将定位问题转换成建筑平面图与路标点集的配准问题；步骤s3、s4、s5所述的输入张量构建、特征提取与特征匹配、配准与位姿计算三个过程构成了一个端到端路标点集与建筑平面图配准深度学习网络，该网络可快速、
鲁棒的实现根据局部环境路标点集和建筑平面图特征计算刚体变换r，t，从而实现室内定位功能，其中图2是配准效果示例，右侧路标点集经本发明实施过程后，实现图左侧所示的，路标点集与建筑平面图对齐的效果；
[0072]
更具体的，在上述实施例的基础上，对上述实施例中的每个步骤进行进一步的阐述：
[0073]
更具体的，所述步骤s1包括以下步骤：
[0074]
s11：提取建筑平面图cad文件中墙壁的图层转换成图像数据。
[0075]
s12：采用canny边缘检测算法提取建筑平面图图像的墙壁边缘部分。
[0076]
s13：取所有边缘点像素坐标作为建筑平面图点集。
[0077]
s14：按照建筑平面图比例尺信息转换成真实尺寸的建筑平面图点集。
[0078]
具体实施过程中，将建筑平面图转换成和现实相同尺度的点集信息，可较好的利用其几何关系特征，是定位问题转换成点云配准问题的重要一步；
[0079]
如图3(a)和图3(b)所示，步骤s3所述的k近邻距离直方图构建方法包括以下步骤：
[0080]
s31：查询点集中每个点与其欧氏距离最近的k个点，按距离由近到远排序各点欧氏距离值；
[0081]
s32：在0到最大距离值之间划分m个区间，计算落入各个区间点的数量；
[0082]
s33：各个区间的点数量除以k，得到各区间点出现的频率，从而构成一个频率直方图，即s3所述k近邻距离直方图，可由m维向量表示；
[0083]
在具体实施过程中，k近邻距离直方图的引入主要在于提取点集局部几何结构具备不变性的特征，而距离分布是一种常见的具备刚体变换不变性的特征，这里采用频率直方图的方法表示该特征，有效的提升了模型的配准精度和鲁棒性；
[0084]
如图4所示，步骤s4所述特征提取与特征匹配过程包括以下步骤：
[0085]
s41：输入张量经过动态图卷积神经网络(dgcnn)特征提取，输出包含各点特征向量组成的矩阵；
[0086]
s42：点集可构成一个完全多重图，该图包含点集内边和点集间边，其中点集内边连接了点云各自的所有顶点，而点集间边连接了点集中某一点与另一点集的所有的顶点；
[0087]
s43：完全多重图输入至多层图注意力网络实现特征聚合；
[0088]
s44：特征聚合结果得到两个张量，经过内积计算后，得到传输代价矩阵c；
[0089]
s45：sinkhorn最优传输算法计算点集匹配矩阵pn×m。
[0090]
在具体实施过程中，dgcnn将原始特征抽象后，提取了输入张量中的关键特征，将点集中各点构造成完全多重图结构，将其对应的关键特征输入多层图注意力网络实现特征聚合，得到聚合后的一对张量，经过内积计算可得代价矩阵，其用来衡量点与点之间的匹配代价。sinkhorn最优传输算法根据匹配代价，求解出最优匹配，其用一个匹配矩阵p表示；
[0091]
步骤s5所述对应关系迭代最近点算法过程包括以下步骤：
[0092]
s51：由s44得到的匹配矩阵pn×m，通过式(1)生成一个软映射矩阵y'f：
[0093]
y'＝(yn×3)
t
·
pn×mꢀꢀ
(1)
[0094]
式中，yn×3为建筑平面图点集构成的矩阵；
[0095]
s52：将该软映射矩阵代入式(2)所示的icp目标函数中,采用奇异值分解(singular value decomposition，svd)的方法，计算刚体变换r,t；
[0096][0097]
式中，xi为三维路标点集各点，y'
(xi)
为xi匹配的对应点，n为xi数量，r
*
,t
*
为刚体变换r,t的最终结果；
[0098]
在具体实施过程中，采用软配准和奇异值分解的对应关系迭代最近点算法使得配准过程可微，易于实现模型的端到端训练，具有较快的配准速度和精度；
[0099]
步骤s6所述深度学习模型的自监督训练方法包括以下步骤：
[0100]
s61:如图5所示，取一定范围内的随机高度，对建筑平面图表示墙面的部分垂直生成一定数量的点，形成一个与建筑平面图对应的三维点云；
[0101]
s62：对所生成的三维点云进行一定裁切、随机旋转、平移、添加噪声点，实现数据增强；
[0102]
s63:采用以下损失函数训练s4所描述的深度学习模型各部分参数：
[0103]
loss＝||r
trg-i||2 ||t-tg|| λ||θ||2ꢀꢀꢀꢀꢀꢀ
(3)
[0104]
其中，rg、tg分别为数据集中建筑平面图点集到orb-slam路标点集的旋转矩阵和平移向量的真实值，i为单位矩阵，λ||θ||2为l2正则项，θ为模型参数。
[0105]
在具体实施过程中，引入了自监督的训练方法，仅需提供建筑平面图的数据集即可实现网络的训练，从而降低数据获取成本，由于采用s62所述数据增强方法，所训练的模型能够很好的适应真实场景。
[0106]
本发明还提供一种实施例：
[0107]
如图6，一种基于建筑平面图先验信息的视觉室内定位系统，包括：采集模块100、处理单元200以及显示模块300；其中，采集模块100与外界采集装置，如相机，连接，采集待配准建筑平面图的图像数据；处理单元200与所述采集模块100连接，获取待配准建筑平面图的图像数据并根据所述用于室内定位的模型对所述待配准建筑平面图进行识别，进行室内定位；显示模块300与所述处理单元200连接，显示室内定位的信息；所述的采集模块100可以是手机、相机或其他摄像设备；如通过电脑绘制的待配准建筑平面图的图像数据，可以直接与处理单元200进行数据交互；所述的处理单元200可以是电脑、平板或其他智能设备；显示模块300可以是手机或显示器等显示设备。
[0108]
本发明还提供一种实施例：
[0109]
一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行如上所示的方法的程序代码。该计算机程序可以从网络上被下载和安装。在该计算机程序被cpu执行时，执行本发明的系统中限定的上述功能。
[0110]
本发明还提供一种实施例：
[0111]
一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序；所述计算机程序在运行时，执行如上所述的视觉室内定位方法的步骤。
[0112]
在本发明中，计算机可读的存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号
或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、rf等等，或者上述的任意合适的组合。
[0113]
以上公开的仅为本发明的几个具体实施场景，但是，本发明并非局限于此，任何本领域的技术人员能思之的变化都应落入本发明的保护范围。