点线面特征融合的回环检测方法、装置、设备和存储介质

1.本发明涉及图像识别技术领域，特别是点线面特征融合的回环检测方法、装置、设备和存储介质。


背景技术：

2.在自动驾驶、无人驾驶、自主移动机器人等领域中，建图与定位技术是关键技术之一，而回环检测在建图与定位技术中重要的一步。比如视觉定位系统中orb-slam中就运用了回环技术。在视觉定位系统中，回环检测时可有效的提升视觉建图和定位的效果，减少数据漂移和偏差，但若是回环出现了问题，将导致更大的误差。
3.现有的回环检测方案中主要时通过词袋模型进行回环检测，词袋模型中主要是针对点特征、线特征或者是点线特征。特别是在室内进行视觉定位时，由于室内小场景下图像采集位置受限，点特征、线特征或者是点线特征的获取受阻，从而影响检测的技术精度，最终影响定位和建图的效果。


技术实现要素：

4.针对上述缺陷，本发明的目的在于提出点线面特征融合的回环检测方法、装置、设备和存储介质，能够对室内弱纹理等情况可有效的进行回环，为后续的后端优化提供更准确的信息，从而提高整个orb-slam定位精度。
5.为达此目的，本发明采用以下技术方案：点线面特征融合的回环检测方法，包括以下步骤：
6.步骤s1：对大量图片进行训练，获取图片中的角点的brief描述子和线特征lbd描述子，构建词袋模型，其中词袋模型包括点特征词袋模型与线特征词袋模型；
7.步骤s2：在回环检测中，获取当前帧与所有参考帧在词袋模型中的综合相似度，获取第一参考帧的数量，其中第一参考帧为综合相似度满足相似度阈值的参考帧，判断第一参考帧数量是否满足数量阈值，若满足则执行步骤s3；
8.步骤s3：对第一参考帧和当前帧的进行点特征的提取orb特征点，计算每个fast角点的旋转角度，统计旋转角度，获取数量最多的旋转角度作为图片的旋转角度φi；
9.步骤s4：对第一参考帧和当前帧的进行旋转，其旋转角度为φi，获取lbd描述子；
10.对当前帧和n个第一参考帧进行线特征的匹配，获取线特征；
11.获取的线特征进入角度过滤器进行过滤；
12.步骤s5：采用深度图构建平面参数空间，将笛卡尔空间上的点映射到平面参数空间获取当前帧和n个第一参考帧的面特征；
13.步骤s6：对面特征与线特征进行关联构建，获取得到平面-直线关联图；
14.步骤s7：对平面-直线关联图进行特征匹配，获取综合得分最高的第一参考帧作为成功回环的帧。
15.优选的，所述步骤s1中构建词袋模型的具体方法如下：
16.步骤s11：在大量图片样本中随机选取n个点；
17.步骤s12：分别计算每一种特征与n个点的欧式距离，并选取欧式距离最小的点作为该种特征的类；
18.步骤s13：收集该特征的所有的类，获取该特征所有的类的均值位置作为该类的中心点；
19.步骤s14：重复步骤s12～13，获取所有特征的类以及该类的中心点；
20.步骤s15：设置节点权重，计算所有类的直径权重w
distance
以及所有类的直径d
distance
；
21.步骤s16：构建k-d树，其中k取n，d取8，构建出词袋模型；
22.其中步骤s15中类的直径权重w
distance
与直径d
distance
的计算方法如下：
23.在每个类中选取出选择权重值最大的前四个节点w1，w2，w3和w4，4个节点的权重值分别：η1，η2，η3以及η4，4个节点的在图像上对应的像素坐标分别为：(x1,y1)，(x2,y2)，(x3,y3)以及(x4,y4)；
24.其中
[0025][0026]
其中词袋模型的组合为：
[0027]
bag-of-words＝(w1,η1),(w2,η2),.....(wn,ηn),(w
distance
,d
distance
)，其中wn为第n个节点，其中ηn＝idfn*tfn，idfi为第n个节点的逆文本频率指数，tfn为第n个节点词频。
[0028]
优选的，所述步骤s2中，获取当前帧与所有参考帧在词袋模型中的相似度的具体方法如下：使用l1范数分别计算当前帧与参考帧之间点特征、线特征相似性分数，其中点特征的相似度计算公式如下：
[0029][0029]
和分别表示当前帧与参考帧的点特征的词袋向量；
[0030]
线特征的相似度计算如下：
[0031][0031]
和分别表示当前帧与参考帧的线特征的词袋向量；
[0032]
其中综合相似度的计算公式如下：
[0033]
s＝γs
l
(1-γ)s
p
，其中γ为设置的线特征所占的权重。
[0034]
优选的，所述步骤s3中：
[0035]
统计旋转角度，获取数量最多的旋转角度作为图片的旋转角φi的具体步骤如下：以10度为一个区间，统计出旋转角度数量最多的角度以及该角度落在的区间，选取该区间的中间角度书作为图片的旋转角度φi。
[0036]
优选的，所述步骤s4中的角度过滤器过滤方法如下：
[0037]
步骤s41：计算当前帧的线特征以及第一参考帧的线特征相对于图片的坐标原点之间的角度。
[0038]
步骤s42：将360度平均划分为36份，并编号1-36号，第一参考帧的线特征和当前帧
的线特征相对于图片的坐标原点之间的夹角角度匹配到对应的编号中；
[0039]
步骤s43：统计第一参考帧中存在有最多线特征的编号，并标记为筛选编号，剔除当前帧中非筛选标号的线特征。
[0040]
优选的，步骤s5的具体步骤如下：
[0041]
步骤s51：将笛卡尔空间上的点映射到平面参数空间，其中映射的公式如下：
[0042][0043]
其中为平面参数空间的三个轴，(n
x
,ny,nz)为笛卡尔空间下平面法向量，d为相机坐标系原点到平面的距离；
[0044]
步骤s52：使用基于sting的平面提取算法对第一参考帧与当前帧的深度图进行平面特征提取，提取的的平面可表示为π＝[n
t
,d]
t
，其中表示平面的单位法向量。
[0045]
优选的，所述步骤s6中平面-直线关联图的关联包括平面及平面之间的边的几何关系和平面及直线之间的几何关系，其中关系具体如下：
[0046]
平面及平面之间的边的几何关系如下：
[0047][0048]
其中
[0049]
表示两个平面法向量之间的夹角；
[0050][0051]
其中ω表示两平面是否平行，表示i，j两平面法向量之间的夹角，ni表示i平面的法向量，nj表示j平面的法向量，表示i，j两平面之间的距离，di为相机坐标系原点到i平面的距离，dj为相机坐标系原点到j平面的距离；
[0052]
平面及平面之间的边的几何关系如下：
[0053][0054]
其中
[0055]
表示直线vi与平面法向量nj之间的夹角；
[0056]
其中i表示直线和平面的
平行关系，表示直线vi与j平面的距离。
[0057]
点线面特征融合的回环检测装置，使用上述点线面特征融合的回环检测方法，其特征在于，包括训练模块、选择模块、旋转角度提取模块、线特征过滤模块、面特征提取模块、平面-直线关联模块以及匹配模块；
[0058]
所述训练模块用于对大量图片进行训练，获取图片中的角点的brief描述子和线特征lbd描述子，构建词袋模型；
[0059]
所述选择模块用于在回环检测中，获取当前帧与所有参考帧在词袋模型中的综合相似度，获取第一参考帧的数量，其中第一参考帧为综合相似度满足相似度阈值的参考帧数，判断第一参考帧数量是否满足数量阈值；
[0060]
所述旋转角度提取模块用于对第一参考帧和当前帧的进行点特征的提取orb特征点，计算每个fast角点的旋转角度，统计旋转角度，获取数量最多的旋转角度作为图片的旋转角φi；
[0061]
线特征过滤模块用于对第一参考帧和当前帧的进行旋转，其旋转角度为φi，获取lbd描述子；
[0062]
对当前帧和n个第一参考帧进行线特征的匹配，获取线特征；
[0063]
获取的线特征进入角度过滤器进行过滤；
[0064]
面特征提取模块用于采用深度图构建平面参数空间，将笛卡尔空间上的点映射到平面参数空间获取当前帧和n个第一参考帧的面特征；
[0065]
平面-直线关联模块用于对面特征与线特征进行关联构建，获取得到平面-直线关联图；
[0066]
匹配模块用于对平面-直线关联图进行特征匹配，获取综合得分最高的参考帧作为成功回环的帧。
[0067]
一种设备，包括存储器及处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器实现上述点线面特征融合的回环检测方法。
[0068]
一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述点线面特征融合的回环检测方法。
[0069]
上述技术方案中的一个技术方案具有如下优点或有益效果：
[0070]
1.本发明针对室内环境中，通过点线面等多种特征，提高了回环的稳定性以及鲁棒性。可克服uwb等室内定位系统不稳定的情况。
[0071]
2.本发明相比于原始的词袋模型中有误差的情况，本文采用了改进型的词袋模型，针对室内环境，构建点特征词袋模型和线特征词袋模型提高匹配的准确率以及精度。
附图说明
[0072]
图1是本发明的一个实施例中方法的流程。
[0073]
图2是本发明的一个实施例中装置的结构示意图。
具体实施方式
[0074]
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附
图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
[0075]
在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
[0076]
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。
[0077]
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
[0078]
如图1～2所示，点线面特征融合的回环检测方法，包括以下步骤：
[0079]
步骤s1：对大量图片进行训练，获取图片中的角点的brief描述子和线特征lbd描述子，构建词袋模型，其中词袋模型包括点特征词袋模型与线特征词袋模型；
[0080]
其中可通过角点的brief描述子和线特征lbd描述子分别构建点特征词袋模型与线特征词袋模型；
[0081]
步骤s2：在回环检测中，获取当前帧与所有参考帧在词袋模型中的综合相似度，获取第一参考帧的数量，其中第一参考帧为综合相似度满足相似度阈值的参考帧，判断第一参考帧数量是否满足数量阈值，若满足则执行步骤s3；
[0082]
在本技术的一个实施例中数量阈值为10，当第一参考帧的数量满足数量阈值时，说明在回环时能够有足够的数据进行支撑，能够有效的进行回环。
[0083]
步骤s3：对第一参考帧和当前帧的进行点特征的提取orb特征点，计算每个fast角点的旋转角度，统计旋转角度，获取数量最多的旋转角度作为图片的旋转角度φi；
[0084]
步骤s4：对第一参考帧和当前帧的进行旋转，其旋转角度为φi，获取lbd描述子；
[0085]
在本技术中还会对第一参考帧和当前帧的进行旋转处理，其目的是为了满足图像匹配中的旋转不变性，提高第一参考帧和当前帧匹配的成功率。
[0086]
对当前帧和n个第一参考帧进行线特征的匹配，获取线特征；
[0087]
获取线特征的方法为将第一参考帧的图像以及当前帧的图像放入至线特征词袋模型内，所述线特征词袋模型就会获取图像中的线特征。
[0088]
获取的线特征进入角度过滤器进行过滤；
[0089]
步骤s5：采用深度图构建平面参数空间，将笛卡尔空间上的点映射到平面参数空间获取当前帧和n个第一参考帧的面特征；
[0090]
步骤s6：对面特征与线特征进行关联构建，获取得到平面-直线关联图；
[0091]
步骤s7：对平面-直线关联图进行特征匹配，获取综合得分最高的第一参考帧作为成功回环的帧。
[0092]
其中综合得分为平面相似度与直线相似度之和，其中平面相似度计算的理论公式
为：直线相似度的计算的理论公式为：其中o
πfh
表示平面在平面参数空间坐标的邻域空间ω中，n
qπfh
表示o
πfh
中平面对数目，o
πfh
∈o
π
且其中表示第一参考帧平面和当前帧平面的颜色匹配结果。e
πcfπca
表示平面和平面的边，表示平面和平面的边，e
lcjπc
和表示直线与属于o
π
平面之间的关联结果。
[0093]
在本技术中，先通过词袋模型获取参考帧与当前帧的线特征与点特征，参考帧与当前帧的线特征和点特征进行一个相似度的匹配，获取综合相似度满足相似度阈值的第一参考帧，并获取第一参考帧的数量，判断其是否满足数量阈值，只有满足数量阈值后才会选择回环所采用的第一参考帧。随后本技术的方法还利用了点特征的旋转角度，通过统计，获得图片的旋转角度φi，对第一参考帧与当前帧的图像进行旋转，在提高了图片旋转不变性的同时也提升了回环的鲁棒性。随后获取第一参考帧与当前帧的线特征，获取后的线特征会经过角度过滤器进行筛选，减少误匹配线特征的数量，有效的提高了线特征的匹配的精确度。最后构建平面-直线关联图，通过平面-直线关联图获取到两个图像(即第一参考帧与当前帧)之间直线与平面之间的关系值，在通过该关系值计算特征的综合得分，将综合得分最高的第一参考帧作为成功回环的帧。本发明针对室内环境中，通过点线面等多种特征，提高了回环的稳定性以及鲁棒性。可克服uwb等室内定位系统不稳定的情况。
[0094]
优选的，所述步骤s1中构建词袋模型的具体方法如下：
[0095]
步骤s11：在大量图片样本中随机选取n个点；
[0096]
步骤s12：分别计算每一种特征与n个点的欧式距离，并选取欧式距离最小的点作为该种特征的类；
[0097]
步骤s13：收集该特征的所有的类，获取该特征所有的类的均值位置作为该类的中心点；
[0098]
步骤s14：重复步骤s12～13，获取所有特征的类以及该类的中心点；
[0099]
步骤s15：设置节点权重，计算所有类的直径权重w
distance
以及所有类的直径d
distance
；
[0100]
步骤s16：构建k-d树，其中k取n，d取8，构建出词袋模型；
[0101]
其中步骤s15中类的直径权重w
distance
与直径d
distance
的计算方法如下：
[0102]
在每个类中选取出选择权重值最大的前四个节点w1，w2，w3和w4，4个节点的权重值分别：η1，η2，η3以及η4，4个节点的在图像上对应的像素坐标分别为：(x1,y1)，(x2,y2)，(x3,y3)以及(x4,y4)；
[0103]
其中
[0104]
[0105]
其中词袋模型的组合为：
[0106]
bag-of-words＝(w1,η1),(w2,η2),.....(wn,ηn),(w
distance
,d
distance
)，其中wn为第n个节点，其中ηn＝idfn*tfn，idfi为第n个节点的逆文本频率指数，tfn为第n个节点词频。
[0107]
其中构建词袋模型过程为词袋模型的训练过程，在当训练的词袋模型为点特征词袋模型，此时步骤s12～步骤s13中的特征为点特征，在当训练的词袋模型为线特征词袋模型，此时步骤s12～步骤s13中的特征对应为线特征。本技术中对词袋模型进行了改进在原本词袋模型的基础上增加了直径权重的要素，提高了比对的精度。
[0108]
优选的，所述步骤s2中，获取当前帧与所有参考帧在词袋模型中的相似度的具体方法如下：使用l1范数分别计算当前帧与参考帧之间点特征、线特征相似性分数，其中点特征的相似度计算公式如下：
[0109][0109]
和分别表示当前帧与参考帧的点特征的词袋向量；
[0110]
线特征的相似度计算如下：
[0111][0111]
和分别表示当前帧与参考帧的线特征的词袋向量；
[0112]
其中综合相似度的计算公式如下：
[0113]
s＝γs
l
(1-γ)s
p
，其中γ为设置的线特征所占的权重。
[0114]
优选的，所述步骤s3中：
[0115]
统计旋转角度，获取数量最多的旋转角度作为图片的旋转角φi的具体步骤如下：以10度为一个区间，统计出旋转角度数量最多的角度以及该角度落在的区间，选取该区间的中间角度书作为图片的旋转角度φi。
[0116]
例如[50-60]这个区间的数量最多，那么该图片的旋转角度就为55度。设获得的图片的旋转角度为φi。
[0117]
优选的，所述步骤s4中的角度过滤器过滤方法如下：
[0118]
步骤s41：计算当前帧的线特征以及第一参考帧的线特征相对于图片的坐标原点之间的角度。
[0119]
步骤s42：将360度平均划分为36份，并编号1-36号，第一参考帧的线特征和当前帧的线特征相对于图片的坐标原点之间的夹角角度匹配到对应的编号中；
[0120]
步骤s43：统计第一参考帧中存在有最多线特征的编号，并标记为筛选编号，剔除当前帧中非筛选标号的线特征。
[0121]
本发明相对于线特征匹配有误的情况，增加了线特征角度过滤器模块，可线特征的精度，提高回环准确率。
[0122]
优选的，步骤s5的具体步骤如下：
[0123]
步骤s51：将笛卡尔空间上的点映射到平面参数空间，其中映射的公式如下：
[0124][0125]
其中为平面参数空间的三个轴，(n
x
,ny,nz)为笛卡尔空间下平面法向量，d为相机坐标系原点到平面的距离；
[0126]
步骤s52：使用基于sting的平面提取算法对第一参考帧与当前帧的深度图进行平面特征提取，提取的的平面可表示为π＝[n
t
,d]
t
，其中表示平面的单位法向量。
[0127]
优选的，所述步骤s6中平面-直线关联图的关联包括平面及平面之间的边的几何关系和平面及直线之间的几何关系，其中关系具体如下：
[0128]
平面及平面之间的边的几何关系如下：
[0129][0130]
其中
[0131]
表示两个平面法向量之间的夹角；
[0132][0133]
其中ω表示两平面是否平行，表示i，j两平面法向量之间的夹角，ni表示i平面的法向量，nj表示j平面的法向量，表示i，j两平面之间的距离，di为相机坐标系原点到i平面的距离，dj为相机坐标系原点到j平面的距离；
[0134]
平面及平面之间的边的几何关系如下：
[0135][0136]
其中
[0137]
表示直线vi与平面法向量nj之间的夹角；
[0138]
其中i表示直线和平面的平行关系，表示直线vi与j平面的距离。
[0139]
点线面特征融合的回环检测装置，使用上述点线面特征融合的回环检测方法，其特征在于，包括训练模块、选择模块、旋转角度提取模块、线特征过滤模块、面特征提取模块、平面-直线关联模块以及匹配模块；
[0140]
所述训练模块用于对大量图片进行训练，获取图片中的角点的brief描述子和线特征lbd描述子，构建词袋模型；
[0141]
所述选择模块用于在回环检测中，获取当前帧与所有参考帧在词袋模型中的综合相似度，获取第一参考帧的数量，其中第一参考帧为综合相似度满足相似度阈值的参考帧数，判断第一参考帧数量是否满足数量阈值；
[0142]
所述旋转角度提取模块用于对第一参考帧和当前帧的进行点特征的提取orb特征点，计算每个fast角点的旋转角度，统计旋转角度，获取数量最多的旋转角度作为图片的旋转角φi；
[0143]
线特征过滤模块用于对第一参考帧和当前帧的进行旋转，其旋转角度为φi，获取lbd描述子；
[0144]
对当前帧和n个第一参考帧进行线特征的匹配，获取线特征；
[0145]
获取的线特征进入角度过滤器进行过滤；
[0146]
面特征提取模块用于采用深度图构建平面参数空间，将笛卡尔空间上的点映射到平面参数空间获取当前帧和n个第一参考帧的面特征；
[0147]
平面-直线关联模块用于对面特征与线特征进行关联构建，获取得到平面-直线关联图；
[0148]
匹配模块用于对平面-直线关联图进行特征匹配，获取综合得分最高的参考帧作为成功回环的帧。
[0149]
一种设备，包括存储器及处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器实现上述点线面特征融合的回环检测方法。
[0150]
一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述点线面特征融合的回环检测方法。
[0151]
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
[0152]
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。