数据处理方法及装置、实现定位的方法及装置和智能设备与流程

1.本技术涉及但不限于智能机器人领域，尤指一种数据处理方法及装置和实现定位的方法。


背景技术：

2.智能机器人在使用中，需要回环检测信息来消除定位的累积误差。其中，回环检测指，在智能机器人运行过程中，检测当前地点机器人是否曾经到过。回环检测信息的作用为帮助智能机器人消除自身定位带来的累积误差，对于优化智能机器人定位具有重要意义。
3.相关技术中，一种回环检测为基于特征点的回环检测，这种方法需要构造基于描述子的词袋(bow，bag-of words)模型。词袋模型将图像上的描述子映射到词汇空间，并给出词汇空间的统计特征，再运用统计特征的相似性来评价地点是否出现过。但是，光线变化会造成同一地点的图像由于光照变化而导致特征点位置、描述子被干扰的问题，因此，这种方法均受限于特征点和描述子的稳定性，剧烈的描述子变化将会导致词汇空间的统计特征发生改变，从而影响了回环检测的效果，进而降低了回环检测的有效性。
4.另一种利用特征点位置和霍夫(hough)投票的弱几何一致性策略的回环检测方法，如果由于光照变化使得特征点的位置发生改变，也是无法有效实现回环检测的。
5.还有一种基于点描述子和线描述子的回环检测方法，为线特征专门构造了一个词袋模型，与点的词袋模型联用，这种方式相比只使用特征点的场景有所提升，但是，在光照变化较大的场景依然无法满足回环检测需求。


技术实现要素：

6.本技术提供一种数据处理方法及装置、实现定位的方法及装置和智能设备，能够提升回环检测的有效性。
7.本发明实施例提供了一种数据处理方法，包括：
8.从目标图像上提取语义线段信息；
9.根据提取的语义线段和与预先存储的多张图像的语义线段，从预先存储的多张图像中获取与提取的语义线段所属图像匹配的预设第一数量张图像；
10.根据提取的语义线段的端点，对获得的第一数量张图像进行几何验证，以获取与目标图像匹配的图像。
11.在一种示例性实例中，所述从目标图像上提取语义线段，包括：
12.获取所述目标图像；
13.获取所述目标图像的特征信息；
14.根据获得的特征信息，获取目标语义线段信息，其中，目标语义线段信息用于表示所述目标图像中语义线段的信息，语义线段包括具有语义信息的线段。
15.在一种示例性实例中，所述获取与提取的语义线段所属图像匹配的预设第一数量张图像，包括：
16.对比所述提取的语义线段与所述预先存储的多张图像的语义线段并分别计算分数，按照分数从高到低从所述预先存储的多张图像中获取预设第一数量张图像。
17.在一种示例性实例中，所述对比提取的语义线段与预先存储的多张图像的语义线段并分别计算分数，包括：
18.基于霍夫投票逐个匹配所述目标图像和所述预先存储的多张图像中的一张图像的语义线段，匹配数量与所述目标图像的语义线段的数量之比为计算出的所述分数；
19.对计算出的分数进行排序，按照分数从高到低选取所述预先存储的多张图像中得分高的第一数量张图像。
20.在一种示例性实例中，所述基于霍夫投票逐个匹配，包括：
21.利用所述语义线段的长度、方向、中心点位置，穷举所有可能存在的匹配；
22.对于可能存在的匹配，通过计算出拍摄所述目标图像的设备的偏航角，根据偏航角分布的频率直方图中高频率对应的匹配确定所述第一数量中的图像。
23.在一种示例性实例中，所述几何验证为随机抽样一致ransac算法。
24.在一种示例性实例中，所述获取与提取的语义线段所属图像匹配的预设第一数量张图像之后，所述获取与目标图像匹配的图像之前，所述方法还包括：
25.根据所述目标图像上提取的特征点和预先生成的词袋模型，从所述预设第一数量张图像中获取预设第二数量张与所述目标图像距离最近的图像；相应地，
26.所述获取与目标图像匹配的图像，包括：
27.根据所述特征点和所述语义线段的端点，对获得的预设第二数量张图像进行几何性验证，以获取与所述目标图像匹配的图像。
28.本技术还提供一种计算机可读存储介质，存储有计算机可执行指令，所述计算机可执行指令用于执行上述任一项所述的数据处理方法。
29.本技术在提供了一种实现数据处理的装置，包括存储器和处理器，其中，存储器中存储有以下可被处理器执行的指令：用于执行上述任一项所述的数据处理方法的步骤。
30.本技术再提供了一种实现定位的方法，包括：
31.从目标图像上提取语义线段信息；
32.根据提取的语义线段和与预先存储的多张图像的语义线段，从预先存储的多张图像中获取与提取的语义线段所属图像匹配的预设第一数量张图像；
33.根据提取的语义线段的端点，对获得的第一数量张图像进行几何验证，以获取与目标图像匹配的图像；
34.根据与目标图像匹配的图像的位置信息确定拍摄目标图像的设备所在的位置。
35.在一种示例性实例中，所述获取与提取的语义线段所属图像匹配的预设第一数量张图像之后，所述获取与目标图像匹配的图像之前，所述方法还包括：
36.根据所述目标图像上提取的特征点和预先生成的词袋模型，从所述预设第一数量张图像中获取预设第二数量张与所述目标图像距离最近的图像；相应地，
37.所述获取与目标图像匹配的图像包括：根据所述特征点和所述语义线段的端点，对获得的预设第二数量张图像进行几何性验证，以获取与所述目标图像匹配的图像。
38.本技术还提供了一种计算机可读存储介质，存储有计算机可执行指令，所述计算机可执行指令用于执行上述任一项所述的实现定位的方法。
39.本技术又提供了一种实现定位的装置，包括存储器和处理器，其中，存储器中存储有以下可被处理器执行的指令：用于执行上述任一项所述的实现定位的方法的步骤。
40.本技术再提供了一种智能设备，至少包括摄像头、处理装置；其中，
41.摄像头，用于获取目标图像；
42.处理装置，用于从目标图像上提取语义线段信息；根据提取的语义线段和与预先存储的多张图像的语义线段，从预先存储的多张图像中获取与提取的语义线段所属图像匹配的预设第一数量张图像；根据提取的语义线段的端点，对获得的第一数量张图像进行几何验证，以获取与目标图像匹配的图像。
43.在一种示例性实例中，所述处理装置还用于：
44.根据所述目标图像上提取的特征点和预先生成的词袋模型，从所述预设第一数量张图像中获取预设第二数量张与所述目标图像距离最近的图像；相应地，所述处理装置中获取与目标图像匹配的图像包括：根据所述特征点和所述语义线段的端点，对获得的预设第二数量张图像进行几何性验证，以获取与所述目标图像匹配的图像。
45.在一种示例性实例中，所述处理装置还用于：
46.根据与所述目标图像匹配的图像的位置信息确定智能设备所在的位置。
47.本技术还提供了一种智能设备，至少包括摄像头、处理装置；其中，
48.摄像头，用于获取目标图像；
49.处理装置用于：
50.用于从目标图像上提取语义线段信息；从预先存储的多张图像中获得预设第二数量k张与目标图像距离最近的图像；根据提取的语义线段和第二数量张图像的语义线段，从第二数量张图像中获取与提取的语义线段所属目标图像匹配的预设第一数量张图像；根据提取的语义线段的端点，对获得的第一数量张图像进行几何验证，以获取与目标图像匹配的图像。
51.在一种示例性实例中，所述处理装置还用于：根据与所述目标图像匹配的图像的位置信息确定智能设备所在的位置。
52.本技术实施例利用语义线段进行回环检测，由于语义线段拥有抗光照，抗遮挡的优点，很好地避免了由于光照变化使得特征点的位置发生改变而无法有效实现回环检测的问题，提升了回环检测的有效性，提高了定位准确性，尤其适用于复杂场景。
53.本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
附图说明
54.附图用来提供对本技术技术方案的进一步理解，并且构成说明书的一部分，与本技术的实施例一起用于解释本技术的技术方案，并不构成对本技术技术方案的限制。
55.图1为本技术数据处理方法的流程示意图；
56.图2(a)为本技术目标图像和数据库中的同一地点不同时间的一张图像的匹配结果示意图；
57.图2(b)为相关技术中目标图像和数据库中的同一地点不同时间的一张图像的匹
配结果示意图。
具体实施方式
58.为使本技术的目的、技术方案和优点更加清楚明白，下文中将结合附图对本技术的实施例进行详细说明。需要说明的是，在不冲突的情况下，本技术中的实施例及实施例中的特征可以相互任意组合。
59.在本技术一个典型的配置中，计算设备包括一个或多个处理器(cpu)、输入/输出接口、网络接口和内存。
60.内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(ram)和/或非易失性内存等形式，如只读存储器(rom)或闪存(flashram)。内存是计算机可读介质的示例。
61.计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd-rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括非暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
62.在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行。并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
63.相关技术中的回环检测大致包括：首先获取图像：利用摄像头获取一帧彩色图像；然后词袋模型 特征点计算前k张(topk)图像：如采用尺度不变特征变化(sift，scale invariant feature transform)或快速特征点提取和描述的算法(orb，oriented fast and rotated brief)等从图像中提取特征点，使用构造好的词袋模型，将图像中的特征点映射到词汇空间，并获取bow向量(vector)；利用该bow vector与数据库中存储的以往图像进行对比，获取预设数目k张距离最近的图像；接着进行几何一致性验证：使用如随机抽样一致性算法(ransac，random sample consensus)计算特征点匹配，该匹配方法综合考虑了描述子的相似性和特征点位置的分布关系，找到置信度最高的匹配；最后，使用匹配数量作为得分对之前得出的k张图像进行排序，最终获取得分最高的第一名(top1)的图像。
64.图1为本技术数据处理方法的流程示意图，如图1所示，包括：
65.步骤100：从目标图像上提取语义线段信息。
66.语义线段为图像中具有明显语义特征的分界线段，通常是指图像中包括的具有语义信息的主体的边缘线段或主体间的分界线。其中，主体，是指在真实世界中存在的具有对应的名称的实体，主体包括但不限于实际的物体、平面、竖面等实体。比如，主体可以是真实世界中的电线杆、草坪、建筑物等；语义线段可以是电线杆的边缘、路灯的边缘、草坪与路面的分界线、建筑物顶部与天空的分界线、人的两脚与路面的分界线、道路边缘线等等。
67.语义线段信息是用于表示语义线段的信息。比如，可以使用一种编码方式来描述
语义线段在二维或三维场景中的位置信息。
68.在一种示例性实例中，本步骤中的从目标图像上提取语义线段，包括：
69.获取目标图像；
70.获取目标图像的特征信息；
71.根据获得的特征信息，获取目标语义线段信息，其中，目标语义线段信息用于表示目标图像中语义线段的信息，语义线段是具有语义信息的线段。
72.在一种示例性实例中，特征信息是指对输入数据，如输入图像进行处理和抽象后，获得的可以用来描述和代表输入图像中的信息的数字组合，具体实现并不用于限定本技术的保护范围，这里不再赘述。本技术中的特征信息是指目标图像的特征图像，即通过提取目标图像中的特征信息并根据提取出的特征信息构成的特征图像。
73.在一种示例性实例中，目标图像的特征信息可以包括至少一个尺度的特征图像，其中，特征图像包括目标图像的特征信息。其中，不同尺度的特征信息是在不同大小的图像区域内提取的不同精细度的特征信息。
74.在一种示例性实例中，获取目标图像的至少一个尺度的特征图像，可以包括：获取多尺度特征提取卷积神经网络模型；将目标图像输入到多尺度特征提取卷积神经网络模型中，获取目标图像的至少一个尺度的特征图像。在一种示例性实例中，获取多尺度特征提取卷积神经网络模型，可以包括：获取原始多尺度特征提取卷积神经网络模型；使用样本数据训练获得的原始多尺度特征提取卷积神经网络模型，使得原始多尺度特征提取卷积神经网络模型收敛，并将收敛后的原始多尺度特征提取卷积神经网络模型作为多尺度特征提取卷积神经网络模型。在一种示例性实例中，原始多尺度特征提取卷积神经网络模型的结构可以包括但不限于如：残差卷积神经网络模型-10(resnet-18)，深度层聚合-34(dla-34)及沙漏-104(hourglass-104)等，其中，数字代表模型中的卷积层的数量，在具体实施时，也可根据实际需要，使用其它网络结构以及使用不同的卷积层数量，这里不做特殊限定。
75.在一种示例性实例中，目标语义线段信息是用于表示目标图像中语义线段的信息，其中，语义线段是具有语义信息的线段。
76.在一种示例性实例中，根据获得的特征信息，获取目标语义线段信息，可以包括：
77.将获得的至少一个尺度的特征图像输入训练获取到的多尺度特征融合卷积神经网络模型中，即可获取融合特征图像，其中，融合特征图像是融合了至少两个尺度的特征图像中的特征信息的特征图像；
78.根据获得的融合特征图像，获取目标语义线段信息。
79.这里，对至少一个尺度的特征图像的融合过程，可以是将全部尺度的特征图像同时进行融合，也可以先两两融合再进行统一融合，或者其它形式组合的融合方式都是可以的，只要最终能够将多个不同尺度的特征图像融合到一个统一的融合特征图像中既可。
80.在一种示例性实例中，多尺度特征融合卷积神经网络模型，通常包括上采样层或下采样层，反卷积层。其中，上采样层或下采样层，用于针对不同维度的输入数据，进行重新采样，使输入数据的维度一致，即对不同维度的输入数据进行升维或降维处理。
81.在一种示例性实例中，将至少一个尺度的特征图像输入到多尺度特征融合卷积神经网络模型中，获取融合特征图像，包括：
82.从至少一个尺度的特征图像中，获取至少两个尺度的特征图像；
83.根据多尺度特征融合卷积神经网络模型，针对至少两个尺度的特征图像进行维度调整处理，使至少两个尺度的特征图像的维度一致；
84.针对经过维度调整处理后的至少两个尺度的特征图像进行融合处理，获取融合特征图像。
85.在一种示例性实例中，根据多尺度特征融合卷积神经网络模型，针对至少两个尺度的特征图像进行维度调整处理，使至少两个尺度的特征图像的维度一致，包括：
86.使用多尺度特征融合卷积神经网络模型中的上采样层或下采样层，针对至少两个尺度的特征图像进行维度调整处理，使至少两个尺度的特征图像的维度一致。
87.需要说明的是，针对经过维度调整处理后的至少两个尺度的特征图像进行融合处理，获取融合特征图像，包括：针对经过维度调整处理后的至少两个尺度的特征图像进行级联操作处理或者矩阵相加处理，获取融合特征图像。
88.在一种示例性实例中，针对经过维度调整处理后的至少两个尺度的特征图像进行级联操作处理，获取融合特征图像，主要是指将至少两个尺度的特征图像对应的矩阵数据，按照某种映射关系建立连接。比如，级联经过维度调整处理后的两个维度为h*w*c的特征图像，则可获取到一个h*w*2c的融合特征图像。
89.在一种示例性实例中，针对经过维度调整处理后的至少两个尺度的特征图像进行矩阵相加处理，获取融合特征图像，主要是指将至少两个尺度的特征图像对应的矩阵数据，按照其对应的位置关系进行相加处理。比如，对经过维度调整处理后的两个维度为h*w*c的特征图像进行矩阵相加处理，则可获取到一个维度为h*w*c的融合特征图像。
90.在一种示例性实例中，在对目标图像对应的至少一个尺度的特征图像进行融合处理，获取到目标图像对应的融合特征图像之后，根据融合特征图像，即可获取到目标图像中的目标语义线段信息。
91.在本实施例中，同样是采取卷积神经网络模型对融合特征图像进行转换处理，以获取目标语义线段信息。当然，在具体实施时，也可使用其它方式来获取目标语义线段信息。在一种示例性实例中，根据获得的融合特征图像，获取目标语义线段信息，可以包括：
92.获取预测卷积神经网络模型，其中，预测卷积神经网络模型用于获取语义线段信息的模型；
93.将融合特征图像输入预测卷积神经网络模型，获取目标语义线段信息。
94.这里，预测卷积神经网络模型为获取目标图像的特征信息的步骤中，将原始预测卷积神经网络模型与原始多尺度特征提取卷积神经网络模型进行联合训练，获得的收敛后的原始预测卷积神经网络模型。
95.在一种示例性实例中，将融合特征图像输入到预测卷积神经网络模型中，获取目标语义线段信息，可以包括：从融合特征图像中，获取候选特征信息；将候选特征信息输入到预测卷积神经网络模型中，获取目标语义线段信息。
96.本技术实施例中，目标语义线段信息可以包括但不限于：语义线段的方向信息、语义线段对应的边界框的任一顶点或中心点在目标图像中的位置信息、语义线段对应的边界框的长度信息、语义线段对应的边界框的宽度信息、语义线段的类别信息等。其中，边界框是指在目标图像中用于确定语义线段的一个矩形框。
97.这里举个例子来描述提取语义线段的实现：
98.针对目标图像img1，一般是通过多尺度特征提取卷积神经网络模型中的卷积层和池化层来获取目标图像的至少一个尺度的特征信息，如，针对形状大小为h*w(其中，h为目标图像对应的矩阵数据的行数，w为目标图像对应的矩阵数据的列数)的目标图像，首先，通过多尺度特征提取卷积神经网络模型中的第一卷积单元对img1上每个3*3的区域进行特征提取，获得维度为h*w*c(其中，c为获得的特征图像的通道数)的特征图像；之后，对获取到维度为h*w*c的特征图像进行降维处理，获得维度为的特征图像，之后，再使用卷积对该特征图像上的3*3的区域进行特征提取，获取到维度为的特征图像，其中，c'为获得的新的维度的特征图像的通道数，另外，因为在对h*w*c的特征图像进行降维处理后获得的图像比较粗糙，所以依然需要使用第二卷积单元中的其它卷积层对所述图像进行处理后才能获得比较稳定的其它尺度的特征图像；通过重复执行上述步骤，即可获取到目标图像的至少一个尺度的特征图像，即对应原图上的不同大小区域的特征信息；
99.对经过维度调整处理后的两个维度为h*w*c的特征图像进行矩阵相加处理，则可获取到一个维度为h*w*c的融合特征图像；
100.在将融合特征图像输入到所述预测卷积神经网络模型中之后，即可获取到目标语义线段信息。具体是通过预测卷积神经网络模型输出的三个不同种类的预测结果来获取对应的语义线段信息。例如，将维度为h*w*c的融合特征图像输入到预测卷积神经网络模型之后，通过预测卷积神经网络模型中的三个卷积层conv_cls，conv_wh，conv_d进行相应的卷积操作，其中，conv_cls包括c
cls
个维度为3*3*c的卷积核，conv_wh的维度为h*w*2，conv_d的度为h*w*1；之后，可分别获取到一个h*w*c
cls
，两个h*w*2和一个h*w*1的特征图像作为预测结果。其中，h*w*c
cls
的每个通道c
i
上的h*w的矩阵表示了当前c
i
所代表的类别上是否存在语义线段对应的边界框的热力图，其中，c
cls
表示语义线段的总类别数量，通道c的h*w矩阵上数值峰值的位置则表示该位置上存在一个属于该类别的语义线段对应的边界框；另外两个h*w*2的特征图像，其中一个用于预测在h*w的每个位置上，语义线段对应的边界框的长度信息和宽度信息，另一个用于预测语义线段对应的边界框在h*w的每个位置上，相对于该位置的横向位移偏移量和纵向位移偏移量；而针对h*w*1的特征图像，其每个位置的值标识该位置的边界框中语义线段的方向。
101.与相关技术中基于梯度的线段提取算法(例如lsd，hough line detector等)相比，本技术中的语义线段拥有抗光照，抗遮挡的优点，为在复杂场景中实现回环检测提供了保障，进而能帮助提升回环检测的有效性。
102.步骤101：根据提取的语义线段和与预先存储的多张图像的语义线段，从预先存储的多张图像中获取与提取的语义线段所属图像匹配的预设第一数量m张图像。
103.对比提取的语义线段与预先存储的多张图像的语义线段并分别计算分数，按照分数从高到低预先存储的多张图像获取预设第一数量m张图像。
104.以对比目标图像和预先存储的多张图像中的一张图像的语义线段并计算分数为例，步骤101具体可以包括：
105.基于hough投票逐个匹配目标图像和预先存储的多张图像中的一张图像的语义线段，匹配数量与目标图像的语义线段的数量之比即为计算出的分数；
106.对计算出的分数进行排序，按照分数从高到低选取预先存储的多张图像中得分高的第一数量m张图像。
107.图2(a)本技术展示了目标图像的语义线段和数据库中的同一地点不同时间的一张图像的语义线段的匹配结果，可以看出，语义线段拥有较强的鲁棒性，且大多数语义线段都找到了正确的语音线段匹配，图2(a)中的红、黄、蓝粗线代表不同语义的语义线段，绿色连线指示出上下两张图中匹配的语义线段，对于两张图像，如果二者匹配的语义线段的数量越多(或者说比例越高)，那么，认为这两张图越相似(或者说越匹配)。图2(b)为相关技术中sift特征点匹配结果，其中对于图像中光照和遮挡变化的部分，很难得到正确的点匹配结果，图2(b)中的每一个红点对应一个特征点，绿线表示匹配，可以看出很多特征点是找不到匹配的，而且存在大量错误匹配。
108.在一种示例性实例中，可以利用语义线段的长度、方向、中心点位置等信息穷举所有可能存在的匹配；对于可能存在的匹配，通过计算出拍摄目标图像的设备的偏航角，根据偏航角分布的频率直方图中高频率对应的匹配确定第一数量中的图像。
109.在一种示例性实例中，对于目标图像中的某一语义线段与数据库中一张图像的语义线段，如果两条语义线段的语义类别相同，而且，两条语义线段的长度之比大于长度阈值l
threshold
，而且，两条语义线段的夹角小于夹角阈值α
threshold
，而且，两条语义线段的线段中心点坐标之间的距离小于距离阈值d
threshold
，那么，这两条语义线段匹配。这里，长度阈值l
threshold
的取值、夹角阈值α
threshold
的取值和距离阈值d
threshold
的取值可以根据实际应用场景来调整，不同的应用场景可能不一样。比如：长度阈值l
threshold
＝0.5、夹角阈值α
threshold
＝30
°
、距离阈值d
threshold
＝80像素(pixel)。
110.在一种示例性实例中，本技术发明人发现：正确的线段匹配计算出来的偏航角是相近的，错误的线段匹配计算出来的偏航角分布是混乱的，因此，对于每一组可能的匹配，可以通过计算出偏航角，然后再计算这些偏航角分布的频率直方图，最后再选取直方图中从频率最高处开始高频率对应的匹配即可获得最终的匹配结果。按照上述分析，对于每一组可能存在的匹配，通过计算拍摄目标图像的摄像头的偏航角，并对该偏航角发起hough投票来获取两张图像的语义线段的匹配结果，也就是说，统计所有匹配计算出的偏航角的直方图，找到直方图中统计最多的选项，该选项对应的所有匹配即为两张图像的语义线段的匹配结果。
111.在一种示例性实例中，计算拍摄目标图像的摄像头的偏航角，可以包括：
112.根据语义线段的特征，可以将语义线段分成三类：一类是，可以认为无穷远的语义线段，比如建筑物的天际线等，第二类是垂直于地面的语义线段，比如路灯的边缘线等，第三类是平行于地面的语义线段，比如道路的边缘线等。本实施例中，考虑三个自由度的摄像头的位姿，分布为偏航角θ以及水平面(即道路平面)上的两个平移分量(δx,δz)，其中，δx为摄像头在x方向的平移，δz为垂直于摄像头平面方向的平移。
113.对于无穷远的语义线段，摄像头之间的平移很小，可以近似δx＝δz＝0，假设语义线段的中点在两个图像中的坐标分别为(u
q
,v
q
)、(u
d
,v
d
)，那么，偏航角θ的计算如公式(1)所示：
114.θ＝atan((u
q-u
d
)/(1 u
q u
d
))
ꢀꢀꢀ
(1)
115.对于平行于地面的语义线线，假设三维空间中语义线段和相机光心组成的平面的
法向量记为(n
xq
,n
yq
,n
zq
)和(n
xd
,n
yd
,n
zd
)，，那么，偏航角θ的计算如公式(2)所示：
116.θ＝atan((n
xq n
zd-n
zq n
xd
)/(n
xq n
zq
n
xd n
zd
))
ꢀꢀꢀ
(2)
117.假设两段语义线段在图像中的倾斜角分别为α
q
和α
d
，假设摄像头的安装高度h为定值，可以根据公式(3)计算出摄像头在x方向的平移δx：
118.δx＝(cotα
q-cotα
q
)h
ꢀꢀꢀ
(3)
119.对于垂直于地面的语义线线，此时δx和δz不能忽略，在公式(1)的基础上乘一个补偿因子，如公式(4)所示：
120.θ＝atan((u
q-u
d
)/(1 u
q u
d
))γ
ꢀꢀꢀ
(4)
121.在公式(4)中，γ表示语义线段的长度(l
q
,l
d
)之比，取值如公式(5)所示：
122.γ＝min(l
q
,l
d
)/max(l
q
,l
d
)
ꢀꢀꢀ
(5)
123.需要说明的是，本技术中基于hough投票的语义线段匹配方法中，仅以使用匹配求取偏航角并在偏航角维度上进行hough投票为例。除了偏航角之外，对于一个在平面行驶的智能交通工具或智能机器人，其位姿参数还可以包括如：x方向的平移、y方向的平移，这两个参数也可以作为hough投票的依据，也就是说，也可以在其他维度上进行hough投票；或者，还可以考虑对于偏航角、x方向的平移、y方向的平移三个参数进行联合投票，也就是说，在乘积空间上进行hough投票。
124.本技术中的基于hough投票的匹配方式，由于不是基于描述子实现的，因此，不存在描述子被复杂场景干扰的问题，也就是说，本技术基于hough投票的语义线段匹配方法，使得本技术回环检测方法适应于复杂场景。
125.在一种示例性实例中，对于选取预先存储的多张图像中得分高的第一数量m张图像，一种可行的方法可以包括：建立尺寸(size)为第一数量m的最大堆，以计算出的分数(score)为依据堆排序并记录第一数量m张图像在存储库中的标识(id)。
126.步骤102：根据提取的语义线段的端点，对获得的第一数量m张图像进行几何验证，以获取与目标图像匹配的图像。
127.在一种示例性实例中，本步骤中的几何验证方法可以采用如随机抽样一致(ransac，random sample consensus)算法。本实施例强调的是根据语义线段的端点进行几何一致性的验证，具体验证方法的实现并不用于限定本技术的保护范围，这里不再赘述。本实施例中，由于语义线段具有更好的鲁棒性，使得几何一致性验证更准确，很好地避免了由于光照变化使得特征点的位置发生改变而无法有效实现回环检测的问题。
128.本技术提供的数据处理方法，由于语义线段拥有抗光照，抗遮挡的优点，很好地避免了由于光照变化使得特征点的位置发生改变而无法有效实现回环检测的问题，提升了回环检测的有效性，本技术尤其适用于复杂场景。
129.在一种示例性实例中，在步骤101之后，步骤102之前，还可以包括：
130.步骤1012(图1中未示出)：根据目标图像上提取的特征点和预先生成的词袋模型，从预设第一数量m张图像中获取预设第二数量k张与目标图像距离最近的图像。相应地，
131.步骤102中还包括对特征点信息的应用，这种情况下，步骤102具体包括：根据特征点和语义线段的端点，对获得的预设第二数量k张图像进行几何性验证，以获取与目标图像匹配的图像。
132.在一种示例性实例中，步骤1012的具体实现属于现有技术，这里不再赘述，不同的
是，步骤1012中与目标图像做距离比较的图像是与提取的语义线段所属图像匹配的第一数量m张图像。
133.在一种示例性实例中，根据特征点和语义线段的端点，对获得的预设第二数量k张图像进行几何性验证的方法也可以采用如随机抽样一致(ransac，random sample consensus)算法。本实施例强调的是根据特征点和语义线段的端点进行几何一致性的验证，具体验证方法的实现并不用于限定本技术的保护范围，这里不再赘述。本实施例中，由于参与几何一致性验证的语义线段具有更好的鲁棒性，使得几何一致性验证更准确，很好地避免了由于光照变化使得特征点的位置发生改变而无法有效实现回环检测的问题。
134.需要说明的是，步骤101与步骤1012之间没有严格的执行顺序，也就是说，也可以先执行步骤1012从预先存储的多张图像中获得预设第二数量k张与目标图像距离最近的图像，然后再执行步骤101从第二数量k张图像中获取与提取的语义线段所属图像匹配第一数量m张图像。容易理解，如果先执行步骤101，那么，m大于或等k，如果先执行步骤102，那么，k大于或等m，m、k均为大于1的整数。
135.本技术还提供一种计算机可读存储介质，存储有计算机可执行指令，所述计算机可执行指令用于执行上述任一项的数据处理方法。
136.本技术再提供一种实现数据处理的装置，包括存储器和处理器，其中，存储器中存储有以下可被处理器执行的指令：用于执行上任一项所述的数据处理方法的步骤。
137.本技术还提供一种实现定位的方法，将本技术提供的数据处理方法应用在智能设备如智能机器人的定位中，包括：
138.从目标图像上提取语义线段信息；
139.根据提取的语义线段和与预先存储的多张图像的语义线段，从预先存储的多张图像中获取与提取的语义线段所属图像匹配的预设第一数量m张图像；
140.根据提取的语义线段的端点，对获得的第一数量m张图像进行几何验证，以获取与目标图像匹配的图像；
141.根据与目标图像匹配的图像的位置信息确定拍摄目标图像的设备所在的位置。
142.在一种示例性实例中，本技术实现定位的方法还可以包括：
143.根据目标图像上提取的特征点和预先生成的词袋模型，从预设第一数量m张图像中获取预设第二数量k张与目标图像距离最近的图像；相应地，
144.获取与目标图像匹配的图像包括：根据特征点和语义线段的端点，对获得的预设第二数量k张图像进行几何性验证，以获取与目标图像匹配的图像。
145.本技术实现定位的方法，通过对本技术数据处理方法的应用，使得定位适用于复杂场景，并在回环检测有效性的提升下，提高了定位准确性。
146.本技术还提供一种计算机可读存储介质，存储有计算机可执行指令，所述计算机可执行指令用于执行上述任一项的实现定位的方法。
147.本技术再提供一种实现定位的装置，包括存储器和处理器，其中，存储器中存储有以下可被处理器执行的指令：用于执行上任一项所述的实现定位的方法的步骤。
148.下面结合本技术回环检测方法的应用场景，对本技术的回环检测方法进行描述。
149.以城市巡检场景为例，在智能设备如智能机器人巡检过程采集中，普遍存在语义线段丰富，但光照变化、人、车遮挡较多的复杂场景，而本技术提供的基于语义线段的回环
检测方法特别适合于城市巡检场景。城市巡检主要用于对重点关注物体和内容进行例行检查，比如：对于检测道路交通牌等交通设施是否有破损的情况，在确定道路交通牌有破损时，可以通过本技术基于语义线段的回环检测方法，在存在车辆、建筑物、人员等遮挡，以及光照变化复杂的城市环境中，有效地找出巡检到的道路交通牌所在的地理位置，然后再上报道路交通牌的相关信息以便后续对道路交通牌的维修。再如：对于判断出禁停区域有违章停放的情况，可以通过本技术基于语义线段的回环检测方法，有效地找出该禁停区域所在的地理位置，然后再上报停放在该禁停区域的车辆的相关信息以便后续对违章停放进行处理。
150.以社区智能机器人服务为例，对于采用智能机器人在园区内送快递、送餐等场景中，智能机器人采用本技术提供的基于语义线段的回环检测方法随时对自身所处位置进行定位，并根据智能机器人自身的位置来规划出目的地的路线，最终将快递、餐食等送到目的地。
151.本技术还提供一种智能设备，至少包括摄像头、处理装置；其中，
152.摄像头，用于获取目标图像；
153.处理装置，用于从目标图像上提取语义线段信息；根据提取的语义线段和与预先存储的多张图像的语义线段，从预先存储的多张图像中获取与提取的语义线段所属图像匹配的预设第一数量m张图像；根据提取的语义线段的端点，对获得的第一数量m张图像进行几何验证，以获取与目标图像匹配的图像。
154.在一种示例性实例中，处理装置还用于：
155.根据目标图像上提取的特征点和预先生成的词袋模型，从预设第一数量m张图像中获取预设第二数量k张与目标图像距离最近的图像；此时，根据特征点和语义线段的端点，对获得的预设第二数量k张图像进行几何性验证，以获取与目标图像匹配的图像。
156.在另一种示例性实例中，处理装置用于：
157.用于从目标图像上提取语义线段信息；从预先存储的多张图像中获得预设第二数量k张与目标图像距离最近的图像；根据提取的语义线段和第二数量k张图像的语义线段，从第二数量k张图像中获取与提取的语义线段所属目标图像匹配的预设第一数量m张图像；根据提取的语义线段的端点，对获得的第一数量m张图像进行几何验证，以获取与目标图像匹配的图像。
158.在一种示例性实例中，处理装置还用于：根据与目标图像匹配的图像的位置信息确定智能设备所在的位置。
159.在一种示例性实例中，本技术智能设备可以包括：智能机器人、智能交通工具等。
160.虽然本技术所揭露的实施方式如上，但所述的内容仅为便于理解本技术而采用的实施方式，并非用以限定本技术。任何本技术所属领域内的技术人员，在不脱离本技术所揭露的精神和范围的前提下，可以在实施的形式及细节上进行任何的修改与变化，但本技术的专利保护范围，仍须以所附的权利要求书所界定的范围为准。