基于无人机地图与地面双目信息的移动机器人定位方法与流程

1.本发明属于移动机器人定位领域，具体涉及一种基于无人机地图与地面双目信息的移动机器人定位方法。


背景技术：

2.自定位技术是移动机器人系统中非常重要的部分。尤其在一些救援场景，如地震、山体滑坡等场景。地面移动机器人由于负载大以及运动方式等特点，导致其运动过程中有较大的限制，遇到障碍物需要避开绕行。然而，在具有很多障碍物的救援情况下，如何定位导航就比较困难，因为障碍物的原因，机器人的视野被遮挡，很难对环境进行较大范围的感知，也就无法进行导航规划。因此无人机的协同就显得非常重要。无人机较为灵活，视野大，但是负载小。在地面机器人和空中机器人协同中，无人机可以起到探路的作用。
3.根据上述介绍，设计一套使移动机器人能够借助无人机构建的地图和车载双目相机进行定位的方法，是现有技术中亟待解决的技术问题。


技术实现要素：

4.本发明的目的在于解决现有技术中存在的问题，并提供一种基于无人机地图与双目相机信息的移动机器人定位方法。
5.为了实现上述发明目的，本发明具体采用的技术方案如下：
6.一种基于无人机地图与地面双目信息的移动机器人定位方法，其步骤如下：
7.s1：利用无人机对机器人移动区域进行全覆盖探测，得到的下视相机图像序列及飞行过程中的参数，通过稀疏点云地图恢复机器人移动区域的鸟瞰地图；
8.s2：利用移动机器人上搭载的双目相机对所在位置前方区域进行探测形成富含纹理信息的地面点云，以鸟瞰视角对该地面点云进行观测得到地面点云图像；
9.s3：移动机器人根据自带的传感器估计自身所处位置，并从所述鸟瞰地图中以自身所处位置为中心，截取与所述地面点云图像相同大小的局部鸟瞰地图；
10.s4：将所述地面点云图像与所述局部鸟瞰地图输入深度相位相关网络中，通过卷积操作提取所述地面点云图像和局部鸟瞰地图中的鲁棒特征，再通过反卷积操作将提取的特征转换为与原图大小一致的特征图，然后对地面点云图像的特征图与局部鸟瞰地图的特征图通过傅里叶变换操作去除平移分量，再通过对数极性变换操作将旋转分量转换为平移，最后通过相位相关操作得到一张相位相关图；
11.s5：对所述相位相关图进行softmax操作使其转变为0
‑
1的分布，得到概率分布图；
12.s6：在概率分布图基础上，基于粒子滤波定位方法对移动机器人在地图上的准确位置进行定位。
13.作为优选，所述s1中，无人机首先对机器人移动区域进行探测，在所需要探测区域的上表飞行一段距离并且覆盖该区域后返回，将得到的下视相机图像序列、飞行imu以及相机参数信息回传给地面工作站，地面工作站通过slam技术首先估测出图像序列中每帧图像
的位姿，再通过特征点匹配构建出地面的稀疏点云地图，最终利用图像对稀疏点云进行插值以及构建mesh面，恢复出需要探测区域的鸟瞰地图。
14.作为优选，所述s2中，利用移动机器人上搭载的双目相机估测所在位置前方区域的深度信息并且形成点云，将左目相机的图像信息以纹理的形式赋予给所形成的点云，构成富含纹理信息的地面点云，以鸟瞰视角对该地面点云进行观测，得到鸟瞰视角下的地面点云图像。
15.作为优选，所述s3中，所述移动机器人根据gps或者里程计估计自身所处位置。
16.作为优选，所述的s4中，深度相位相关网络包含8个不同的u
‑
net网络，其中对输入的地面点云图像与局部鸟瞰地图输出相位相关图的具体方法如下：
17.s401：以预先经过训练的第一u
‑
net网络和第二u
‑
net网络作为两个特征提取器，分别以局部鸟瞰地图和地面点云图像作为两个特征提取器各自的原始输入图片，提取两张原始输入图片中的同构特征，得到同构的第一特征图和第二特征图；
18.s402：将s401中得到的第一特征图和第二特征图分别进行傅里叶变换后取各自的幅度谱；
19.s403：将s402中得到的两个幅度谱分别进行对数极坐标变换，使其从笛卡尔坐标系转换到对数极坐标系中，从而使两个幅度谱之间笛卡尔坐标系下的旋转变换被映射成对数极坐标系中y方向上的平移变换；
20.s404：将s403中两个坐标变换后的幅度谱进行相位相关求解，得到二者之间的平移变换关系，再按照s403中笛卡尔坐标系和对数极坐标系之间的映射关系重新转换，得到所述局部鸟瞰地图和所述地面点云图像之间的旋转变换关系；
21.s405：以预先经过训练的第三u
‑
net网络和第四u
‑
net网络作为两个特征提取器，分别以局部鸟瞰地图和地面点云图像作为两个特征提取器各自的原始输入图片，提取两张原始输入图片中的同构特征，得到同构的第三特征图和第四特征图；
22.s406：将s405中得到的第三特征图和第四特征图分别进行傅里叶变换后取各自的幅度谱；
23.s407：将s406中得到的两个幅度谱分别进行对数极坐标变换，使其从笛卡尔坐标系转换到对数极坐标系中，从而使两个幅度谱之间笛卡尔坐标系下的缩放变换被映射成对数极坐标系中x方向上的平移变换；
24.s408：将s407中两个坐标变换后的幅度谱进行相位相关求解，得到二者之间的平移变换关系，再按照s407中笛卡尔坐标系和对数极坐标系之间的映射关系重新转换，得到所述局部鸟瞰地图和所述地面点云图像之间的缩放变换关系；
25.s409：将所述地面点云图像按照s404和s408中得到的旋转变换关系和缩放变换关系进行对应的旋转和缩放变换，得到一张新的地面点云图像；
26.s410：以预先经过训练的第五u
‑
net网络和第六u
‑
net网络作为两个特征提取器，分别以局部鸟瞰地图和新的地面点云图像作为两个特征提取器各自的原始输入图片，提取两张原始输入图片中的同构特征，得到同构的第五特征图和第六特征图；
27.s411：将s410中得到的第五特征图和第六特征图进行相位相关求解，得到第一相位相关图，用于进一步计算所述局部鸟瞰地图和所述地面点云图像之间的x方向上的平移变换关系；
28.s412：以预先经过训练的第七u
‑
net网络和第八u
‑
net网络作为两个特征提取器，分别以局部鸟瞰地图和新的地面点云图像作为两个特征提取器各自的原始输入图片，提取两张原始输入图片中的同构特征，得到同构且仅保留有原始输入图片之间的平移变换关系的第七特征图和第八特征图；
29.s413：将s412中得到的第七特征图和第八特征图进行相位相关求解，得到第二相位相关图，用于进一步计算所述局部鸟瞰地图和所述地面点云图像之间的y方向上的平移变换关系；
30.s414：将所述第一相位相关图和所述第二相位相关图叠加求和后进行归一化，作为最终输出用于进行softmax操作的相位相关图。
31.作为优选，所述深度相位相关网络中，8个u
‑
net网络相互独立，每个u
‑
net网络各自通过4个通过卷积操作进行下采样的编码器层和4个通过反卷积操作进行上采样的解码器层来提取与输入原图大小相同的特征图；8个u
‑
net网络均预先进行训练，训练的总损失函数为所述局部鸟瞰地图和地面点云图像之间的旋转变换关系损失、缩放变换关系损失、x方向上的平移变换关系损失和y方向上的平移变换关系损失的加权和。
32.作为优选，所述总损失函数中四种损失的加权权值均为1，四种损失均采用l1损失。
33.作为优选，所述s6中，基于粒子滤波定位方法对移动机器人在地图上的准确位置进行定位的方法如下：
34.s61：首先在移动机器人当前位置附近撒预设数量的点，每个点代表移动机器人的一个假定位置；
35.s62：将这些点映射到所述的概率分布图中，一个点在概率分布图中的概率值则代表该点的权重，权重越大说明移动机器人在该位置的可能性越大；
36.s63：获得粒子的权重之后，根据权重进行重采样操作，使得权重大的粒子持续存在，逐渐过滤掉权重小的粒子；
37.s64：移动机器人根据估计的运动，移动所有粒子，粒子再次根据所述的概率分布图进行权重的更新计算；
38.s65：不断迭代重复s63和s64，使粒子逐渐聚拢在真实位置附近，迭代结束后以粒子最终聚集的位置中心确定移动机器人在地图上的准确位置。
39.相对于现有技术而言，本发明的有益效果如下：
40.本发明利用移动机器人自带的双目相机获取其所在位置的地面点云图像，同时利用车载传感器确定的位置粗估值从无人机鸟瞰地图中截取局部图像，两类图像通过深度相位相关网络得到相位相关图并转换为概率分布图，由此通过粒子滤波定位算法即可实现机器人的准确定位。该方法可以对gps、里程计等车载传感器确定的位置粗估值进行校正，排除光照、遮挡物等外部因素对于定位结果的不利影响，大大提高了移动机器人自主定位的鲁棒性。
附图说明
41.图1为基于无人机地图与地面双目信息的移动机器人定位方法的步骤流程图；
42.图2为深度相位相关网络的模型框架图。
43.图3为一个示例中的一张无人机构建的地图。
44.图4为一个示例中由双目相机得到的地面点云图像和对应位置截取的局部鸟瞰地图。
具体实施方式
45.下面结合附图和具体实施方式对本发明做进一步阐述和说明。本发明中各个实施方式的技术特征在没有相互冲突的前提下，均可进行相应组合。
46.本发明设计了一套在移动机器人中借助无人机探测和双目相机进行定位的方法，其发明构思是：先利用无人机对机器人移动区域进行探测形成相应的鸟瞰地图，然后移动机器人先基于双目相机的探测数据构建地面点云图像，再由从鸟瞰地图上截取机器人自身所处位置的一幅局部鸟瞰地图，通过该局部鸟瞰地图以及地面点云图像训练端到端匹配模型，从而使得模型能够匹配两类图像，以实现定位的目的。该模型具有一定的泛化能力，实际应用过程中，只需要将地面构建的地面点云图像以及当前探测区域的局部鸟瞰地图输入到之前训练好的模型中即可产生一张相位相关图，并进一步生成用于定位的概率分布图，通过粒子滤波定位算法即可实现机器人的准确定位。
47.下面对上述定位方法的具体实现方式进行详细展开描述。
48.如图1所示，在本发明的一个较佳实施例中，提供了一种基于无人机地图与地面双目信息的移动机器人定位方法，其具体步骤如下：
49.s1：利用无人机对机器人移动区域进行全覆盖探测，得到的下视相机图像序列及飞行过程中的参数，通过稀疏点云地图恢复机器人移动区域的鸟瞰地图。
50.无人机探测数据转换为鸟瞰地图的具体做法存在现有技术。在本实施例中，可以先用无人机对机器人移动区域进行探测，在所需要探测区域的上表飞行一段距离并且覆盖该区域后返回，将得到的下视相机图像序列、飞行imu以及相机内外参数信息回传给地面工作站，地面工作站通过slam技术首先估测出图像序列中每帧图像的位姿，再通过特征点匹配构建出地面的稀疏点云地图，最终利用图像对稀疏点云进行插值以及构建mesh面，恢复出需要探测区域的鸟瞰地图。
51.用无人机获取鸟瞰地图的做法，可以大大扩展本发明适用的范围，可以针对性地获取机器人移动区域的准确地图，避免卫星地图覆盖不完全以及分辨率不足等缺陷，具有更大的灵活性。
52.s2：利用移动机器人上搭载的双目相机对所在位置前方区域进行探测形成富含纹理信息的地面点云，以鸟瞰视角对该地面点云进行观测得到地面点云图像。
53.双目相机的探测数据转换为点云的做法也存在现有技术，在本实施例中，可利用移动机器人上搭载的双目相机估测所在位置前方区域的深度信息并且形成点云，将左目相机的图像信息以纹理的形式赋予给所形成的点云，构成富含纹理信息的地面点云，以鸟瞰视角对该地面点云进行观测，得到鸟瞰视角下的地面点云图像。
54.s3：移动机器人根据自带的传感器估计自身所处位置，并从s1得到的鸟瞰地图中以自身所处位置为中心，截取与s2中得到的地面点云图像相同大小的局部鸟瞰地图。
55.移动机器人对于自身所处位置的估计，可以基于其自身搭载的传感器来实现，例如gps定位设备或者里程计均可以实现机器人大致位置的定位。但是，gps定位设备的精度
受限于设备自身以及移动机器人所处环境的限制，往往会在外部干扰下出现较大的误差，同时里程计也仅仅能够实现粗略的位置估计。因此，移动机器人对于自身位置的估计只能是一个大概的粗定位，需要依赖于本发明的后续流程进行校正。
56.在本发明中，该校正流程是通过地面点云图像与局部鸟瞰地图的图像匹配来实现的。其中，地面点云图像来源于移动机器人真实所处位置的周边场景图像，而局部鸟瞰地图则是来源于在无人机探测后构建的地图，如果地面点云图像经过图像匹配可以配准至局部鸟瞰地图上，那么就可以利用局部鸟瞰地图信息实现机器人的准确定位。但是局部鸟瞰地图的尺寸过大，无目的地图像配准效率过低，因此前述移动机器人对于自身位置的初步估计可以用于缩小配准图像的范围。考虑到后续图像配准的需要，可以以估计的自身定位所在位置为中心，截取一张与地面点云图像相同大小的图像，用于与地面点云图像进行配准。本实施例中地面点云图像与局部鸟瞰地图的图像大小设定为256
×
256。
57.s4：将前述地面点云图像与局部鸟瞰地图输入深度相位相关网络中，通过卷积操作提取地面点云图像和局部鸟瞰地图中的鲁棒特征，再通过反卷积操作将提取的特征转换为与原图大小一致的特征图，然后对地面点云图像的特征图与局部鸟瞰地图的特征图通过傅里叶变换操作去除平移分量，再通过对数极性变换操作将旋转分量转换为平移，最后通过相位相关操作得到一张相位相关图。
58.由此可见，本发明的核心还需要构建一个深度相位相关网络，使其能够对输入地面点云图像与局部鸟瞰地图进行处理，实现地面点云图像与局部鸟瞰地图异质匹配，输出一张相位相关图。
59.如图2所示，为本发明一个较佳实施例中构建的深度相位相关网络的网络框架结构，其核心是8个独立的u
‑
net网络以及傅里叶变换层(fft)、对数极性变换层(lpt)和相位相关层(dc)，该深度相位相关网络的输入是一对异构的图形，即前述的局部鸟瞰地图sample1与地面点云图像sample2，其最终输出是配准局部鸟瞰地图和地面点云图像所需要的三种位姿变换关系，即平移、旋转和缩放。局部鸟瞰地图用于作为匹配的模板，地面点云图像通过位姿变换后可以匹配拼接到局部鸟瞰地图上。
60.为了解决异构图像无法直接配准的问题，一般的处理方法是从两幅图像中提取特征，用特征代替原始传感器测量值来估计相对姿态。在传统的相位相关算法中，利用高通滤波器来抑制两个输入的随机随机噪声，而这一过程可以看作是一个特征提取器。但是对于一对输入的异构图像而言，两者之间存在比较明显的变化，一个高通滤波器是远远不够的。考虑到没有共同的特征来直接监督特征提取器，本发明利用端到端学习来解决这个问题。本发明中对局部鸟瞰地图和源图像在旋转缩放阶段和平移阶段分别构建了8个独立的可训练u
‑
net网络(记为u
‑
net1～u
‑
net8)，这8个u
‑
net网络在平移、旋转和缩放三类损失的监督下预先经过训练后，能够从异构图像中提取出图片中的同构特征即共同特征，从而将两张异构图像转换为两张同构的特征图。本发明中，假如仅设4个u
‑
net网络，那么旋转与缩放两种变换的求解需要被偶合起来的，x方向平移与y方向平移的求解也需要被偶合起来，这样训练得到的特征提取器所提取的特征存在效果不佳的情况；因此，我们将旋转、缩放、x平移、y平移解耦，分别训练各自的u
‑
net网络，一共得到8个u
‑
net网络，以达到提升精度的效果。
61.在本实施例中，对于8个独立的u
‑
net网络，其输入和输出大小分别为256
×
256。每
个u
‑
net网络由4个采用卷积操作进行下采样的编码器层和4个采用反卷积操作进行上采样的解码器层来提取与输入原图大小相同的特征，同时编码器层和解码器层之间还存在跳跃连接，具体u
‑
net网络结构属于现有技术，不再赘述。随着训练的进行，8个u
‑
net的参数会被调整。请注意，这个网络是轻量级的，所以它具有足够高效的实时性，能够满足应用场景的要求。
62.另外，傅里叶变换层(fft)的作用是对u
‑
net网络提取的特征图进行傅里叶变换，去掉图像之间的平移变换关系但保留旋转和缩放变换关系。因为根据傅里叶变换的特性，只有旋转和比例对频谱的幅度有影响，但对频谱的幅度对平移不敏感。因此引入fft后就得到了对平移不敏感但对缩放和旋转尤其敏感的表示方法，因此在后续求解缩放和旋转时可以忽略平移。
63.另外，对数极性变换层(lpt)的作用是对fft变换后的图像进行对数极坐标变换，将图像从笛卡尔坐标系映射至对数极坐标系。在该映射过程中，笛卡尔坐标系下的缩放和旋转可以转换成对数极坐标系下的平移。该坐标系变换，可以得出关于缩放和旋转的交叉相关形式，消除整个深度相位相关网络中的所有穷尽性评价。
64.另外，相位相关层(dc)的作用是进行相位相关求解，即计算两个幅度谱之间的交叉相关性。根据求解得到的相关性，可以得到二者之间的平移变换关系。交叉相关性的具体计算过程属于现有技术，不再赘述。
65.下面基于上述深度相位相关网络，对局部鸟瞰地图和地面点云图像之间相位相关图的具体计算过程进行详细描述，其步骤如下：
66.s401：以预先经过训练的第一u
‑
net网络u
‑
net1和第二u
‑
net网络u
‑
net2作为两个特征提取器，分别以异构的局部鸟瞰地图和地面点云图像作为两个特征提取器u
‑
net1和u
‑
net2各自的原始输入图片(即局部鸟瞰地图输入u
‑
net1中，而地面点云图像输入u
‑
net2中，下同)，提取两张原始输入图片中的同构特征，得到同构的第一特征图和第二特征图。此时，第一特征图和第二特征图中同时保留有原始输入图片之间的平移、旋转和缩放变换关系。
67.s402：将s401中得到的第一特征图和第二特征图分别进行第一次傅里叶变换操作(记为fft1)后取各自的幅度谱，此时两个幅度谱之间保留有原始输入图片之间的旋转和缩放变换关系，但平移变换关系已在fft1中被滤掉。
68.s403：将s402中得到的两个幅度谱分别进行第一次对数极坐标变换操作(记为lpt1)，使其从笛卡尔坐标系转换到对数极坐标系中，从而使两个幅度谱之间笛卡尔坐标系下的旋转变换被映射成对数极坐标系中y方向上的平移变换(记为y)。
69.s404：将s403中两个坐标变换后的幅度谱在相位相关层(dc)中进行相位相关求解，形成一张相位相关图a，相位相关图a进行argmax操作后，得到二者之间的平移变换关系。需注意，在s403的lpt1中，笛卡尔坐标系下的旋转变换与对数极坐标系中y方向上的平移变换y之间存在映射关系，因此可以再将该平移变换关系按照s403中笛卡尔坐标系和对数极坐标系之间的映射关系重新转换，得到前述局部鸟瞰地图和地面点云图像之间的旋转变换关系。
70.上述旋转变换关系本质上是地面点云图像要实现与局部鸟瞰地图的配准，需要被旋转的角度theta。
71.s405：同样的，以预先经过训练的第三u
‑
net网络u
‑
net3和第四u
‑
net网络u
‑
net4
作为两个特征提取器，分别以异构的局部鸟瞰地图和地面点云图像作为两个特征提取器u
‑
net3和u
‑
net4各自的原始输入图片，提取两张原始输入图片中的同构特征，得到同构的第三特征图和第四特征图。此时，第三特征图和第四特征图中也同时保留有原始输入图片之间的平移、旋转和缩放变换关系。
72.s406：将s405中得到的第三特征图和第四特征图分别进行第二次傅里叶变换操作(记为fft2)后取各自的幅度谱。同样的，这两个幅度谱之间保留有原始输入图片之间的旋转和缩放变换关系而平移变换关系已在已在fft2中被滤掉。
73.s407：将s406中得到的两个幅度谱分别进行第二次对数极坐标变换操作(记为lpt2)，使其从笛卡尔坐标系转换到对数极坐标系中，从而使两个幅度谱之间笛卡尔坐标系下的缩放变换被映射成对数极坐标系中x方向上的平移变换x。
74.s408：将s407中两个坐标变换后的幅度谱在相位相关层(dc)中进行相位相关求解，形成一张相位相关图b，相位相关图b进行argmax操作后，得到二者之间的平移变换关系。同样的，在s407的lpt2中，笛卡尔坐标系下的旋转变换与对数极坐标系中x方向上的平移变换x之间存在映射关系，因此可以再按照s407中笛卡尔坐标系和对数极坐标系之间的映射关系重新转换，得到前述局部鸟瞰地图和前述地面点云图像之间的缩放变换关系。
75.上述缩放变换关系本质上是地面点云图像要实现与局部鸟瞰地图的配准，需要被缩放的比例scale。
76.由此，通过上述步骤，已获得了局部鸟瞰地图和地面点云图像之间的旋转变换关系和缩放变换关系。
77.s409：将前述地面点云图像按照s404和s408中得到的旋转变换关系和缩放变换关系进行对应的旋转和缩放变换，得到一张新的地面点云图像。由于通过旋转和缩放变换后，局部鸟瞰地图和地面点云图像之间已不存在角度和比例的差异，因此新的地面点云图像与输入的局部鸟瞰地图之间目前仅包含平移变换关系，而不存在旋转变换关系和缩放变换关系，后续仅需要通过平移变换消除两者之间的平移差异即可。对于平移变换关系，只需要通过相位相关求解，就可以获取其x和y方向上的平移变换关系。
78.s410：以预先经过训练的第五u
‑
net网络u
‑
net5和第六u
‑
net网络u
‑
net6作为两个特征提取器，分别以局部鸟瞰地图和新的地面点云图像作为两个特征提取器u
‑
net5和u
‑
net6各自的原始输入图片，提取两张原始输入图片中的同构特征，得到同构的第五特征图和第六特征图。此时，第五特征图和第六特征图中仅保留有原始输入图片之间的平移变换关系，而不存在旋转和缩放变换关系。
79.s411：将s410中得到的第五特征图和第六特征图在相位相关层(dc)中进行相位相关求解，形成一张相位相关图c，相位相关图c进行argmax操作后，得到局部鸟瞰地图和地面点云图像之间的x方向上的平移变换关系。
80.s412：以预先经过训练的第七u
‑
net网络u
‑
net7和第八u
‑
net网络u
‑
net8作为两个特征提取器，分别以局部鸟瞰地图和新的地面点云图像作为两个特征提取器u
‑
net7和u
‑
net8各自的原始输入图片，提取两张原始输入图片中的同构特征，得到同构的第七特征图和第八特征图。此时，第七特征图和第八特征图中仅保留有原始输入图片之间的平移变换关系，而不存在旋转和缩放变换关系。
81.s413：将s412中得到的第七特征图和第八特征图在相位相关层(dc)中进行相位相
关求解，形成一张相位相关图d，相位相关图d进行argmax操作后，得到局部鸟瞰地图和地面点云图像之间的y方向上的平移变换关系。
82.上述x方向上的平移变换关系和y方向上的平移变换关系本质上是地面点云图像要实现与局部鸟瞰地图的配准，分别需要在x方向上平移的距离x和在y方向上平移的距离y。
83.由此可见，本发明的位姿估计是分为两个阶段来实现的，一共得到了四个自由度(x、y、theta、scale)的估计值。首先，通过s401～s409的旋转缩放阶段实现旋转和缩放变换关系的估计，然后再通过s410～s413平移阶段实现平移变换关系的估计。综合上述s404、s408、s411和s413的结果，就可以得到异构的局部鸟瞰地图和地面点云图像之间旋转、缩放和平移三种变换关系的位姿估计值，从而完成两者的位姿估计过程。
84.但是需注意的是，上述深度相位相关网络的最终目的并非获得位姿估计值，而是需要得到最终用于计算概率分布图的相位相关图e。而该相位相关图e是在上述位姿估计过程中通过一个网络分支，叠加s411步骤中的相位相关图c和s413步骤中的相位相关图d得到的。
85.s414：将s411步骤中输出的相位相关图c和s413步骤中输出的相位相关图d进行叠加，该叠加是通过逐像素求和实现的，得到相位相关图e。由于相位相关图e是两张相位相关图叠加得到的，因此需要进行归一化操作，然后将归一化后的相位相关图e作为最终输出，用于进行后续的概率分布图计算。
86.由此可见，准确输出相位相关图e依然需要实现准确地得到相位相关图c和相位相关图d，所以上述深度相位相关网络依然需要以提高最终的位姿估计准确性为目标进行训练。在训练过程中，上述深度相位相关网络中，8个u
‑
net网络均预先进行训练，为了保证每一个u
‑
net网络均可以准确提取同构特征，需要设置合理的损失函数。训练的总损失函数应当为局部鸟瞰地图和所述地面点云图像之间的旋转变换关系损失、缩放变换关系损失、x方向上的平移变换关系损失和y方向上的平移变换关系损失的加权和，具体加权值可根据实际进行调整。
87.在本实施例中，总损失函数中四种损失的加权权值均为1，且四种损失均采用l1损失，四种损失函数分别如下：
88.将s404中预测的旋转关系theta记为theta_predict，将s408中预测的缩放关系scale记为scale_predict，将s411中预测的x方向上的平移变换x记为x_predict，将s413中预测的y方向上的平移变换y记为y_predict。因此，每一轮训练过程中求得两个异构图片之间的平移(x_predict,y_predict)，旋转(theta_predict)，缩放(scale_predict)关系。
89.1)在模型中将所求得的theta_predict与其真值theta_gt做1范数距离损失，l_theta＝(theta_gt
‑
theta_predict)，将l_theta回传用以训练u
‑
net1、u
‑
net2,使其能够提取到更好的用于求theta_predict的特征。
90.2)将所求得的scale_predict与其真值scale_gt做1范数距离损失，l_scale＝(scale_gt
‑
scale_predict)，将l_scale回传用以训练u
‑
net3、u
‑
net4,使其能够提取到更好的用于求scale_predict的特征。
91.3)将所求得的x_predict与其真值x_gt做1范数距离损失，l_x＝(x_gt
‑
x_predict)，将l_x回传用以训练u
‑
net5、u
‑
net6,使其能够提取到更好的用于求x_predict的
特征。
92.4)将所求得的y_predict与其真值y_gt做1范数距离损失，l_y＝(y_gt
‑
y_predict)，将l_y回传用以训练u
‑
net7、u
‑
net8,使其能够提取到更好的用于求y_predict的特征。
93.因此，总损失函数为l＝l_x l_y l_theta l_scale，训练过程中通过梯度下降方法对8个u
‑
net网络的模型参数进行优化，使总损失函数最小。训练完毕后的8个u
‑
net网络组成了用于对实际的异构图像进行位姿估计的深度相位相关网络，该深度相位相关网络中可按照上述s1～s13的方法进行两张异构图像的位姿估计，在该过程中，可以输出准确的相位相关图c和相位相关图d。
94.s5：对前述归一化后的相位相关图e进行softmax操作，使其转变为0
‑
1的分布，得到一张概率分布图。
95.s6：在概率分布图基础上，基于粒子滤波定位方法对移动机器人在地图上的准确位置进行定位。
96.粒子滤波定位方法属于现有技术，下面对其在本实施例的实现方式简述如下：
97.通过粒子滤波定位方法对移动机器人在地图上的准确位置进行定位的方法过程为：
98.s61：首先进行粒子群初始化，在鸟瞰地图中移动机器人当前位置附近撒预设数量的点，每个点代表移动机器人的一个假定位置。
99.s62：然后获取概率分布图，将这些点映射到前述的概率分布图中，一个点在概率分布图中的概率值则代表该点的权重，权重越大说明移动机器人在该位置的可能性越大。
100.s63：获得粒子的权重之后，根据权重通过轮盘法进行重采样操作，使得权重大的粒子持续存在，逐渐过滤掉权重小的粒子。
101.s64：移动机器人根据基于里程计估计的运动，移动所有粒子，粒子再次根据当前的概率分布图进行权重的更新计算。
102.s65：不断迭代重复s63和s64，使粒子逐渐聚拢在真实位置附近，迭代结束后以粒子最终聚集的位置中心确定移动机器人在地图上的准确位置。
103.基于上述粒子滤波定位算法步骤，最终随着机器人的移动，定位能够逐渐收敛到较为精确的程度。
104.在一个具体实例中，如图3所示，为本实施例中的一张无人机构建的地图，机器人在该地图中移动。如图4所示，为机器人处于某一位置时的深度相位相关网络模型输入图像对，左图为由双目相机数据得到的地面点云图像，而右图为从鸟瞰地图上以根据里程计数据粗估确定的位置为中心截取的局部鸟瞰地图。这两张图像输入深度相位相关网络后，输出相位相关图，然后转换为概率分布图，经过上述粒子滤波定位算法后获得机器人移动过程中定位的路线。进一步对不同方法的误差进行量化，当地面移动机器人移动时，其里程计会存在历程误差，表1中的量化指标显示了当机器人在三个不同路段前进200m过程中，直接由里程计估计而无任何校正的定位历程误差，以及采用本发明方法校正后的定位历程误差，单位为米。
105.表1本发明校正前后的误差以及校正耗时
[0106] 无校正误差利用本方法矫正利用本方法矫正耗时
路段123.1m1.02m30ms路段219.6m0.91m28ms路段326.7m0.87m33ms
[0107]
由此可见，该方法可以对gps、里程计等车载传感器确定的位置粗估值进行校正，排除光照、遮挡物等外部因素对于定位结果的不利影响，大大提高了移动机器人自主定位的鲁棒性。
[0108]
以上所述的实施例只是本发明的一种较佳的方案，然其并非用以限制本发明。有关技术领域的普通技术人员，在不脱离本发明的精神和范围的情况下，还可以做出各种变化和变型。因此凡采取等同替换或等效变换的方式所获得的技术方案，均落在本发明的保护范围内。