基于无人机地图与地面双目信息的移动机器人定位方法与流程

技术特征：
1.一种基于无人机地图与地面双目信息的移动机器人定位方法，其特征在于，步骤如下：s1：利用无人机对机器人移动区域进行全覆盖探测，得到的下视相机图像序列及飞行过程中的参数，通过稀疏点云地图恢复机器人移动区域的鸟瞰地图；s2：利用移动机器人上搭载的双目相机对所在位置前方区域进行探测形成富含纹理信息的地面点云，以鸟瞰视角对该地面点云进行观测得到地面点云图像；s3：移动机器人根据自带的传感器估计自身所处位置，并从所述鸟瞰地图中以自身所处位置为中心，截取与所述地面点云图像相同大小的局部鸟瞰地图；s4：将所述地面点云图像与所述局部鸟瞰地图输入深度相位相关网络中，通过卷积操作提取所述地面点云图像和局部鸟瞰地图中的鲁棒特征，再通过反卷积操作将提取的特征转换为与原图大小一致的特征图，然后对地面点云图像的特征图与局部鸟瞰地图的特征图通过傅里叶变换操作去除平移分量，再通过对数极性变换操作将旋转分量转换为平移，最后通过相位相关操作得到一张相位相关图；s5：对所述相位相关图进行softmax操作使其转变为0
‑
1的分布，得到概率分布图；s6：在概率分布图基础上，基于粒子滤波定位方法对移动机器人在地图上的准确位置进行定位。2.如权利要求1所述的基于无人机地图与地面双目信息的移动机器人定位方法，其特征在于，所述s1中，无人机首先对机器人移动区域进行探测，在所需要探测区域的上表飞行一段距离并且覆盖该区域后返回，将得到的下视相机图像序列、飞行imu以及相机参数信息回传给地面工作站，地面工作站通过slam技术首先估测出图像序列中每帧图像的位姿，再通过特征点匹配构建出地面的稀疏点云地图，最终利用图像对稀疏点云进行插值以及构建mesh面，恢复出需要探测区域的鸟瞰地图。3.如权利要求1所述的基于无人机地图与地面双目信息的移动机器人定位方法，其特征在于，所述s2中，利用移动机器人上搭载的双目相机估测所在位置前方区域的深度信息并且形成点云，将左目相机的图像信息以纹理的形式赋予给所形成的点云，构成富含纹理信息的地面点云，以鸟瞰视角对该地面点云进行观测，得到鸟瞰视角下的地面点云图像。4.如权利要求1所述的基于无人机地图与地面双目信息的移动机器人定位方法，其特征在于，所述s3中，所述移动机器人根据gps或者里程计估计自身所处位置。5.如权利要求1所述的基于无人机地图与地面双目信息的移动机器人定位方法，其特征在于，所述的s4中，深度相位相关网络包含8个不同的u
‑
net网络，其中对输入的地面点云图像与局部鸟瞰地图输出相位相关图的具体方法如下：s401：以预先经过训练的第一u
‑
net网络和第二u
‑
net网络作为两个特征提取器，分别以局部鸟瞰地图和地面点云图像作为两个特征提取器各自的原始输入图片，提取两张原始输入图片中的同构特征，得到同构的第一特征图和第二特征图；s402：将s401中得到的第一特征图和第二特征图分别进行傅里叶变换后取各自的幅度谱；s403：将s402中得到的两个幅度谱分别进行对数极坐标变换，使其从笛卡尔坐标系转换到对数极坐标系中，从而使两个幅度谱之间笛卡尔坐标系下的旋转变换被映射成对数极坐标系中y方向上的平移变换；
s404：将s403中两个坐标变换后的幅度谱进行相位相关求解，得到二者之间的平移变换关系，再按照s403中笛卡尔坐标系和对数极坐标系之间的映射关系重新转换，得到所述局部鸟瞰地图和所述地面点云图像之间的旋转变换关系；s405：以预先经过训练的第三u
‑
net网络和第四u
‑
net网络作为两个特征提取器，分别以局部鸟瞰地图和地面点云图像作为两个特征提取器各自的原始输入图片，提取两张原始输入图片中的同构特征，得到同构的第三特征图和第四特征图；s406：将s405中得到的第三特征图和第四特征图分别进行傅里叶变换后取各自的幅度谱；s407：将s406中得到的两个幅度谱分别进行对数极坐标变换，使其从笛卡尔坐标系转换到对数极坐标系中，从而使两个幅度谱之间笛卡尔坐标系下的缩放变换被映射成对数极坐标系中x方向上的平移变换；s408：将s407中两个坐标变换后的幅度谱进行相位相关求解，得到二者之间的平移变换关系，再按照s407中笛卡尔坐标系和对数极坐标系之间的映射关系重新转换，得到所述局部鸟瞰地图和所述地面点云图像之间的缩放变换关系；s409：将所述地面点云图像按照s404和s408中得到的旋转变换关系和缩放变换关系进行对应的旋转和缩放变换，得到一张新的地面点云图像；s410：以预先经过训练的第五u
‑
net网络和第六u
‑
net网络作为两个特征提取器，分别以局部鸟瞰地图和新的地面点云图像作为两个特征提取器各自的原始输入图片，提取两张原始输入图片中的同构特征，得到同构的第五特征图和第六特征图；s411：将s410中得到的第五特征图和第六特征图进行相位相关求解，得到第一相位相关图，用于进一步计算所述局部鸟瞰地图和所述地面点云图像之间的x方向上的平移变换关系；s412：以预先经过训练的第七u
‑
net网络和第八u
‑
net网络作为两个特征提取器，分别以局部鸟瞰地图和新的地面点云图像作为两个特征提取器各自的原始输入图片，提取两张原始输入图片中的同构特征，得到同构且仅保留有原始输入图片之间的平移变换关系的第七特征图和第八特征图；s413：将s412中得到的第七特征图和第八特征图进行相位相关求解，得到第二相位相关图，用于进一步计算所述局部鸟瞰地图和所述地面点云图像之间的y方向上的平移变换关系；s414：将所述第一相位相关图和所述第二相位相关图叠加求和后进行归一化，作为最终输出用于进行softmax操作的相位相关图。6.如权利要求5所述的基于无人机地图与地面双目信息的移动机器人定位方法，其特征在于，所述深度相位相关网络中，8个u
‑
net网络相互独立，每个u
‑
net网络各自通过4个通过卷积操作进行下采样的编码器层和4个通过反卷积操作进行上采样的解码器层来提取与输入原图大小相同的特征图；8个u
‑
net网络均预先进行训练，训练的总损失函数为所述局部鸟瞰地图和地面点云图像之间的旋转变换关系损失、缩放变换关系损失、x方向上的平移变换关系损失和y方向上的平移变换关系损失的加权和。7.如权利要求6所述的基于无人机地图与地面双目信息的移动机器人定位方法，其特征在于，所述总损失函数中四种损失的加权权值均为1，四种损失均采用l1损失。
8.如权利要求1所述的基于无人机地图与地面双目信息的移动机器人定位方法，其特征在于，所述s6中，基于粒子滤波定位方法对移动机器人在地图上的准确位置进行定位的方法如下：s61：首先在移动机器人当前位置附近撒预设数量的点，每个点代表移动机器人的一个假定位置；s62：将这些点映射到所述的概率分布图中，一个点在概率分布图中的概率值则代表该点的权重，权重越大说明移动机器人在该位置的可能性越大；s63：获得粒子的权重之后，根据权重进行重采样操作，使得权重大的粒子持续存在，逐渐过滤掉权重小的粒子；s64：移动机器人根据估计的运动，移动所有粒子，粒子再次根据所述的概率分布图进行权重的更新计算；s65：不断迭代重复s63和s64，使粒子逐渐聚拢在真实位置附近，迭代结束后以粒子最终聚集的位置中心确定移动机器人在地图上的准确位置。

技术总结
本发明公开了一种基于无人机地图与地面双目信息的移动机器人定位方法，属于移动机器人定位领域。该方法利用移动机器人自带的双目相机获取其所在位置的地面点云图像，同时利用车载传感器确定的位置粗估值从无人机鸟瞰地图中截取局部图像，两类图像通过深度相位相关网络得到相位相关图并转换为概率分布图，由此通过粒子滤波定位算法即可实现机器人的准确定位。该方法可以对GPS、里程计等车载传感器确定的位置粗估值进行校正，排除光照、遮挡物等外部因素对于定位结果的不利影响，大大提高了移动机器人自主定位的鲁棒性。移动机器人自主定位的鲁棒性。移动机器人自主定位的鲁棒性。


技术研发人员：王越 许学成 陈泽希 熊蓉
受保护的技术使用者：浙江大学
技术研发日：2021.07.14
技术公布日：2021/10/23