移动机器人的运动轨迹估计方法、装置和存储介质与流程

1.本技术涉及视觉里程计技术领域，特别是涉及一种移动机器人的运动轨迹估计方法、装置和存储介质。


背景技术：

2.近年来，移动机器人自主导航、自动驾驶、虚拟现实(vr，virtual reality)以及增强现实(ar，augmented reality)等领域技术蓬勃发展，极大地丰富了人们的生产生活需求。而实现移动机器人的高精度定位，并构建出完备可信的环境模型，将是移动机器人在不同环境中实现自主导航功能的重要条件。视觉里程计(vo，visual odometry)是一种根据拍摄的图像估计移动机器人运动轨迹的技术，目前一般利用视觉里程计为移动机器人的自主导航功能提供技术支撑。
3.目前的技术方案中，是在获取到通过移动机器人采集到的样本图像之后，为各样本图像标记样本绝对位姿，进而将单张样本图像以及对应的样本绝对位姿输入至深度神经网络中进行学习训练，得出位姿估计模型；后续便可以在获取到目标移动机器人运动过程中连续的待处理图像后，利用位姿估计模型输出各待处理图像对应的估计绝对位姿，进而确定出目标移动机器人的估计运动轨迹。但是在实际操作中，移动机器人在短时间内的位姿变化可能是细微的，在训练位姿估计模型时，由于各样本绝对位姿不精准，将导致训练出的位姿估计模型的精准度不够高。因此利用现有技术的方法，将导致确定出的移动机器人的运动轨迹不够精准。
4.因此，如何进一步提高估计移动机器人的运动轨迹的精准度，是本领域技术人员目前需要解决的技术问题。


技术实现要素：

5.基于此，有必要针对上述技术问题，提供一种能够提高估计移动机器人的运动轨迹的精准度的移动机器人的运动轨迹估计方法、装置和存储介质。
6.一种移动机器人的运动轨迹估计方法，所述方法包括：
7.获取目标移动机器人运动过程中连续的待处理图像；
8.将连续的所述待处理图像输入至预先训练出的位姿估计模型中，利用所述位姿估计模型输出与各相邻的待处理图像对应的估计相对位姿；
9.根据各所述估计相对位姿确定出各所述待处理图像的估计绝对位姿；
10.利用各所述估计绝对位姿确定出所述目标移动机器人的估计运动轨迹。
11.在其中一个实施例中，训练出所述位姿估计模型的过程包括：
12.获取所述目标移动机器人采集到的样本图像；
13.确定出与各所述样本图像对应的样本绝对位姿，并根据相邻的两个所述样本绝对位姿确定出相邻的两个样本图像的样本相对位姿；
14.将所述样本图像和所述样本相对位姿输入至深度神经网络中进行学习训练，得出
所述位姿估计模型。
15.在其中一个实施例中，所述确定出与各所述样本图像对应的样本绝对位姿，并根据相邻的两个所述样本绝对位姿确定出相邻的两个样本图像的样本相对位姿的过程，包括：
16.从所述样本图像中确定出第一样本图像，并获取用户对象对所述第一样本图像的标记操作，确定出所述第一样本图像的第一样本绝对位姿；
17.将所述样本图像中除第一样本图像之外的图像确定为第二样本图像，并根据所述第一样本图像和所述第一样本绝对位姿计算出与各所述第二样本图像对应的第二样本绝对位姿；
18.将所述第一样本绝对位姿和所述第二样本绝对位姿按照时序排列，得出按照时序排列的所述样本绝对位姿；
19.根据相邻的两个所述样本绝对位姿确定出所述样本相对位姿。
20.在其中一个实施例中，所述将所述样本图像和所述样本相对位姿输入至深度神经网络中进行学习训练，得出所述位姿估计模型的过程，包括：
21.为所述深度神经网络设置初始化参数，得出初始化估计模型；
22.将相邻两张所述样本图像和对应的样本相对位姿输入至所述初始化估计模型中，利用所述初始化估计模型输出与当前输入的所述样本图像对应的输出相对位姿；
23.若所述输出相对位姿和所述样本相对位姿的误差值超出期望误差范围，则根据所述误差值调整所述初始化模型的模型参数，并进入所述将相邻两张所述样本图像和对应的样本相对位姿输入至所述初始化估计模型中的步骤，直至所述误差值在所述期望误差范围内，结束训练，得出所述位姿估计模型。
24.在其中一个实施例中，所述若所述输出相对位姿和所述样本相对位姿的误差值超出期望误差范围，则根据所述误差值调整所述初始化模型的模型参数的过程，包括：
25.若所述输出相对位姿和所述样本相对位姿的所述误差值超出所述期望误差范围，根据所述输出相对位姿和所述样本相对位姿的误差值，利用网络误差优化函数计算出最优化网络参数；
26.利用所述最优化网络参数调整所述初始化模型的所述模型参数。
27.在其中一个实施例中，所述根据相邻的两个所述样本绝对位姿确定出所述样本相对位姿的过程，包括：
28.确定出相邻的两个所述样本绝对位姿的相对位移数据和相对旋转角度；其中，相对位移数据包括所述目标移动机器人沿直角坐标系x，y，z轴的移动距离，相对旋转角度表示所述目标移动机器人绕直角坐标系x，y，z轴旋转的角度；
29.根据所述相对位移数据和所述相对旋转角度确定出所述样本相对位姿。
30.在其中一个实施例中，所述深度神经网络为卷积神经网络；其中，所述卷积神经的网络框架包括输入层，隐藏层和输出层，所述隐藏层包括卷积层，激活函数层，池化层以及全连接层；
31.所述将相邻两张所述样本图像和对应的样本相对位姿输入至所述初始化估计模型中，利用所述初始化估计模型输出与当前输入的所述样本图像对应的输出相对位姿的过程，包括：
32.将相邻两张所述样本图像和对应的样本相对位姿输入至所述初始化估计模型的输入层，并利用所述隐藏层中的所述卷积层，所述激活函数层，所述池化层进行特征提取，利用所述全连接层进行分类识别，确定出所述相邻两张所述样本图像对应各候选相对位姿的概率；
33.利用所述输出层选取各所述概率中的最大值对应的候选相对位姿作为所述输出相对位姿。
34.在其中一个实施例中，所述根据各所述估计相对位姿确定出各所述待处理图像的估计绝对位姿的过程，包括：
35.利用多个所述估计相对位姿进行矩阵变换，得出与各所述待处理图像对应的估计绝对位姿。
36.一种移动机器人的运动轨迹估计装置，所述装置包括：
37.获取模块，用于获取目标移动机器人运动过程中连续的待处理图像；
38.输出模块，用于将连续的所述待处理图像输入至预先训练出的位姿估计模型中，利用所述位姿估计模型输出与各相邻的待处理图像对应的估计相对位姿；
39.第一确定模块，用于根据各所述估计相对位姿确定出各所述待处理图像的估计绝对位姿；
40.第二确定模块，用于利用各所述估计绝对位姿确定出所述目标移动机器人的估计运动轨迹。
41.一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
42.获取目标移动机器人运动过程中连续的待处理图像；
43.将连续的所述待处理图像输入至预先训练出的位姿估计模型中，利用所述位姿估计模型输出与各相邻的待处理图像对应的估计相对位姿；
44.根据各所述估计相对位姿确定出各所述待处理图像的估计绝对位姿；
45.利用各所述估计绝对位姿确定出所述目标移动机器人的估计运动轨迹。
46.上述基于移动机器人的运动轨迹估计方法、装置和存储介质，通过预先训练出位姿估计模型，在获取到目标移动机器人运动过程中连续的待处理图像后，利用位姿估计模型确定出对应的估计相对位姿，进而根据各估计相对位姿确定出各待处理图像的估计绝对位姿，得出目标移动机器人的运动轨迹；即本方法中位姿估计模型的训练样本为两张相邻的样本图像和与之对应的样本相对位姿，由于估计相对位姿中包括相邻待处理图像的位姿在时间和空间中的变化情况，因此能够利用位姿估计模型输出更加精准的估计相对位姿，从而提高确定出目标移动机器人的运动轨迹的精准度。
附图说明
47.图1为一个实施例中一种移动机器人的运动轨迹估计方法的流程示意图；
48.图2为一个实施例中训练出所述位姿估计模型的过程的流程示意图；
49.图3为一个实施例中一种移动机器人的运动轨迹估计装置的结构框图。
具体实施方式
50.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。
51.本技术提供的一种移动机器人的运动轨迹估计方法，可以应用于移动机器人中，以实现对移动机器人的运动轨迹估计，进而实现移动机器人自主导航、自动驾驶。其中，移动机器人指的是能够在空间发生位移的机器人，本实施例对移动机器人的具体类型不做限定，例如可以是无人机。同时定位与制图(simultaneous localization and mapping，slam)是移动机器人在未知环境下自主作业的核心关键技术，是移动机器人自动化领域的研究重点。在对周围环境没有任何先验信息的情形下，移动机器人通过自身携带的传感器，不断感知周围环境以及估计自身的位置，并随着移动机器人的移动而进行环境图的增量式构建与移动机器人的连续定位，并且最终可以构建出周围环境的模型。视觉里程计(visual odometry，vo)作为slam系统中的重要模块，是视觉导航的一种特殊形式，通过跟踪相邻图像帧间的特征点估计相机的运动，并对环境进行重建。vo大多借助计算图像帧间的运动来估计当前帧的位姿。
52.在一个实施例中，如图1所示，提供了一种移动机器人的运动轨迹估计方法，以该方法应用于移动机器人为例进行说明，包括以下步骤：
53.步骤102，获取目标移动机器人运动过程中连续的待处理图像。
54.具体的，在本步骤中，主要是获取目标移动机器人运动过程中连续的待处理图像；其中，目标移动机器人指的是需要估计其运动轨迹的移动机器人；待处理图像指的是用于估计目标机器人的运动轨迹的图像。具体的，可以利用设置于目标移动机器人上的拍摄装置采集待处理图像，拍摄装置可以具体为照相机或者摄像机。在实际操作中，在目标移动机器人运动过程中，利用照相机连续拍摄采集周围环境的信息，以得到连续的待处理图像；或者利用摄像机拍摄视频后，从拍摄出的视频中提取多个连续帧图像，得出连续的待处理图像。
55.需要说明的是，在获取到拍摄装置直接采集到的原始图像之后，可以直接将原始图像作为待处理图像；但是，这些原始图像可能存在运动畸变或者带有拍摄装置的噪声，因此还可以进一步对原始图像进行预处理操作，包括对原始图像进行图像增强、图像去噪等操作，将经过预处理操作之后的图像作为待处理图像，消除原始图像中无关的信息，恢复有用的真实信息，增强有关信息的可检测性和最大限度地简化数据，从而改进特征抽取、图像分割、匹配和识别的可靠性。
56.步骤104，将连续的待处理图像输入至预先训练出的位姿估计模型中，利用位姿估计模型输出与各相邻的待处理图像对应的估计相对位姿。
57.具体的，在预先训练出位姿估计模型的情况下，在获取到连续的待处理图像之后，将连续的待处理图像输入至位姿估计模型中，利用位姿估计模型对待处理图像进行分析，输出与各相邻的待处理图像对应的估计相对位姿。
58.可以理解的是，将相邻的两个待处理图像作为一组图片序列，估计相对位姿是与各组图片序列对应的、利用位姿估计模型预测出的目标移动机器人的相对位姿。
59.步骤106，根据各估计相对位姿确定出各待处理图像的估计绝对位姿。
60.需要说明的是，在本步骤中，是在得出估计相对位姿后，根据相对位姿和绝对位姿的对应关系，利用估计绝对位姿通过姿态解算得出与各待处理图像对应的估计绝对位姿。
61.步骤108，利用各估计绝对位姿确定出目标移动机器人的估计运动轨迹。
62.具体的，在实际操作中，一般是利用多个连续的待处理图像进行位姿估计，获取多个对应的估计相对位姿，然后根据估计位姿与绝对位姿的对应关系，对估计相对位姿解算出对应的绝对位姿。在确定出估计绝对位姿之后，便可以根据各估计绝对位姿对应的空间位置和转角，确定出与目标移动机器人的估计运动轨迹。
63.在实际操作中，在确定出估计运动轨迹后，还可以进一步根据估计运动轨迹预测目标移动机器人在下一时刻的位姿，根据下一时刻的位姿确定是否需要调整目标移动机器人的运动速度或运动方向，以保障目标移动机器人的安全运动。
64.上述基于移动机器人的运动轨迹估计方法，通过预先训练出位姿估计模型，在获取到目标移动机器人运动过程中连续的待处理图像后，利用位姿估计模型确定出对应的估计相对位姿，进而根据各估计相对位姿确定出各待处理图像的估计绝对位姿，得出目标移动机器人的运动轨迹；即本方法中位姿估计模型的训练样本为两张相邻的样本图像和与之对应的样本相对位姿，由于估计相对位姿中包括相邻待处理图像的位姿在时间和空间中的变化情况，因此能够利用位姿估计模型输出更加精准的估计相对位姿，从而提高确定出目标移动机器人的运动轨迹的精准度。
65.在实际操作中，可以利用开源数据集进行学习训练，得出位姿估计模型。；例如，开源数据集euroc数据集包含两个场景：一个是苏黎世联邦理工学院的eth机器大厅，该场景数据包含通过激光追踪精确到毫米级别定位的真值数据；第二个场景是vicon环境下的普通房间；本实施例采用的是euroc数据集的第一个场景eth机器大厅，该场景包含五个数据集序列(machine hall 01
‑
05)；其中，machine hall 01(mh
‑
01)和machine hall 02(mh
‑
02)的数据集评估等级为简单模式；machine hall 03(mh
‑
03)为中等模式；machine hall 04(mh
‑
04)，machine hall 05(mh
‑
05)为困难模式，并且每个数据集序列都提供了真值数据；将真值数据划分为训练样本和测试样本；利用训练样本训练出位姿估计模型后，利用测试样本进行误差测试，并选择绝对位姿误差(ape，单位：米)作为最终的评价指标，误差数值越小说明效果越好，具体实验结果如表格1中所示：
66.表1不同序列的评估结果
67.图像序列mh
‑
01mh
‑
02mh
‑
03mh
‑
04mh
‑
05绝对位姿误差(ate)1.991.621.752.701.780
68.通过实验验证，利用本实施例训练出的位姿估计模型得出估计相对位姿，进而得出估计绝对位姿，能够得出准确的估计运动轨迹，即位姿估计模型能够满足实际需求。
69.在一个实施例中，如图2所示，训练出位姿估计模型的过程包括：
70.步骤202：获取样本图像；
71.步骤204：确定出与各样本图像对应的样本绝对位姿，并根据相邻的两个样本绝对位姿确定出相邻的两个样本图像的样本相对位姿。
72.具体的，样本图像可以是目标移动机器人在运动过程中采集到的图像，也可以是其他移动机器人在运动过程中采集到的图像。
73.在获取到样本图像后，确定出与各样本图像对应的样本绝对位姿，并根据相邻的
两个样本绝对位姿确定出相邻的两个样本图像的样本相对位姿；其中，作为优选的实施方式，确定出与各样本图像对应的样本绝对位姿，并根据相邻的两个样本绝对位姿确定出相邻的两个样本图像的样本相对位姿的过程，包括：
74.从样本图像中确定出第一样本图像，并获取用户对象对第一样本图像的标记操作，确定出第一样本图像的第一样本绝对位姿；
75.将样本图像中除第一样本图像之外的图像确定为第二样本图像，并根据第一样本图像和第一样本绝对位姿计算出与各第二样本图像对应的第二样本绝对位姿；
76.将第一样本绝对位姿和第二样本绝对位姿按照时序排列，得出按照时序排列的样本绝对位姿；
77.根据相邻的两个样本绝对位姿确定出样本相对位姿。
78.具体的，第一样本图像指的是图像中的目标物体位姿明确的图像，一般是多个连续的样本图像中的第一个图像和最后一个图像，第一样本绝对位姿指的是第一样本图像对应的绝对位姿；在其他实施例中，第一样本图像也可以是多个连续的样本图像中的前几个图像和最后几个图像，第一样本绝对位姿指的是与各图像分别对应的绝对位姿；在从样本图像中确定出第一样本图像后，用户对象对第一样本图像进行标记操作，确定出第一样本图像的第一样本绝对位姿。
79.具体的，第二样本图像指的是样本图像中除第一样本图像之外的图像。需要说明的是，由于获取到的连续的样本图像中的目标物体的位姿变化是细微的，因此无法直接通过用户对象手动标记的方式确定出与各样本图像对应的样本绝对位姿；本实施例是确定出第二样本图像后，根据第一样本图像和第一样本绝对位姿计算出与各第二样本图像对应的第二样本绝对位姿；然后将第一样本绝对位姿和第二样本绝对位姿按照时序排列，得出按照时序排列的样本绝对位姿，再根据相邻的两个样本绝对位姿确定出样本相对位姿。可以理解的是，利用用户对象标记和自动化标记结合的方式确定出样本对象的绝对位姿，在能够得出各样本图像的绝对位姿的基础上，最大程度减少用户对象的手动操作，提高确定出样本绝对位姿的便捷度和效率。
80.步骤206：将样本图像和样本相对位姿输入至深度神经网络中进行学习训练，得出位姿估计模型。
81.具体的，在确定出与样本图像对应的样本相对位姿后，即利用样本相对位姿为对应的相邻的样本图像设置标签，得出训练样本，将训练样本输入至深度神经网络中进行学习训练，得出位姿估计模型。
82.需要说明的是，本实施例对深度神经网络的具体类型不做限定，例如可以是卷积神经网络(convolutional neural network，cnn)或者循环神经网络(recurrent neural network，rnn)以及长短期记忆网络(long short
‑
term memory，lstm)等，根据实际需求进行选择即可。
83.可以理解的是，在训练出位姿估计模型后，建立图像与地面真实值之间的映射关系，后续便可以利用位姿估计模型输出与连续的两张待处理图像对应的估计相对位姿，即位姿估计模型的输入为待处理图像，输出为与待处理图像对应的估计相对位姿；使得确定出估计相对位置的方式准确便捷。
84.作为优选的实施方式，根据相邻的两个样本绝对位姿确定出样本相对位姿的过
程，包括：
85.确定出相邻的两个样本绝对位姿的相对位移数据和相对旋转角度；其中，相对位移数据包括目标移动机器人沿直角坐标系x，y，z轴的移动距离，相对旋转角度表示目标移动机器人绕直角坐标系x，y，z轴旋转的角度；
86.根据相对位移数据和相对旋转角度确定出样本相对位姿。
87.具体的，在本实施例中，是利用连续的样本图像中的相邻的两个样本图像的样本绝对位姿，确定出对应的样本相对位姿；其中，样本绝对位姿中包括目标移动机器人的空间位置和转角；其中，空间位置通过目标物体在直角坐标系中的位置表示，转角可由四元数、欧拉角、旋转矩阵等表示，确定出的样本绝对位姿可表示为下面公式所示的向量：
88.p＝[x,y,z,ψ,χ,γ]；
[0089]
其中，p表示样本绝对位姿，x,y,z表示样本图像中的目标物体的空间位置，ψ,χ,γ表示目标物体的转角。在根据相邻的两个样本绝对位姿确定出样本相对位姿时，首先确定出相邻的两个样本绝对位姿的相对位移数据和相对旋转角度，其中，相对位移数据包括目标移动机器人沿直角坐标系x，y，z轴的移动距离，相对旋转角度表示目标移动机器人绕直角坐标系x，y，z轴旋转的角度。为与样本绝对位姿一致，本实施例中的样本相对位姿可以表示为：
[0090]
δp＝[δx,δy,δz,δψ,δχ,δγ]；
[0091]
其中，δp表示样本相对位姿，δx,δy,δz分别表示样本图像中的目标物体在t时刻至t 1时刻沿x，y，z轴的位移差，δψ,δχ,δγ分别表示目标物体在t时刻至t 1时刻绕x，y，z轴旋转的角度差。
[0092]
可见，按照本实施例的方法表示样本绝对位姿和样本相对位置，表示方式简单，便于后续操作计算。
[0093]
在上述实施例的基础上，本实施例对技术方案作了进一步的说明和优化，具体的，本实施例中，将样本图像和样本相对位姿输入至深度神经网络中进行学习训练，得出位姿估计模型的过程，包括：
[0094]
为深度神经网络设置初始化参数，得出初始化估计模型；
[0095]
将相邻两张样本图像和对应的样本相对位姿输入至初始化估计模型中，利用初始化估计模型输出与当前输入的样本图像对应的输出相对位姿；
[0096]
若输出相对位姿和样本相对位姿的误差值超出期望误差范围，则根据误差值调整初始化模型的模型参数，并进入将相邻两张样本图像和对应的样本相对位姿输入至初始化估计模型中的步骤，直至误差值在期望误差范围内，结束训练，得出位姿估计模型。
[0097]
在本实施例中，在为深度神经网络设置初始化参数，得出初始化估计模型之后，利用样本图像和样本相对位姿对初始化估计模型进行不断优化，得出位姿估计模型。
[0098]
具体的，将相邻两张样本图像和对应的样本相对位姿输入至初始化估计模型中，利用初始化估计模型提取样本图像的图像特征并进行分析，输出与当前输入的样本图像对应的输出相对位姿；然后将输出相对位姿和样本相对位姿进行比较，确定输出相对位姿和样本相对位姿的误差值并判断误差值是否超出期望误差范围，若是，则利用误差值调整初始化模型的模型参数；然后继续利用样本图像和样本估计位姿对更新后的初始化模型进行训练，直至误差值在期望误差范围内，结束训练，得出位姿估计模型。
[0099]
需要说明的是，若输出相对位姿和样本相对位姿的误差值超出期望误差范围，则根据误差值调整初始化模型的模型参数的过程，包括：
[0100]
若输出相对位姿和样本相对位姿的误差值超出期望误差范围，根据输出相对位姿和样本相对位姿的误差值，利用网络误差优化函数计算出最优化网络参数；
[0101]
利用最优化网络参数调整初始化模型的模型参数。
[0102]
具体的，在本实施例中，假设给定的第k组图片序列为x
k
＝(x
k
,x
k 1
)，从概率的角度出发，这一组图片序列的相对姿态为y
k
的概率为：
[0103]
p(y
k
|x
k
)；
[0104]
要求得此概率的最大值的关键是求解出最优化网络参数的参数表示为如下公式所示：
[0105][0106]
在一个优选的实施方式中，网络误差优化函数使用均方误差函数(mse)，最终可得优化函数为：
[0107][0108]
其中，p
k
和φ
k
是第k对图片序列的样本相对位姿，和是第k对图片序列的输出相对位姿，β是相对位姿的尺度因子，为二范数表示。
[0109]
具体的，在利用网络误差优化函数根据输出相对位姿和样本相对位姿的误差值计算出最优化网络参数后，利用最优化网络参数调整初始化模型的模型参数。
[0110]
可见，本实施例采用监督学习的方法训练深度神经网络，建立连续的两帧图像和相对位姿之间的映射关系，得出位姿估计模型；监督信息来源于样本相对位姿和利用模型输出的输出相对位姿之间的误差值；根据样本相对位姿和输出相对位姿之间的误差值，在不断的训练过程中利用网络误差优化函数优化位姿估计模型，逐渐减小两者之间的误差，以提升位姿估计模型的准确度，进而优化位姿估计模型。
[0111]
在上述实施例的基础上，本实施例对技术方案作了进一步的说明和优化，具体的，本实施例中，深度神经网络为卷积神经网络；其中，卷积神经网络的网络框架包括输入层，隐藏层和输出层，隐藏层包括卷积层，激活函数层，池化层以及全连接层；
[0112]
将相邻两张样本图像和对应的样本相对位姿输入至初始化估计模型中，利用初始化估计模型输出与当前输入的样本图像对应的输出相对位姿的过程，包括：
[0113]
将相邻两张样本图像和对应的样本相对位姿输入至初始化估计模型的输入层，并利用隐藏层中的卷积层，激活函数层，池化层进行特征提取，利用全连接层进行分类识别，确定出相邻两张样本图像对应各候选相对位姿的概率；
[0114]
利用输出层选取各概率中的最大值对应的候选相对位姿作为输出相对位姿。
[0115]
具体的，在本实施例中，具体是利用卷积神经网络(convolutional neural networks,cnn)训练出位姿估计模型；其中，卷积神经网络的网络框架包括输入层，隐藏层和输出层，隐藏层包括10个卷积层，激活函数层，池化层(max
‑
pooling)以及全连接层。
[0116]
其中，每个卷积层后面连接了一个激活函数relu，即函数max(0，x)；并且有6层卷
积步长为2，得到的特征图谱相应的缩减为原来的两倍；卷积核的大小从7*7，逐渐减小为5*5，最终变为3*3；先从整体宏观提取特征，随着卷积核的减小，便于提取局部特征；随着卷积滤波器的层数不断增加，网络的权重w也在增大，使得输出的图像深度也随之增加，即获得特征图谱的数目增加，以增加提取的抽象化特征。
[0117]
并且，在本实施例中，在卷积层后面设计了三层全连接层，隐藏单元数依次为4096、1024、128，每层全连接层后面都加了一个非线性激活函数relu，得到128维的特征后，进行最后一次特征提取(特征浓缩)，得到6维特征，利用6为特征表示输入的两张样本图像的相对位姿。
[0118]
在训练出位姿估计模型的过程中，将相邻两张样本图像和对应的样本相对位姿输入至初始化估计模型的输入层，并利用隐藏层中的卷积层，激活函数层，池化层进行特征提取，利用全连接层进行分类识别，确定出相邻两张样本图像对应各候选相对位姿的概率；利用输出层选取各概率中的最大值对应的候选相对位姿作为输出相对位姿。
[0119]
需要说明的是，利用卷积神经网络对图像特征的学习能力，在具有大量训练样本的前提下能够获得更高的泛化能力和鲁棒性，即有利于位姿估计模型迁移到不同环境中，提升了训练出的位姿估计模型的鲁棒性的同时能获得良好的精度；并且利用卷积神经网络通过深度学习的方式训练出位姿估计模型，并利用位姿估计模型确定出与待处理图像对应的估计相对位姿，进而确定出目标移动机器人的估计运动轨迹，操作方式更加便捷；此外，本实施例中选择端到端的训练学习的系统框架，相比于传统的视觉里程计算法，省略各个模块中微调参数的过程，提高训练出位姿估计模型的效率，大大提高基于视觉里程计的移动机器人的运动轨迹估计方法的效率。
[0120]
在上述实施例的基础上，本实施例对技术方案作了进一步的说明和优化，具体的，本实施例中，
[0121]
根据各估计相对位姿确定出各待处理图像的估计绝对位姿的过程，包括：
[0122]
利用多个估计相对位姿进行矩阵变换，得出与各待处理图像对应的估计绝对位姿。
[0123]
需要说明的是，在本实施例中，具体是通过对估计相对位姿进行矩阵变换的方式确定出与待处理图像对应的估计绝对位姿；确定出各估计绝对位姿中的空间位置和转角，按照各待处理图像的时间先后顺序，将各对应的估计绝对位姿按照相应的顺序排列，得出估计运动轨迹。
[0124]
可见，按照本实施例的方法，能够便捷准确地根据估计相对位姿确定出对应的估计绝对位姿，进而根据估计绝对位姿确定出对应的估计运动轨迹。
[0125]
应该理解的是，虽然上述实施例涉及的各流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，上述实施例涉及的各流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
[0126]
在一个实施例中，如图3所示，提供了一种移动机器人的运动轨迹估计装置，包括：
获取模块302、输出模块304、第一确定模块306和第二确定模块308，其中：
[0127]
获取模块302，用于获取目标移动机器人运动过程中连续的待处理图像；
[0128]
输出模块304，用于将连续的待处理图像输入至预先训练出的位姿估计模型中，利用位姿估计模型输出与各相邻的待处理图像对应的估计相对位姿；
[0129]
第一确定模块306，用于根据各估计相对位姿确定出各待处理图像的估计绝对位姿；
[0130]
第二确定模块308，用于利用各估计绝对位姿确定出目标移动机器人的估计运动轨迹。
[0131]
本发明实施例提供的一种移动机器人的运动轨迹估计装置，具有与上述一种移动机器人的运动轨迹估计方法相同的有益效果。
[0132]
作为一种优选的实施方式，输出模块包括
[0133]
获取子模块，用于获取目标移动机器人采集到的样本图像；
[0134]
第一确定子模块，用于确定出与各样本图像对应的样本绝对位姿，并根据相邻的两个样本绝对位姿确定出相邻的两个样本图像的样本相对位姿；
[0135]
输入子模块，用于将样本图像和样本相对位姿输入至深度神经网络中进行学习训练，得出位姿估计模型。
[0136]
作为一种优选的实施方式，第一确定子模块包括：
[0137]
第一确定单元，用于从样本图像中确定出第一样本图像，并获取用户对象对第一样本图像的标记操作，确定出第一样本图像的第一样本绝对位姿；
[0138]
第二确定单元，用于将样本图像中除第一样本图像之外的图像确定为第二样本图像，并根据第一样本图像和第一样本绝对位姿计算出与各第二样本图像对应的第二样本绝对位姿；
[0139]
第三确定单元，用于将第一样本绝对位姿和第二样本绝对位姿按照时序排列，得出按照时序排列的样本绝对位姿；
[0140]
第四确定单元，用于根据相邻的两个样本绝对位姿确定出样本相对位姿。
[0141]
作为一种优选的实施方式，输入子模块包括：
[0142]
设置单元，用于为深度神经网络设置初始化参数，得出初始化估计模型；
[0143]
输入单元，用于将相邻两张样本图像和对应的样本相对位姿输入至初始化估计模型中，利用初始化估计模型输出与当前输入的样本图像对应的输出相对位姿；
[0144]
优化单元，用于若输出相对位姿和样本相对位姿的误差值超出期望误差范围，则根据误差值调整初始化模型的模型参数，并调用输出单元，直至误差值在期望误差范围内，结束训练，得出位姿估计模型。
[0145]
作为一种优选的实施方式，若输出相对位姿和样本相对位姿的误差值超出期望误差范围，则优化单元包括：
[0146]
第一计算子单元，用于根据输出相对位姿和样本相对位姿的误差值，利用网络误差优化函数计算出最优化网络参数；
[0147]
优化子单元，用于利用最优化网络参数调整初始化模型的模型参数。
[0148]
作为一种优选的实施方式，第四确定单元包括：
[0149]
确定子单元，用于确定出相邻的两个样本绝对位姿的相对位移数据和相对旋转角
度；其中，相对位移数据包括目标移动机器人沿直角坐标系x，y，z轴的移动距离，相对旋转角度表示目标移动机器人绕直角坐标系x，y，z轴旋转的角度；
[0150]
第二计算子单元，用于根据相对位移数据和相对旋转角度确定出样本相对位姿。
[0151]
作为一种优选的实施方式，第一确定模块，包括：
[0152]
第二确定子模块，用于利用多个估计相对位姿进行矩阵变换，得出与各待处理图像对应的估计绝对位姿。
[0153]
关于移动机器人的运动轨迹估计装置的具体限定可以参见上文中对于移动机器人的运动轨迹估计方法的限定，在此不再赘述。上述移动机器人的运动轨迹估计装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
[0154]
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
[0155]
获取目标移动机器人运动过程中连续的待处理图像；
[0156]
将连续的待处理图像输入至预先训练出的位姿估计模型中，利用位姿估计模型输出与各相邻的待处理图像对应的估计相对位姿；
[0157]
根据各估计相对位姿确定出各待处理图像的估计绝对位姿；
[0158]
利用各估计绝对位姿确定出目标移动机器人的估计运动轨迹。
[0159]
本发明实施例提供的一种计算机可读存储介质，具有与上述一种移动机器人的运动轨迹估计方法相同的有益效果。
[0160]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(read
‑
only memory，rom)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(random access memory，ram)或外部高速缓冲存储器。作为说明而非局限，ram可以是多种形式，比如静态随机存取存储器(static random access memory，sram)或动态随机存取存储器(dynamic random access memory，dram)等。
[0161]
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
[0162]
以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术专利的保护范围应以所附权利要求为准。