视觉惯性里程计模型的训练方法、位姿估计方法及装置与流程

技术特征：
1.一种视觉惯性里程计模型的训练方法，其特征在于，包括：获取样本图像集和样本imu数据集；其中，所述样本图像集包括利用图像采集装置获取的若干帧连续的样本彩色图像，所述样本imu数据集包括获取所述若干帧连续的样本彩色图像时获取得到的对应的样本imu数据；将所述样本图像集中的相邻两帧样本彩色图像以及所述相邻两帧样本彩色图像之间所对应的样本imu数据输入所述视觉惯性里程计模型，输出所述相邻两帧样本彩色图像所对应的两帧深度图像以及所述图像采集装置获取所述相邻两帧样本彩色图像时的估计位姿；基于所述相邻两帧样本彩色图像所对应的两帧深度图像、所述图像采集装置获取所述相邻两帧样本彩色图像时的估计位姿和所述相邻两帧样本彩色图像之间所对应的样本imu数据，确定所述视觉惯性里程计模型的目标损失函数；利用所述目标损失函数，调整所述视觉惯性里程计模型的网络参数。2.根据权利要求1所述的视觉惯性里程计模型的训练方法，其特征在于，所述视觉惯性里程计模型包括深度估计网络、视觉编码网络、imu编码网络和视觉惯性融合网络；所述将所述样本图像集中的相邻两帧样本彩色图像以及所述相邻两帧样本彩色图像之间所对应的样本imu数据输入所述视觉惯性里程计模型，输出所述相邻两帧样本彩色图像所对应的两帧深度图像以及所述图像采集装置获取所述相邻两帧样本彩色图像时的估计位姿，包括：将所述样本图像集中的样本彩色图像输入所述深度估计网络，得到所述样本彩色图像对应的深度图像；以及将所述样本图像集中的前一帧样本彩色图像和当前帧样本彩色图像叠加后输入所述视觉编码网络，得到视觉特征编码；将所述前一帧样本彩色图像和所述当前帧样本彩色图像之间所对应的样本imu数据输入所述imu编码网络，得到imu特征编码；将所述视觉特征编码和所述imu特征编码输入所述视觉惯性融合网络，得到所述图像采集装置获取所述当前帧样本彩色图像时的估计位姿。3.根据权利要求2所述的视觉惯性里程计模型的训练方法，其特征在于，所述深度估计网络包括相互连接的编码器和解码器；所述将所述样本图像集中的样本彩色图像输入所述深度估计网络，得到所述样本彩色图像对应的深度图像，包括：将所述样本彩色图像输入所述深度估计网络，利用所述编码器的下采样层将所述样本彩色图像变换为深度特征图，再利用所述解码器的上采样层将所述深度特征图变换为所述样本彩色图像对应的深度图像。4.根据权利要求2所述的视觉惯性里程计模型的训练方法，其特征在于，所述视觉惯性融合网络采用注意力机制，所述视觉惯性融合网络包括前馈神经网络；所述将所述视觉特征编码和所述imu特征编码输入所述视觉惯性融合网络，得到所述图像采集装置获取所述当前帧样本彩色图像时的估计位姿，包括：通过注意力机制将所述视觉特征编码和所述imu特征编码进行加权融合，得到优化特征编码；
利用前馈神经网络对所述优化特征编码进行处理，得到所述图像采集装置获取所述当前帧样本彩色图像时的估计位姿。5.根据权利要求4所述的视觉惯性里程计模型的训练方法，其特征在于，所述视觉惯性融合网络还包括第一多层感知机和第二多层感知机；所述通过注意力机制将所述视觉特征编码和所述imu特征编码进行加权融合，得到优化特征编码，包括：将所述imu特征编码分别输入所述第一多层感知机和所述第二多层感知机，得到若干个键值对，每个所述键值对包括一个键和一个值；获取所述视觉特征编码与每个键值对中的键的相似度，将所述相似度作为权重，将所述权重乘以对应的键值对中的值后求和，得到所述优化特征编码。6.根据权利要求2所述的视觉惯性里程计模型的训练方法，其特征在于，所述目标损失函数包括深度损失函数、光度损失函数和imu损失函数；所述基于所述相邻两帧样本彩色图像所对应的两帧深度图像、所述图像采集装置获取所述相邻两帧样本彩色图像时的估计位姿和所述相邻两帧样本彩色图像之间所对应的样本imu数据，确定所述视觉惯性里程计模型的目标损失函数，包括：根据所述前一帧样本彩色图像对应的深度图像和所述当前帧样本彩色图像对应的深度图像，确定所述深度损失函数；以及根据所述图像采集装置获取所述当前帧样本彩色图像时的估计位姿和所述当前帧样本彩色图像对应的深度图像，确定所述光度损失函数；以及根据所述图像采集装置获取所述当前帧样本彩色图像时的估计位姿和所述前一帧样本彩色图像和所述当前帧样本彩色图像之间所对应的样本imu数据，确定所述imu损失函数。7.一种位姿估计方法，其特征在于，所述位姿估计方法包括：利用图像采集装置获取若干帧连续的目标彩色图像，并确定所述图像采集装置获取所述若干帧连续的目标彩色图像时对应的目标imu数据；将所述若干帧连续的目标彩色图像和对应的目标imu数据输入视觉惯性里程计模型，得到所述图像采集装置获取所述目标彩色图像时的估计位姿；其中，所述视觉惯性里程计模型是利用权利要求1至6任一项所述的视觉惯性里程计模型的训练方法训练得到的。8.一种视觉惯性里程计模型的训练装置，其特征在于，所述视觉惯性里程计模型的训练装置包括：样本获取模块，用于获取样本图像集和样本imu数据集；其中，所述样本图像集包括利用图像采集装置获取的若干帧连续的样本彩色图像，所述样本imu数据集包括所述图像采集装置获取所述若干帧连续的样本彩色图像时对应的样本imu数据；处理模块，用于将所述样本图像集中的相邻两帧样本彩色图像以及所述相邻两帧样本彩色图像之间所对应的样本imu数据输入所述视觉惯性里程计模型，输出所述相邻两帧样本彩色图像所对应的两帧深度图像以及所述图像采集装置获取所述相邻两帧样本彩色图像时的估计位姿；损失函数确定模块，用于基于所述相邻两帧样本彩色图像所对应的两帧深度图像、所
述图像采集装置获取所述相邻两帧样本彩色图像时的估计位姿和所述相邻两帧样本彩色图像之间所对应的样本imu数据，确定所述视觉惯性里程计模型的目标损失函数；参数调整模块，用于利用所述目标损失函数，调整所述视觉惯性里程计模型的网络参数。9.一种位姿估计装置，其特征在于，所述位姿估计装置包括：数据获取模块，用于利用图像采集装置获取若干帧连续的目标彩色图像，并确定所述图像采集装置获取所述若干帧连续的目标彩色图像时对应的目标imu数据；位姿估计模块，用于将所述若干帧连续的目标彩色图像和对应的目标imu数据输入视觉惯性里程计模型，得到所述图像采集装置获取所述目标彩色图像时的估计位姿；其中，所述视觉惯性里程计模型是利用权利要求1至6任一项所述的视觉惯性里程计模型的训练方法训练得到的。10.一种电子设备，其特征在于，包括相互耦接的存储器和处理器，所述处理器用于执行所述存储器中存储的程序指令，以实现权利要求1至6任一项所述的视觉惯性里程计模型的训练方法，或权利要求7所述的位姿估计方法。11.一种计算机可读存储介质，其上存储有程序指令，其特征在于，所述程序指令被处理器执行时实现权利要求1至6任一项所述的视觉惯性里程计模型的训练方法，或权利要求7所述的位姿估计方法。

技术总结
本申请公开了一种视觉惯性里程计模型的训练方法、位姿估计方法及装置，其中，视觉惯性里程计模型的训练方法包括：将样本图像集中的相邻两帧样本彩色图像以及相邻两帧样本彩色图像之间所对应的样本IMU数据输入视觉惯性里程计模型，输出相邻两帧样本彩色图像所对应的两帧深度图像以及图像采集装置获取相邻两帧样本彩色图像时的估计位姿；基于相邻两帧样本彩色图像所对应的两帧深度图像、图像采集装置获取相邻两帧样本彩色图像时的估计位姿和相邻两帧样本彩色图像之间所对应的样本IMU数据，确定视觉惯性里程计模型的目标损失函数；利用目标损失函数，调整视觉惯性里程计模型的网络参数。上述方案，能够获得更鲁棒的位姿估计结果。计结果。计结果。


技术研发人员：潘友琦 查红彬 刘浩敏
受保护的技术使用者：北京市商汤科技开发有限公司
技术研发日：2022.03.01
技术公布日：2022/6/10