相机的位姿确定方法、装置、电子设备以及存储介质与流程

技术特征：
1.一种相机的位姿确定方法，其特征在于，所述方法包括：获取通过相机拍摄环境参照物获得的多帧彩色图像和多帧深度图像；提取所述彩色图像中所述环境参照物的特征点，并对所述多帧彩色图像的所述特征点进行重投影，建立所述多帧彩色图像的重投影误差约束；提取所述深度图像中所述环境参照物的平面特征作为对应的彩色图像中所述环境参照物的平面特征，并对所述多帧彩色图像的所述平面特征进行匹配，建立所述多帧彩色图像的平面误差约束；基于所述重投影误差约束和所述平面误差约束，确定所述相机的位姿。2.根据权利要求1所述的方法，其特征在于，所述提取所述深度图像中所述环境参照物的平面特征，包括：将所述深度图像划分为多个基础图像块；从所述多个基础图像块中选取一个基础图像块作为目标图像块，并将所述目标图像块和与其相邻的基础图像块进行融合，获得融合图像块；对所述融合图像块进行平面拟合，获得平面拟合的平均误差作为第一误差；基于所述第一误差与误差阈值的关系，对所述多个基础图像块进行处理，直到所述多个基础图像块均处理完成的情况下，获取处理获得的所述深度图像中所述环境参照物的平面特征。3.根据权利要求2所述的方法，其特征在于，所述基于所述第一误差与误差阈值的关系，对所述多个基础图像块进行处理，直到所述多个基础图像块均处理完成的情况下，获取处理获得的所述深度图像中所述环境参照物的平面特征，包括：在所述第一误差小于误差阈值的情况下，将所述融合图像块作为目标图像块，并重复将所述目标图像块和与其相邻的基础图像块进行融合的步骤，直到所述多个基础图像块均进行过融合时，将融合获得的图像块确定为所述深度图像中所述环境参照物的平面特征；或者在所述第一误差大于或等于误差阈值的情况下，从所述多个基础图像块中重新选取一个基础图像块作为目标图像块，并重复将所述目标图像块和与其相邻的基础图像块进行融合的步骤，直到所述多个基础图像块均进行过融合时，将融合获得的图像块确定为所述深度图像中所述环境参照物的平面特征。4.根据权利要求2所述的方法，其特征在于，所述从所述多个基础图像块中选取一个基础图像块作为目标图像块，并将所述目标图像块和与其相邻的基础图像块进行融合，获得融合图像块，包括：从所述多个基础图像块中过滤满足第一预设条件的基础图像块，获得多个待处理图像块；从所述多个待处理图像块中选取一个待处理图像块作为目标图像块，并将所述目标图像块和与其相邻的待处理图像块进行融合，获得融合图像块。5.根据权利要求4所述的方法，其特征在于，所述第一预设条件包括：存在含有无效深度信息的像素点；或者存在深度信息突变的相邻像素点；或者平面拟合的平均误差大于误差阈值。
6.根据权利要求2所述的方法，其特征在于，所述从所述多个基础图像块中选取一个基础图像块作为目标图像块，并将所述目标图像块和与其相邻的基础图像块进行融合，获得融合图像块，包括：从所述多个基础图像块中选取一个基础图像块作为目标图像块，并获取所述目标图像块的法向量和与其相邻的基础图像块的法向量之间的夹角；在所述夹角小于夹角阈值的情况下，将所述目标图像块和与其相邻的基础图像块进行融合，获得融合图像块。7.根据权利要求2所述的方法，其特征在于，在所述获取处理获得的所述深度图像中所述环境参照物的平面特征之后，还包括：获取位于所述平面特征的边缘位置的像素点；对所述像素点与平面特征进行平面拟合，获得平面拟合的误差作为第二误差；在所述第二误差小于所述误差阈值的情况下，确定所述像素点属于所述平面特征。8.根据权利要求2所述的方法，其特征在于，所述获取处理获得的所述深度图像中所述环境参照物的平面特征，包括：获取处理获得的所述深度图像中所述环境参照物的多个初始平面特征；从所述多个初始平面特征中过滤满足第二预设条件的初始平面特征，获得所述深度图像中所述环境参照物的平面特征。9.根据权利要求8所述的方法，其特征在于，所述第二预设条件包括：包含的像素点的数量小于数量阈值；或者包含的像素点到对应的初始平面特征的平均距离大于距离阈值。10.根据权利要求1-9任一项所述的方法，其特征在于，所述对所述多帧彩色图像的所述平面特征进行匹配，建立所述多帧彩色图像的平面误差约束，包括：获取所述多帧彩色图像之间相同的平面特征；对所述多帧彩色图像之间相同的平面特征进行匹配，建立所述多帧彩色图像的同平面误差约束，作为所述多帧彩色图像的平面误差约束。11.根据权利要求10所述的方法，其特征在于，所述对所述多帧彩色图像之间相同的平面特征进行匹配，建立所述多帧彩色图像的同平面误差约束，作为所述多帧彩色图像的平面误差约束，包括：获取所述多帧彩色图像之间平行的平面特征，并获取所述多帧彩色图像之间垂直的平面特征；对所述多帧彩色图像之间平行的平面特征进行匹配，建立所述多帧彩色图像的平行平面误差约束；对所述多帧彩色图像之间垂直的平面特征进行匹配，建立所述多帧彩色图像的垂直平面误差约束；基于所述多帧彩色图像的同平面误差约束，所述多帧彩色图像的平行平面误差约束，以及所述多帧彩色图像的垂直平面误差约束，获得所述多帧彩色图像的平面误差约束。12.根据权利要求10所述的方法，其特征在于，所述多帧彩色图像包括第一帧彩色图像和第二帧彩色图像，所述第一帧彩色图像包括第一平面特征，所述第二帧彩色图像包括第二平面特征，在所述获取所述多帧彩色图像之间相同的平面特征之前，还包括：
基于所述第一帧彩色图像和所述第二帧彩色图像之间的位姿转换关系，将所述第一平面特征的法向量从第一坐标系转换至第二坐标系，其中，所述第一坐标系与所述第一帧彩色图像对应，所述第二坐标系与所述第二帧彩色图像对应；在所述第一平面特征的法向量与所述第二平面特征的法向量在所述第二坐标系下的夹角小于角度阈值的情况下，基于第一帧彩色图像和所述第二帧彩色图像之间的位姿转换关系，将所述第一平面特征的像素点从所述第一坐标系转换至所述第二坐标系；在所述第一平面特征的像素点和所述第二平面特征的像素点在所述第二坐标系下的平均距离误差小于距离误差阈值的情况下，确定所述第一平面特征和所述第二平面特征为相同的平面特征。13.一种相机的位姿确定装置，其特征在于，所述装置包括：图像获取模块，用于获取通过相机拍摄环境参照物获得的多帧彩色图像和多帧深度图像；重投影误差约束建立模块，用于提取所述彩色图像中所述环境参照物的特征点，并对所述多帧彩色图像的所述特征点进行重投影，建立所述多帧彩色图像的重投影误差约束；平面误差约束建立模块，用于提取所述深度图像中所述环境参照物的平面特征作为对应的彩色图像中所述环境参照物的平面特征，并对所述多帧彩色图像的所述平面特征进行匹配，建立所述多帧彩色图像的平面误差约束；相机位姿确定模块，用于基于所述重投影误差约束和所述平面误差约束，确定所述相机的位姿。14.一种电子设备，其特征在于，包括存储器和处理器，所述存储器耦接到所述处理器，所述存储器存储指令，当所述指令由所述处理器执行时所述处理器执行如权利要求1-12任一项所述的方法。15.一种计算机可读取存储介质，其特征在于，所述计算机可读取存储介质中存储有程序代码，所述程序代码可被处理器调用执行如权利要求1-12任一项所述的方法。

技术总结
本申请公开了一种相机的位姿确定方法、装置、电子设备以及存储介质，涉及电子设备技术领域。获取通过相机拍摄环境参照物获得的多帧彩色图像和多帧深度图像，提取彩色图像中的环境参照物的特征点，并对多帧彩色图像的特征点进行重投影，建立多帧彩色图像的重投影误差，提取深度图像中环境参照物的平面特征作为对应的彩色图像中环境参照物的平面特征，对多帧彩色图像的平面特征进行匹配，建立多帧彩色图像的平面误差约束，基于重投影误差约束和平面误差约束，确定相机的位姿。本申请通过深度图像提取平面特征，这样平面提取不会受到彩色图像成像质量的影响，在黑暗，无纹理等环境，依然能够稳定的提出有效的平面特征，定位鲁棒性更强，准确性更高。准确性更高。准确性更高。


技术研发人员：尹赫
受保护的技术使用者：OPPO广东移动通信有限公司
技术研发日：2022.03.29
技术公布日：2022/6/28