双目稠密位姿估计方法、装置及机器人与流程

本申请涉及图像处理领域，尤其涉及一种双目稠密位姿估计方法、装置及机器人。

背景技术：

1、现有六自由度位姿估计方法通常先预测若干二维关键点，再根据已知三维关键点和相机内参调用pnp求解旋转和平移。当关键点被遮挡、落在目标物体轮廓外或者定位误差较大时，求解结果容易产生明显波动。对于弱纹理目标物体，上述波动更为明显。

2、在双目视觉场景中，部分方法利用左图像和右图像之间的视差信息辅助位姿估计。此类方法通常需要将双目几何特征与单目语义特征进行融合，并据此预测实例掩码和稠密对应。然而，在遮挡、弱纹理和局部关键点不可见条件下，视差信息容易在目标物体边界、反光区域和无纹理区域出现误差。若直接利用存在误差的视差进行反投影，并将反投影结果用于位姿求解，容易引入不可靠的三维对应。此外，现有方法在推理阶段通常难以同时兼顾实例掩码的准确性、稠密对应的可靠性和视差信息的置信度，导致目标物体相对于参考相机的位姿估计在准确性和鲁棒性方面仍存在不足。

技术实现思路

1、本申请实施例提供了一种双目稠密位姿估计方法、装置及机器人，可以解决现有技术中目标物体相对于参考相机的位姿估计在准确性和鲁棒性不足的问题。所述技术方案如下：

2、第一方面，本申请实施例提供了一种双目稠密位姿估计方法，包括：

3、获取双目相机采集的左图像和右图像、所述双目相机的相机内参和基线、以及目标物体的三维模型参数；

4、将所述左图像和所述右图像输入至预训练的多任务神经网络；所述多任务神经网络包括双目分支、单目分支和任务头；

5、获取所述双目分支基于所述左图像和所述右图像输出的视差图、视差置信度和双目几何特征；

6、获取所述单目分支基于参考图像输出的单目语义特征，所述参考图像为所述左图像或所述右图像，参考相机为所述双目相机中采集所述参考图像的相机；

7、将所述双目几何特征与所述单目语义特征融合，得到融合特征；

8、获取所述任务头基于所述融合特征输出的实例掩码、稠密标准物体坐标场和坐标不确定度，并将所述实例掩码、所述稠密标准物体坐标场和所述坐标不确定度对齐至所述参考图像的像素坐标系；

9、在所述像素坐标系中，根据所述实例掩码筛选目标像素，并根据所述视差图、所述参考相机对应的相机内参和所述基线，将所述目标像素反投影得到相机坐标点；

10、根据所述稠密标准物体坐标场和所述三维模型参数反归一化得到物体坐标点，并根据所述实例掩码、所述坐标不确定度和所述视差置信度确定每个目标像素的对应权重；

11、根据所述相机坐标点、所述物体坐标点和所述对应权重进行加权位姿求解，得到所述目标物体相对于所述参考相机的位姿数据。

12、第二方面，本申请实施例提供了一种双目稠密位姿估计装置，所述装置包括：

13、获取模块，用于获取双目相机采集的左图像和右图像、所述双目相机的相机内参和基线、以及目标物体的三维模型参数；

14、推理模块，用于将所述左图像和所述右图像输入至预训练的多任务神经网络；所述多任务神经网络包括双目分支、单目分支和任务头；

15、所述推理模块，还用于获取所述双目分支基于所述左图像和所述右图像输出的视差图、视差置信度和双目几何特征；

16、所述推理模块，还用于获取所述单目分支基于参考图像输出的单目语义特征，所述参考图像为所述左图像或所述右图像，参考相机为所述双目相机中采集所述参考图像的相机；

17、所述推理模块，还用于将所述双目几何特征与所述单目语义特征融合，得到融合特征；

18、对齐模块，用于获取所述任务头基于所述融合特征输出的实例掩码、稠密标准物体坐标场和坐标不确定度，并将所述实例掩码、所述稠密标准物体坐标场和所述坐标不确定度对齐至所述参考图像的像素坐标系；

19、计算模块，用于在所述像素坐标系中，根据所述实例掩码筛选目标像素，并根据所述视差图、所述参考相机对应的相机内参和所述基线，将所述目标像素反投影得到相机坐标点；

20、确定模块，用于根据所述稠密标准物体坐标场和所述三维模型参数反归一化得到物体坐标点，并根据所述实例掩码、所述坐标不确定度和所述视差置信度确定每个目标像素的对应权重；

21、估计模块，用于根据所述相机坐标点、所述物体坐标点和所述对应权重进行加权位姿求解，得到所述目标物体相对于所述参考相机的位姿数据。

22、第三方面，本申请实施例提供一种计算机存储介质，所述计算机存储介质存储有多条指令，所述指令适于由处理器加载并执行上述的方法步骤。

23、第四方面，本申请实施例提供一种机器人，可包括：处理器和存储器；其中，所述存储器存储有计算机程序，所述计算机程序适于由所述处理器加载并执行上述的方法步骤。

24、本申请一些实施例提供的技术方案带来的有益效果至少包括：

25、本申请通过任务头输出稠密标准物体坐标场，对目标区域多个像素预测三维标准物体坐标，替代有限数量的二维关键点。在遮挡、弱纹理或关键点定位误差较大时，仍可利用其余像素构建有效对应，减少求解波动。对应权重根据实例掩码、坐标不确定度和视差置信度确定，降低不可靠像素在加权位姿求解中的影响。双目几何特征与单目语义特征融合，提高实例掩码、稠密标准物体坐标场和坐标不确定度的预测准确性。各预测结果对齐至参考图像的像素坐标系，使反投影、反归一化和加权位姿求解在同一坐标系下进行，避免对应错误。最终通过相机坐标点、物体坐标点和对应权重进行加权位姿求解，在遮挡、弱纹理和局部关键点不可见条件下提高目标物体相对于参考相机的位姿估计准确性和鲁棒性。

1.一种双目稠密位姿估计方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述获取所述双目分支基于所述左图像和所述右图像输出的视差图、视差置信度和双目几何特征，包括：

3.根据权利要求2所述的方法，其特征在于，所述根据所述左特征图和所述右特征图构建代价体，包括：

4.根据权利要求1所述的方法，其特征在于，所述获取所述单目分支基于参考图像输出的单目语义特征，所述参考图像为所述左图像或所述右图像，参考相机为所述双目相机中采集所述参考图像的相机，包括：

5.根据权利要求1所述的方法，其特征在于，所述将所述双目几何特征与所述单目语义特征融合，得到融合特征，包括：

6.根据权利要求1所述的方法，其特征在于，所述获取所述任务头基于所述融合特征输出的实例掩码、稠密标准物体坐标场和坐标不确定度，包括：

7.根据权利要求1所述的方法，其特征在于，所述在所述像素坐标系中，根据所述实例掩码筛选目标像素，包括：

8.根据权利要求1所述的方法，其特征在于，所述根据所述视差图、所述参考相机对应的相机内参和所述基线，将所述目标像素反投影得到相机坐标点，包括：

9.根据权利要求8所述的方法，其特征在于，所述根据所述视差值、所述参考相机对应的相机内参中的焦距和所述基线，计算所述目标像素的深度值，包括：

10.根据权利要求1所述的方法，其特征在于，所述根据所述稠密标准物体坐标场和所述三维模型参数反归一化得到物体坐标点，包括：

11.根据权利要求1所述的方法，其特征在于，所述根据所述实例掩码、所述坐标不确定度和所述视差置信度确定每个目标像素的对应权重，包括：

12.根据权利要求1所述的方法，其特征在于，所述根据所述相机坐标点、所述物体坐标点和所述对应权重进行加权位姿求解，得到所述目标物体相对于所述参考相机的位姿数据，包括：

13.一种双目稠密位姿估计装置，其特征在于，包括：

14.一种机器人，其特征在于，包括：处理器和存储器；其中，所述存储器存储有计算机程序，所述计算机程序适于由所述处理器加载并执行如权利要求1至12任意一项所述的双目稠密位姿估计方法的步骤。