利用弱对准的异构相机的立体视觉的制作方法

技术特征：
1.一种利用两个异构相机的深度估计方法，包括：分别基于第一相机校准数据集和第二相机校准数据集来均质化第一相机图像和第二相机图像，其中所述第一相机图像和第二相机图像被失真校正并被变焦补偿；确定经均质化的第一相机图像和经均质化的第二相机图像的初始图像对修正变换矩阵；基于所述初始图像对修正变换矩阵，确定δ图像对修正变换矩阵；基于所述初始图像对修正变换矩阵和所述δ图像对修正变换矩阵，确定最终图像对修正变换矩阵，从而得到最终经修正图像对；以及，基于深度网络回归，对所述最终经修正图像对进行视差映射。2.根据权利要求1所述的深度估计方法，其中，所述第一相机和所述第二相机弱对准。3.根据权利要求1所述的深度估计方法，其中，失真校正在图像对修正之前执行。4.根据权利要求1所述的深度估计方法，其中，焦距补偿在图像对修正之前执行。5.根据权利要求1所述的深度估计的方法，其中，使用神经网络来回归所述δ图像对修正变换矩阵的漂移。6.根据权利要求1所述的深度估计方法，其中，利用神经网络来对所述最终经修正图像对进行视差映射。7.一种利用两个异构相机的深度估计方法，包括：校准具有第一相机校准数据集的第一相机；校准具有第二相机校准数据集的第二相机，所述第二相机具有与所述第一相机不同的焦距、不同的视场和不同的像素数中的至少一者；基于所述第一相机校准数据集和所述第二相机校准数据集，在第一相机图像和第二相机图像之间进行失真校正；基于所述第一相机校准数据集和所述第二相机校准数据集，在所述第一相机图像和所述第二相机图像之间进行焦距补偿；基于变换矩阵回归，在经失真校正和焦距补偿的第一相机图像和所述第二相机图像之间修正图像对；以及，基于深度网络回归，对经修正的图像对进行视差映射。8.根据权利要求7所述的深度估计方法，其中，所述第一相机和所述第二相机弱对准。9.根据权利要求7所述的深度估计方法，其中，失真校正在图像对修正之前执行。10.根据权利要求7所述的深度估计方法，其中，焦距补偿在图像对修正之前执行。11.根据权利要求7所述的深度估计方法，其中，使用神经网络来回归所述经修正的图像对的修正变换矩阵的漂移。12.根据权利要求7所述的深度估计方法，其中，利用神经网络来对所述经修正的图像对进行视差映射。13.一种利用两个异构相机的深度估计方法，包括：校准具有第一相机校准数据集的第一相机；校准具有第二相机校准数据集的第二相机，所述第二相机具有与所述第一相机不同的焦距、不同的视场和不同的像素数中的至少一者；基于所述第一相机校准数据集和所述第二相机校准数据集，在第一相机图像和第二相
机图像之间进行失真校正；基于所述第一相机校准数据集和所述第二相机校准数据集，在所述第一相机图像和所述第二相机图像之间进行焦距补偿；基于深度网络回归，对经失真校正和焦距补偿的第一相机图像进行视差映射；基于所述第一相机校准数据集和所述第二相机校准数据集，确定初始姿态；使用姿态网络，对所述第一相机图像和所述第二相机图像以及所述初始姿态进行姿态映射，并输出δ姿态；使所述δ姿态、所述视差映射和所述第一相机图像扭曲；以及，重构该扭曲以及经失真校正和焦距补偿的第二相机图像，以使重构误差最小化。14.根据权利要求13所述的深度估计方法，其中，所述姿态映射是在线执行的。15.根据权利要求13所述的深度估计方法，其中，所述姿态映射被跟踪。16.根据权利要求13所述的深度估计方法，其中，所述第一相机和所述第二相机弱对准。17.根据权利要求13所述的深度估计方法，其中，失真校正在图像对修正之前执行。18.根据权利要求13所述的深度估计方法，其中，焦距补偿在图像对修正之前执行。19.根据权利要求13所述的深度估计方法，其中，使用神经网络来回归姿态图变换矩阵的漂移。20.根据权利要求13所述的深度估计方法，其中，利用神经网络来对所述第一相机图像进行视差映射。

技术总结
一种利用异构相机的深度估计方法，该方法包括：分别基于第一相机校准数据集和第二相机校准数据集来均质化第一相机图像和第二相机图像，其中第一相机图像和第二相机图像被失真校正并被变焦补偿；确定经均质化的第一相机图像和经均质化的第二相机图像的初始图像对修正变换矩阵；基于初始图像对修正变换矩阵，确定Δ图像对修正变换矩阵；基于初始图像对修正变换矩阵和Δ图像对修正变换矩阵，确定最终图像对修正变换矩阵，从而得到最终经修正图像对；以及，基于深度网络回归，对最终经修正图像对进行视差映射。对进行视差映射。对进行视差映射。


技术研发人员：王祚官 单记章
受保护的技术使用者：黑芝麻智能科技（上海）有限公司
技术研发日：2021.05.31
技术公布日：2021/11/14