等矩形投影立体匹配的两阶段深度估计机器学习算法和球面扭曲层的制作方法

技术特征：
1.一种用于采用深度估计深度机器学习算法的方法，包括：从传感器接收等矩形投影（erp）图像；使用粗略单目深度估计机器学习算法从erp图像估计粗略深度图；使用基于可微分深度图像的渲染（dibr）算法生成一个或多个合成图像；和使用所述erp图像和所述一个或多个合成图像，使用多视图立体匹配机器学习算法生成最终球面深度图。2.根据权利要求1所述的方法，进一步包括：使用球面特征提取机器学习算法将所述一个或多个合成图像与所述erp图像配对。3.根据权利要求2所述的方法，其中所述球面特征提取机器学习算法生成一个或多个特征图。4.根据权利要求3所述的方法，其中所述一个或多个特征图具有32乘以所述erp图像的宽度的四分之一和所述erp图像的高度的四分之一的分辨率。5.根据权利要求3所述的方法，使用成本体积构建算法聚合从所述erp图像和所述一个或多个合成图像提取的一个或多个球面特征。6.根据权利要求5所述的方法，进一步包括：使用均匀采样的深度假设生成成本体积。7.根据权利要求6所述的方法，进一步包括：使用所述一个或多个特征图生成所述成本体积。8.根据权利要求6所述的方法，其中使用新的间隔在指定的级别上均匀地采样深度假设。9.根据权利要求7所述的方法，使用成本聚合机器学习算法聚合成本体积。10.根据权利要求9所述的方法，其中，使用包括沙漏编码和解码过程的一个或多个3维卷积神经网络来实现所述成本聚合机器学习算法。11.根据权利要求9所述的方法，进一步包括：针对每个指定级别逐像素地回归视差值。12.根据权利要求1所述的方法，其中所述粗略单目深度估计机器学习算法被实现为利用坐标卷积来实施360度感知的轻量级机器学习网络。13.根据权利要求12所述的方法，其中，所述dibr算法以完全可微分的方式将来自所述erp图像的第一像素集变换成目标图像上的第二像素集。14.根据权利要求13所述的方法，其中所述dibr算法可操作来将所述第一像素集散布在所述目标图像上，所述dibr算法还包括软z缓存算法来处置遮挡，并且所述dibr算法生成最终预测，所述最终预测是散布到来自所述第二像素集的单个像素的点的加权平均。15.一种采用深度估计深度机器学习算法的系统，包括：传感器，捕获一个或多个等矩形投影（erp）图像；控制器，可操作用于：接收所述一个或多个erp图像；使用粗略单目深度估计机器学习算法从一个或多个erp图像估计粗略深度图；使用基于可微分深度图像的渲染（dibr）算法生成一个或多个合成图像；和使用一个或多个erp图像和所述一个或多个合成图像，使用多视图立体匹配机器学习算法生成最终球面深度图。16.根据权利要求15所述的系统，其中所述控制器进一步可操作用于：使用球面特征提
取机器学习算法将所述一个或多个合成图像与所述erp图像配对。17.根据权利要求16所述的系统，其中所述球面特征提取机器学习算法生成一个或多个特征图。18.根据权利要求16所述的系统，其中所述控制器进一步可操作用于：使用成本体积构建算法聚合从所述erp图像和所述一个或多个合成图像提取的一个或多个球面特征；使用均匀采样的深度假设生成成本体积；和针对每个指定级别逐像素回归视差值。19.一种可操作来采用两阶段深度估计深度机器学习算法的非暂时性计算机可读介质，所述非暂时性计算机可读介质具有存储在其上的计算机可读指令，所述指令可操作来被执行以执行以下操作：接收所述一个或多个erp图像；使用粗略单目深度估计机器学习算法从一个或多个erp图像估计粗略深度图；使用基于可微分深度图像的渲染（dibr）算法生成一个或多个合成图像；和使用所述一个或多个erp图像和所述一个或多个合成图像，使用多视图立体匹配机器学习算法生成最终球面深度图。20.根据权利要求1所述的方法，进一步包括：使用基准真值深度图来监督所述粗略深度图和所述最终球面深度图。

技术总结
公开了一种具有端到端两阶段深度估计深度学习框架的系统和方法，该框架取得一个球面彩色图像并估计稠密球面深度图。设想的框架可以包括视图合成（阶段1）和多视图立体匹配（阶段2）。两阶段过程的组合可以提供来自立体匹配的几何约束的优势，以提高深度图质量，而不需要附加的输入数据。还设想，对于多视图球面立体匹配阶段，球面扭曲层可以用于将多个球面特征体积集成到具有均匀采样的逆深度的一个成本体积中。两阶段球面深度估计系统和方法可以用在包括虚拟现实、自主驾驶和机器人的各种应用中。用中。用中。


技术研发人员：闫志鑫 任骝 李语嫣 段叶
受保护的技术使用者：罗伯特
技术研发日：2021.11.01
技术公布日：2022/5/6