使用极重投影进行虚拟视图视角改变的制作方法

技术特征：
1.一种用于基于输入场景生成虚拟相机的虚拟视图的方法，该方法包括：由捕获设备捕获输入场景；由控制器确定捕获设备的实际姿态；由控制器确定用于显示虚拟视图的虚拟相机的期望姿态；由控制器定义捕获设备的实际姿态和虚拟相机的期望姿态之间的极几何；由控制器基于捕获设备的实际姿态、输入场景和虚拟相机的期望姿态之间的极关系，为虚拟相机生成输出图像。2.根据权利要求1所述的方法，包括：由物理相机与位于同一位置的深度传感器捕获输入场景；其中，由捕获设备捕获输入场景包括由物理相机捕获输入图像；由深度传感器将深度信息分配给输入图像的像素；其中，由控制器确定捕获设备的实际姿态包括由控制器确定物理相机的实际姿态；其中，由控制器定义捕获设备的实际姿态和虚拟相机的期望姿态之间的极几何包括由控制器定义物理相机的实际姿态和虚拟相机的期望姿态之间的极几何；并且其中，由控制器为虚拟相机生成输出图像包括：由控制器以极坐标对输入图像的像素的深度信息进行重采样；由控制器识别物理相机的输入极线上的目标像素；由控制器为虚拟相机的一条或多条输出极线生成视差图；以及由控制器基于一条或多条输出极线生成输出图像。3.根据权利要求2所述的方法，其中，由控制器识别物理相机的输入极线上的目标像素包括：由控制器最小化方向成本函数以识别目标像素。4.根据权利要求3所述的方法，其中，对于一条或多条输出极线中的每一条的每个输出像素执行由控制器最小化方向成本函数以识别目标像素；其中，该方法还包括：由控制器通过最小化方向成本函数来为每个输出像素确定沿输出极线的视差；其中，由控制器基于一条或多条输出极线生成输出图像包括：由控制器通过以确定的视差获取像素来生成输出图像。5.根据权利要求3所述的方法，其中，所述方向成本函数被定义为：并且根据以下来进行最小化方向成本函数：其中：dc是方向成本函数；m是沿着物理相机的输入极线的像素；
是从虚拟相机中心指向虚拟相机的输出极线上的像素方向的单位向量，对于该单位向量，沿着物理相机的输入极线上的对应物理像素m将被识别；是物理相机中心和虚拟相机中心之间的向量；是对应于像素m的3d点位置；是对于给定的对应于dc最小值的输入极线上的物理像素。6.根据权利要求1所述的方法，包括：由物理相机和与物理相机空间分离的深度传感器捕获输入场景；其中，由捕获设备捕获输入场景包括由物理相机捕获输入图像，以及由深度传感器捕获与输入图像相关的深度数据；其中，由控制器确定捕获设备的实际姿态包括由控制器确定物理相机的实际姿态，以及由控制器确定深度传感器的实际姿态；其中，由控制器定义捕获设备的实际姿态和虚拟相机的期望姿态之间的极几何包括由控制器定义深度传感器的实际姿态和虚拟相机的期望姿态之间的极几何；并且其中，由控制器为虚拟相机生成输出图像包括：由控制器为虚拟相机的期望姿态生成密集深度数据；由控制器将对于虚拟相机的期望姿态的密集深度数据投影到输入图像上；以及由控制器基于投影到输入图像上的密集深度数据生成虚拟相机的输出图像。7.根据权利要求6所述的方法，其中，由控制器为虚拟相机的期望姿态生成密集深度数据包括：由控制器最小化方向成本函数以估计像素的深度。8.一种用于基于输入场景生成虚拟相机的虚拟视图的系统，该系统包括：具有物理相机和深度传感器的捕获设备，其配置为捕获输入场景；控制器，其配置为确定捕获设备的实际姿态；其中，控制器配置成确定用于显示虚拟视图的虚拟相机的期望姿态；其中，控制器配置成定义捕获设备的实际姿态和虚拟相机的期望姿态之间的极几何；其中，控制器配置为基于捕获设备的实际姿态、输入场景和虚拟相机的期望姿态之间的极关系，为虚拟相机生成输出图像。9.根据权利要求8所述的系统，其中，所述物理相机和深度传感器位于同一位置或在空间上分离。10.一种车辆，包括根据权利要求8所述的系统。

技术总结
描述了用于基于输入场景生成虚拟相机的虚拟视图的系统和方法。捕获设备通常包括物理相机和深度传感器，并且捕获输入场景。控制器确定捕获设备的实际姿态和用于显示虚拟视图的虚拟相机的期望姿态。控制器定义捕获设备的实际姿态和虚拟相机的期望姿态之间的极几何。控制器基于捕获设备的实际姿态、输入场景和虚拟相机的期望姿态之间的极关系，为虚拟相机生成输出图像。成输出图像。成输出图像。


技术研发人员：M.斯卢茨基 A.沙卢莫夫
受保护的技术使用者：通用汽车环球科技运作有限责任公司
技术研发日：2021.12.20
技术公布日：2022/9/1