基于捕捉的图像数据生成虚拟图像的制作方法

技术特征：
1.一种用于基于输入图像生成虚拟摄像机的虚拟视图的方法，所述方法包括：由控制器确定所述捕捉设备的实际姿态；由所述控制器确定用于显示所述虚拟视图的所述虚拟摄像机的所需姿态；由所述控制器定义所述捕捉设备的实际姿态和所述虚拟摄像机的所需姿态之间的对极几何；以及由所述控制器基于所述捕捉设备的实际姿态、所述输入图像和所述虚拟摄像机的所需姿态之间的对极关系，根据所述虚拟摄像机的所需姿态来为所述虚拟摄像机生成描绘所述输入图像内的对象的虚拟图像，其中基于对应于所述捕捉设备的实际姿态和所述虚拟摄像机的所需姿态的最小匹配角度指数来选择对应于所述输入图像的至少一个像素。2.根据权利要求1所述的方法，包括：通过具有同一位置的深度传感器的物理摄像机来捕捉所述输入图像；其中由所述捕捉设备捕捉所述输入图像包括由所述物理摄像机捕捉输入图像；由所述深度传感器向所述输入图像的像素分配深度信息；其中由所述控制器确定所述捕捉设备的实际姿态包括由所述控制器确定所述物理摄像机的实际姿态；其中由所述控制器定义所述捕捉设备的实际姿态和所述虚拟摄像机的所需姿态之间的对极几何包括由所述控制器定义所述物理摄像机的实际姿态和所述虚拟摄像机的所需姿态之间的所述对极几何；并且其中由所述控制器为所述虚拟摄像机生成所述输出图像包括：由所述控制器在对极坐标中对所述输入图像的像素的深度信息进行重新采样；由所述控制器识别所述物理摄像机的输入对极线上的目标像素；由所述控制器为所述虚拟摄像机的一条或多条输出对极线生成视差图；以及由所述控制器基于所述一条或多条输出对极线生成所述输出图像。3.根据权利要求2所述的方法，还包括：由所述控制器基于至少一个最小匹配角度指数与相邻最小匹配角度指数的比较来单调化至少一个最小匹配角度指数。4.根据权利要求3所述的方法，其中单调化至少一个最小匹配角度指数还包括：将所述相邻最小匹配角度指数与所述至少一个最小匹配角度指数进行比较；确定所述相邻最小匹配角度指数和所述至少一个最小匹配角度指数之间的差是否大于差阈值；以及当所述差大于所述差阈值时，去除所述至少一个最小匹配角度指数。5.根据权利要求4所述的方法，其中所述至少一个最小匹配角度指数对应于表示反向遮挡区域内的对象的像素。6.根据权利要求3所述的方法，其中所述最小匹配角度指数定义为θv(θpi)＝argmin
θpi
|θv(θpi)-θv|，其中：θv(θpi)是所述最小匹配角度指数；
θv是从所述虚拟摄像机的中心延伸的轴和向量t之间的角度测量值；并且θpi是第i个值的角度测量值，表示垂直于从所述物理摄像机的中心延伸的轴的向量之间的角度。7.根据权利要求2所述的方法，其中由所述深度传感器向所述输入图像的像素分配深度信息包括：由所述深度传感器向由所述物理摄像机捕捉到的每个像素分配深度信息。8.根据权利要求2所述的方法，其中由所述深度传感器向所述输入图像的像素分配深度信息包括：由所述深度传感器基于所述输入图像确定由所述物理摄像机捕捉到的每个像素的深度信息。

技术总结
本发明描述了用于基于输入图像生成虚拟相机的虚拟视图的系统和方法。一种用于基于输入图像生成虚拟相机的虚拟视图的系统可以包括捕捉设备，该捕捉设备包括物理摄像机和深度传感器。该系统还可以包括：控制器，配置为：确定捕捉设备的实际姿态；确定用于显示虚拟视图的虚拟摄像机的所需姿态；定义捕捉设备的实际姿态和虚拟摄像机的所需姿态之间的对极几何；以及基于捕捉设备的实际姿态、输入图像和虚拟摄像机的所需姿态之间的对极关系根据虚拟摄像机的所需姿态来为虚拟摄像机生成描绘输入图像内的对象的虚拟图像。图像内的对象的虚拟图像。图像内的对象的虚拟图像。


技术研发人员：M
受保护的技术使用者：通用汽车环球科技运作有限责任公司
技术研发日：2022.05.25
技术公布日：2023/2/17