从捕获的视频数据输出扭曲图像的制作方法

技术特征：
1.一种方法，包括由计算系统：使用摄像机捕获图像序列；对于所述图像序列中的每个图像，确定(1)该图像中描绘的对象特征的三维位置，以及(2)摄像机在捕获该图像时的第一摄像机位置；基于与所述图像序列相关联的所述第一摄像机位置来确定虚拟摄像机的视图路径；确定所述虚拟摄像机的第二摄像机位置，所述第二摄像机位置沿着所述视图路径以预定间隔分开；对于每个第二摄像机位置：选择与所述图像序列相关联的所述第一摄像机位置中的一个；以及使用所选择的第一摄像机位置、所述第二摄像机位置和在所选择的图像中描绘的对象特征的三维位置来扭曲与所选择的第一摄像机位置相关联的图像；以及输出扭曲图像的序列。2.根据权利要求1所述的方法，还包括：基于与所述图像序列相关联的所述第一摄像机位置确定多个控制点；其中，确定所述虚拟摄像机的视图路径包括使用所述多个控制点来生成样条。3.根据权利要求1所述的方法，还包括：检测在(1)与所述图像序列的第一连续子集相关联的第一摄像机位置和(2)与所述图像序列的第二连续子集相关联的第一摄像机位置之间的间隙；调整与所述图像序列的所述第二连续子集相关联的第一摄像机位置以闭合所述间隙；其中，至少基于与所述图像序列的所述第一连续子集相关联的第一摄像机位置和与所述图像序列的所述第二连续子集相关联的经调整的第一摄像机位置来确定所述虚拟摄像机的视图路径。4.根据权利要求1所述的方法，还包括：将所述图像序列中描绘的对象特征的三维位置分组到一个或更多个聚类中；其中，对于每个扭曲图像，用于扭曲的所述对象特征的三维位置各自被确定为在所述一个或更多个聚类中的一个的阈值距离内。5.根据权利要求1所述的方法，还包括：为每个第二摄像机位置确定对应的焦点，其中所述焦点部分地基于对以下项进行优化来确定：(1)对应于所述焦点的路径的平滑度和(2)所述焦点的紧密度；其中，对于每个第二摄像机位置，针对该第二摄像机位置扭曲与所选择的第一摄像机位置相关联的图像还使用对应于该第二摄像机位置的焦点。6.根据权利要求1所述的方法，还包括：为每个第二摄像机位置确定对应的焦点，其中所述焦点部分地基于对以下项进行优化来确定：(1)对应于所述焦点的路径的平滑度和(2)该第二摄像机位置与它们相应的焦点之间的要接近预定目标距离的距离；其中，对于每个第二摄像机位置，针对该第二摄像机位置扭曲与所选择的第一摄像机位置相关联的图像还使用对应于该第二摄像机位置的焦点。7.根据权利要求1所述的方法，其中，所述图像序列是经由无线设备上的用户界面捕获的，所述用户界面包括用于在弯曲路径中移动所述无线设备以捕获所述图像序列的用户指
令。8.根据权利要求1所述的方法，其中，对于每个第二摄像机位置，扭曲与所选择的第一摄像机位置相关联的图像包括：生成对应于与所选择的第一摄像机位置相关联的图像的网格；至少基于所选择的第一摄像机位置，将该图像中描绘的对象特征的三维位置投影到所述网格上，以生成第一组投影点；至少基于该第二摄像机位置，投影该图像中描绘的对象特征的三维位置以生成第二组投影点；基于所述第一组投影点和所述第二组投影点生成扭曲网格；以及基于与所选择的第一摄像机位置相关联的图像和所述扭曲网格来生成所述扭曲图像。9.根据权利要求1所述的方法，还包括：确定用于缩放所述扭曲图像的序列以满足目标分辨率的缩放因子；以及响应于确定所述缩放因子超过预定失败阈值，生成错误消息。10.根据权利要求1所述的方法，还包括：确定用于缩放所述扭曲图像的序列以满足目标分辨率的缩放因子；以及响应于确定所述缩放因子在预定的可接受范围内：根据所述缩放因子缩放所述扭曲图像的序列；识别所述扭曲图像的缩放序列中的缺失像素信息；以及修复所述缺失像素信息。11.根据权利要求1所述的方法，还包括：确定用于缩放所述扭曲图像的序列以满足目标分辨率的缩放因子；以及响应于确定所述缩放因子低于预定阈值：根据所述缩放因子缩放所述扭曲图像的序列；以及裁剪所述扭曲图像的缩放序列，以满足所述目标分辨率。12.一个或更多个体现软件的计算机可读非暂时性存储介质，所述软件在被执行时能够操作来：使用摄像机捕获图像序列；对于所述图像序列中的每个图像，确定(1)该图像中描绘的对象特征的三维位置，以及(2)摄像机在捕获该图像时的第一摄像机位置；基于与所述图像序列相关联的所述第一摄像机位置来确定虚拟摄像机的视图路径；确定所述虚拟摄像机的第二摄像机位置，所述第二摄像机位置沿着所述视图路径以预定间隔分开；对于每个第二摄像机位置：选择与所述图像序列相关联的所述第一摄像机位置中的一个；以及使用所选择的第一摄像机位置、所述第二摄像机位置和在所选择的图像中描绘的对象特征的三维位置来扭曲与所选择的第一摄像机位置相关联的图像；以及输出扭曲图像的序列。13.根据权利要求12所述的介质，其中，所述软件在被执行时还能够操作来：基于与所述图像序列相关联的所述第一摄像机位置确定多个控制点；
其中，确定所述虚拟摄像机的视图路径包括使用所述多个控制点来生成样条。14.根据权利要求12所述的介质，其中，所述软件在被执行时还能够操作来：检测在(1)与所述图像序列的第一连续子集相关联的第一摄像机位置和(2)与所述图像序列的第二连续子集相关联的第一摄像机位置之间的间隙；调整与所述图像序列的所述第二连续子集相关联的第一摄像机位置以闭合所述间隙；其中，至少基于与所述图像序列的所述第一连续子集相关联的第一摄像机位置和与所述图像序列的所述第二连续子集相关联的经调整的第一摄像机位置来确定所述虚拟摄像机的视图路径。15.根据权利要求12所述的介质，其中，所述软件在被执行时还能够操作来：将所述图像序列中描绘的对象特征的三维位置分组到一个或更多个聚类中；其中，对于每个扭曲图像，用于扭曲的所述对象特征的三维位置各自被确定为在所述一个或更多个聚类中的一个的阈值距离内。16.根据权利要求12所述的介质，其中，所述软件在被执行时还能够操作来：为每个第二摄像机位置确定对应的焦点，其中所述焦点部分地基于对以下项进行优化来确定：(1)对应于所述焦点的路径的平滑度和(2)所述焦点的紧密度；其中，对于每个第二摄像机位置，针对该第二摄像机位置扭曲与所选择的第一摄像机位置相关联的图像还使用对应于该第二摄像机位置的焦点。17.一种系统，包括：一个或更多个处理器；以及一个或更多个计算机可读非暂时性存储介质，其耦合到一个或更多个处理器并且包括指令，该指令当由一个或更多个处理器执行时能够操作来使所述系统：使用摄像机捕获图像序列；对于所述图像序列中的每个图像，确定(1)该图像中描绘的对象特征的三维位置，以及(2)摄像机在捕获该图像时的第一摄像机位置；基于与所述图像序列相关联的所述第一摄像机位置来确定虚拟摄像机的视图路径；确定所述虚拟摄像机的第二摄像机位置，所述第二摄像机位置沿着所述视图路径以预定间隔分开；对于每个第二摄像机位置：选择与所述图像序列相关联的所述第一摄像机位置中的一个；以及使用所选择的第一摄像机位置、所述第二摄像机位置和在所选择的图像中描绘的对象特征的三维位置来扭曲与所选择的第一摄像机位置相关联的图像；以及输出扭曲图像的序列。18.根据权利要求17所述的系统，其中，所述一个或更多个处理器在执行所述指令时还能够操作来执行包括以下动作的操作：基于与所述图像序列相关联的所述第一摄像机位置确定多个控制点；其中，确定所述虚拟摄像机的视图路径包括使用所述多个控制点来生成样条。19.根据权利要求17所述的系统，其中，所述一个或更多个处理器在执行所述指令时还能够操作来执行包括以下动作的操作：检测在(1)与所述图像序列的第一连续子集相关联的第一摄像机位置和(2)与所述图
像序列的第二连续子集相关联的第一摄像机位置之间的间隙；调整与所述图像序列的所述第二连续子集相关联的第一摄像机位置以闭合所述间隙；其中，至少基于与所述图像序列的所述第一连续子集相关联的第一摄像机位置和与所述图像序列的所述第二连续子集相关联的经调整的第一摄像机位置来确定所述虚拟摄像机的视图路径。20.根据权利要求17所述的系统，其中，所述一个或更多个处理器在执行所述指令时还能够操作来执行包括以下动作的操作：将所述图像序列中描绘的对象特征的三维位置分组到一个或更多个聚类中；其中，对于每个扭曲图像，用于扭曲的所述对象特征的三维位置各自被确定为在所述一个或更多个聚类中的一个的阈值距离内。

技术总结
本申请涉及从捕获的视频数据输出扭曲图像。在一个实施例中，一种方法包括从捕获的图像序列生成输出的扭曲图像序列。使用该捕获的图像序列，计算系统可以为捕获的图像序列中的每个图像确定对象特征的一个或更多个三维位置和对应的摄像机位置。利用每个图像的摄像机位置，计算系统可以确定表示虚拟摄像机的视角的视图路径。计算系统可以识别位于视图路径上的虚拟摄像机的一个或更多个虚拟摄像机位置，并且随后从捕获图像序列扭曲一个或更多个图像，以表示虚拟摄像机在每个相应虚拟摄像机位置处的视角。这导致扭曲图像序列，该扭曲图像序列可以被输出以供在客户端设备上查看和交互。互。互。


技术研发人员：安德烈
受保护的技术使用者：脸谱公司
技术研发日：2021.05.24
技术公布日：2021/11/26