视频生成方法、装置、电子设备及介质与流程

本申请实施例涉及人工智能，具体涉及一种视频生成方法、装置、电子设备及介质。

背景技术：

1、在构建三维虚拟空间中的视频内容时，需要在现实世界中采集足量的视频或图像素材，并通过3d建模渲染生成高保真的数字画面。如何高效采集素材以兼顾性能开销与重建颗粒度，成为该领域的关键问题。

2、相关技术大多采用左、中、右三路摄像头进行同步采集，或者通过连续视频流的方式进行不间断采集，然后将采集到的素材进行3d建模渲染，以获取用于构建三维虚拟空间的视频内容。

3、然而，上述三路采集或连续采集方式存在明显不足：三路采集因摄像头数量有限，容易导致采集颗粒度不足，细节丢失；而连续采集方式虽然数据量大，但会产生庞大的数据量和处理开销，两者均无法在性能开销与重建颗粒度之间取得良好平衡。

技术实现思路

1、本申请提供一种视频生成方法、装置、电子设备及介质。

2、第一方面，本申请实施例提供了一种视频生成方法，该方法包括：确定目标对象在目标场景中的运动方向，目标场景中预先布置有由至少一个摄像头形成的拍摄阵列；

3、根据运动方向，确定拍摄阵列与运动方向匹配的方向摄像头；

4、基于方向摄像头，从拍摄阵列中确定主摄像头组和副摄像头组；

5、基于方向摄像头、主摄像头组和副摄像头组采集的图像序列，生成用于构建三维虚拟空间的自由视点视频。

6、在一些实施例中，根据运动方向，确定拍摄阵列与运动方向匹配的方向摄像头包括：

7、确定拍摄阵列中各摄像头的方向向量与运动方向的运动方向向量的夹角，并将目标夹角对应的摄像头确定为方向摄像头。

8、在一些实施例中，主摄像头组包括主中心摄像头、第一主摄像头以及第二主摄像头，基于方向摄像头，从拍摄阵列中确定主摄像头组和副摄像头组包括：

9、将方向摄像头确定为主中心摄像头；

10、基于主中心摄像头以及预设跳选步长，在拍摄阵列中选取位于方向摄像头两侧的摄像头，分别作为第一主摄像头和第二主摄像头；

11、基于主中心摄像头，从拍摄阵列中确定副摄像头组。

12、在一些实施例中，副摄像头组包括副中心摄像头、第一副摄像头以及第二副摄像头，基于主中心摄像头，从拍摄阵列中确定副摄像头组包括：

13、基于运动方向和方向摄像头，确定拍摄阵列中与主中心摄像头对称的副中心摄像头；

14、基于副中心摄像头以及预设跳选步长，在拍摄阵列中选取位于副中心摄像头两侧的摄像头，分别作为第一副摄像头和第二副摄像头。

15、在一些实施例中，基于方向摄像头、主摄像头组和副摄像头组采集的图像序列，生成用于构建三维虚拟空间的自由视点视频包括：

16、利用方向摄像头，获取目标对象触发步态落点事件时的正面动作序列图像；

17、利用主摄像头组中的主中心摄像头，获取目标对象的背向场景环境信息；

18、利用主摄像头组中的第一主摄像头和第二主摄像头，获取目标对象的正面对侧身体的正面物理纹理信息；

19、利用副摄像头组中的副中心摄像头，获取目标对象的正向场景环境信息；

20、利用副摄像头组中的第一副摄像头和第二副摄像头获取目标对象的背面对侧身体的背面物理纹理信息；

21、将正面动作序列图像、背向场景环境信息、正面物理纹理信息、正向场景环境信息以及背面物理纹理信息组合为多视角图像集合；

22、将多视角图像集合输入至三维重建模型，生成自由视点视频。

23、在一些实施例中，方法还包括：

24、在利用方向摄像头、主摄像头组和副摄像头组采集图像序列的过程中，确定目标对象的更新运动方向、有效移动距离、移动速度；

25、根据更新运动方向、有效移动距离、移动速度，确定目标对象的运动偏量；

26、基于运动偏量，从拍摄阵列中确定更新摄像头，以根据更新摄像头更新主摄像头组和/或副摄像头组中至少一个摄像头。

27、在一些实施例中，根据更新摄像头更新主摄像头组和/或副摄像头组中至少一个摄像头之后，方法还包括：

28、确定更新后的主摄像头组中的主中心摄像头、第一主摄像头与第二主摄像头所形成三角形区域的覆盖面积；

29、基于覆盖面积，更新主摄像头组和/或副摄像头组中至少一个摄像头。

30、第二方面，本申请实施例提供了一种视频生成装置，该装置包括：

31、检测单元，用于确定目标对象在目标场景中的运动方向，目标场景中预先布置有由至少一个摄像头形成的拍摄阵列；

32、第一确定单元，用于根据运动方向，确定拍摄阵列与运动方向匹配的方向摄像头；

33、第二确定单元，用于基于方向摄像头，从拍摄阵列中确定主摄像头组和副摄像头组；

34、生成单元，用于基于方向摄像头、主摄像头组和副摄像头组采集的图像序列，生成用于构建三维虚拟空间的自由视点视频。

35、第三方面，本申请实施例提供了一种电子设备，包括：处理器和用于存储能够在处理器上运行的计算机程序的存储器，其中，处理器用于运行计算机程序时，执行如第一方面任一实施例中描述的方法。

36、第四方面，本申请实施例提出了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机执行如第一方面任一实施例中描述的方法。

37、第五方面，本申请实施例提出了一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时执行如第一方面任一实施例中描述的方法。

38、本申请实施例提供的一种视频生成方法，通过确定目标对象在目标场景中的运动方向，目标场景中预先布置有由至少一个摄像头形成的拍摄阵列；根据运动方向，确定拍摄阵列与运动方向匹配的方向摄像头；基于方向摄像头，从拍摄阵列中确定主摄像头组和副摄像头组；基于方向摄像头、主摄像头组和副摄像头组采集的图像序列，生成用于构建三维虚拟空间的自由视点视频。实现根据用户运动方向动态匹配并激活相应的摄像头组进行针对性采集，能够在降低数据采集量和处理开销的同时，保证生成自由视点视频所需的细节精度。

39、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。

1.一种视频生成方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述根据所述运动方向，确定所述拍摄阵列与所述运动方向匹配的方向摄像头包括：

3.根据权利要求1所述的方法，其特征在于，所述主摄像头组包括主中心摄像头、第一主摄像头以及第二主摄像头，所述基于所述方向摄像头，从所述拍摄阵列中确定主摄像头组和副摄像头组包括：

4.根据权利要求1所述的方法，其特征在于，所述副摄像头组包括副中心摄像头、第一副摄像头以及第二副摄像头，所述基于所述主中心摄像头，从所述拍摄阵列中确定所述副摄像头组包括：

5.根据权利要求1所述的方法，其特征在于，所述基于所述方向摄像头、所述主摄像头组和所述副摄像头组采集的图像序列，生成用于构建三维虚拟空间的自由视点视频包括：

6.根据权利要求1所述的方法，其特征在于，所述方法还包括：

7.根据权利要求6所述的方法，其特征在于，所述根据所述更新摄像头更新所述主摄像头组和/或所述副摄像头组中至少一个摄像头之后，所述方法还包括：

8.一种视频生成装置，其特征在于，所述装置包括：

9.一种电子设备，其特征在于，包括：处理器和用于存储能够在处理器上运行的计算机程序的存储器，

10.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行根据权利要求1至7中任一项所述的方法。