一种视频生成方法、装置及存储介质与流程

本发明涉及图像处理的技术领域，特别涉及一种视频生成方法、装置及存储介质。

背景技术

全景视频是一种用3D摄像机进行全方位360度进行拍摄的视频，用户在观看视频的时候，可以随意调节视频上下左右进行观看，将这种视频应用于LED屏幕更是提升了沉浸感和观看体验，然而全景视频的制作过程繁琐，还需要对全景视频进行异形处理。现有的解决方法基本上都是：使用至少6台摄影机进行摄影，将拍摄得到的视频在专业软件中合成为球形全景视频，再处理为异形视频，现有方法具有操作步骤复杂、实时性差等缺点。

技术实现要素：

本发明的目的就是解决背景技术中提到的问题，提出一种视频生成方法、装置及存储介质。

为实现上述目的，本发明首先提出了一种视频生成方法，包括以下步骤：在每一帧画面更新前，对虚幻引擎场景进行不同方位的图像采集；将采集到每一帧的不同方位的图像合成为全景图像；根据所述全景图像来生成异形视频。

可选的，所述在每一帧画面更新前，对虚幻引擎场景进行不同方位的图像采集包括以下步骤：控制虚拟相机朝向正上方以采集第一图像；控制虚拟相机朝向正下方并以自身为中心向左旋转180度以采集第二图像；控制虚拟相机朝向正左方并以自身为中心向左旋转90度以采集第三图像；控制虚拟相机朝向正右方并以自身为中心向右旋转90度以采集第四图像；控制虚拟相机朝向正前方以采集第五图像；控制虚拟相机朝向正后方并以自身为中心向左旋转180度以采集第六图像。

可选的，所述将采集到每一帧的不同方位的图像合成为全景图像包括以下步骤：将第一图像作为全景图像正上方部分，第二图像作为全景图像正下方部分，第三图像作为全景图像左侧部分，第四图像作为全景图像右侧部分，第五图像作为全景图像中心部分，第六图像作为全景图像两侧部分，来合成每一帧的全景图像。

可选的，所述根据全景图像来生成异形视频包括以下步骤：生成三维模型，所述三维模型与屏幕形状相匹配；对三维模型进行向量归一化处理；将每一帧的全景图像依次投影到经处理的三维模型表面，来生成异形视频。

可选的，所述将每一帧的全景图像依次投影到经处理的三维模型表面来生成异形视频包括以下步骤：生成材质球并将全景图像作为材质球的纹理样本；将所述纹理样本的纹理坐标与向量归一化后的三维模型建立映射；材质球采用自发光模式输出纹理样本。

本发明还提出了一种视频生成装置，包括：图像采集模块，被配置为在每一帧画面更新前，对虚幻引擎场景进行不同方位的图像采集；图像合成模块，被配置为将采集到每一帧的不同方位的图像合成为全景图像；视频生成模块，被配置为根据所述全景图像来生成异形视频。

可选的，所述视频生成模块还包括：模型生成模块，被配置为生成三维模型，所述三维模型与屏幕形状相匹配；归一化模块，被配置为对三维模型进行向量归一化处理；投影模块，被配置为将每一帧的全景图像依次投影到经处理的三维模型表面，来生成异形视频。

可选的，所述投影模块还包括：材质球模块，被配置为生成材质球并将全景图像作为材质球的纹理样本；映射模块，被配置为将所述纹理样本的纹理坐标与向量归一化后的三维模型建立映射；输出模块，被配置为材质球采用自发光模式输出纹理样本。

本发明还提出了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现上述的视频生成方法。

本发明的有益效果：

本发明实施例的一种视频生成方法，通过在每一帧画面更新前，对虚幻引擎场景进行不同方位的图像采集，再将采集到每一帧的不同方位的图像合成为全景图像，最后根据所述全景图像来生成异形视频，相较于需要将图片导入专业软件合成再导出拍摄每一帧画面的传统方法，具有快捷、实时、高效的优点，同时可实时预览每一帧全景图。

本发明的特征及优点将通过实施例结合附图进行详细说明。

附图说明

图1为本发明实施例一种视频生成方法的流程示意图之一；

图2为本发明实施例一种视频生成方法的全景图像的合成示意图；

图3为本发明实施例一种视频生成方法的流程示意图之二；

图4为本发明实施例一种视频生成方法的流程示意图之三；

图5为本发明实施例一种视频生成装置的结构框图之一；

图6为本发明实施例一种视频生成装置的结构框图之二；

图7为本发明实施例一种视频生成装置的结构框图之三。

具体实施方式

为了便于本领域技术人员的理解，下面将结合具体实施例对本发明作进一步详细描述。

图1示意性示出本发明实施例一种视频生成方法的流程示意图。如图1所示，该视频生成方法包括步骤S10至步骤S30：

步骤S10，在每一帧画面更新前，对虚幻引擎场景进行不同方位的图像采集；

步骤S20，将采集到每一帧的不同方位的图像合成为全景图像；

步骤S30，根据所述全景图像来生成异形视频。

在本发明实施例的一种视频生成方法中，通过在每一帧画面更新前，对虚幻引擎场景进行不同方位的图像采集，再将采集到每一帧的不同方位的图像合成为全景图像，最后根据所述全景图像来生成异形视频，相较于需要将图片导入专业软件合成再导出拍摄每一帧画面的传统方法，具有快捷、方便、高效的优点，同时可实时预览每一帧全景图。

下面，将结合附图及实施例对本发明实施例中的视频生成方法的各个步骤进行更详细的说明。

步骤S10，在每一帧画面更新前，对虚幻引擎场景进行不同方位的图像采集。

需要说明的是，Tick函数是虚幻引擎的一个更新函数，虚幻引擎在每一帧画面渲染前会触发Tick函数，要实现在每一帧画面更新前，对虚幻引擎场景进行不同方位的图像采集，则需将相应控制函数在每帧画面渲染前触发。在一实施例中，通过将相应控制函数添加至Tick函数中，来实现在每一帧画面更新前，对虚幻引擎场景进行不同方位的图像采集。

CineCameraComponent为虚幻引擎中的虚拟相机组件，对应现实世界电影相机，虚拟相机组件具有变换属性，用于记录其相对于当前父物体的位置信息、旋转信息、缩放信息。其中位置信息为虚拟相机相对于三维世界中心的偏移量坐标，旋转信息为以虚拟相机自身为中心的旋转量，缩放信息为以虚拟相机自身为中心的体积缩放倍率。

SetRelativeRotation为所述控制函数中的旋转设置函数，通过旋转设置函数传入三维向量(x,y,z)来改变虚拟相机组件中的旋转信息，并配合高分辨率图像采集从而实现对虚幻引擎场景进行不同方位的图像采集。

HighResShot为虚幻引擎高分辨率图像采集控制台指令，Execute Console Command为虚幻引擎调用控制台指令函数，用于接受一条控制台指令，并执行。通过使用虚幻引擎调用控制台指令函数Execute Console Command传入虚幻引擎高分辨率图像采集控制台指令HighResShot来对虚幻引擎视口当前显示内容进行高分辨率图像采集。此外采集的图像可被并存储在硬盘上，方便后续调用。

在一实施例中，所述对虚幻引擎场景进行不同方位的图像采集采用了六个不同方位的技术方案，分别为控制虚拟相机朝向正上方以采集第一图像；控制虚拟相机朝向正下方并以自身为中心向左旋转180度以采集第二图像；控制虚拟相机朝向正左方并以自身为中心向左旋转90度以采集第三图像；控制虚拟相机朝向正右方并以自身为中心向右旋转90度以采集第四图像；控制虚拟相机朝向正前方以采集第五图像；控制虚拟相机朝向正后方并以自身为中心向左旋转180度以采集第六图像。

由于至少六幅不同方位的图像才能够组成360度全景图像。在其他实施例中，可对虚幻引擎场景进行七个、八个、九个等不同方位的图像采集以采集更多的图像，来进行全景图像的合成。

步骤S20，将采集到每一帧的不同方位的图像合成为全景图像。

请参考图2，将第一图像作为全景图像正上方部分，第二图像作为全景图像正下方部分，第三图像作为全景图像左侧部分，第四图像作为全景图像右侧部分，第五图像作为全景图像中心部分，第六图像作为全景图像两侧部分，来合成每一帧的全景图像。在其他实施例中，在进行大于六幅图像的合成时，每幅图像的边界有部分重合。

步骤S30，根据所述全景图像来生成异形视频。

请参考图3，根据全景图像来生成异形视频包括以下步骤：

步骤S310，生成三维模型，所述三维模型与屏幕形状相匹配。

在一实施例中，所述三维模型也被称为静态网格体，所述静态网格体根据屏幕形状不同也不一样，本实施例中静态网格体以立方体举例，在其他实施例中，也可采用除立方体外其他形状，此外静态网格体需用三维建模软件制作，本发明不赘述网格体建模过程。

步骤S320，对三维模型进行向量归一化处理。

三维模型的表面点是三个维度的向量，通过对三维模型进行向量归一化处理后，就可以使用二个维度的形式来表示三维模型表面点。

步骤S330，将每一帧的全景图像依次投影到经处理的三维模型表面，来生成异形视频。

全景图是二维图像，让二维图像全景图投影到三维模型的表面，就是建立三维模型的每个像素点与二维图像全景图的像素点的对应关系。

请参考图4，将每一帧的全景图像依次投影到经处理的三维模型表面来生成异形视频包括以下步骤：

步骤S3310，生成材质球并将全景图像作为材质球的纹理样本。

在一实施例中，为立方体生成材质球，在材质球中生成纹理样本，并将全景图像作为材质球的纹理样本。

步骤S3320，将所述纹理样本的纹理坐标与向量归一化后的三维模型建立映射。

具体的，通过将向量归一化后代表三维模型的表面点的二个维度的向量作为纹理样本的纹理坐标，来建立三维模型的每个像素点与二维图像全景图的像素点的对应关系。

步骤S3330，材质球采用自发光模式输出纹理样本，从而使全景图投影到经处理的三维模型表面。

由于材质球必须要有输出，材质球的输出类型有很多，这些并非本发明探讨重点，为了让三维模型来模拟现实世界中的屏幕，采用了自发光模式，使用这种输出类型的材质球会让三维模型变成自己会发光的物体，不需要光照系统能呈现颜色。此外，通过在虚幻引擎Tick函数中调用相应函数读取下一张全景图来预览异形视频。

综上所述，本发明实施例一种视频生成方法，先控制虚幻引擎中的虚拟相机在每一帧画面更新前，对虚幻引擎场景进行不同方位的图像采集，再将采集到每一帧的不同方位的图像合成为全景图像，再生成与屏幕形状相匹配三维模型，并对三维模型进行向量归一化处理，最后将每一帧的全景图像依次投影到经处理的三维模型表面来生成异形视频，相较于传统方法具有快捷、实时、高效的优点。

基于上述一种视频生成方法，本发明实施例还提供了一种视频生成装置，如图5所示，该装置包括以下模块：

图像采集模块100，被配置为在每一帧画面更新前，对虚幻引擎场景进行不同方位的图像采集；

图像合成模块200，被配置为将采集到每一帧的不同方位的图像合成为全景图像；

视频生成模块300，被配置为根据所述全景图像来生成异形视频。

如图6所示，在一实施例中，所述视频生成模块还包括：

模型生成模块301，被配置为生成三维模型，所述三维模型与屏幕形状相匹配；

归一化模块303，被配置为对三维模型进行向量归一化处理；

投影模块305，被配置为将每一帧的全景图像依次投影到经处理的三维模型表面，来生成异形视频。

如图7所示，在一实施例中，所述投影模块还包括：

材质球模块3051，被配置为生成材质球并将全景图像作为材质球的纹理样本；

映射模块3053，被配置为将所述纹理样本的纹理坐标与向量归一化后的三维模型建立映射；

输出模块3055，被配置为材质球采用自发光模式输出纹理样本。

综上所述，本发明实施例的一种视频生成装置，该装置可以实现为一种程序的形式，在计算机设备上运行。计算机设备的存储器中可存储组成该视频生成装置的各个程序模块，比如，图5所示的图像采集模块100、图像合成模块200、视频生成模块300。各个程序模块构成的程序使得处理器执行本说明书中描述的本申请各个实施例的一种视频生成方法中的步骤。

本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现本申请各个实施例的一种视频生成方法中的步骤。

上述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

上述实施例是对本发明的说明，不是对本发明的限定，任何对本发明简单变换后的方案均属于本发明的保护范围。以上所述仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。