一种视频处理方法及设备、存储介质、计算机程序产品与流程

本申请涉及视频，尤其涉及一种视频处理方法及设备、存储介质、计算机程序产品。

背景技术：

1、目前，用户在360度滑动观看自由视角视频时，可以在自由视角视频中显示广告或者logo等，但是目前存在显示效果差的问题。

技术实现思路

1、本申请提供一种视频处理方法及设备、存储介质、计算机程序产品。

2、本申请的技术方案是这样实现的：

3、第一方面，本申请提出一种视频处理方法，应用于视频制作端设备，所述方法包括：

4、确定三维模型的姿态信息、第一尺寸信息、位置信息、插入时机以及虚拟相机参数信息；

5、将所述三维模型的姿态信息、第一尺寸信息、位置信息、插入时机以及虚拟相机参数信息插入自由视角视频码流中传输至视频播放端设备，以供所述视频播放端设备从所述自由视角视频码流中解析自由视角视频、所述三维模型的姿态信息、第一尺寸信息、位置信息、插入时机以及虚拟相机参数信息；响应于在用于播放所述自由视角视频的显示界面上的滑动操作，获取当前视角，在显示界面上播放当前视角的视频，并在插入时机对应的当前视角的视频帧上叠加显示当前视角对应的二维模型图像；二维模型图像根据当前视角参数、三维模型的姿态信息、第一尺寸信息、位置信息以及虚拟相机参数信息对三维模型进行坐标转换和渲染得到。

6、可选的，所述确定三维模型的姿态信息、第一尺寸信息、位置信息、插入时机以及虚拟相机参数信息，包括：

7、获取多相机拍摄的画面数据，并根据多相机拍摄的画面数据确定参考面的朝向和参考面在世界坐标系下的第二尺寸信息；获取所述三维模型在模型坐标系下的第三尺寸信息；根据所述参考面的朝向信息确定所述三维模型的姿态信息，根据所述第二尺寸信息和所述第三尺寸信息，确定所述第一尺寸信息；

8、获取导播信息，并根据所述导播信息确定虚拟相机参数信息；

9、根据所述虚拟相机参数信息和单相机拍摄的画面数据确定所述插入时机和所述位置信息；

10、所述将所述三维模型的姿态信息、第一尺寸信息、位置信息、插入时机以及虚拟相机参数信息插入自由视角视频码流中传输至自由视角视频播放端设备，包括：

11、将所述三维模型的姿态信息、第一尺寸信息、位置信息、插入时机以及虚拟相机参数信息通过补充增强信息插入所述自由视角视频码流中；所述自由视角视频码流由各相机拍摄的画面数据编码而成；

12、将所述自由视角视频码流传输至所述视频播放端设备。

13、可选的，所述虚拟相机参数信息包括虚拟相机内参信息，所述根据所述虚拟相机参数信息和单相机拍摄的画面数据确定所述插入时机和所述位置信息，包括：

14、在单相机拍摄的画面数据中进行对象检测，确定对象位置信息；

15、根据所述对象位置信息和所述虚拟相机内参信息，确定单相机拍摄的画面数据中的有效空地区域；

16、根据所述单相机拍摄的画面数据中的有效空地区域，确定所述插入时机；

17、确定所述插入时机对应的画面数据中的有效空地区域中心的平面坐标；

18、根据所述虚拟相机参数信息，计算所述平面坐标对应的光线同参考面交点的三维坐标；并将所述三维坐标确定为所述位置信息。

19、第二方面，本申请提出一种视频处理方法，应用于视频播放端设备，所述方法包括：

20、接收自由视角视频码流，并从所述自由视角视频码流中解析自由视角视频、三维模型的姿态信息、第一尺寸信息、位置信息、插入时机以及虚拟相机参数信息；

21、响应于在用于播放所述自由视角视频的显示界面上的滑动操作，获取当前视角，在所述显示界面上播放当前视角的视频，并在所述插入时机对应的当前视角的视频帧上叠加显示所述当前视角对应的二维模型图像；所述二维模型图像根据所述当前视角参数、所述三维模型的姿态信息、第一尺寸信息、位置信息以及所述虚拟相机参数信息对所述三维模型进行坐标转换和渲染得到。

22、可选的，所述虚拟相机参数信息包括虚拟相机内参信息和虚拟相机外参信息；所述方法还包括：

23、确定所述当前视角的虚拟相机参数信息；

24、根据所述三维模型的姿态信息、第一尺寸信息、位置信息以及所述当前视角的虚拟相机外参信息，将所述三维模型的坐标转换至当前虚拟相机坐标系中，得到当前虚拟相机坐标系下的三维模型坐标；

25、根据所述当前视角的虚拟相机内参信息对所述转换后的三维模型进行渲染，得到所述当前视角参数对应的二维模型图像。

26、可选的，所述根据所述三维模型的姿态信息、第一尺寸信息、位置信息以及所述当前视角的虚拟相机参数信息，将所述三维模型的坐标转换至当前虚拟相机坐标系中，得到当前虚拟相机坐标系下的三维模型坐标，包括：

27、将所述三维模型的姿态信息转换为旋转矩阵；

28、通过根据所述第一尺寸信息、所述旋转矩阵和所述位置信息依次进行所述三维模型的坐标缩放、旋转和平移，将所述三维模型的坐标转换至世界坐标系中，得到世界坐标系下的三维模型坐标；

29、根据所述当前视角的虚拟相机外参信息对所述世界坐标系下的三维模型坐标依次进行旋转和平移，将所述世界坐标系下的三维模型坐标转换至当前虚拟相机坐标系中，得到当前虚拟相机坐标系下的三维模型坐标。

30、第三方面，本申请提出一种视频制作端设备，所述视频制作端设备包括：第一处理器、第一存储器及第一通信总线；所述第一处理器执行第一存储器存储的运行程序时实现上述应用于视频制作端设备的视频处理方法。

31、第四方面，本申请提出一种视频播放端设备，所述视频制作端设备包括：第二处理器、第二存储器及第二通信总线；所述第二处理器执行第二存储器存储的运行程序时实现上述应用于视频播放端设备的视频处理方法。

32、第五方面，本申请提出一种存储介质，其上存储有计算机程序，该计算机程序被第一处理器执行时实现上述应用于视频制作端设备的视频处理方法，或者，该计算机程序被第二处理器执行时实现上述应用于视频播放端设备的视频处理方法。

33、第六方面，本申请提出一种计算机程序产品，包括计算机程序，所述计算机程序在被第一处理器执行时实现上述应用于视频制作端设备的视频处理方法，或者，所述计算机程序在被第二处理器执行时实现上述应用于视频播放端设备的视频处理方法。

34、本申请实施例具有以下有益效果：视频制作端设备设定三维模型的姿态信息、第一尺寸信息、位置信息、插入时机以及虚拟相机参数信息并传输给视频播放端设备，视频播放端设备可以结合当前的视角渲染出当前视角对应的二维模型图像，使得针对于不同的视角都可以渲染出其对应的二维模型图像，从而可以达到插入同场景相融合的三维模型的效果，进而提高了显示效果。

1.一种视频处理方法，其特征在于，应用于视频制作端设备，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述确定三维模型的姿态信息、第一尺寸信息、位置信息、插入时机以及虚拟相机参数信息，包括：

3.根据权利要求2所述的方法，其特征在于，所述虚拟相机参数信息包括虚拟相机内参信息，所述根据所述虚拟相机参数信息和单相机拍摄的画面数据确定所述插入时机和所述位置信息，包括：

4.一种视频处理方法，其特征在于，应用于视频播放端设备，所述方法包括：

5.根据权利要求4所述的方法，其特征在于，所述虚拟相机参数信息包括虚拟相机内参信息和虚拟相机外参信息；所述方法还包括：

6.根据权利要求5所述的方法，其特征在于，所述根据所述三维模型的姿态信息、第一尺寸信息、位置信息以及所述当前视角的虚拟相机参数信息，将所述三维模型的坐标转换至当前虚拟相机坐标系中，得到当前虚拟相机坐标系下的三维模型坐标，包括：

7.一种视频制作端设备，其特征在于，所述视频制作端设备包括：第一处理器、第一存储器及第一通信总线；所述第一处理器执行第一存储器存储的运行程序时实现如权利要求1-3任一项所述的方法。

8.一种视频播放端设备，其特征在于，所述视频播放端设备包括：第二处理器、第二存储器及第二通信总线；所述第二处理器执行第二存储器存储的运行程序时实现如权利要求4-6任一项所述的方法。

9.一种存储介质，其上存储有计算机程序，其特征在于，该计算机程序被第一处理器执行时实现如权利要求1-3任一项所述的方法，或者，该计算机程序被第二处理器执行时实现如权利要求4-6任一项所述的方法。

10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序在被第一处理器执行时实现如权利要求1至3任一项所述的方法，或者，所述计算机程序在被第二处理器执行时实现如权利要求4至6任一项所述的方法。