流式传输多视角音频和视频的制作方法

背景技术：

技术实现思路

1、本文公开的各种实施例提供了用于流式传输mpav内容的方法和装置。其中，视角分析和相机视图聚类和归类用于使得播放器设备能够构建适合于导航通过各种相机视图选择的图形用户界面，并且进一步用于将不同的编码参数指派给不同的mpav比特流并在不同的回放模式下实施不同的下载策略。一些示例还提供了编辑模式，该编辑模式可以有益地用于增长mpav内容并为其提供可重新共享和可重新编辑的能力。

2、根据示例实施例，提供了一种用于流式传输多视角音频和视频（mpav）的装置，所述装置包括：至少一个处理器；以及包括程序代码的至少一个存储器，其中，所述至少一个存储器和所述程序代码被配置为与所述至少一个处理器一起使所述装置至少进行以下操作：将表示所述mpav的多个相机视图分组为预定数量的簇；针对所述多个相机视图中的选定相机视图，将所述多个相机视图中的其他相机视图分类为相应第一类和相应第二类中的一者，所述其他相机视图中的被分类为所述相应第一类的每一个相机视图来自与所述选定相机视图已经分组到的簇不同的相应簇，所述相应第二类包括所述其他相机视图中的其余相机视图；以及当播放器设备请求时，使用第一类型的比特流来流式传输被分类为所述相应第一类的相机视图；使用第二类型的比特流来流式传输被分类为所述相应第二类的相机视图；以及使用第三类型的比特流来流式传输所述选定相机视图，其中，所述第一类型的比特流、所述第二类型的比特流和所述第三类型的比特流在第一特性和第二特性中的至少一者上彼此不同。

3、根据另一示例实施例，提供了一种用于流式传输多视角音频和视频（mpav）的装置，所述装置包括：至少一个处理器；以及包括程序代码的至少一个存储器，其中，所述至少一个存储器和所述程序代码被配置为与所述至少一个处理器一起使所述装置至少进行以下操作：接收存储在能够经由服务器设备访问的存储容器中的所述mpav的媒体呈现描述（mpd）；基于所述mpd构建图形用户界面（gui），所述gui被配置为：使得用户能够从表示所述mpav的多个相机视图中选择相机视图，并且进一步从多个mpav回放模式中选择回放模式；以及呈现所述多个相机视图中的不同相机视图被分组到的预定数量的簇；在通过所述gui接收到所述选定相机视图的指示时，确定将所述多个相机视图中的其他相机视图分类为相应第一类和相应第二类中的一者，所述其他相机视图中的被分类为所述相应第一类的每一个相机视图来自与所述选定相机视图被分组到的簇不同的相应簇，所述相应第二类包括所述其他相机视图中的其余相机视图；向所述服务器设备发送请求，所述请求至少指定所述选定相机视图和所述相应第一类的一个或多个相机视图；以及经由所述服务器设备从所述存储容器接收与所述请求相对应的多个比特流。

4、根据又一示例实施例，提供了一种用于从服务器设备流式传输多视角音频和视频（mpav）的方法，所述方法包括：将表示所述mpav的多个相机视图分组为预定数量的簇；针对所述多个相机视图中的选定相机视图，将所述多个相机视图中的其他相机视图分类为相应第一类和相应第二类中的一者，所述其他相机视图中的被分类为所述相应第一类的每一个相机视图来自与所述选定相机视图已经分组到的簇不同的相应簇，所述相应第二类包括所述其他相机视图中的其余相机视图；以及当播放器设备请求时，使用第一类型的比特流来流式传输被分类为所述相应第一类的相机视图；使用第二类型的比特流来流式传输被分类为所述相应第二类的相机视图；以及使用第三类型的比特流来流式传输所述选定相机视图，其中，所述第一类型的比特流、所述第二类型的比特流和所述第三类型的比特流在第一特性和第二特性中的至少一者上彼此不同。

5、根据又一示例实施例，提供了一种用于利用回放设备流式传输多视角音频和视频（mpav）的方法，所述方法包括：接收存储在能够经由服务器设备访问的存储容器中的所述mpav的媒体呈现描述（mpd）；基于所述mpd构建图形用户界面（gui），所述gui被配置为：使得用户能够从表示所述mpav的多个相机视图中选择相机视图，并且进一步从多个mpav回放模式中选择回放模式；以及呈现所述多个相机视图中的不同相机视图被分组到的预定数量的簇；在通过所述gui接收到所述选定相机视图的指示时，确定将所述多个相机视图中的其他相机视图分类为相应第一类和相应第二类中的一者，所述其他相机视图中的被分类为所述相应第一类的每一个相机视图来自与所述选定相机视图被分组到的簇不同的相应簇，所述相应第二类包括所述其他相机视图中的其余相机视图；向所述服务器设备发送请求，所述请求至少指定所述选定相机视图和所述相应第一类的一个或多个相机视图；以及经由所述服务器设备从所述存储容器接收与所述请求相对应的多个比特流。

6、根据又一示例实施例，提供了一种存储指令的非暂态计算机可读介质，所述指令当由电子处理器执行时使所述电子处理器执行包括上述方法中的任一方法的操作。

1.一种用于从服务器设备流式传输多视角音频和视频（mpav）的方法，所述方法包括：

2. 如权利要求1所述的方法，

3.如权利要求2所述的方法，进一步包括从第一替代方案和第二替代方案中选择所述第三类型的比特流，所述第一替代方案和所述第二替代方案由不同的相应空间分辨率表征。

4. 如权利要求3所述的方法，其中，所述选择是基于以下各项中的一项或两项来执行的：

5.如权利要求1所述的方法，进一步包括在执行所述分组之前选择所述预定数量。

6.如权利要求1所述的方法，其中，将所述其他相机视图分类为所述相应第一类包括：

7.如权利要求1所述的方法，进一步包括使用快速udp因特网连接来执行所述流式传输。

8. 如权利要求1所述的方法，进一步包括：

9.如权利要求1所述的方法，进一步包括记录从由请求所述选定相机视图进行流式传输的多个播放器设备执行的所述选定相机视图的视图切换历史，

10.如权利要求1所述的方法，进一步包括：

11. 如权利要求10所述的方法，进一步包括：

12.如权利要求11所述的方法，进一步包括：

13.如权利要求12所述的方法，其中，针对所述时段，所述存储容器具有多个媒体片段，所述多个媒体片段根据不同相机视图在逻辑上进行组织，并且进一步根据不同比特率、不同空间分辨率、不同编解码器类型和不同gop大小中的一个或多个在逻辑上进行组织。

14.如权利要求12所述的方法，其中，针对所述时段，从所述存储容器中取得的所述选定子集包括与至少两种不同表示相对应的媒体片段。

15.如权利要求12所述的方法，其中，针对所述时段，从所述存储容器中取得的所述选定子集包括与至少两个不同自适应集相对应的媒体片段。

16.如权利要求15所述的方法，其中，对于所述不同相机视图中的每一个相机视图，所述存储容器具有与不同的相应视频片段时间相对应的相应媒体片段序列。

17.如权利要求12所述的方法，进一步包括当所述请求指示所标识的选择改变时，将所述选定子集从第一子集改变为不同的第二子集。

18. 如权利要求12所述的方法，其中，所述相应初始化片段具有与mpeg dash规范兼容的箱格式。

19.如权利要求12所述的方法，

20.如权利要求12所述的方法，其中，所述mpd包括具有第一属性的mpav描述符，所述第一属性指定属于预选的第一类视图自适应集或内容组成部分的标识符列表。

21. 如权利要求20所述的方法，其中，所述mpav描述符进一步具有以下各项中的一项或两项：

22.如权利要求12所述的方法，其中，所述mpd包括具有选自由以下各项组成的组的一组属性的mpav视角（mper）描述符：

23.如权利要求1所述的方法，其中，所述服务器设备被配置为支持所述播放器设备的多种回放模式，所述多种回放模式包括：

24.如权利要求23所述的方法，其中，针对所述循环观看回放模式，所述服务器设备被配置为使得所述回放设备能够随着循环计数的增加而下载针对为所述循环观看回放模式选择的一组相机视图的逐渐更高分辨率的比特流。

25.如权利要求1所述的方法，进一步包括将所述第一类型的比特流、所述第二类型的比特流和所述第三类型的比特流在具有不同相应优先级的不同相应队列中排队。

26. 如权利要求1所述的方法，进一步包括：

27.如权利要求26所述的方法，其中，所述更新包括：

28. 如权利要求1所述的方法，进一步包括：

29. 如权利要求28所述的方法，其中，所述更新包括：

30.一种存储指令的非暂态计算机可读介质，所述指令当由电子处理器执行时使所述电子处理器执行包括如权利要求1至29中任一项所述的方法的操作。

31. 一种用于流式传输多视角音频和视频（mpav）的装置，所述装置包括：

32.一种用于利用回放设备流式传输多视角音频和视频（mpav）的方法，所述方法包括：

33.如权利要求32所述的方法，其中，所述回放模式选自由以下各项组成的回放模式组：

34.如权利要求33所述的方法，其中，在所述循环观看回放模式下，所述回放设备被配置为随着循环计数的增加而下载针对为所述循环观看回放模式选择的一组相机视图的逐渐更高分辨率的比特流。

35.如权利要求32所述的方法，

36. 如权利要求35所述的方法，

37.如权利要求36所述的方法，其中，从第一替代方案和第二替代方案中选择所述第三类型的比特流，所述第一替代方案和所述第二替代方案由不同的相应空间分辨率表征。

38. 如权利要求37所述的方法，其中，所述第一替代方案或所述第二替代方案是基于以下各项中的一项或两项来选择的：

39.如权利要求32所述的方法，其中，所述多个比特流是经由快速udp因特网连接接收的。

40.如权利要求32所述的方法，进一步包括：

41.如权利要求40所述的方法，其中，针对所述时段，所述存储容器具有多个媒体片段，所述多个媒体片段根据不同相机视图在逻辑上进行组织，并且进一步根据不同比特率、不同空间分辨率、不同编解码器类型和不同gop大小中的一个或多个在逻辑上进行组织。

42.如权利要求41所述的方法，其中，对于所述不同相机视图中的每一个相机视图，所述存储容器具有与不同的相应视频片段时间相对应的相应媒体片段序列。

43.如权利要求40所述的方法，进一步包括基于通过所述gui接收到的用户输入将所述选定子集从第一子集改变为不同的第二子集。

44. 如权利要求40所述的方法，其中，所述相应初始化片段具有与mpeg dash规范兼容的箱格式。

45.如权利要求40所述的方法，

46. 如权利要求32所述的方法，进一步包括：

47. 如权利要求32所述的方法，进一步包括：

48.一种存储指令的非暂态计算机可读介质，所述指令当由电子处理器执行时使所述电子处理器执行包括如权利要求32至47中任一项所述的方法的操作。

49. 一种用于流式传输多视角音频和视频（mpav）的装置，所述装置包括：