自由视角视频场景的处理方法、客户端及服务器与流程

1.本发明实施例涉及多媒体技术领域，特别是涉及一种自由视角视频场景的处理方法、客户端及服务器。


背景技术：

2.随着5g时代的来临与用户娱乐需求的增长，单视角的视频体验已无法满足用户的体验需求，而多视角场景的视频仅能提供较少的精彩视角，用户交互选择性受限制。通过360度全视角的自由视角任意选择观看视角，能够给予用户定制化的体验。现在自由视角被广泛应用于运动赛事、教育培训、文娱演出，给5g应用提供新的视频场景。
3.在相关技术中，用户体验自由视角时，对视角交互的时延、画面切换的流畅性要求高，现在行业内主流的自由视点都是使用拼接式或者是实时合成的方式，拼接的视角方案传输带宽占用高，并且损失了原有视频帧的画质，而实时合成的视角效果无法保证，且对性能消耗大。


技术实现要素：

4.以下是对本文详细描述的主题的概述。本概述并非是为了限制权利要求的保护范围。
5.本发明实施例提供了一种自由视角视频场景的处理方法、客户端及服务器，既可以实现视角交互低时延，又可以保证画面切换的流畅性。
6.第一方面，本发明实施例提供了一种自由视角视频场景的处理方法，应用于客户端，所述方法包括：
7.获取索引文件，所述索引文件包括有视频帧信息；
8.根据所述索引文件解析出所有相机机位的视频帧信息和相机机位值；
9.获取切换视角的所述相机机位值，根据所述视频帧信息和切换视角的所述相机机位值下载视频帧。
10.第二方面，本发明实施例提供了一种自由视角视频场景的处理方法，应用于服务器，所述方法包括：
11.将包含多路码流的媒体文件进行切片封装，得到分片，所述分片包括有视频帧信息；
12.生成与所述分片对应的索引文件；
13.提取所述分片中的所述视频帧信息至所述索引文件。
14.第三方面，本发明实施例提供了一种客户端，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上第一方面所述的自由视角视频场景的处理方法。
15.第四方面，本发明实施例提供了一种服务器，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上第二
方面所述的自由视角视频场景的处理方法。
16.第五方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行程序，所述计算机可执行程序用于使计算机执行如上第一方面所述的自由视角视频场景的处理方法，或者如上第二方面所述的自由视角视频场景的处理方法。
17.本发明实施例包括：客户端获取索引文件，根据索引文件解析出所有相机机位的视频帧信息和相机机位值，获取切换视角的相机机位值，根据视频帧信息和切换视角的相机机位值下载视频帧。基于此，既可以实现视角交互低时延，又可以保证画面切换的流畅性，通过引入索引文件这个辅助文件，能够在保证画面质量的情况下，减少不必要的下载量，同时后期易于扩充其他视角信息。
18.本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
附图说明
19.附图用来提供对本发明技术方案的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明的技术方案，并不构成对本发明技术方案的限制。
20.图1是本发明一个实施例提供的一种自由视角视频场景的处理方法的主流程图(客户端侧)；
21.图2是本发明一个实施例提供的一种自由视角视频场景的处理方法的子流程图；
22.图3是本发明一个实施例提供的一种自由视角视频场景的处理方法的子流程图；
23.图4是本发明一个实施例提供的自由视角的相机机位图；
24.图5是本发明一个实施例提供的自由视角的切换帧图；
25.图6是本发明一个实施例提供的自由视角的子弹时间切换帧图；
26.图7是本发明一个实施例提供的一种自由视角视频场景的处理方法的主流程图(服务器侧)；
27.图8是本发明一个实施例提供的自由视角的直播流程图；
28.图9是本发明一个实施例提供的自由视角的点播流程图；
29.图10是本发明一个实施例提供的客户端结构示意图；
30.图11是本发明一个实施例提供的服务器结构示意图。
具体实施方式
31.为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
32.应了解，在本发明实施例的描述中，多个(或多项)的含义是两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。如果有描述到“第一”、“第二”等只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。
33.随着5g时代的来临与用户娱乐需求的增长，单视角的视频体验已无法满足用户的体验需求，而多视角场景的视频仅能提供较少的精彩视角，用户交互选择性受限制。通过360度全视角的自由视角任意选择观看视角，能够给予用户定制化的体验。现在自由视角被广泛应用于运动赛事、教育培训、文娱演出，给5g应用提供新的视频场景。
34.在相关技术中，用户体验自由视角时，对视角交互的时延、画面切换的流畅性要求高，现在行业内主流的自由视点都是使用拼接式或者是实时合成的方式，拼接的视角方案传输带宽占用高，并且损失了原有视频帧的画质，而实时合成的视角效果无法保证，且对性能消耗大。
35.本发明实施例提供了一种自由视角视频场景的处理方法、客户端及服务器,客户端获取索引文件，根据索引文件解析出所有相机机位的视频帧信息的相机机位值，获取切换视角的相机机位值，根据视频帧信息和切换视角的相机机位值下载视频帧。基于此，既可以实现视角交互低时延，又可以保证画面切换的流畅性，通过引入索引文件这个辅助文件，能够在保证画面质量的情况下，减少不必要的下载量，同时后期易于扩充其他视角信息。
36.如图1所示，图1是本发明一个实施例提供的一种自由视角视频场景的处理方法的流程图。该自由视角视频场景的处理方法可以应用于客户端，自由视角视频场景的处理方法包括但不限于如下步骤：
37.步骤101，获取索引文件；
38.步骤102，根据索引文件解析出所有相机机位的视频帧信息和相机机位值；
39.步骤103，获取切换视角的相机机位值，根据视频帧信息和切换视角的相机机位值下载视频帧。
40.可以理解的是，客户端获取索引文件，索引文件包括有所有相机机位的视频帧信息和相机机位值，根据索引文件解析出所有相机机位的视频帧信息和相机机位值，获取切换视角的相机机位值，根据视频帧信息和切换视角的相机机位值进行视频帧下载，从而实现自由视角的切换。基于此，既可以实现视角交互低时延，又可以保证画面切换的流畅性，通过引入索引文件这个辅助文件，能够在保证画面质量的情况下，减少不必要的下载量，同时后期易于扩充其他视角信息。
41.需要说明的是，视频帧信息包括但不限于视频帧起始位置信息、视频帧大小和视频帧对应相机机位值。
42.以直播为例，客户端可以从服务器下载索引文件并解析出视频帧信息，并根据索引文件中的视频帧信息，按帧下载当前机位的下一帧，并将下载后的帧进行解码渲染，当用户进行视角切换操作，通过客户端修改当前机位值，并按帧下载切换后机位的下一帧，并将下载后的帧进行解码渲染，如此，直至视角切换操作结束。基于此，若用户进行视角切换，客户端响应交互，修改机位值信息，并后续按照修改后的机位流进行帧下载。由于按照帧为单位进行下载，因此播放的可以实现视角交互低时延性，并且，切换机位不影响画面渲染、不引起机位跳变，可以保证画面切换的流畅性。
43.需要说明的是，在步骤103之后，还可以包括但不限于如下子步骤：
44.对视频帧进行解码渲染。
45.可以理解的是，对于下载下来的视频帧，在客户端需要进行解码和渲染的处理才可以打开，以使得用户能在客户端看到视频帧的画面。
46.如图2所示，步骤101可以包括但不限于如下子步骤：
47.步骤1011，获取媒体呈现描述文件，媒体呈现描述文件由服务器生成；
48.步骤1012，根据媒体呈现描述文件得到索引文件的信息；
49.步骤1013，根据索引文件的信息从服务器下载索引文件。
50.可以理解的是，对于客户端获取索引文件的方式，例如，可以通过获取由服务器基于dash(dynamic adaptive streaming over http，自适应流媒体传输)生成的媒体呈现描述(media presentation description,mpd)文件，根据媒体呈现描述文件得到索引文件的信息，再根据索引文件的信息从服务器下载索引文件。
51.如图3所示，步骤103可以包括但不限于如下子步骤：
52.步骤1031，获取当前相机机位值；
53.步骤1032，根据视频帧信息和当前相机机位值确定要下载的当前视角视频帧；
54.步骤1033，获取目标相机机位值；
55.步骤1034，根据视频帧信息和目标相机机位值确定要下载的目标视角视频帧。
56.可以理解的是，如图4所示，为了实现自由视角，需要有多个相机以360围绕被拍摄的对象，且通过切换相机机位来找到对应的视频帧进行下载。具体地，每个相机机位对应有一个相机机位值，用户在客户端通过修改相机机位值来实现视角切换，例如，通过获取当前相机机位值，根据当前相机机位值确定当前相机机位，并根据视频帧信息和当前相机机位确定要下载的当前视角视频帧；又例如，当用户进行视角切换操作，可以修改当前相机机位值为目标相机机位值，客户端通过获取用户输入的目标相机机位值，根据目标相机机位值确定目标相机机位，从而实现从当前相机机位切换到目标相机机位，并根据视频帧信息和目标相机机位确定要下载的目标视角视频帧，从而实现自由视角的切换。
57.可以理解的是，如图5所示，以直播为例，根据索引文件中的视频帧信息，按帧下载当前相机机位的下一帧，当用户进行视角切换操作，通过客户端修改当前相机机位值至目标相机机位值，并按帧下载切换目标相机机位的下一帧，如此重复，直至视角切换操作结束；如图5所示，以点播为例，根据索引文件中的视频帧信息，按帧下载当前相机机位的下一帧，当用户进行视角切换操作，通过客户端修改当前相机机位值至目标相机机位值，并按帧下载切换目标相机机位的下一帧，如此重复，直至视角切换操作结束；如图6所示，以子弹时间为例，根据索引文件中的视频帧信息，按帧下载当前相机机位的下一帧，当用户进行子弹时间操作，通过客户端修改当前相机机位值，递增1至目标相机机位值，并按帧下载切换目标相机机位的同一帧，如此重复，直至视角切换操作结束。
58.如图7所示，图7是本发明一个实施例提供的一种自由视角视频场景的处理方法的流程图。该自由视角视频场景的处理方法可以应用于服务器，自由视角视频场景的处理方法包括但不限于如下步骤：
59.步骤201，将包含多路码流的媒体文件进行切片封装，得到分片，分片包括有视频帧信息；
60.步骤202，生成与分片对应的索引文件；
61.步骤203，提取分片中的视频帧信息至索引文件。
62.可以理解的是，服务器将包含多路码流的媒体文件进行切片封装，得到分片，分片包括有视频帧信息，并生成与分片对应的索引文件，提取分片中的视频帧信息至索引文件，
以使得客户端可以从服务器下载索引文件。基于此，既可以实现视角交互低时延，又可以保证画面切换的流畅性，通过引入索引文件这个辅助文件，能够在保证画面质量的情况下，减少不必要的下载量，同时后期易于扩充其他视角信息。
63.可以理解的是，服务器可以基于dash协议生成媒体呈现描述文件，其中，媒体呈现描述文件包括有分片的信息和索引文件的信息。基于此，客户端可以通过获取由服务器生成的媒体呈现描述文件，根据媒体呈现描述文件得到索引文件的信息，再根据索引文件的信息从服务器下载索引文件。
64.将多机位的视频流转码合并为统一码流进行直播或者是录制后进行点播。服务端获取直播流或点播流，进行基于dash协议的切片封装，并提取分片中的帧信息至索引文件。将分片信息与索引文件信息描述至媒体呈现描述文件。客户端获取媒体呈现描述文件，根据索引文件自定义字段，下载索引文件，并解析索引文件中的视频帧信息。客户端根据索引文件中的视频帧信息按照帧为单位进行帧下载，并将下载后的帧进行解码渲染。若用户进行视角切换，客户端响应交互，修改机位值信息，并后续按照修改后的机位流进行帧下载。由于按照帧为单位进行下载，因此播放的可以实现视角交互低时延性，并且，切换机位不影响画面渲染、不引起机位跳变，可以保证画面切换的流畅性。
65.以下结合附图和具体实施例进一步介绍本发明提供的自由视角视频场景的处理方法。
66.如图8所示，以直播为例，视频采集模块采集多机位视频流，服务器将多机位视频流进行视频帧同步，并将同步后的多个视频流合并为单路码流，将合并后的码流进行dash切片，并同步生成对应的帧索引文件，服务器将包含多路码流的媒体文件进行切片封装并生成对应的索引文件，索引文件中标注对应分片中所有帧的信息，服务器生成媒体呈现描述文件，客户端下载媒体呈现描述文件并解析其中的索引文件与视频分片、音频分片的信息，客户端下载索引文件并解析视频帧信息，客户端根据索引文件中的视频帧信息，按帧下载当前机位的下一帧，客户端将下载后的帧进行解码渲染，用户进行视角切换操作，客户端修改当前机位值，并按帧下载切换后机位的下一帧，客户端将下载后的帧进行解码渲染，如此重复，直至视角切换操作结束。
67.如图9所示，以点播为例，服务器将录制后的合并码流进行dash切片，并同步生成对应的帧索引文件，服务器将包含多路码流的媒体文件进行切片封装并生成对应的索引文件，索引文件中标注对应分片中所有帧的信息，服务器生成媒体呈现描述文件，客户端下载媒体呈现描述文件并解析其中的索引文件与视频分片、音频分片的信息，客户端下载索引文件并解析视频帧信息，客户端根据索引文件中的视频帧信息，按帧下载当前机位的下一帧，客户端将下载后的帧进行解码渲染，用户进行视角切换操作，客户端修改当前机位值，并按帧下载切换后机位的下一帧，客户端将下载后的帧进行解码渲染，如此重复，直至视角切换操作结束。
68.以子弹时间为例，服务器将包含多路码流的媒体文件进行切片封装并生成对应的索引文件，索引文件中标注对应分片中所有帧的信息，服务器生成媒体呈现描述文件，客户端下载媒体呈现描述文件并解析其中的索引文件与视频分片、音频分片的信息，客户端下载索引文件并解析视频帧信息，客户端根据索引文件中的视频帧信息，按帧下载当前机位的下一帧，客户端将下载后的帧进行解码渲染，用户进行子弹时间操作，客户端修改当前机
位值，递增1，并按帧下载切换后机位的同一帧，客户端将下载后的帧进行解码渲染，如此重复，直至子弹时间操作结束。
69.如图10所示，本发明实施例还提供了一种客户端。
70.具体地，该终端包括：一个或多个处理器和存储器，图10中以一个处理器及存储器为例。处理器和存储器可以通过总线或者其他方式连接，图10中以通过总线连接为例。
71.存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序以及非暂态性计算机可执行程序，如上述本发明实施例中的自由视角视频场景的处理方法。处理器通过运行存储在存储器中的非暂态软件程序以及程序，从而实现上述本发明实施例中的自由视角视频场景的处理方法。
72.存储器可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储执行上述本发明实施例中的自由视角视频场景的处理方法所需的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至该终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
73.实现上述本发明实施例中的自由视角视频场景的处理方法所需的非暂态软件程序以及程序存储在存储器中，当被一个或者多个处理器执行时，执行上述本发明实施例中的自由视角视频场景的处理方法，例如，执行以上描述的图1中的方法步骤101至步骤103，图2中的方法步骤1011至步骤1013，图3中的方法步骤1031至步骤1034，客户端获取索引文件，根据索引文件解析出所有相机机位的视频帧信息和相机机位值，获取切换视角的相机机位值，根据视频帧信息和切换视角的相机机位值下载视频帧。基于此，既可以实现视角交互低时延，又可以保证画面切换的流畅性，通过引入索引文件这个辅助文件，能够在保证画面质量的情况下，减少不必要的下载量，同时后期易于扩充其他视角信息。
74.如图11所示，本发明实施例还提供了一种服务器。
75.具体地，该电子设备包括：一个或多个处理器和存储器，图11中以一个处理器及存储器为例。处理器和存储器可以通过总线或者其他方式连接，图11中以通过总线连接为例。
76.存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序以及非暂态性计算机可执行程序，如上述本发明实施例中的自由视角视频场景的处理方法。处理器通过运行存储在存储器中的非暂态软件程序以及程序，从而实现上述本发明实施例中的自由视角视频场景的处理方法。
77.存储器可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储执行上述本发明实施例中的自由视角视频场景的处理方法所需的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至该终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
78.实现上述本发明实施例中的自由视角视频场景的处理方法所需的非暂态软件程
序以及程序存储在存储器中，当被一个或者多个处理器执行时，执行上述本发明实施例中的自由视角视频场景的处理方法，例如，执行以上描述的图7中的方法步骤201至步骤203，服务器将包含多路码流的媒体文件进行切片封装，得到分片，分片包括有视频帧信息，并生成与分片对应的索引文件，提取分片中的视频帧信息至索引文件，以使得客户端可以从服务器下载索引文件。基于此，既可以实现视角交互低时延，又可以保证画面切换的流畅性，通过引入索引文件这个辅助文件，能够在保证画面质量的情况下，减少不必要的下载量，同时后期易于扩充其他视角信息。
79.此外，本发明实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机可执行程序，该计算机可执行程序被一个或多个控制处理器执行，例如，被图11中的一个处理器执行，可使得上述一个或多个处理器执行上述本发明实施例中的自由视角视频场景的处理方法，例如，执行以上描述的图1中的方法步骤101至步骤103，图2中的方法步骤1011至步骤1013，图3中的方法步骤1031至步骤1034，客户端获取索引文件，根据索引文件解析出所有相机机位的视频帧信息和相机机位值，获取切换视角的相机机位值，根据视频帧信息和切换视角的相机机位值下载视频帧。基于此，既可以实现视角交互低时延，又可以保证画面切换的流畅性，通过引入索引文件这个辅助文件，能够在保证画面质量的情况下，减少不必要的下载量，同时后期易于扩充其他视角信息。或者，执行以上描述的图7中的方法步骤201至步骤203，服务器将包含多路码流的媒体文件进行切片封装，得到分片，分片包括有视频帧信息，并生成与分片对应的索引文件，提取分片中的视频帧信息至索引文件，以使得客户端可以从服务器下载索引文件。基于此，既可以实现视角交互低时延，又可以保证画面切换的流畅性，通过引入索引文件这个辅助文件，能够在保证画面质量的情况下，减少不必要的下载量，同时后期易于扩充其他视角信息。
80.本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统可以被实施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读程序、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于ram、rom、eeprom、闪存或其他存储器技术、cd-rom、数字多功能盘(dvd)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读程序、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。
81.以上是对本发明的较佳实施进行了具体说明，但本发明并不局限于上述实施方式，熟悉本领域的技术人员在不违背本发明精神的共享条件下还可作出种种等同的变形或替换，这些等同的变形或替换均包括在本发明权利要求所限定的范围内。