一种多视角直播系统的制作方法

1.本发明涉及互联网技术领域，更具体的说，涉及一种多视角直播系统。


背景技术：

2.移动直播是直播对象（即主播）使用主播端推送音视频数据，观众使用观众端观看接收到的音视频内容的一种直播方式，主播端指的是推送音视频内容的移动设备，观众端指的是播放音视频内容的移动设备。
3.目前，移动直播只支持观众通过观众端观看主播端的直播对象单个视角的直播内容。然而，随着直播场景的发展以及直播内容的需要，观众对直播平台提出了更高的需求，要求移动直播除了支持观众在观众端观看直播对象的主视角外，还需要提供其他视角的直播内容，比如，左视角、右视角、俯视角、仰视角、后视图角等视角的直播内容，以提高用户观看体验。但是现有的移动直播并不支持除主视角以外的直播内容。


技术实现要素：

4.有鉴于此，本发明公开一种多视角直播系统，以实现移动直播时对直播对象的多视角播放，从而提高了用户的直播观看体验。
5.一种多视角直播系统，包括：主播端集群、服务器和观众端；所述主播端集群包括：一个主视角主播端和至少一个副视角主播端，所述主视角主播端和所有的所述副视角主播端通信连接，并构建成一个主视角多个副视角的多视角直播关系；所述主视角主播端，用于通过自身具有的音视频模块采集直播对象的主视角音视频；所述副视角主播端，用于通过自身具有的视频模块采集所述直播对象的副视角视频，且不同的所述副视角主播端采集的所述直播对象的副视角视频不同；所述服务器与所述主播端集群连接，用于获取所述主视角主播端采集的所述主视角音视频和各个所述副视角主播端采集的所述副视角视频，并将所述主视角音视频和各个所述副视角视频混流为一路包含各个视角的音视频直播流；所述观众端与所述服务器连接，用于从所述服务器拉取所述音视频直播流进行播放。
6.可选的，所述主视角主播端还用于：在直播开播后，获取多视角直播功能开启指令，并根据所述多视角直播功能开启指令开启多视角直播功能；每个所述副视角主播端还用于：向所述主视角主播端发送申请加入多视角直播请求；所述主视角主播端还用于：获取各个所述副视角主播端发送的所述申请加入多视角直播请求，并与各个所述副视角主播端构建成一个主视角多个副视角的所述多视角直播关系。
7.可选的，所述主视角主播端和各个所述副视角主播端，通过rtc协议增加低延时音视频通话功能；相应的，所述主视角音视频为低延迟主视角音视频；所述副视角视频为低延迟副视角视频；所述音视频直播流为低延迟音视频直播流。
8.可选的，所述主视角主播端还用于：在采集所述主视角音视频的过程中，控制自身的播放器和扬声器处于禁用状态；每个所述副视角主播端还用于：在采集所述副视角视频的过程中，控制自身的播放器和扬声器处于禁用状态。
9.可选的，所述服务器包括：合流服务器和rtmp服务器；所述合流服务器分别与所述主播端集群和所述rtmp服务器连接，用于获取所述主视角音视频和各个所述副视角视频，将所述主视角音视频和各个所述副视角视频混流为一路包含各个视角的所述音视频直播流，并将所述音视频直播流以rtmp协议上行到rtmp服务器；所述观众端与所述rtmp服务器连接，用于从所述rtmp服务器拉取rtmp协议的所述音视频直播流进行播放。
10.可选的，所述合流服务器包括：rtc服务器和混流服务器；所述rtc服务器与所述主播端集群连接，用于获取所述主视角音视频和各个所述副视角视频；所述混流服务器与所述rtc服务器连接，用于从所述rtc服务器拉取所述主视角音视频和各个所述副视角视频，并将所述主视角音视频和各个所述副视角视频混流为一路包含各个视角的所述音视频直播流。
11.可选的，所述混流服务器具体用于：根据直播间视角的个数，基于预设各个视角位置对所述主视角音视频和各个所述副视角视频的展示区域进行布局。
12.从上述的技术方案可知，本发明公开了一种多视角直播系统，包括：主播端集群、服务器和观众端，主播端集群包括：一个主视角主播端和至少一个副视角主播端，主视角主播端和所有的副视角主播端通信连接，并构建成一个主视角多个副视角的多视角直播关系，主视角主播端通过自身具有的音视频模块采集直播对象的主视角音视频，副视角主播端通过自身具有的视频模块采集直播对象的副视角视频，且不同的副视角主播端采集的直播对象的副视角视频不同，服务器将主视角音视频和各个副视角视频混流为一路包含各个视角的音视频直播流，观众端从服务器拉取音视频直播流进行播放。本发明通过将主视角主播端和各个副视角主播端构建成一个主视角多个副视角的多视角直播关系，并将采集的直播对象的主视角音视频和各个副视角视频混流为一路包含各个视角的音视频直播流下发至观众端进行播放，实现了移动直播时对直播对象的多视角播放，从而提高了用户的直播观看体验。
附图说明
13.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现
有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据公开的附图获得其他的附图。
14.图1为本发明实施例公开的一种多视角直播系统的结构示意图；图2为本发明实施例公开的另一种多视角直播系统的结构示意图；图3为本发明实施例公开的另一种多视角直播系统的结构示意图；图4为本发明实施例公开的一种多视角直播画面的示意图。
具体实施方式
15.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
16.本发明实施例公开了一种多视角直播系统，包括：主播端集群10、服务器20和观众端30，主播端集群10包括：一个主视角主播端11和至少一个副视角主播端12，主视角主播端11和所有的副视角主播端12通信连接，并构建成一个主视角多个副视角的多视角直播关系，主视角主播端11通过自身具有的音视频模块采集直播对象的主视角音视频，副视角主播端12通过自身具有的视频模块采集直播对象的副视角视频，且不同的副视角主播端12采集的直播对象的副视角视频不同，服务器20将主视角音视频和各个副视角视频混流为一路包含各个视角的音视频直播流，观众端30从服务器20拉取音视频直播流进行播放。本发明通过将主视角主播端11和各个副视角主播端12构建成一个主视角多个副视角的多视角直播关系，并将采集的直播对象的主视角音视频和各个副视角视频混流为一路包含各个视角的音视频直播流下发至观众端30进行播放，实现了移动直播时对直播对象的多视角播放，从而提高了用户的直播观看体验。
17.参见图1，本发明实施例公开的一种多视角直播系统的结构示意图，该系统包括：主播端集群10、服务器20和观众端30。
18.其中：主播端集群10包括：一个主视角主播端11和至少一个副视角主播端12，图1中输出的两个副视角主播端12为举例，副视角主播端12的数量依据副视角的数量需求而定，比如，副视角的数量包括：左视角、右视角、俯视角和仰视角四个，则相应的副视角主播端12的数量为四个，本发明在此不做限定。
19.本发明中，主视角主播端11和所有的副视角主播端12通信连接，并构建成一个主视角多个副视角的多视角直播关系。
20.所述主视角主播端11，用于通过自身具有的音视频模块采集直播对象的主视角音视频。
21.主视角主播端11的音视频模块可以为：设备摄像头和麦克风。
22.具体的，在直播对象直播过程中，主视角主播端11通过设备摄像头采集直播对象的主视角视频，主视角主播端11通过麦克风采集直播对象的音频，从而得到直播对象的主视角音视频。
23.所述副视角主播端12，用于通过自身具有的视频模块采集所述直播对象的副视角视频，且不同的所述副视角主播端12采集的所述直播对象的副视角视频不同。
24.副视角主播端12的视频模块可以为设备摄像头。
25.具体的，在直播对象直播过程中，每个副视角主播端12通过设备摄像头采集直播对象的副视角视频，比如，直播对象的左视角视频、右视角视频或俯视角视频，其中，每个副视角主播端12仅采集一种副视角视频，且不同的副视角主播端12采集的直播对象的副视角视频不同。
26.需要特别说明的是，在实际应用中，由于不同视角的主播端在同一个物理空间（也即主播对象所在的物理空间）的距离很近，也即主视角主播端11和各个副视角主播端12在同一个物理空间的距离很近，为避免各个主播端之间的音频干扰，本实施例中只需主视角主播端11通过自身具有的视频模块采集直播对象的的音视频，而其他副视角主播端12不使用麦克风采集直播对象的音频（即保持静音），而只是通过自身具有的视频模块采集直播对象的副视角视频。
27.服务器20与主播端集群10连接，也即服务器20与主播端集群10中的一个主视角主播端11和各个副视角主播端12均连接。
28.服务器20用于获取所述主视角主播端11采集的所述主视角音视频和各个所述副视角主播端12采集的所述副视角视频，并将所述主视角音视频和各个所述副视角视频混流为一路包含各个视角的音视频直播流。
29.所述观众端30与所述服务器20连接，用于从所述服务器20拉取所述音视频直播流进行播放。
30.由于服务器20将主视角音视频和各个副视角视频混流为一路包含各个视角的音视频直播流，因此，观众端30从服务器20拉取音视频直播后，通过一个播放器播放即可，从而可以降低观众端30拉流时的带宽消耗。
31.综上可知，本发明公开了一种多视角直播系统，包括：主播端集群10、服务器20和观众端30，主播端集群10包括：一个主视角主播端11和至少一个副视角主播端12，主视角主播端11和所有的副视角主播端12通信连接，并构建成一个主视角多个副视角的多视角直播关系，主视角主播端11通过自身具有的音视频模块采集直播对象的主视角音视频，副视角主播端12通过自身具有的视频模块采集直播对象的副视角视频，且不同的副视角主播端12采集的直播对象的副视角视频不同，服务器20将主视角音视频和各个副视角视频混流为一路包含各个视角的音视频直播流，观众端30从服务器20拉取音视频直播流进行播放。本发明通过将主视角主播端11和各个副视角主播端12构建成一个主视角多个副视角的多视角直播关系，并将采集的直播对象的主视角音视频和各个副视角视频混流为一路包含各个视角的音视频直播流下发至观众端30进行播放，实现了移动直播时对直播对象的多视角播放，从而提高了用户的直播观看体验。
32.另外，本发明通过将直播对象的主视角音视频和各个副视角视频混流为一路包含各个视角的音视频直播流下发至观众端30进行播放，使得观众端30只需要一个播放器播放即可，从而可以降低观众端30拉流时的带宽消耗。
33.为进一步优化上述实施例，主视角主播端11还可以用于：在直播开播后，获取多视角直播功能开启指令，并根据所述多视角直播功能开启
指令开启多视角直播功能。
34.具体的，当主视角主播端11开播后，主播对象可以通过操作主视角主播端11向主视角主播端11发送多视角直播功能开启指令，使得主视角主播端11根据所述多视角直播功能开启指令开启多视角直播功能。
35.相对应的，每个所述副视角主播端12还用于：向所述主视角主播端11发送申请加入多视角直播请求。
36.具体的，主播对象可以通过操作各个副视角主播端12，使得副视角主播端12向所述主视角主播端11发送申请加入多视角直播请求，以便进入主视角直播间。
37.主视角主播端11还用于：获取各个所述副视角主播端12发送的所述申请加入多视角直播请求，并与各个所述副视角主播端构建成一个主视角多个副视角的多视角直播关系。
38.需要说明的是，当主视角主播端11和各个副视角主播端12构建成一个主视角多个副视角的多视角直播关系后，在直播对象直播过程中，主视角主播端11就可以采集直播对象的主视角音视频，同时，各个副视角主播端12就可以采集直播对象的副视角视频。
39.为进一步优化上述实施例，主视角主播端11和各个副视角主播端12，通过rtc协议增加低延时音视频通话功能；相应的，所述主视角音视频为低延迟主视角音视频；所述副视角视频为低延迟副视角视频；所述音视频直播流为低延迟音视频直播流。
40.rtc（real-time communications）是一种实时音视频通话协议的简称。
41.综上可知，本发明通过rtc协议在主视角主播端11和各个副视角主播端12增加低延时音视频通话功能，使得主视角主播端11通过rtc协议输出低延迟主视角音视频，各个副视角主播端12通过rtc协议输出低延迟副视角视频，也即实现主播端通过rtc协议推流。基于rtc协议低延时的技术特点，使得混流后的音视频直播流，来自各个视角的直播内容的时间差很小，低于100ms，观看时几乎感觉不到差异，从而可以减少多视角直播内容之间的时间差，使多视角直播内容接近同步，提高用户直播观看体验。
42.为进一步优化上述实施例，主视角主播端11还用于：在采集所述主视角音视频的过程中，控制自身的播放器和扬声器处于禁用状态.每个副视角主播端12还用于：在采集所述副视角视频的过程中，控制自身的播放器和扬声器处于禁用状态。
43.在实际应用中，为减少直播对象直播时直播间的嘈杂声，不同视角的主播端不使用播放器播放其他视角的直播内容，也不使用扬声器播放音视频通话声音。
44.为进一步优化上述实施例，参见图2，本发明实施例公开的另一种多视角直播系统的结构示意图，在图1所示实施例的基础上，服务器20可以包括：合流服务器21和rtmp服务器22。
45.其中，rtmp（real time messaging protocol）是一种实时音视频通信协议的简称。
46.合流服务器21分别与主播端集群10和所述rtmp服务器22连接。合流服务器21分别与主播端集群10具体为：合流服务器21分别与主播端集群10中的一个主视角主播端11和各
个副视角主播端12连接。
47.合流服务器21，用于获取主视角主播端11采集的直播对象的主视角音视频和各个副视角主播端12采集的直播对象的主视角音视频，将将所述主视角音视频和各个所述副视角视频混流为一路包含各个视角的所述音视频直播流，并将所述音视频直播流以rtmp协议上行到rtmp服务器。
48.观众端30与rtmp服务器22连接，用于从所述rtmp服务器22拉取rtmp协议的音视频直播流进行播放。
49.综上可知，本发明公开了一种多视角直播系统，包括：主播端集群10、服务器20和观众端30，主播端集群10包括：一个主视角主播端11和至少一个副视角主播端12，主视角主播端11和所有的副视角主播端12通信连接，并构建成一个主视角多个副视角的多视角直播关系，服务器20包括：合流服务器21和rtmp服务器22，主视角主播端11通过自身具有的音视频模块采集直播对象的主视角音视频，副视角主播端12通过自身具有的视频模块采集直播对象的副视角视频，且不同的副视角主播端12采集的直播对象的副视角视频不同，合流服务器21将主视角音视频和各个副视角视频混流为一路包含各个视角的音视频直播流，并输出至rtmp服务器22，观众端30从rtmp服务器22拉取音视频直播流进行播放。本发明通过将主视角主播端11和各个副视角主播端12构建成一个主视角多个副视角的多视角直播关系，并将采集的直播对象的主视角音视频和各个副视角视频混流为一路包含各个视角的音视频直播流下发至观众端30进行播放，实现了移动直播时对直播对象的多视角播放，从而提高了用户的直播观看体验。
50.另外，本发明通过将直播对象的主视角音视频和各个副视角视频混流为一路包含各个视角的音视频直播流下发至观众端30进行播放，使得观众端30只需要一个播放器播放即可，从而可以降低观众端30拉流时的带宽消耗。
51.为进一步优化上述实施例，参见图3，本发明实施例公开的另一种多视角直播系统的结构示意图，在图2所示实施例的基础上，合流服务器21包括：rtc服务器211和混流服务器212。
52.其中，rtc服务器211与主播端集群10连接，也即rtc服务器211与主播端集群10中的一个主视角主播端11和各个副视角主播端12连接。
53.rtc服务器211用于获取主视角主播端11输出的直播对象的主视角音视频以及各个副视角主播端12输出的直播对象的副视角视频。
54.需要特别说明的是，为保证rtc服务器211可以获取视角音视频以及各个副视角视频，本发明在主视角主播端11和各个副视角主播端12中通过rtc协议添加了低延时音视频通话功能，从而使得主视角主播端11输出的直播对象的主视角音视频，实际为低延迟主视角音视频，副视角主播端12输出的直播对象的副视角视频实际为低延迟副视角视频。
55.也就是说，主视角主播端11实际将低延迟主视角音视频上行推流到rtc服务器211，副视角主播端12实际将低延迟副视角视频上行推流到rtc服务器211。
56.所述混流服务器212与所述rtc服务器222连接，用于从所述rtc服务器拉取所述主视角音视频和各个所述副视角视频，并将所述主视角音视频和各个所述副视角视频混流为一路包含各个视角的音视频直播流。
57.由于rtc服务器211获取的是低延迟主视角音视频和各个低延迟副视角视频，因
此，混流服务器212实际上是将低延迟主视角音视频和各个低延迟副视角视频，混流为一路包含各个视角的低延迟音视频直播流。
58.混流服务器212通过rtmp协议将低延迟音视频直播流上行到rtmp服务器22进行分发，观众端30从rtmp服务器22拉取低延迟音视频直播流进行播放。
59.综上可知，本发明公开了一种多视角直播系统，包括：主播端集群10、服务器20和观众端30，主播端集群10包括：一个主视角主播端11和至少一个副视角主播端12，主视角主播端11和所有的副视角主播端12通信连接，并构建成一个主视角多个副视角的多视角直播关系，服务器20包括：合流服务器21和rtmp服务器22，合流服务器21包括rtc服务器211和混流服务器212，主视角主播端11通过自身具有的音视频模块采集直播对象的主视角音视频，副视角主播端12通过自身具有的视频模块采集直播对象的副视角视频，且不同的副视角主播端12采集的直播对象的副视角视频不同，rtc服务器211获取主视角主播端11输出的直播对象的主视角音视频以及各个副视角主播端12输出的直播对象的副视角视频，混流服务器212将主视角音视频和各个副视角视频混流为一路包含各个视角的音视频直播流，并输出至rtmp服务器22，观众端30从rtmp服务器22拉取音视频直播流进行播放。本发明通过将主视角主播端11和各个副视角主播端12构建成一个主视角多个副视角的多视角直播关系，并将采集的直播对象的主视角音视频和各个副视角视频混流为一路包含各个视角的音视频直播流下发至观众端30进行播放，实现了移动直播时对直播对象的多视角播放，从而提高了用户的直播观看体验。
60.另外，本发明通过将直播对象的主视角音视频和各个副视角视频混流为一路包含各个视角的音视频直播流下发至观众端30进行播放，使得观众端30只需要一个播放器播放即可，从而可以降低观众端30拉流时的带宽消耗。
61.本发明通过在主视角主播端11和各个副视角主播端12中通过rtc协议添加了低延时音视频通话功能，从而使得主视角主播端11输出的直播对象的主视角音视频，实际为低延迟主视角音视频，副视角主播端12输出的直播对象的副视角视频实际为低延迟副视角视频，从而得到混流为低延迟音视频直播流。基于rtc协议低延时的技术特点，使得混流后的音视频直播流，来自各个视角的直播内容的时间差很小，低于100ms，观看时几乎感觉不到差异，从而可以减少多视角直播内容之间的时间差，使多视角直播内容接近同步，提高用户直播观看体验。
62.为进一步优化上述实施例，混流服务器212具体可以用于：根据直播间视角的个数，基于预设各个视角位置对所述主视角音视频和各个所述副视角视频的展示区域进行布局。
63.举例说明，假设副视角主播端12为两个，分别采集直播对象的右视角视频和俯视角视频，则在将直播对象的主视角音视频、右视角视频和俯视角视频进行混流时，依据直播间视角的个数3个，根据预设各个视角位置进行布局，得到图4所示的可能是，某场直播三个视角的布局方式。
64.最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那
些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
65.本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。
66.对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。