网呈会场的音视频输出方法、电子设备及存储介质与流程

1.本发明涉及视频会议技术领域，具体涉及网呈会场的音视频输出方法、电子设备及存储介质。


背景技术：

2.网呈会议系统将视频通信、沟通体验、以及会议控制融为一体，是近年新出的一种视频会议系统。该技术具有多路音视频、真人1:1大小、听音辨位等特性，注重的是面对面沟通效果，可提供近乎眼神交流的远程沟通体验，通常用于高仿真的通信需求，如远程办案、远程会商等高端视频会议应用领域。为了区分不同类型的会场，将使用此技术的会议室，通常称为网呈会场；传统的单路音视频流的会场称为单屏会场。
3.网呈系统的主视频图像用来传输会议室的实时全景高仿真视频图像，另外含有一路双流图像用于传输文档等辅助电子图像。网呈系统的声音跟随主视频，在对应的播放设备中输出，用来实现听音辨位的功能。
4.在多方视频会议时，由于参与人数多，只能将远端视频一对一的显示在本地显示设备中，或者经过平台做画面合成后，显示在某一个显示设备上。若将这种方式应用到网呈会场，会损失部分真人1:1、听音辨位等特性，而且图像显得比较凌乱，降低了网呈技术的会议体验。


技术实现要素：

5.有鉴于此，本发明实施例提供了一种网呈会场的音视频输出方法、电子设备及存储介质，以解决网呈会场的音视频输出问题。
6.根据第一方面，本发明实施例提供了一种网呈会场的音视频输出方法，包括：
7.获取参会会场的图像数据以及音频数据，所述参会会场的会场类型包括网呈会场；
8.基于所述参会会场与当前网呈会场中显示屏的对应关系，确定所述参会会场对应的目标显示屏；
9.将所述参会会场的图像数据以第一尺寸显示在所述目标显示屏上；
10.当所述参会会场为发言会场且所述参会会场的数量大于或等于所述显示屏的数量时，基于所述发言会场的会场类型确定所述当前网呈会场的预设显示屏，将所述发言会场的图像数据以第二尺寸显示在所述预设显示屏上，所述第二尺寸大于所述第一尺寸；
11.将所述发言会场的音频数据从所述预设显示屏的音频通道输出。
12.本发明实施例提供的网呈会场的音视频输出方法，对于参会会场的图像数据而言，以第一尺寸显示在参会会场对应的目标显示屏上；对于参会会场中的发言会场，其图像数据不仅以第一尺寸显示在目标显示屏上，还会以第二尺寸显示在预设显示屏上，各个参会会场的图像数据有序显示且对于发言会场实现真人1:1显示。同时发言会场的音频数据与图像数据对应的，均是从预设显示屏的音频通道输出，保证当前网呈会场能够实现听音
辨位的效果。
13.在一些实施方式中，所述基于所述发言会场的会场类型确定所述当前网呈会场的预设显示屏，将所述发言会场的图像数据以第二尺寸显示在所述预设显示屏上，包括：
14.当所述发言会场的会场类型为网呈会场且所述参会会场的数量大于所述显示屏的数量时，确定所述预设显示屏为所述当前网呈会场的中间n个显示屏，n为所述发言会场中图像通路的数量；
15.将所述发言会场的n路图像数据以第二尺寸分别显示在所述中间n个显示屏上。
16.本发明实施例提供的网呈会场的音视频输出方法，当发言会场的会场类型为网呈会场且参会会场数量较多时，将发言会场的n路图像数据分别对应显示在中间n个显示屏中，保证参与方的真人1:1、听音辨位、眼神交流等特性不会损失，提高沟通效率。
17.在一些实施方式中，所述基于所述发言会场的会场类型确定所述当前网呈会场的预设显示屏，将所述发言会场的图像数据以第二尺寸显示在所述预设显示屏上，包括：
18.当所述参会会场的数量等于所述显示屏的数量时，确定所述预设显示屏为对应的所述目标显示屏；
19.获取所述发言会场的图像数据，当所述发言会场为网呈会场时所述发言会场的图像数据为发言会场的发言通路图像，当所述发言会场为单屏会场时所述发言会场的图像数据为发言会场的会场图像；
20.将所述发言会场的图像数据以所述第二尺寸显示在所述目标显示屏上，在将其他参会会场的最近发言图像数据以所述第二尺寸显示在其他参会会场对应的所述目标显示屏上。
21.本发明实施例提供的网呈会场的音视频输出方法，当参会会场数量与显示屏数量相等时，参会会场与显示屏一一对应，对于发言会场而言，发言图像是以第二尺寸在对应的目标显示屏上进行显示，避免发言会场的切换，减少了数据处理量，保证了图像数据的实时显示。
22.在一些实施方式中，所述基于所述发言会场的会场类型确定所述当前网呈会场的预设显示屏，将所述发言会场的图像数据以第二尺寸显示在所述预设显示屏上，包括：
23.当所述发言会场的会场类型为单屏会场且所述参会会场的数量大于所述显示屏的数量时，确定所述预设显示屏为所述当前网呈会场的中间显示屏；
24.将所述发言会场的会场图像以第二尺寸显示在所述中间显示屏上，并将预设图像数据以所述第二尺寸显示在所述当前网呈会场的其他显示屏上。
25.本发明实施例提供的网呈会场的音视频输出方法，当发言会场为单屏会场时，将发言会场的图像数据显示在中间显示屏上，并在其他显示屏上显示预设图像数据，实现单屏会场的真人1:1显示。
26.在一些实施方式中，当所述发言会场与所述中间显示屏中第二尺寸显示的当前图像对应的会场不一致时，所述将所述发言会场的图像数据以第二尺寸显示在所述中间显示屏上，并将预设图像数据以所述第二尺寸显示在所述当前网呈会场的其他显示屏上，包括：
27.存储所述中间显示屏中第二尺寸显示的当前图像；
28.利用所述发言会场的第二尺寸的图像数据替换所述当前图像；
29.利用所述当前图像替换所述其他显示屏中发言最早的图像数据。
30.本发明实施例提供的网呈会场的音视频输出方法，对于单屏会场而言，将中间显示屏的当前图像替换发言最早的图像数据，即，依据发言距离当前的时间长短进行其他显示屏中预设图像数据的更新，保证最近发言的图像数据能够显示在其他显示屏中。
31.在一些实施方式中，所述将所述发言会场的音频数据从所述预设显示屏的音频通道输出，包括：
32.基于所述发言会场的音频数据与所述第二尺寸的图像数据的对应关系，将所述发言会场的音频数据从第二尺寸的图像数据所在的预设显示屏的音频通道输出；
33.将所述其他参会会场的音频数据从其他参会会场对应的目标显示屏的音频通道输出。
34.本发明实施例提供的网呈会场的音视频输出方法，利用发言会场的音频数据与第二尺寸的图像数据的对应关系，进行音频数据的输出，实现听音辨位的效果。
35.在一些实施方式中，所述方法还包括：
36.获取所述当前网呈会场的显示屏数量以及参会会场的数量；
37.基于所述显示屏数量以及参会会场的数量对所有所述参会会场进行分配，确定所述参会会场与所述当前网呈会场的显示屏的对应关系。
38.本发明实施例提供的网呈会场的音视频输出方法，基于当前网呈会场的显示屏数量对参会会场进行分配，即，以参会会场为单位进行分配，而并非是以参会会场中的图像数据为单元，从而保证同一参会会场的图像数据能够分配至同一个显示屏中进行显示。
39.在一些实施方式中，当所述参会会场的数量大于所述显示屏的数量时，所述基于所述显示屏数量以及参会会场的数量对所有所述参会会场进行分配，确定所述参会会场与所述当前网呈会场的显示屏的对应关系，包括：
40.获取所述显示屏中第一尺寸的图像显示数量；
41.对所述会场类型为网呈会场的所述参会会场进行分配，以使所述网呈会场的第一尺寸的图像数据显示在所述当前网呈会场的同一显示屏上；
42.基于分配结果以及所述图像显示数量，确定所述显示屏中第一尺寸的剩余图像显示数量；
43.利用所述剩余图像显示数量对所述会场类型为单屏会场的参会会场进行分配。
44.本发明实施例提供的网呈会场的音视频输出方法，在进行参会会场分配时，优先进行网呈会场的分配，由于网呈会场有n路图像数据，需要占据的图像显示区域较多，因此，先对网呈会场进行分配，再利用单屏会场进行填充剩余图像显示数量，进一步保证同一个参会会场的图像数据显示在同一个显示屏中。
45.根据第二方面，本发明实施例还提供了一种网呈会场的音视频输出装置，包括：
46.获取模块，用于获取参会会场的图像数据以及音频数据，所述参会会场的会场类型包括网呈会场；
47.确定模块，用于基于所述参会会场与当前网呈会场中显示屏的对应关系，确定所述参会会场对应的目标显示屏；
48.第一显示模块，用于将所述参会会场的图像数据以第一尺寸显示在所述目标显示屏上；
49.第二显示模块，用于当所述参会会场为发言会场且所述参会会场的数量大于或等
于所述显示屏的数量时，基于所述发言会场的会场类型确定所述当前网呈会场的预设显示屏，将所述发言会场的图像数据以第二尺寸显示在所述预设显示屏上，所述第二尺寸大于所述第一尺寸；
50.音频输出模块，用于将所述发言会场的音频数据从所述预设显示屏的音频通道输出。
51.根据第三方面，本发明实施例提供了一种电子设备，包括：存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行第一方面或者第一方面的任意一种实施方式中所述的网呈会场的音视频输出方法。
52.根据第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行第一方面或者第一方面的任意一种实施方式中所述的网呈会场的音视频输出方法。
53.需要说明的是，本发明实施例中所述的网呈会场的音视频输出装置、电子设备及计算机可读存储介质的相应有益效果，请参见上文网呈会场的音视频输出方法的对应有益效果的描述，在此不再赘述。
附图说明
54.为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
55.图1是根据本发明实施例的网呈会场的音视频输出方法的流程图；
56.图2是根据本发明实施例的第一尺寸与第二尺寸的图像数据显示示意图；
57.图3是根据本发明实施例的网呈会场的音视频输出方法的流程图；
58.图4是根据本发明实施例的网呈会场的图像数据显示示意图；
59.图5是根据本发明实施例的网呈会场的图像数据显示示意图；
60.图6是根据本发明实施例的网呈会场的图像数据显示示意图；
61.图7a-图7b是根据本发明实施例的网呈会场的图像数据显示示意图；
62.图8是根据本发明实施例的单屏会场的图像数据显示示意图；
63.图9是根据本发明实施例的网呈会场的音视频输出装置的结构框图；
64.图10是本发明实施例提供的电子设备的硬件结构示意图。
具体实施方式
65.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
66.本发明实施例提供的网呈会场的音视频输出方法，可以用于视频会议中的会议平台，或会议终端，以下统称为电子设备。在视频会议开始前时，电子设备依据参会会场的数
量以及各个网呈会场的显示屏数量确定各个参会会场的显示策略。在视频会议过程中，电子设备依据对应的显示策略对各个参会会场的音频显示进行控制。
67.当多方会议，例如，参会会场的数量大于网呈会场的显示屏数量，在该网呈会场中进行参会会场的图像数据进行显示时，分为第一尺寸与第二尺寸进行显示的。其中，与显示屏对应的参会会场的图像数据是以第一尺寸进行显示的，同时，发言会场的图像数据是以第二尺寸进行显示的。
68.对于网呈会场中显示屏的数量是根据实际需求进行设置的，例如，3个或多个等等。在下文的实施例中，以3个显示屏为例进行详细描述。对于网呈会场而言，其图像数据包括3路主视频，即3路图像数据。
69.关于具体的音视频显示方式将在下文中进行详细描述，需要说明的是，下文的音视频输出方法是以网呈会场为例，即，网呈会场如何进行参会会场的音视频输出的。
70.根据本发明实施例，提供了一种网呈会场的音视频输出方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
71.在本实施例中提供了一种网呈会场的音视频输出方法，可用于电子设备，如会议平台等，图1是根据本发明实施例的网呈会场的音视频输出方法的流程图，如图1所示，该流程包括如下步骤：
72.s11，获取参会会场的图像数据以及音频数据。
73.其中，所述参会会场的会场类型包括网呈会场。
74.参会会场的图像数据为参会会场的视频，音频数据为参会会场的音频，各个参会会场的图像数据以及音频数据分别发送至电子设备中。图像数据与音频数据之间存在对应关系，以保证音视频之间的一致性。
75.对于电子设备而言，在会议开始前，各个参会会场会在电子设备中进行注册，相应地，电子设备能够获知各个参会会场的会场类型。
76.s12，基于参会会场与当前网呈会场中显示屏的对应关系，确定参会会场对应的目标显示屏。
77.如上文所述，在视频会议开始前，电子设备确定各个参会会场的显示策略。即，对于网呈会场，电子设备确定网呈会场中各个显示屏与参会会场的对应关系。例如，网呈会场包括3个显示屏，参会会场包括9个，则电子设备可以对参会会场进行均分，将这9个参会会场分别分配至3个显示屏中；或者，也可以采用其他方式进行分配等等，在此对其并不做任何限制，只需保证同一个参会会场的图像数据在同一显示屏中进行显示即可。对于单屏会场，电子设备可以确定将所有参会会场的图像数据全部在单屏会场中进行显示；也可以是确定哪些参会会场的图像数据需要显示等等。
78.电子设备在存储参会会场与当前网呈会场中显示屏的对应关系时，对于各个参会会场采用唯一的标识表示。即，电子设备利用参会会场的标识，查询该对应关系，即可确定参会会场对应的目标显示屏。
79.例如，当前网呈会场包括3个显示屏，分别为左显示屏、中显示屏以及右显示屏；参会会场包括4个，分别为参会会场1～参会会场4。其中，参会会场与显示屏的对应关系为：参
会会场1、2与左显示屏对应，参会会场3与中显示屏对应，参会会场4与右显示屏对应。电子设备利用参会会场的标识，即可确定其对应的目标显示屏。
80.s13，将参会会场的图像数据以第一尺寸显示在目标显示屏上。
81.对于目标显示屏而言，存在第一尺寸的图像数据的最大显示数量。电子设备在进行上述对应关系的确定时，还需要结合该最大显示数量进行确定。若参会会场过多，电子设备依据实际需求确定出哪些参会会场的图像数据需要进行显示，将其他不需要显示的参会会场作为旁听会场。对于旁听会场而言，其图像数据以及音频数据不会在其他参会会场输出。
82.此处的第一尺寸与下文中的第二尺寸之间存在大小关系，为更好地体现出大小关系，第一尺寸也可称之为小尺寸，第二尺寸也可称之为大尺寸。电子设备在确定出参会会场对应的目标显示屏之后，在该目标显示屏以第一尺寸显示参会会场的图像数据。
83.继续沿用上文的示例，即，参会会场1、2与左显示屏对应，参会会场3与中显示屏对应，参会会场4与右显示屏对应。那么，参会会场1与参会会场2的图像数据会以第一尺寸显示在左显示屏上；参会会场3的图像数据以第一尺寸显示在中显示屏上；参会会场4的图像数据以第一尺寸显示在右显示屏上。
84.s14，当参会会场为发言会场且参会会场的数量大于或等于显示屏的数量时，基于发言会场的会场类型确定当前网呈会场的预设显示屏，将发言会场的图像数据以第二尺寸显示在预设显示屏上。
85.其中，所述第二尺寸大于所述第一尺寸。
86.由于不同会场类型的参会会场的图像数据的通路数量不同，例如，单屏会场包括1路图像数据，而网呈会场包括3路图像数据。因此，对于发言会场而言，不同会场类型的发言会场的图像数据的显示方式不同。电子设备利用发言会场的会场类型在当前网呈会场的显示屏中确定出预设显示屏。其中，预设显示屏可以是与目标显示屏一致，也可以是包括目标显示屏在内的多个显示屏等等，具体根据实际需求进行设置。
87.电子设备在确定出预设显示屏之后，将发言会场的图像数据以第二尺寸在预设显示屏上显示。其中，发言会场的图像数据可以是发言会场的会场图像，也可以是发言人所在的图像通路的图像数据，也可以是发言人的图像数据等等。若同一个显示屏上既包括有第一尺寸的图像数据，又包括第二尺寸的图像数据，那么，其显示方式可以如图2所示。例如，图2中a
l
、am、ar为网呈会场a的左、中、右三路的第一尺寸的图像数据，类似地，b
l
、bm、br为网呈会场b的左、中、右三路的第一尺寸的图像数据，c
l
、cm、cr为网呈会场c的左、中、右三路的第一尺寸的图像数据；xy为发言会场的第二尺寸的图像数据。
88.s15，将发言会场的音频数据从预设显示屏的音频通道输出。
89.对于音频数据而言，电子设备可以仅输出发言会场的音频数据。基于此，将发言会场的音频数据从预设显示屏的音频通道输出，实现图像数据与音频数据的对应输出。或者，电子设备也可以输出其他参会会场的音频数据，即，将其他参会会场的音频数据从其他参会会场对应的目标显示屏的音频通道输出。为了防止其他参会会场的音频数据干扰发言会场的音频数据，可以设置其他参会会场的音频的音量。
90.本实施例提供的网呈会场的音视频输出方法，对于参会会场的图像数据而言，以第一尺寸显示在参会会场对应的目标显示屏上；对于参会会场中的发言会场，其图像数据
不仅以第一尺寸显示在目标显示屏上，还会以第二尺寸显示在预设显示屏上，各个参会会场的图像数据有序显示且对于发言会场实现真人1:1显示。同时发言会场的音频数据与图像数据对应的，均是从预设显示屏的音频通道输出，保证当前网呈会场能够实现听音辨位的效果。
91.在本实施例中提供了一种网呈会场的音视频输出方法，可用于电子设备，如会议平台等，图3是根据本发明实施例的网呈会场的音视频输出方法的流程图，如图3所示，该流程包括如下步骤：
92.s21，获取参会会场的图像数据以及音频数据。
93.其中，所述参会会场的会场类型包括网呈会场。
94.详细请参见图1所示实施例的s11，在此不再赘述。
95.s22，基于参会会场与当前网呈会场中显示屏的对应关系，确定参会会场对应的目标显示屏。
96.详细请参见图1所示实施例的s12，在此不再赘述。
97.s23，将参会会场的图像数据以第一尺寸显示在目标显示屏上。
98.详细请参见图1所示实施例的s13，在此不再赘述。
99.s24，当参会会场为发言会场且参会会场的数量大于或等于显示屏的数量时，基于发言会场的会场类型确定当前网呈会场的预设显示屏，将发言会场的图像数据以第二尺寸显示在预设显示屏上。
100.其中，所述第二尺寸大于所述第一尺寸。
101.对于发言会场而言，其会场类型可能是网呈会场，也可能是单屏会场。基于此，在下文中分别针对网呈会场以及单屏会场进行描述。
102.在一些实施方式中，上述s24包括：
103.s241，当发言会场的会场类型为网呈会场且参会会场的数量大于显示屏的数量时，确定预设显示屏为当前网呈会场的中间n个显示屏。
104.其中，n为发言会场中图像通路的数量。
105.对于网呈会场而言，由于其包括n路图像数据，需要将这n路图像数据分别进行在不同的显示屏中以第二尺寸进行显示，因此，就需要从当前网呈会场中确定出n个显示屏作为预设显示屏。进一步地，为了实现更好地的显示效果，将预设显示屏确定为当前网呈会场的中间n个显示屏。例如，发言会场包括3路图像数据，那么，将当前网呈会场的中间3个显示屏作为预设显示屏。若当前网呈会场所包括的显示屏数量为3，则将当前网呈会场的所有显示屏确定为预设显示屏。
106.s242，将发言会场的n路图像数据以第二尺寸分别显示在中间n个显示屏上。
107.例如，图4示出了当前网呈会场的3个显示屏，在这3个显示屏中分别显示有第一尺寸的图像数据以及第二尺寸的图像数据。其中，从左往右的3个显示屏中分别显示发言会场的左、中以及右这3路的图像数据。这3个显示屏的第二尺寸的图像数据的拼接为发言会场的完整的图像画面，因此，在预设显示屏上进行第二尺寸的图像数据显示时，需要按照一定的顺序进行显示，那么，就可以从视觉上按顺序对第二尺寸的图像数据进行拼接，得到发言会场的完整的图像数据。
108.在另一些实施方式中，上述s24包括：
109.(1)当发言会场的会场类型为网呈会场且参会会场的数量等于显示屏的数量时，确定预设显示屏为对应的目标显示屏。
110.(2)获取发言会场的发言通路图像。
111.(3)将发言通路图像以第二尺寸显示在目标显示屏上，并将其他参会会场的最近发言通路图像数据以第二尺寸显示在其他参会会场对应的目标显示屏上。
112.其中，其他参会会场是指除发言会场之外的其他会场。当参会会场的数量与显示屏的数量相等时，在当前网呈会场，参会会场与显示屏一一对应。即，每个显示屏显示一个参会会场的图像数据。例如，图5示出了3个显示屏的当前网呈会场的显示示例。从左往右分别显示参会会场a、参会会场b以及参会会场c的图像数据。其中参会会场a～参会会场c均是网呈会场，在各个显示屏中分别显示对应参会会场的第一尺寸的图像数据，例如，在左显示屏中，以第一尺寸显示参会会场a的左、中、右的3路图像数据；在中显示屏中，以第一尺寸显示参会会场b的左、中、右的3路图像数据；在右显示屏中，以第一尺寸显示参会会场c的左、中、右的3路图像数据。
113.若发言会场为a，先确定发言者位于发言会场a的哪个发言通路中，这一点可以通过发言者的位置确定等等，在此对其并不做任何限定。在确定出发言者对应的发言通路之后，将该发言通路图像以第二尺寸显示在左显示屏中。例如，若确定出发言通路图像为a
l
的图像数据，那么，将a
l
的图像数据以第二尺寸显示在左显示屏中。
114.同时，如图5所示，对于中显示屏以及右显示屏而言，将参会会场b以及参会会场c的最近发言者对应的发言通路图像以第二尺寸进行显示。例如，参会会场b中最近发言者对应的发言通路图像为bm的图像数据，参会会场c中最近发言者对应的发言通路图像为cr的图像数据，那么，在中显示屏中以第二尺寸显示bm的当前图像数据，在右显示屏中以第二尺寸显示cr的当前图像数据。
115.例如，如图5所示，参会会场为3个，网呈会场的显示屏为3个，那么网呈会场正好每个显示屏显示一个会场。对于当前网呈会场，则对应显示屏显示的是网呈会场的一大三小画面：第二尺寸的图像数据是该会场语音能量最大的发言人的图像，第一尺寸的图像数据为该会场三个图像拼接好的全景图像。对于单屏会场，则该单屏会场的唯一一路图像可以直接在一个屏幕显示。
116.对于电子设备而言，其内部的数据处理逻辑按照功能划分可以包括音频处理装置、成员管理模块以及图像管理模块。其中，音频检测装置，负责检测当前参与方的音量值，并维护混音列表；成员管理模块管理的所有参会会场，是本实施例的主要逻辑执行单元；图像处理装置负责图像风格以及成员管理。基于此，网呈会场一大三小显示的生成流程为，首先音频处理装置检测出网呈会场多路音频中音量最大的ax，并将其序号通知到成员管理模块；成员管理模块通知图像管理模块更新图像显示方式。即，取消之前的大画面，并将ax的图像作为大图像，网呈会场的三路图像并排排列再大图像中心的正下方，这样合成出一大三小的四画面风格图像。其它两个参会会场b和c的处理方案与a一致。参会会场a、b、c的声音分别从对应的显示屏输出。如图6所示，对参与会议的所有单屏会场，大画面为音频模块检测出最大音量所在参会会场的图像，三个会场的图像全部以小图像的方式显示在下方。
117.当发言会场的会场类型为网呈会场且参会会场数量与显示屏数量一致时，参会会场与显示屏一一对应，对于发言会场而言，发言通路图像是以第二尺寸在对应的目标显示
屏上进行显示，避免发言会场的切换，减少了数据处理量，保证了图像数据的实时显示。
118.在另一些实施方式中，上述s24包括：
119.(1)当发言会场的会场类型为单屏会场且参会会场的数量大于显示屏的数量时，确定预设显示屏为当前网呈会场的中间显示屏。
120.(2)将发言会场的会场图像以第二尺寸显示在中间显示屏上，并将预设图像数据以第二尺寸显示在当前网呈会场的其他显示屏上。
121.对于单屏会场而言，将当前网呈会场的中间显示屏确定为预设显示屏。其中，若当前网呈会场的显示屏数量为双数，则中间显示屏为中间两个显示屏中的任一个。关于这种情况下中间显示屏的选择策略，可以在会议开始前进行配置等等。在中间显示屏上以第二尺寸显示发言会场的会场图像，对于其他显示屏上以第二尺寸显示预设图像数据。其中，该预设图像数据为静态图像，具体显示内容根据实际需求进行设置。
122.当发言会场为单屏会场时，将发言会场的会场图像显示在中间显示屏上，并在其他显示屏上显示预设图像数据，实现单屏会场的真人1:1显示。
123.作为本实施例的一种可选实施方式，当发言会场的会场类型为单屏会场且当发言会场与中间显示屏中第二尺寸显示的当前图像对应的会场不一致时，上述s24的步骤(2)包括：
124.2.1)存储中间显示屏中第二尺寸显示的当前图像。
125.2.2)利用发言会场的第二尺寸的图像数据替换当前图像。
126.2.3)利用当前图像替换其他显示屏中发言最早的图像数据。
127.当发言会场切换成单屏会场且当发言会场与中间显示屏中第二尺寸显示的当前图像对应的会场不一致时，如图6所示，记录发言会场为mtc。然后用mtc的图像数据替换掉当前的中间屏的图像数据，并记录当前中间屏图像为mta。如果mta为单屏会场的图像数据，则需要将mta替换到左右两边屏。具体地，如果左边屏不是单屏会场，则用mta替换左边屏；否则检查右边屏，如果右边屏不是单屏会场，则直接用mta替换右边屏。如果左右屏都是单屏会场，则说明前面的发言会场都是单屏，则替换发言最早的一个单屏会场。当连续单屏会场发言时，则三个屏都是单屏会场的图像，并始终保持中间屏幕是当前发言的人。
128.对于单屏会场而言，将中间显示屏的当前图像替换发言最早的图像数据，即，依据发言距离当前的时间长短进行其他显示屏中预设图像数据的更新，保证最近发言的图像数据能够显示在其他显示屏中，以便于参会者能够直观了解最近发言的图像数据。
129.在另一些实施方式中，上述s24包括：
130.(1)当发言会场的会场类型为单屏会场且参会会场的数量等于显示屏的数量时，确定预设显示屏为对应的目标显示屏。
131.(2)获取发言会场的会场图像。
132.(3)将发言会场的会场图像以第二尺寸显示在所述目标显示屏上，并在将其他会场的最近发言图像以第二尺寸显示在对应的目标显示屏上。
133.当参会会场的数量等于显示屏的数量时，不论是发言会场是单屏会场还是网呈会场，其发言会场的图像数据均显示在该发言会场在当前网呈会场对应的目标显示屏中，即，第一尺寸的图像与第二尺寸的图像均显示在同一个显示屏上。当发言会场的会场类型为单屏会场时，将单屏会场的会场图像以第二尺寸显示在目标显示屏上，对于其他参会会场而
言，将各自最近发言图像以第二尺寸显示在其他参会会场对应的目标显示屏上。
134.例如，若参会会场为3，当前网呈会场具有3个显示屏，分别为左显示屏、中显示屏以及右显示屏，左显示屏为单屏会场的目标显示屏，中显示屏以及右显示屏分别与第一网呈会场以及当前网呈会场对应。若发言会场为单屏会场，则在左显示屏中以第二尺寸显示该单屏会场的会场图像；并在中显示屏中以第二尺寸显示第一网呈会场的最近一次发言通路图像，在右显示屏中以第二尺寸显示当前网呈会场的最近一次发言通路图像。
135.s25，将发言会场的音频数据从预设显示屏的音频通道输出。
136.具体地，上述s25包括：
137.s251，基于发言会场的音频数据与第二尺寸的图像数据的对应关系，将发言会场的音频数据从第二尺寸的图像数据所在的预设显示屏的音频通道输出。
138.对于发言会场而言，其第二尺寸的图像数据与音频数据是对应输出的。例如，第二尺寸的图像数据是从中间显示屏输出，相应地，发言会场的音频数据也是从中间显示屏输出的。
139.电子设备先确定发言会场第二尺寸的图像数据所在的预设显示屏，再将发言会场的音频数据从该预设显示屏的音频通道输出。
140.s252，将其他参会会场的音频数据从其他参会会场对应的目标显示屏的音频通道输出。
141.对于其他参会会场的音频数据，从各个参会会场对应的目标显示屏的音频通道输出。例如，若参会会场1对应左侧显示屏，那么，参会会场1的音频数据从左侧显示屏的音频通道输出；若参会会场2对应中间显示屏，那么，参会会场2的音频数据从中间显示屏的音频通道输出。
142.例如，首先定义三个视频队列：v
l
、vm、vr，分别对应左中右三个显示屏，a
l
、am、ar为对应的三个音频队列。当视频队列确认好后，将v
l
对应的音频插入a
l
中，vm对应的音频插入am中，vr对应的音频插入ar中。在图像分配完成后，则将v
l
、vm、vr对应的音频流分别加到a
l
、am、ar中。如果是发言会场，其声音不会单独加到a
l
、am、ar中的某一个队列，发言会场的左、中、右路音频，会分别加到a
l
、am、ar队列中，这样保证第二尺寸的图像的人和声音是从同一个显示屏中输出。
143.本实施例提供的网呈会场的音视频输出方法，当发言会场的会场类型为网呈会场且参会会场数量较多时，将发言会场的n路图像数据分别对应显示在中间n个显示屏中，保证参与方的真人1:1、听音辨位、眼神交流等特性不会损失，提高沟通效率。利用发言会场的音频数据与第二尺寸的图像数据的对应关系，进行音频数据的输出，实现听音辨位的效果。
144.在一些实施方式中，若当前网呈会场的显示屏数量多于参会会场的数量，那么，可以先利用参会会场的数量确定所使用的显示屏数量，再在其他未使用的显示屏上显示初始图像，或不启用这些未使用的显示屏。若当前网呈会场的显示屏数量为3，参会会场的数量为2且均为网呈会场，在当前网呈会场的3个显示屏上分别显示对方参会会场的左、中、右三路图像数据；同样地，在对方参会会场的3个显示屏上显示当前网呈会场的左、中、右三路图像数据。
145.例如，该视频会议包括2个参会会场，分别为参会会场a以及参会会场b，且这2个参会会场均为网呈会场。如图7a所示，在参会会场a的3个显示屏上分别显示参会会场b的3路
图像数据，即b
l
、bm、br；在参会会场b的3个显示屏上分别显示参会会场a的3路图像数据，即a
l
、am、ar。
146.在一些实施方式中，对于单屏会场而言，其用于显示第一尺寸的参会会场的图像数据以及第二尺寸的发言会场的图像数据。若发言会场为网呈会场，则第二尺寸的图像数据为网呈会场的发言通路图像。
147.如图8所示，由于单屏会场只有一个显示屏，因此网呈会场的三路图像需要集中显示在一个屏幕中。第二尺寸的图像数据为会场内的发言人图像，发言人可手动指定或者根据网呈会场多个音频的音量大小，自动调节左中右路图像为发言人大图像。且网呈会场三路图像b
l
、bm、br缩小并排显示在下方，组成一个连续的全景图像。同样地，如果需要在网呈会场的一个屏幕中显示另一个完整的网呈会场图像，也是用同样的显示方式。
148.当参会会场只有两个成员a、b时，则a和b互相看对方的图像。如果a为单屏会场，b为网呈会场，则参会会场b的中间显示屏显示参会会场a的图像数据，参会会场a的显示屏则显示参会会场b的一大三小画面合成图像，例如图8所示；如果双方都是网呈会场，则参会会场a和参会会场b的三个屏一一对应，例如图7a以及图7b所示。
149.在一些实施方式中，该网呈会场的音视频输出方法还包括：
150.(1)获取当前网呈会场的显示屏数量以及参会会场的数量。
151.(2)基于显示屏数量以及参会会场的数量对所有参会会场进行分配，确定参会会场与当前网呈会场的显示屏的对应关系。
152.在视频会议开始之前，需要先确定各个参会会场的显示策略，即，基于当前网呈会场的显示屏数量以及参会会场的数量对参会会场进行分配。在进行参会会场分配时，可以是将所有参会会场平均分配至各个显示屏中；也可以是结合各个参会会场的图像数据的通路数进行分配，等等。在此对其并不做任何限制，只需保证同一参会会场的图像数据在同一个显示屏中显示。在进行参会会场的分配之后，即可确定当前网呈会场的各个显示屏所对应的参会会场。
153.基于当前网呈会场的显示屏数量对参会会场进行分配，即，以参会会场为单位进行分配，而并非是以参会会场中的图像数据为单元，从而保证同一参会会场的图像数据能够分配至同一个显示屏中进行显示。
154.在一些可选实施方式中，当参会会场的数量大于显示屏的数量时，上述步骤(2)还包括：
155.2.1)获取显示屏中第一尺寸的图像显示数量。
156.2.2)对会场类型为网呈会场的参会会场进行分配，以使网呈会场的第一尺寸的图像数据显示在当前网呈会场的同一显示屏上。
157.2.3)基于分配结果以及图像显示数量，确定显示屏中第一尺寸的剩余图像显示数量。
158.2.4)利用剩余图像显示数量对会场类型为单屏会场的参会会场进行分配。
159.对于网呈会场而言，每个显示屏的图像风格均为一大n小模式，大图像为最近发言人第二尺寸的图像数据，n小都是其它会场分配过来的第一尺寸的图像数据。例如，n最多9个，三个屏幕合计27个小图像。
160.电子设备在进行参会会场的分配时，先确定显示屏中第一尺寸的图像显示数量，
其中，第一尺寸的图像显示数量为显示屏中所能够显示的最多的第一尺寸的图像。对于音频来讲，超过三方的同时发言，会使人听不清楚说话，因此过多的声音参与没有太大意义。同样地，过多的视频同时显示，也会导致看不清楚单个画面。综合考虑音视频的输出特性，定义了最多27方的展示场景，如果会议中的参与方多于27方，则多余的参会方只能作为观众参与，不会被显示给其他会场。
161.在进行参会会场分配时，结合第一尺寸的图像显示数量，先对会场类型为网呈会场的参会会场进行分配。再利用单屏会场的参会会场对第一尺寸的剩余图像显示数量进行补充。
162.在进行参会会场分配时，优先进行网呈会场的分配，由于网呈会场有n路图像数据，需要占据的图像显示区域较多，因此，先对网呈会场进行分配，再利用单屏会场进行填充剩余图像显示数量，进一步保证同一个参会会场的图像数据显示在同一个显示屏中。
163.本实施例提供的网呈会场的音视频输出方法，按照网呈会场为单位，将图像和声音结合的方式，统一管理音视频的显示和播放。对所有参与会议的会场来讲，看到的图像是一个整体，且音视频一一对应。所有重要参与方，都做了集中展示，有效改善了网呈会场在多方参与情况下的显示效果。
164.在本实施例中还提供了一种网呈会场的音视频输出装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
165.本实施例提供一种网呈会场的音视频输出装置，如图9所示，包括：
166.获取模块41，用于获取参会会场的图像数据以及音频数据，所述参会会场的会场类型包括网呈会场；
167.确定模块42，用于基于所述参会会场与当前网呈会场中显示屏的对应关系，确定所述参会会场对应的目标显示屏；
168.第一显示模块43，用于将所述参会会场的图像数据以第一尺寸显示在所述目标显示屏上；
169.第二显示模块44，用于当所述参会会场为发言会场且所述参会会场的数量大于或等于所述显示屏的数量时，基于所述发言会场的会场类型确定所述当前网呈会场的预设显示屏，将所述发言会场的图像数据以第二尺寸显示在所述预设显示屏上，所述第二尺寸大于所述第一尺寸；
170.音频输出模块45，用于将所述发言会场的音频数据从所述预设显示屏的音频通道输出。
171.在一些实施方式中，第二显示模块44包括：
172.第一确定单元，用于当所述发言会场的会场类型为网呈会场且所述参会会场的数量大于所述显示屏的数量时，确定所述预设显示屏为所述当前网呈会场的中间n个显示屏，n为所述发言会场中图像通路的数量；
173.第一显示单元，用于将所述发言会场的n路图像数据以第二尺寸显示分别显示在所述中间n个显示屏上。
174.在一些实施方式中，第二显示模块44包括：
175.第二确定单元，用于当所述参会会场的数量等于所述显示屏的数量时，确定所述预设显示屏为对应的所述目标显示屏；
176.第一获取单元，用于获取所述发言会场的图像数据，当所述发言会场为网呈会场时所述发言会场的图像数据为发言会场的发言通路图像，当所述发言会场为单屏会场时所述发言会场的图像数据为发言会场的会场图像；
177.第二显示单元，用于将所述发言会场的图像数据以所述第二尺寸显示在所述目标显示屏上，并将其他参会会场的最近发言图像数据以所述第二尺寸显示在其他参会会场对应的所述目标显示屏上。
178.在一些实施方式中，第二显示模块44包括：
179.第三确定单元，用于当所述发言会场的会场类型为单屏会场且所述参会会场的数量大于所述显示屏的数量时，确定所述预设显示屏为所述当前网呈会场的中间显示屏；
180.第三显示单元，用于将所述发言会场的会场图像以第二尺寸显示在所述中间显示屏上，并将预设图像数据以所述第二尺寸显示在所述当前网呈会场的其他显示屏上。
181.在一些实施方式中，当所述发言会场与所述中间显示屏中第二尺寸显示的当前图像对应的会场不一致时，第三显示单元包括：
182.存储子单元，用于存储所述中间显示屏中第二尺寸显示的的当前图像；
183.第一替换子单元，用于利用所述发言会场的第二尺寸的图像数据替换所述当前图像；
184.第二替换子单元，用于利用所述当前图像替换所述其他显示屏中发言最早的图像数据。
185.在一些实施方式中，音频输出模块45包括：
186.第一输出单元，用于基于所述发言会场的音频数据与所述第二尺寸的图像数据的对应关系，将所述发言会场的音频数据从第二尺寸的图像数据所在的预设显示屏的音频通道输出；
187.第二输出单元，用于将所述其他参会会场的音频数据从其他参会会场对应的目标显示屏的音频通道输出。
188.在一些实施方式中，所述装置还包括：
189.获取模块，用于获取所述当前网呈会场的显示屏数量以及参会会场的数量；
190.分配模块，用于基于所述显示屏数量以及参会会场的数量对所有所述参会会场进行分配，确定所述参会会场与所述当前网呈会场的显示屏的对应关系。
191.在一些实施方式中，当所述参会会场的数量大于所述显示屏的数量时，分配模块包括：
192.第二获取单元，用于获取所述显示屏中第一尺寸的图像显示数量；
193.第一分配单元，用于对所述会场类型为网呈会场的所述参会会场进行分配，以使所述网呈会场的第一尺寸的图像数据显示在所述当前网呈会场的同一显示屏上；
194.第四确定单元，用于基于分配结果以及所述图像显示数量，确定所述显示屏中第一尺寸的剩余图像显示数量；
195.第二分配单元，用于利用所述剩余图像显示数量对所述会场类型为单屏会场的参会会场进行分配。
196.本实施例中的网呈会场的音视频输出装置是以功能单元的形式来呈现，这里的单元是指asic电路，执行一个或多个软件或固定程序的处理器和存储器，和/或其他可以提供上述功能的器件。
197.上述各个模块的更进一步的功能描述与上述对应实施例相同，在此不再赘述。
198.本发明实施例还提供一种电子设备，具有上述图9所示的网呈会场的音视频输出装置。
199.请参阅图10，图10是本发明可选实施例提供的一种电子设备的结构示意图，如图10所示，该电子设备可以包括：至少一个处理器51，例如cpu(central processing unit，中央处理器)，至少一个通信接口53，存储器54，至少一个通信总线52。其中，通信总线52用于实现这些组件之间的连接通信。其中，通信接口53可以包括显示屏(display)、键盘(keyboard)，可选通信接口53还可以包括标准的有线接口、无线接口。存储器54可以是高速ram存储器(random access memory，易挥发性随机存取存储器)，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。存储器54可选的还可以是至少一个位于远离前述处理器51的存储装置。其中处理器51可以结合图9所描述的装置，存储器54中存储应用程序，且处理器51调用存储器54中存储的程序代码，以用于执行上述任一方法步骤。
200.其中，通信总线52可以是外设部件互连标准(peripheral component interconnect，简称pci)总线或扩展工业标准结构(extended industry standard architecture，简称eisa)总线等。通信总线52可以分为地址总线、数据总线、控制总线等。为便于表示，图10中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
201.其中，存储器54可以包括易失性存储器(英文：volatile memory)，例如随机存取存储器(英文：random-access memory，缩写：ram)；存储器也可以包括非易失性存储器(英文：non-volatile memory)，例如快闪存储器(英文：flash memory)，硬盘(英文：hard disk drive，缩写：hdd)或固态硬盘(英文：solid-state drive，缩写：ssd)；存储器54还可以包括上述种类的存储器的组合。
202.其中，处理器51可以是中央处理器(英文：central processing unit，缩写：cpu)，网络处理器(英文：network processor，缩写：np)或者cpu和np的组合。
203.其中，处理器51还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路(英文：application-specific integrated circuit，缩写：asic)，可编程逻辑器件(英文：programmable logic device，缩写：pld)或其组合。上述pld可以是复杂可编程逻辑器件(英文：complex programmable logic device，缩写：cpld)，现场可编程逻辑门阵列(英文：field-programmable gate array，缩写：fpga)，通用阵列逻辑(英文：generic array logic,缩写：gal)或其任意组合。
204.可选地，存储器54还用于存储程序指令。处理器51可以调用程序指令，实现如本技术任一实施例中所示的网呈会场的音视频输出方法。
205.本发明实施例还提供了一种非暂态计算机存储介质，所述计算机存储介质存储有计算机可执行指令，该计算机可执行指令可执行上述任意方法实施例中的网呈会场的音视频输出方法。其中，所述存储介质可为磁碟、光盘、只读存储记忆体(read-only memory，rom)、随机存储记忆体(random access memory，ram)、快闪存储器(flash memory)、硬盘
(hard disk drive，缩写：hdd)或固态硬盘(solid-state drive，ssd)等；所述存储介质还可以包括上述种类的存储器的组合。
206.虽然结合附图描述了本发明的实施例，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下做出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。