数据处理方法、终端设备、电子设备及存储介质与流程

1.本公开涉及数据处理技术领域，尤其涉及一种数据处理方法、终端设备、电子设备及存储介质。


背景技术：

2.随着终端智能化、第四代移动通信技术（4g）和第五代移动通信技术（5g）移动互联网的发展，视频会议系统的接入覆盖面越来越广，可接入的终端设备的类型越来越多，在终端设备显示的会议画面往往会直接影响到客户的体验；此外，随着视频会议业务的普及，提供的会控场景增加，由不同会控场景确定的组合会控的画面布局也越来越多样化；因此，如何确定显示在终端设备的画面布局，亟需解决。


技术实现要素：

3.本公开提供了一种数据处理方法、终端设备、电子设备及存储介质，以至少解决现有技术中存在的以上技术问题。
4.根据本公开的第一方面，提供了一种数据处理方法，应用于终端设备，所述方法包括：基于第一服务器发送的会控操作信息所包括的至少一个会控场景信息和与所述至少一个会控场景对应的媒体流信息，确定显示在所述终端设备的目标会控场景；基于所述至少一个会控场景对应的媒体流信息和所述目标会控场景，向第二服务器发送媒体流订阅请求信息，以获取所述目标会控场景对应的媒体流；通过所述目标会控场景输出所述目标会控场景对应的媒体流；其中，所述媒体流包括至少一个终端设备对应的视频流和音频流，和/或，所述第二服务器基于所述至少一个终端设备对应的视频流和音频流所确定的虚拟流。
5.上述方案中，所述基于第一服务器发送的会控操作信息所包括的至少一个会控场景信息和与所述至少一个会控场景对应的媒体流信息，确定显示在所述终端设备的目标会控场景之前，所述方法还包括：确认所述至少一个会控场景的会控场景系数，和/或所述至少一个会控场景对应的媒体流的媒体流系数。
6.上述方案中，所述基于第一服务器发送的会控操作信息所包括的至少一个会控场景信息和与所述至少一个会控场景对应的媒体流信息，确定显示在所述终端设备的目标会控场景，包括：基于所述会控操作信息包括的至少一个会控场景系数和与所述至少一个会控场景对应的媒体流系数，确定所述终端设备待显示的至少一个会控场景的优先级；基于优先级由高到底，对所述终端设备待显示的至少一个会控场景排序，获得排序结果；基于所述排序结果，确定显示在所述终端设备的目标会控场景；
其中，所述目标会控场景中包括至少一个会控场景。
7.上述方案中，所述基于所述会控操作信息包括的至少一个会控场景系数和与所述至少一个会控场景对应的媒体流系数，确定所述终端设备待显示的至少一个会控场景的优先级，包括：响应于所述至少一个会控场景信息中，第一会控场景对应的媒体流包括所述至少一个会控场景信息中第二会控场景的媒体流，则确定所述第一会控场景的会控场景系数为所述第二会控场景的会控场景系数；确定所述第一会控场景的优先级为所述第二会控场景的会控场景系数与所述第二会控场景对应的媒体流系数之和；或者，响应于所述至少一个会控场景信息中，第一会控场景对应的媒体流不包括所述至少一个会控场景信息中第二会控场景的媒体流，则确定所述第一会控场景的优先级为所述第一会控场景的会控场景系数。
8.上述方案中，所述基于所述至少一个会控场景对应的媒体流信息，向第二服务器发送媒体流订阅请求信息之前或之后，所述方法还包括：基于所述目标会控场景中各区域的比例，确定各区域对应的媒体流的传输码率；向所述第一服务器发送所述各区域对应的媒体流的传输码率；以使所述第一服务器在所述虚拟流配置信息中添加所述各区域对应的媒体流的传输码率。
9.上述方案中，所述基于所述至少一个会控场景对应的媒体流信息，向第二服务器发送媒体流订阅请求信息之前或之后，所述方法还包括：向所述第二服务器发送所述终端设备对应的视频流和音频流；其中，所述终端设备对应的视频流包括所述终端设备采集的视频，所述终端设备对应的音频流包括所述终端设备采集的音频。
10.根据本公开的第二方面，提供了一种数据处理方法，应用于第二服务器，包括：接收至少一个终端设备发送的视频流；基于第一服务器发送的虚拟流配置信息，和/或所述至少一个终端设备发送的视频流，生成与所述虚拟流配置信息对应的至少一个虚拟流；基于终端设备发送的媒体流订阅请求信息，向所述终端设备发送与所述媒体流订阅请求信息对应的至少一个媒体流；其中，所述媒体流包括至少一个终端设备对应的视频流和音频流，和/或与所述虚拟流配置信息对应的虚拟流。
11.上述方案中，所述基于第一服务器发送的虚拟流配置信息，和所述至少一个终端设备发送的视频流，生成与所述虚拟流配置信息对应的至少一个虚拟流，包括针对所述虚拟流配置信息对应的每一个原始媒体流标识执行以下操作：基于所述虚拟流配置信息中包括的原始媒体流标识，确定与所述原始媒体流标识对应的终端设备发送的第一视频流；响应于接收所述第一视频流的第一标识帧，将所述第一视频流的原始媒体流标识替换为所述虚拟流配置信息中包括的虚拟流标识；更新所述第一视频流的帧元数据；确定替换所述原始媒体流标识，且更新所述帧元数据的视频流为与所述虚拟流配置信息对应的虚拟流。
12.上述方案中，所述更新所述第一视频流的帧元数据，包括：更新所述第一视频流中至少一帧的帧序列号；和/或，更新所述第一视频流中，至少一帧的帧时间戳。
13.上述方案中，所述基于第一服务器发送的虚拟流配置信息，和所述至少一个终端设备发送的视频流，生成与所述虚拟流配置信息对应的至少一个虚拟流，还包括：响应于未接收所述第一视频流，基于预设帧生成与所述虚拟流配置信息对应的至少一个虚拟流。
14.上述方案中，所述基于终端设备发送的媒体流订阅请求信息，向所述终端设备发送与所述媒体流订阅请求信息对应的至少一个媒体流，包括：基于所述虚拟流配置信息，确定至少一个媒体流的传输码率；基于所述媒体流订阅请求信息中的虚拟流标识和/或所述虚拟流标识对应的虚拟流的传输码率，向所述终端设备发送与所述虚拟流标识对应的虚拟流；或者，基于所述媒体流订阅请求信息中的原始媒体流标识和/或所述原始媒体流标识对应的视频流的传输码率，向所述终端设备发送与所述原始媒体流标识对应的第一视频流。
15.根据本公开的第三方面，提供了一种数据处理方法，应用于第一服务器，包括：向至少一个终端设备发送会控操作信息，以使所述至少一个终端设备基于所述会控操作信息包括的至少一个会控场景信息和与所述至少一个会控场景对应的媒体流信息，确定显示在所述终端设备的目标会控场景；向第二服务器发送虚拟流配置信息，以使所述第二服务器基于所述虚拟流配置信息和至少一个终端设备对应的视频流和音频流确定对应的虚拟流。
16.上述方案中，所述向至少一个终端设备发送会控操作信息之前，所述方法还包括：接收第一设备发送的会控信息；接收终端设备发送的所述终端设备中各区域对应的媒体流的传输码率；基于所述会控信息，生成所述会控操作信息；基于所述会控信息和/或所述传输码率，生成所述虚拟流配置信息；其中，所述会控信息包括会议目标会控场景的参数信息。
17.根据本公开的第四方面，提供了一种终端设备，包括：布局单元，用于基于第一服务器发送的会控操作信息所包括的至少一个会控场景信息和与所述至少一个会控场景对应的媒体流信息，确定显示在所述终端设备的目标会控场景；第一发送单元，用于基于所述至少一个会控场景对应的媒体流信息和所述目标会控场景，向第二服务器发送媒体流订阅请求信息，以获取所述目标会控场景对应的媒体流；输出单元，用于通过所述目标会控场景输出所述目标会控场景对应的媒体流；其中，所述媒体流包括至少一个终端设备对应的视频流和音频流，和/或，所述第二服务器基于所述至少一个终端设备对应的视频流和音频流所确定的虚拟流。
18.根据本公开的第五方面，提供了一种第二服务器，包括：第一接收单元，用于接收至少一个终端设备发送的视频流；生成单元，用于基于第一服务器发送的虚拟流配置信息，和/或所述至少一个终端
设备发送的视频流，生成与所述虚拟流配置信息对应的至少一个虚拟流；第二发送单元，用于基于终端设备发送的媒体流订阅请求信息，向所述终端设备发送与所述媒体流订阅请求信息对应的至少一个媒体流；其中，所述媒体流包括至少一个终端设备对应的视频流和音频流，和/或与所述虚拟流配置信息对应的虚拟流。
19.根据本公开的第六方面，提供了一种第一服务器，包括：第三发送单元，用于向至少一个终端设备发送会控操作信息，以使所述至少一个终端设备基于所述会控操作信息包括的至少一个会控场景信息和与所述至少一个会控场景对应的媒体流信息，确定显示在所述终端设备的目标会控场景；向第二服务器发送虚拟流配置信息，以使所述第二服务器基于所述虚拟流配置信息和至少一个终端设备对应的视频流和音频流确定对应的虚拟流。
20.根据本公开的第七方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述终端设备执行的数据处理方法；或者，能够执行上述第二服务器执行的数据处理方法；或者，能够执行上述第一服务器执行的数据处理方法。
21.根据本公开的第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行上述终端设备执行的数据处理方法；或者，能够执行上述第二服务器执行的数据处理方法；或者，能够执行上述第一服务器执行的数据处理方法。
22.本公开的数据处理方法，通过基于第一服务器发送的会控操作信息所包括的至少一个会控场景信息和与所述至少一个会控场景对应的媒体流信息，确定显示在所述终端设备的目标会控场景；基于所述目标会控场景对应的媒体流信息，向第二服务器发送媒体流订阅请求信息，以获取所述目标会控场景对应的媒体流；通过所述目标会控场景输出所述目标会控场景对应的媒体流；其中，所述媒体流包括至少一个终端设备对应的视频流和音频流，和/或，所述第二服务器基于所述至少一个终端设备对应的视频流和音频流所确定的虚拟流，能够确定显示在终端设备的会议画面。
23.应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
24.通过参考附图阅读下文的详细描述，本公开示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本公开的若干实施方式，其中：在附图中，相同或对应的标号表示相同或对应的部分。
25.图1示出了本公开实施例提供的数据处理方法的一种可选流程示意图；图2示出了本公开实施例提供的数据处理方法的另一种可选流程示意图；
图3示出了本公开实施例提供的数据处理方法的再一种可选流程示意图；图4示出了本公开实施例提供的数据处理系统的可选结构示意图；图5示出了本公开实施例提供的数据处理方法的又一种可选流程示意图；图6示出了本公开实施例提供的终端设备的显示画面的第一种示意图；图7示出了本公开实施例提供的终端设备的显示画面的第二种示意图；图8示出了本公开实施例提供的终端设备的显示画面的第三种示意图；图9示出了本公开实施例提供的终端设备的显示画面的第四种示意图；图10示出了本公开实施例提供的终端设备的显示画面的第五种示意图；图11示出了本公开实施例提供的终端设备的显示画面的第六种示意图；图12示出了本公开实施例提供的终端设备的可选结构示意图；图13示出了本公开实施例提供的第二服务器的可选结构示意图；图14示出了本公开实施例提供的第一服务器的可选结构示意图；图15示出了可以用来实施本公开的实施例的示例电子设备的示意性框图。
具体实施方式
26.为了使本技术的目的、技术方案和优点更加清楚，下面将结合附图对本技术作进一步地详细描述，所描述的实施例不应视为对本技术的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本技术保护的范围。
27.在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解,
ꢀ“
一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。
28.在以下的描述中，所涉及的术语“第一\第二”仅仅是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本技术实施例能够以除了在这里图示或描述的以外的顺序实施。
29.除非另有定义，本文所使用的所有的技术和科学术语与属于本技术的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本技术实施例的目的，不是旨在限制本技术。
30.应理解，在本技术的各种实施例中，各实施过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本技术实施例的实施过程构成任何限定。
31.对本技术实施例进行进一步详细说明之前，对本技术实施例中涉及的名词和术语进行说明，本技术实施例中涉及的名词和术语适用于如下的解释。
32.虚拟流，或者会议虚拟流指的是会议中在不同时段由多个不同编码器生成的符合特定条件的多路媒体流通过修改媒体帧元数据虚拟成一路流，并进行无二次编码地拼接形成的一路媒体流。若一些时段没有符合条件的媒体流，系统则会插入特定媒体帧，例如视频流进行贴图帧插入，音频流插入静音帧。会议开始时系统会为会议虚拟流分配固定的虚拟流唯一标识。
33.同一个会议中可以定义多种不同类型的虚拟流，例如：在会议中当前语音最活跃的终端上行的视频流，可以为语音激励虚拟流；当前会议中正在被点名发言的终端上行的
视频流，可以为发言会场虚拟流；当前会议中正在被设置为焦点会场的终端上行的视频流，可以为焦点会场虚拟流；当前会议的演示视频流（一个会议同时只有一个演示终端），可以为演示虚拟流。
34.进一步，音频流的虚拟流也可以参考视频流的虚拟流确定。
35.视频会议系统包含了多点控制单元（multi control unit ，mcu），即视频会议服务器，及软、硬终端、录播服务器等各类参与设备。终端设备采集图像声音（音频和/或视频）并经过编码发送给mcu。mcu则根据会议要求将多个终端设备发送的图像、音频或视频进行融合或不进行融合，声音混音或不混音后发送给各个参与终端，从而实现多方与会人的音视频通话。随着云计算技术的日益成熟，视频会议系统的云化越来越普遍。选择性转发单元（selective forwarding unit，sfu）的概念越来越流行，即会议系统服务端不做多画面融合，只做多路流转发，从而避免会议服务端的媒体流加工带来的媒体流数据计算开销。随着终端设备智能化、4g和5g移动互联网的发展，视频会议系统的接入覆盖面越来越广，可接入的终端类型越来越多。如智能手机、个人计算机（personal computer，pc）、平板电视等均可接入。但终端设备类型不同，其性能也各异。一个会议就一个画面布局并不一定能同时满足所有类型的终端设备的需求。故不同终端差异化画面布局等需求也在不断被提出。随着视频会议业务的普及，组合会控差异化画面布局需求逻辑越来越复杂，画面显示的优先级定义也越来越复杂，画面切换复杂度也越来越高。例如：发言人画面入多画面布局、焦点画面入多画面布局等业务逻辑。
36.因此，针对相关技术中存在的问题，本公开提供一种数据处理方法，以至少解决上述部分或全部技术问题。
37.图1示出了本公开实施例提供的数据处理方法的一种可选流程示意图，将根据各个步骤进行说明。
38.步骤s101，基于第一服务器发送的会控操作信息所包括的至少一个会控场景信息和与所述至少一个会控场景对应的媒体流信息，确定显示在所述终端设备的目标会控场景。
39.在一些实施例中，所述终端设备预先确认所述至少一个会控场景的会控场景系数，和/或所述至少一个会控场景对应的媒体流的媒体流系数。其中，所述至少一个会控场景的会控场景系数按照阶梯式递减或递增，也就是说任意两个会控场景的会控场景系数之差的最小值为一个固定值；所述至少一个会控场景对应的媒体流的媒体流系数递增或递减（可以按照阶梯式递增，也可以不按照阶梯式递增），所述媒体流的媒体流系数小于任意两个会控场景的会控场景系数之差。
40.在一些实施例中，所述终端设备基于所述会控操作信息包括的至少一个会控场景系数和与所述至少一个会控场景对应的媒体流系数，确定所述终端设备待显示的至少一个会控场景的优先级；基于优先级由高到底，对所述终端设备待显示的至少一个会控场景排序，获得排序结果；基于所述排序结果，确定显示在所述终端设备的目标会控场景。
41.具体实施时，所述终端设备响应于所述至少一个会控场景信息中，第一会控场景对应的媒体流包括所述至少一个会控场景信息中第二会控场景的媒体流，则确定所述第一会控场景的会控场景系数为所述第二会控场景的会控场景系数；确定所述第一会控场景的优先级为所述第二会控场景的会控场景系数与所述第二会控场景对应的媒体流系数之和；
或者，响应于所述至少一个会控场景信息中，第一会控场景对应的媒体流不包括所述至少一个会控场景信息中第二会控场景的媒体流，则确定所述第一会控场景的优先级为所述第一会控场景的会控场景系数。
42.具体实施时，所述终端设备按照所述至少一个会控场景的优先级的排序结果，和/或所述至少一个会控场景的属性，确定显示在所述终端设备的目标会控场景。
43.在一些实施例中，所述会控场景可以包括演示会场、焦点会场、发言会场、轮巡布局和广播布局等至少之一，其中，所述会控场景的会控场景系数阶梯式下降；所述演示会场和所述焦点会场为单画面布局，所述发言会场为二画面（双画面）布局，所述轮巡布局和所述广播布局为多画面布局；所述会控操作信息可以包括至少一个会控场景和/或所述至少一个会控场景的标识，以及所述至少一个会控场景中各画面（区域）中输出的媒体流的标识。
44.在一些实施例中，响应于所述会控操作信息包括至少一个会控场景的组合场景，则根据所述至少一个会控场景，和所述至少一个会控场景的媒体流，确定所述至少一个会控场景的优先级，确定优先级最高的会控场景对应的布局为所述终端设备的目标会控场景。
45.在一些可选实施例中，所述终端设备确定所述终端设备的目标会控场景之后，还可以基于所述会控操作信息确认所述目标会控场景对应的媒体流标识。
46.例如，所述会控操作信息包括焦点会场和广播布局，其中焦点会场的会控场景系数为150；广播布局的会控场景系数为120；此外，焦点会场对应的媒体流标识为第一媒体流标识；广播布局中对应的媒体流包括所述焦点会场对应的媒体流和其他终端设备的媒体流，标识为第二媒体流标识。其中，所述焦点会场对应的媒体流为第一终端设备直接采集得到的，因此所述焦点会场对应的媒体流为第一终端设备的视频流和音频流，媒体流系数为0；所述广播布局中需要输出焦点会场对应的媒体流，和其他终端设备的媒体流，也就是说，广播布局中的媒体流为包括焦点会场的虚拟流，媒体流系数为2；因此，焦点会场的优先级为150，广播布局的优先级为150 2=152，所述终端设备最终显示广播布局，所述广播布局中输出焦点会场的媒体流。
47.再例如，所述会控操作信息包括焦点会场和广播布局，其中焦点会场的会控场景系数为150；广播布局的会控场景系数为120；此外，焦点会场对应的媒体流标识为第一媒体流标识；广播布局中对应的媒体流包括其他终端设备的视频流和音频流，标识为第二媒体流标识。其中，所述焦点会场对应的媒体流为第一终端设备直接采集得到的，因此所述焦点会场对应的媒体流为第一终端设备的视频流和音频流，媒体流系数为0；所述广播布局中需要输出其他终端设备的视频流，媒体流系数为0；因此，焦点会场的优先级为150，广播布局的优先级为120，所述终端设备最终显示焦点会场。
48.步骤s102，基于所述至少一个会控场景对应的媒体流信息和所述目标会控场景，向第二服务器发送媒体流订阅请求信息，以获取所述目标会控场景对应的媒体流。
49.在一些实施例中，所述终端设备确认所述目标会控场景之后，基于所述至少一个会控场景中目标会控场景对应的媒体流信息确认所述目标会控场景对应的媒体流标识；基于所述媒体流标识向所述第二服务器发送所述媒体流订阅信息，以获取所述目标会控场景对应的媒体流。其中，所述媒体流包括至少一个终端设备对应的视频流和音频流，和/或，所
述第二服务器基于所述至少一个终端设备对应的视频流和音频流所确定的虚拟流；所述第二服务器可以是媒体服务器，用于生成虚拟流。
50.在一些可选实施例中，所述会控操作信息中包括至少一个会控场景信息，以及，与所述至少一个会控场景信息对应的媒体流的媒体流标识；若所述会控场景对应的媒体流为视频流，则所述媒体流标识可以是视频流对应的原始媒体流标识；若所述会控场景对应的媒体流为虚拟流，则所述媒体流标识可以是虚拟流标识。
51.在一些可选实施例中，基于所述至少一个会控场景对应的媒体流信息，向第二服务器发送媒体流订阅请求信息之前或之后，所述终端设备还可以基于所述目标会控场景中各区域（画面）的比例，确定各区域对应的媒体流的传输码率；向所述第一服务器发送所述各区域对应的媒体流的传输码率；以使所述第一服务器在所述虚拟流配置信息中添加所述各区域对应的媒体流的传输码率。其中，所述目标会控场景中的区域，可以是所述目标会控场景包括的画面，例如广播布局中包括一个大画面和若干个小画面；或者，焦点会场包括一个大画面等。
52.在另一些可选实施例中，基于所述至少一个会控场景对应的媒体流信息，向第二服务器发送媒体流订阅请求信息之前或之后，所述终端设备还可以向所述第二服务器发送所述终端设备对应的视频流和音频流和/或所述终端设备的标识；其中，所述终端设备对应的视频流包括所述终端设备采集的视频，所述终端设备对应的音频流包括所述终端设备采集的音频。
53.步骤s103，通过所述目标会控场景输出所述目标会控场景对应的媒体流。
54.在一些实施例中，所述终端设备接收所述第二服务器发送的目标会控场景对应的媒体流，在所述目标会控场景对应的至少一个区域内，输出相应的媒体流。
55.具体实施时，所述终端设备确认所述目标会控场景包括的至少一个区域待输出的媒体流标识，基于所述至少一个区域内待输出的媒体流标识，输出所述第二服务器发送的媒体流。
56.例如，所述目标会控场景包括四个区域a1、a2、a3和a4，所述四个区域待输出的媒体流标识依次为x1、x2、x3和x4，所述第二服务器发送包括所述媒体流标识依次为x1、x2、x3和x4的媒体流，相应的，在区域a1显示媒体流标识为x1的媒体流；在区域a2显示媒体流标识为x2的媒体流；在区域a3显示媒体流标识为x3的媒体流；在区域a4显示媒体流标识为x4的媒体流。
57.如此，通过本公开实施例提供的数据处理方法，基于第一服务器发送的会控操作信息所包括的至少一个会控场景信息和与所述至少一个会控场景对应的媒体流信息，确定显示在所述终端设备的目标会控场景；基于所述至少一个会控场景对应的媒体流信息和所述目标会控场景，向第二服务器发送媒体流订阅请求信息，以获取所述目标会控场景对应的媒体流；通过所述目标会控场景输出所述目标会控场景对应的媒体流。可实现多会控场景（组合会控场景）时的虚拟流入布局的差异化的画面布局（第一会控场景）效果，提高了视频会议系统画面布局的多样性、实用性及灵活性；例如：通过配置发言会场入广播布局，后续执行设置发言会场的会控操作，可产生多种包含发言会场画面的画面布局效果，从而实现了组合会控的差异化画面布局支持。由于使用了虚拟流入布局（会控场景）的逻辑，焦点场景、发言场景等会控频繁操作时画面更流畅，因为此时画面布局完全不变；可实现按不同
类型终端定义不同的主辅优先级，从而实现按终端差异化画面配置选择，更灵活；算法通用性强，适应性强，可适用于各类千变万化的复杂组合会控画面布局需求。
58.图2示出了本公开实施例提供的数据处理方法的另一种可选流程示意图，将根据各个步骤进行说明。
59.步骤s201，接收至少一个终端设备发送的视频流。
60.在一些实施例中，第二服务器可以是媒体服务器。所述第二服务器接收至少一个终端设备发送的视频流；其中所述视屏流可以是所述至少一个终端设备采集的音频和/或视频。
61.步骤s202，基于第一服务器发送的虚拟流配置信息，和/或所述至少一个终端设备发送的视频流，生成与所述虚拟流配置信息对应的至少一个虚拟流。
62.在一些实施例中，所述第二服务器基于所述虚拟流配置信息中包括的原始媒体流标识，确定与所述原始媒体流标识对应的终端设备发送的第一视频流；响应于接收所述第一视频流的第一标识帧，将所述第一视频流的原始媒体流标识替换为所述虚拟流配置信息中包括的虚拟流标识；更新所述第一视频流的帧元数据；确定替换所述原始媒体流标识，且更新所述帧元数据的视频流和音频流为与所述虚拟流配置信息对应的虚拟流。其中，所述第一标识帧可以是i帧；所述原始媒体流标识可以是终端设备的标识，也可以是所述终端设备所在地的标识；所述原始媒体流标识可以是所述终端设备待显示的媒体流对应的终端设备的标识（即下一个媒体流的标识）；例如，确认即将输出的媒体流基于终端设备a的视频流和音频流生成，所述原始媒体流标识可以是所述终端设备a的设备标识。其中，i帧的英文全名是intra frame，中文名称为帧内编码帧，或称关键帧。
63.具体实施时，所述第二服务器可以更新所述第一视频流中至少一帧的帧序列号；和/或，更新所述第一视频流中，至少一帧的帧时间戳。可选的，所述第二服务器可以在所述第一视频流中插入至少一帧预设帧，插入后更新所述至少一帧的帧序列号，和/或所述至少一帧的帧时间戳。其中，所述预设帧可以是至少一个终端设备发送的视频流中的帧，也可以是预先设置的图像帧。
64.在另一些可选实施例中，所述第二服务器还可以响应于未接收所述第一视频流，基于预设帧生成所述虚拟流配置信息对应的至少一个虚拟流。
65.在一些可选实施例中，所述第二服务器不修改所述视频流的实际编码数据。
66.步骤s203，基于终端设备发送的媒体流订阅请求信息，向所述终端设备发送与所述媒体流订阅请求信息对应的至少一个媒体流。
67.在一些实施例中，所述第二服务器基于终端设备发送的媒体流订阅请求信息中包括的媒体流标识，确定至少一个媒体流；将所述至少一个媒体流发送至与所述媒体流订阅请求信息对应的终端设备。所述媒体流标识可以是所述原始媒体流标识，还可以是所述虚拟流标识。
68.其中，所述媒体流包括至少一个终端设备对应的视频流和音频流，和/或与所述虚拟流配置信息对应的虚拟流。
69.例如，若所述媒体流订阅请求信息对应的媒体流为虚拟流，则所述媒体流订阅请求信息中包括的媒体流标识为虚拟流标识；若所述媒体流订阅请求信息对应的媒体流为视频流，则所述媒体流订阅请求信息中包括的媒体流标识为原始媒体流标识。
70.如此，通过本公开实施例提供的数据处理方法，接收至少一个终端设备发送的视频流；基于第一服务器发送的虚拟流配置信息，和/或所述至少一个终端设备发送的视频流，生成与所述虚拟流配置信息对应的至少一个虚拟流；基于终端设备发送的媒体流订阅请求信息，向所述终端设备发送与所述媒体流订阅请求信息对应的至少一个媒体流；可实现多会控场景（组合会控场景）时的虚拟流入布局的差异化的画面布局（第一会控场景）效果，提高了视频会议系统画面布局的多样性、实用性及灵活性。
71.图3示出了本公开实施例提供的数据处理方法的再一种可选流程示意图，将根据各个步骤进行说明。
72.步骤s301，向至少一个终端设备发送会控操作信息。
73.在一些实施例中，第一服务器可以是信令服务器。所述第一服务器接收第一设备发送的会控信息；接收终端设备发送的所述终端设备中各区域对应的媒体流的传输码率；基于所述会控信息，生成所述会控操作信息；基于所述会控信息和/或所述传输码率，生成所述虚拟流配置信息；其中，所述会控信息包括会议目标会控场景的参数信息；所述第一设备可以是会控服务器。
74.在一些实施例中，所述第一服务器向所述至少一个终端发送会控操作信息，以使所述至少一个终端设备基于所述会控操作信息包括的至少一个会控场景信息和与所述至少一个会控场景对应的媒体流信息，确定显示在所述终端设备的目标会控场景。
75.步骤s302，向第二服务器发送虚拟流配置信息。
76.在一些实施例中，所述第一服务器向第二服务器发送虚拟流配置信息，以使所述第二服务器基于所述虚拟流配置信息和至少一个终端设备对应的视频流和音频流确定对应的虚拟流。
77.如此，通过本公开实施例提供的数据处理方法，第一服务器向至少一个终端设备发送会控操作信息，以使所述至少一个终端设备基于所述会控操作信息包括的至少一个会控场景信息和与所述至少一个会控场景对应的媒体流信息，确定显示在所述终端设备的目标会控场景；向第二服务器发送虚拟流配置信息，以使所述第二服务器基于所述虚拟流配置信息和至少一个终端设备对应的视频流和音频流确定对应的虚拟流；可实现多会控场景（组合会控场景）时的虚拟流入布局的差异化的画面布局（第一会控场景）效果，提高了视频会议系统画面布局的多样性、实用性及灵活性。
78.图4示出了本公开实施例提供的数据处理系统的可选结构示意图，将根据各个部分进行说明。
79.所述数据处理系统400包括第一设备410，第一服务器420，第二服务器430和至少一个终端设备440。
80.在一些实施例中，本公开所述的第一设备410（会控服务器）第一服务器420（信令服务器）和第二服务器（媒体服务器）可以是同一个服务器，也可以是不同的三个服务器；或者，第一设备与第一服务器为同一个服务器，第二服务器为单独的服务器；或者，第一服务器与第二服务器为同一个服务器，第一设备为单独的服务器；或者，第一设备与第二服务器为同一个服务器，第一服务器为单独的服务。在第一设备、第一服务器和第二服务器中至少两个为同一个服务器时，所述服务器分别用于实现会控服务（会控服务器实现的功能）、信令服务（信令服务器所实现的功能）、媒体服务（媒体服务器实现的功能）。
81.其中，所述第一设备410可以是会控服务器，用于向web浏览器或终端设备（如会议主持人的终端设备）提供会议控制接口，包括设置演示会场的控制接口、设置焦点会场的控制接口、设置发言会场的控制接口、设置多画面广播布局的控制接口、设置轮巡布局的控制接口等等；其中设置多画面广播布局的控制接口中，还提供界面选择各类画面布局，并提供与会人列表用于视频流和布局格子（区域或画面）一对一填充。特别指出的是，同时提供会议预定义的虚拟流用于画面填充，包括发言会场、焦点会场等；其中设置轮巡布局的控制接口，与设置多画面广播布局类似，先选择画面布局，后进行视频流和布局格子的一对多的填充。同样特别的是，同时提供会议预定义的虚拟流用于画面填充，包括发言会场、焦点会场等；向信令服务发送会控操作信息。
82.所述第一服务器420可以是信令服务器，用于接收第一设备410的会控操作信息，包括设置演示会场、设置焦点会场、设置发言会场、设置多画面广播布局、设置轮巡布局等等；根据所述会控操作信息，针对涉及的虚拟流，向媒体服务发送虚拟流配置信息，设置其下一个原始媒体流唯一标识；向已入会的终端设备发送会控操作列表消息，用于表达当前所有已操作的会控类型、会控涉及的视频流唯一标识（虚拟流唯一标识）、及视频流对应画面布局填充信息等。
83.其中，所述会控操作信息可以是改变会控场景的指示信息（例如指示由焦点会场改变为发言会场），或者改变会控场景内容的指示信息（例如焦点会场输出的内容由会议主席变更为任一个终端设备的视频流）。其中，所述原始媒体流唯一标识即上述的原始媒体流标识，可以是终端设备的标识，或终端设备所在地的标识。
84.所述第二服务器430可以是媒体服务器，用于接收终端设备发送的媒体流订阅请求信息及终端发送的视频流（终端设备采集的视频流），并根据所述媒体流订阅请求信息向终端设备发送对应的媒体流。
85.此外，还用于接收来自第一服务器的虚拟流配置信息，并根据虚拟流配置信息生成虚拟流，具体可以包括：根据虚拟流配置信息中的原始媒体流标识，确定终端设备采集的视频流，对所述终端设备采集的视频流的帧元数据进行修改，包括：修改终端设备采集的视频流的标识为虚拟流标识、重写帧序列号、重写帧时间戳等，然后发送到对应的终端设备中，需要说明的是，在生成媒体流的过程中不修改视频流实际编码数据。
86.生成虚拟流时，在新的视频流（终端设备采集的视频流）的第一个i帧到达时，停止旧的视频流（上一个终端设备采集的视频流）的修改输出，开始新的视频流的修改输出；当新的视频流为空时，则输出一张预设贴图对应的帧数据（即预设帧）。
87.所述终端设备440，用于接收第一服务器发送的会控操作列表消息（会控操作信息），调用画面布局决策算法选定画面布局（基于第一服务器发送的会控操作信息所包括的至少一个会控场景信息和与所述至少一个会控场景对应的媒体流信息，确定显示在所述终端设备的目标会控场景）；将目标会控场景配置到终端设备440包括的媒体传输模块；媒体传输模块根据填充在目标会控场景中的媒体流标识（包括虚拟流标识和/或原始媒体流标识）向第二服务器发送媒体流订阅请求信息，所述媒体流订阅请求信息中包括目标会控场景对应的媒体流标识；根据目标会控场景中各区域的大小，向第一服务器发送媒体流码率需求设定消息，从而获取合适的媒体流，节约网络传输带宽；将目标会控场景配置到媒体解码模块，媒体解码模块按目标会控场景解码输出多路媒体流。
88.所述终端设备440，具体用于定义单独会控操作的主优先级（即会控场景的会控场景系数），用于决定会控场景的显示顺序。主优先级取值包含一个阶梯间隔，例如阶梯间隔为10时，演示操作160、焦点操作150、发言操作140等；定义组合会控场景虚拟流入布局时的辅优先级（即不同会控场景对应的虚拟流的媒体流系数），用于微调优先级，以便解决复杂组合会控场景中画面显示顺序问题。辅优先级取值在主优先级的阶梯间隔内，例如主优先级阶梯间隔为10，所有辅优先级应小于10。例如以下辅优先级定义；轮巡布局中虚拟流（虚拟流入轮巡布局）的媒体流系数为3，广播布局中的虚拟流（虚拟流入广播布局）的媒体流系数2，点名布局中虚拟流（虚拟流入点名布局）的媒体流系数为1；不同终端类型可定义不同的会控主优先级和组合会控辅优先级。
89.具体的，所述终端设备400遍历会控场景列表，确认一个会控场景，设置会控场景的会控场景系数为该会控场景对应的主优先级；遍历该会控场景涉及的所有视频流列表，若包含虚拟流，则进行优先级调整，具体的：该虚拟流入布局的优先级 = 虚拟流的会控场景对应的主优先级（虚拟流来源所对应的会控场景） 该会控场景中虚拟流（虚拟流入布局）对应的辅优先级；该会控场景的优先级 = 该会控场景的所有的虚拟流入布局的优先级的最大值；也就是说，虚拟流入布局的优先级，可以通过虚拟流的来源所对应的会控场景的主优先级，和该会控场景中虚拟流对应的辅优先级确定。例如，在广播布局场景中，广播布局输出的虚拟流为焦点会场的虚拟流，则对应的虚拟流的来源所对应的会控场景的主优先级为150，广播布局中虚拟流对应的辅优先级为2，则该虚拟流入广播布局的优先级为150 2。进一步，若广播布局中进有一个虚拟流，其他均未视频流，则该广播布局的优先级为152。
90.所有会控场景的优先级设定完成后，重新遍历会控操作列表，找到优先级最大的会控场景，并选定其做为目标会控场景；若会控操作列表为空，则默认选择语音激励虚拟流 单画面布局做为目标会控场景。
91.表1示出了会控场景的会控场景系数的示意图，以及对应会控场景的可选画面布局。表2示出了会控场景对应的媒体流的媒体流系数。
92.表1 会控场景的会控场景系数
会控场景主优先级（会控场景系数）画面布局演示会场160全屏单画面焦点会场150全屏单画面发言会场140二画面发言布局，左侧为主席或焦点，右侧为发言轮巡布局130多画面布局广播布局120多画面布局
表2 会控场景对应的媒体流的媒体流系数会控场景辅优先级（媒体流系数）轮巡布局中的虚拟流3广播布局中的虚拟流2发言布局中的虚拟流1图5示出了本公开实施例提供的数据处理方法的又一种可选流程示意图，将根据
各个步骤进行说明。
93.步骤s501，第一服务器接收第一设备发送的会控信息。
94.在一些实施例中，第一服务器可以是信令服务器。所述第一服务器接收第一设备发送的会控信息；接收终端设备发送的所述终端设备中各区域对应的媒体流的传输码率；基于所述会控信息，生成所述会控操作信息；基于所述会控信息和/或所述传输码率，生成所述虚拟流配置信息；其中，所述会控信息包括会议目标会控场景的参数信息；所述第一设备可以是会控服务器。
95.步骤s502，第一服务器向至少一个终端设备发送会控操作信息。
96.在一些实施例中，所述第一服务器向所述至少一个终端发送会控操作信息，以使所述至少一个终端设备基于所述会控操作信息包括的至少一个会控场景信息和与所述至少一个会控场景对应的媒体流信息，确定显示在所述终端设备的目标会控场景。
97.步骤s503，第一服务器向第二服务器发送虚拟流配置信息。
98.在一些实施例中，所述第一服务器向第二服务器发送虚拟流配置信息，以使所述第二服务器基于所述虚拟流配置信息和至少一个终端设备对应的视频流和音频流确定对应的虚拟流。
99.其中，所述虚拟流配置信息中，至少包括原始媒体流标识和虚拟流标识；所述原始媒体流标识包括终端设备的标识或终端设备所在地的标识；虚拟流标识用于确定终端设备订阅的虚拟流。
100.具体的，第二服务器在确定虚拟流的过程中，先基于所述原始媒体流标识获取对应的第一视频流，更新所述第一视频流的帧元数据，和/或，将所述第一视频流的标识由所述原始媒体流标识替换为所述虚拟流标识。以使所述终端设备接收所述虚拟流后，能够基于所述虚拟流标识确定输出所述虚拟流的画面（区域）。
101.步骤s504，终端设备确定显示在所述终端设备的目标会控场景。
102.在一些实施例中，所述终端设备预先确认所述至少一个会控场景的会控场景系数，和/或所述至少一个会控场景对应的媒体流的媒体流系数。其中，所述至少一个会控场景的会控场景系数按照阶梯式递减或递增，也就是说任意两个会控场景的会控场景系数之差的最小值为一个固定值；所述至少一个会控场景对应的媒体流的媒体流系数递增或递减（可以按照阶梯式递增，可以不按照阶梯式递增），所述媒体流的媒体流系数小于任意两个会控场景的会控场景系数之差。如表1和表2所示。
103.在一些实施例中，所述终端设备基于所述会控操作信息包括的至少一个会控场景系数和与所述至少一个会控场景对应的媒体流系数，确定所述终端设备待显示的至少一个会控场景的优先级；基于优先级由高到底，对所述终端设备待显示的至少一个会控场景排序，获得排序结果；基于所述排序结果，确定显示在所述终端设备的目标会控场景。
104.具体实施时，所述终端设备响应于所述至少一个会控场景信息中，第一会控场景对应的媒体流包括所述至少一个会控场景信息中第二会控场景的媒体流，则确定所述第一会控场景的会控场景系数为所述第二会控场景的会控场景系数；确定所述第一会控场景的优先级为所述第二会控场景的会控场景系数与所述第二会控场景对应的媒体流系数之和；或者，响应于所述至少一个会控场景信息中，第一会控场景对应的媒体流不包括所述至少一个会控场景信息中第二会控场景的媒体流，则确定所述第一会控场景的优先级为所述第
一会控场景的会控场景系数。
105.具体实施时，所述终端设备按照所述至少一个会控场景的优先级的排序结果，和/或所述至少一个会控场景的属性，确定显示在所述终端设备的目标会控场景。
106.具体的终端设备基于至少一个会控场景信息和与所述至少一个会控场景对应的媒体流信息，确定显示在所述终端设备的目标会控场景的具体实例将在后文进行详细说明。
107.步骤s505，终端设备向第二服务器发送媒体流订阅请求信息。
108.在一些实施例中，所述终端设备确认所述目标会控场景之后，基于所述至少一个会控场景中目标会控场景对应的媒体流信息确认所述目标会控场景对应的媒体流标识；基于所述媒体流标识向所述第二服务器发送所述媒体流订阅信息，以获取所述目标会控场景对应的媒体流。其中，所述媒体流包括至少一个终端设备对应的视频流和音频流，和/或，所述第二服务器基于所述至少一个终端设备对应的视频流和音频流所确定的虚拟流；所述第二服务器可以是媒体服务器，用于生成虚拟流。
109.在一些可选实施例中，所述会控操作信息中包括至少一个会控场景信息，以及，与所述至少一个会控场景信息对应的媒体流的媒体流标识。
110.在一些可选实施例中，基于所述至少一个会控场景对应的媒体流信息，向第二服务器发送媒体流订阅请求信息之前或之后，所述终端设备还可以基于所述目标会控场景中各区域（画面）的比例，确定各区域对应的媒体流的传输码率；向所述第一服务器发送所述各区域对应的媒体流的传输码率；以使所述第一服务器在所述虚拟流配置信息中添加所述各区域对应的媒体流的传输码率。其中，所述目标会控场景中的区域，可以是所述目标会控场景包括的画面，例如广播布局中包括一个大画面和若干个小画面；或者，焦点会场包括一个大画面等。
111.步骤s506，终端设备向第二服务器发送视频流。
112.在一些实施例中，所述终端设备向所述第二服务器发送所述终端设备采集的视频流，和/或，所述视频流对应的原始媒体流标识。
113.在一些可选实施例中，所述视频流对应的原始媒体流标识不会根据视频流的内容改变，即所述终端设备发送的视频流的原始媒体流标识唯一。
114.需要说明的是，步骤s505和步骤s506之间没有顺序关系，可以先执行步骤s505，再执行步骤s506；或者，先执行步骤s506，再执行步骤s505；或者同时执行步骤s505和步骤s506。
115.步骤s507，第二服务器接收至少一个终端设备发送的视频流。
116.在一些实施例中，第二服务器可以是媒体服务器。所述第二服务器接收至少一个终端设备发送的视频流。
117.步骤s508，第二服务器生成至少一个虚拟流。
118.在一些实施例中，所述第二服务器可以接收至少一个终端设备发送的媒体流订阅信息，在一些实施例中，所述第二服务器基于所述虚拟流配置信息中包括的原始媒体流标识，确定与所述原始媒体流标识对应的终端设备发送的第一视频流；响应于接收所述第一视频流的第一标识帧，将所述第一视频流的原始媒体流标识替换为所述虚拟流配置信息
中包括的虚拟流标识；更新所述第一视频流的帧元数据；确定替换所述原始媒体流标识，且更新所述帧元数据的视频流为与所述虚拟流配置信息对应的虚拟流。其中，所述第一标识帧可以是i帧；所述原始媒体流标识可以是终端设备的标识，也可以是所述终端设备所在地的标识；所述原始媒体流标识可以是所述终端设备待显示的媒体流对应的终端设备的标识（即下一个媒体流的标识）；例如，确认即将输出的媒体流基于终端设备a的视频流生成，所述原始媒体流标识可以是所述终端设备a的设备标识。
119.具体实施时，所述第二服务器可以更新所述第一视频流中至少一帧的帧序列号；和/或，更新所述第一视频流中，至少一帧的帧时间戳。可选的，所述第二服务器可以在所述第一视频流中插入至少一帧预设帧，插入后更新所述至少一帧的帧序列号，和/或所述至少一帧的帧时间戳。其中，所述预设帧可以是至少一个终端设备发送的视频流中的帧，也可以是预先设置的图像帧。
120.例如，所述第二服务器基于所述虚拟流配置信息确认原始媒体流标识为y1，生成的虚拟流标识为y2。所述第二服务器从所述至少一个终端设备发送的多个视频流中，确定原始媒体流标识为y1的第一视频流；响应于所述第二服务器接收所述第一视频流的i帧（第一标识帧），所述第二服务器将所述第一视频流的标识由y1替换为y2，更新所述第一视频流的帧元数据，确定替换所述原始媒体流标识，且更新所述帧元数据的视频流为与所述虚拟流配置信息对应的虚拟流。
121.在另一些可选实施例中，所述第二服务器还可以响应于未接收所述第一视频流，基于预设帧生成对应的至少一个虚拟流。其中，所述预设帧可以是预设的图像帧，或者所述任一终端设备采集的视频流。
122.在一些可选实施例中，所述第二服务器不修改所述视频流的实际编码数据。
123.步骤s509，第二服务器向所述终端设备发送媒体流。
124.在一些实施例中，所述第二服务器基于所述媒体流请求信息中包括的媒体流标识向所述终端设备发送对应的媒体流。
125.具体实施时，响应于所述媒体流标识为原始媒体流标识，则所述第二服务器向所述终端设备发送与所述原始媒体流标识对应的视频流；或者，响应于所述媒体流标识为虚拟流标识，则所述第二服务器向所述终端设备发送与所述虚拟流标识对应的虚拟流。
126.步骤s510，终端设备通过所述目标会控场景输出所述目标会控场景对应的媒体流。
127.在一些实施例中，所述终端设备接收所述第二服务器发送的目标会控场景对应的媒体流，在所述目标会控场景对应的至少一个区域内，输出相应的媒体流。
128.具体实施时，所述终端设备确认所述目标会控场景包括的至少一个区域待输出的媒体流标识，基于所述至少一个区域内待输出的媒体流标识，输出所述第二服务器发送的媒体流。
129.例如，所述目标会控场景包括四个区域a1、a2、a3和a4，所述四个区域待输出的媒体流标识依次为x1、x2、x3和x4，所述第二服务器发送包括所述媒体流标识依次为x1、x2、x3和x4的媒体流，相应的，在区域a1显示媒体流标识为x1的媒体流；在区域a2显示媒体流标识为x2的媒体流；在区域a3显示媒体流标识为x3的媒体流；在区域a4显示媒体流标识为x4的媒体流；其中，所述媒体流包括视频流或虚拟流。
130.如此，通过本公开实施例提供的数据处理方法，可以实现多会控场景（组合会控场景）时的虚拟流入布局的差异化的画面布局（第一会控场景）效果，提高了视频会议系统画面布局的多样性、实用性及灵活性；例如：通过配置发言会场入广播布局，后续执行设置发言会场的会控操作，可产生多种包含发言会场画面的画面布局效果，从而实现了组合会控的差异化画面布局支持。由于使用了虚拟流入布局（会控场景）的逻辑，焦点场景、发言场景等会控频繁操作时画面更流畅，因为此时画面布局完全不变；可实现按不同类型终端定义不同的主辅优先级，从而实现按终端差异化画面配置选择，更灵活；算法通用性强，适应性强，可适用于各类千变万化的复杂组合会控画面布局需求。
131.接下来说明终端设备基于至少一个会控场景信息和与所述至少一个会控场景对应的媒体流信息，确定显示在所述终端设备的目标会控场景的具体方案；以表1和表2所示出的会控场景系数和媒体流系数为例。
132.若未接收到任何会控操作，则所述终端设备的目标会控场景可以包括语音激励单画面布局。
133.图6示出了本公开实施例提供的终端设备的显示画面的第一种示意图。
134.若组合会控类型包括焦点会场和发言会场，且所述发言会场的两个画面中，左侧画面为焦点会场对应的画面（即焦点会场的虚拟流入发言会场），右侧为发言会场的画面；则焦点会场的优先级为所述焦点会场的会控场景系数，即150；发言会场的优先级为焦点会场的会控场景系数 发言布局中的虚拟流的媒体流系数，即150 1=151。则终端设备显示的目标会控场景为发言会场的画面，左侧画面输出焦点会场的虚拟流；右侧画面输出正在发言（输出视频流）的终端设备的视频流。如图6所示，假设所述发言会场以点名会场的形式输出，则左侧为焦点会场，右侧为输出视频流（被点到名或正在发言）的终端设备的视频流机或虚拟流。
135.若组合会控类型包括焦点会场和广播布局，且焦点会场的虚拟流未入广播布局（即广播布局中没有焦点会场的虚拟流），则焦点会场的优先级为所述焦点会场的会控场景系数150，广播布局的优先级为所述广播布局的会控场景系数120，所述终端设备最终显示的目标会控场景为焦点单画面布局。
136.图7示出了本公开实施例提供的终端设备的显示画面的第二种示意图。
137.若组合会控类型包括焦点会场和广播布局，且焦点会场的虚拟流入广播布局（即广播布局中包括焦点会场的虚拟流），则焦点会场的优先级为所述焦点会场的会控场景系数150，广播布局的优先级为所述焦点会场的会控场景系数150与广播布局中的虚拟流的媒体流系数2之和，即152，所述终端设备最终显示的目标会控场景为广播布局。如图7所示，所述广播布局中最大的区域输出焦点会场的虚拟流，其他区域输出终端设备的视频流（即yt、lj、hyx为终端设备的视频流）。
138.若组合会控类型包括发言会场和轮巡布局，且发言会场的虚拟流未入轮巡布局（即轮巡布局中没有发言会场的虚拟流），则发言会场的优先级为所述发言会场的会控场景系数140，轮巡布局的优先级为所述轮巡布局的会控场景系数130，所述终端设备最终显示的目标会控场景为发言会场的画面，即左侧围主席画面，右侧为发言画面。
139.若组合会控类型包括发言会场、轮巡布局和广播布局，且发言会场的虚拟流入轮巡布局和广播布局（即轮巡布局和广播布局中均包括发言会场的虚拟流），则发言会场的优
先级为所述发言会场的会控场景系数140与发言会场的虚拟流的媒体流系数1之和，即141；轮巡布局的优先级为发言会场的会控场景系数140与轮巡布局的虚拟流的媒体流系数3之和，即143；广播会场的优先级为发言会场的会控场景系数140与广播会场的虚拟流的媒体流系数2之和，即142。所述终端设备最终显示的目标会控场景为轮巡布局的画面。
140.图8示出了本公开实施例提供的终端设备的显示画面的第三种示意图。
141.若组合会控类型包括发言会场、焦点会场和广播布局，且焦点会场的虚拟流入发言会场，焦点会场的虚拟流和发言会场的虚拟流均入广播布局（广播布局中包括焦点会场的虚拟流和发言会场的虚拟流），焦点会场的优先级为所述焦点会场的会控场景系数150；发言会场的优先级为焦点会场的会控场景系数150与发言会场的虚拟流的媒体流系数1之和，即151；广播布局的优先级为焦点会场的会控场景系数150与广播布局的虚拟流的媒体流系数2之和，即152；所述终端设备最终显示的目标会控场景为广播布局的画面。如图8所示，画面中，包括焦点会场的虚拟流对应的区域和点名会场（即发言会场）的虚拟流对应的区域，以及终端设备yt、thz和lj的视频流。
142.若组合会控类型包括广播布局，且广播布局中输出的媒体流为语音激励流；则广播布局的优先级为所述广播布局的会控场景系数120，所述终端设备最终显示的目标会控场景为广播布局的画面。
143.若组合会控类型包括广播布局和演示会场，且演示会场的虚拟流未入广播布局；则广播布局的优先级为所述广播布局的会控场景系数120；演示会场的优先级为演示会场的会控场景系数160，所述终端设备最终显示的目标会控场景为演示会场的画面。
144.若组合会控类型包括广播布局和演示会场，且演示会场的虚拟流入广播布局；则广播布局的优先级为所述演示会场的会控场景系数160与广播会场的虚拟流的媒体流系数2之和，即162；演示会场的优先级为演示会场的会控场景系数160，所述终端设备最终显示的目标会控场景为广播布局的画面。
145.图9示出了本公开实施例提供的终端设备的显示画面的第四种示意图。
146.若组合会控类型包括发言会场和广播布局，且发言会场的虚拟流入广播布局（即广播布局中包括发言会场的虚拟流），则发言会场的优先级为所述发言会场的会控场景系数140，广播布局的优先级为所述发言会场的会控场景系数140与广播布局中的虚拟流的媒体流系数2之和，即142，所述终端设备最终显示的目标会控场景为广播布局。如图9所示，所述广播布局中最大的区域输出发言会场的虚拟流，其他区域输出终端设备的视频流（即lj、hyx、dogenya、yt2为终端设备的视频流）。
147.图10示出了本公开实施例提供的终端设备的显示画面的第五种示意图。
148.若组合会控类型包括焦点会场和轮巡布局，且焦点会场的虚拟流入轮巡布局（即轮巡布局中包括焦点会场的虚拟流），则焦点会场的优先级为所述焦点会场的会控场景系数150，轮巡布局的优先级为所述焦点会场的会控场景系数150与轮巡布局中的虚拟流的媒体流系数3之和，即153，所述终端设备最终显示的目标会控场景为轮巡布局。如图10所示，所述轮巡布局中最大的区域输出焦点会场的虚拟流，其他区域输出终端设备的视频流（即han、gen、xyx、zhx、xyx、wz为终端设备的视频流），并且与广播布局不同，轮巡布局中小画面（小区域）中的媒体流为多个终端设备的视频流的融合。如第二行的两个格子分别填充了3个终端设备的视频流。
149.图11示出了本公开实施例提供的终端设备的显示画面的第六种示意图。
150.若组合会控类型包括演示会场和广播布局，且演示会场的虚拟流入广播布局（即广播布局中包括演示会场的虚拟流），则演示会场的优先级为所述演示会场的会控场景系数160，广播布局的优先级为所述演示会场的会控场景系数160与广播布局中的虚拟流的媒体流系数2之和，即162，所述终端设备最终显示的目标会控场景为广播布局。如图11所示，所述广播布局中最大的区域输出演示会场的虚拟流，其他区域输出终端设备的视频流（即test和test2为终端设备的视频流）。
151.在一些实施例中，上述终端设备所执行的方法（特别是画面布局决策方法），也适用于mcu服务端多画面融合输出融合流时的画面布局决策，也适用于多画面融合录播直播时的画面布局决策。
152.图12示出了本公开实施例提供的终端设备的可选结构示意图，将根据各个部分进行说明。
153.在一些实施例中，所述终端设备440包括布局单元441、第一发送单元442和输出单元443。
154.所述布局单元441，用于基于第一服务器发送的会控操作信息所包括的至少一个会控场景信息和与所述至少一个会控场景对应的媒体流信息，确定显示在所述终端设备的目标会控场景；所述第一发送单元442，用于基于所述至少一个会控场景对应的媒体流信息和所述目标会控场景，向第二服务器发送媒体流订阅请求信息，以获取所述目标会控场景对应的媒体流；所述输出单元443，用于通过所述目标会控场景输出所述目标会控场景对应的媒体流；其中，所述媒体流包括至少一个终端设备对应的视频流和音频流，和/或，所述第二服务器基于所述至少一个终端设备对应的视频流和音频流所确定的虚拟流。
155.所述布局单元441，还用于在基于第一服务器发送的会控操作信息所包括的至少一个会控场景信息和与所述至少一个会控场景对应的媒体流信息，确定显示在所述终端设备的目标会控场景之前，确认所述至少一个会控场景的会控场景系数，和/或所述至少一个会控场景对应的媒体流的媒体流系数。
156.所述布局单元441，具体用于基于所述会控操作信息包括的至少一个会控场景系数和与所述至少一个会控场景对应的媒体流系数，确定所述终端设备待显示的至少一个会控场景的优先级；基于优先级由高到底，对所述终端设备待显示的至少一个会控场景排序，获得排序结果；基于所述排序结果，确定显示在所述终端设备的目标会控场景。
157.所述布局单元441，具体用于响应于所述至少一个会控场景信息中，第一会控场景对应的媒体流包括所述至少一个会控场景信息中第二会控场景的媒体流，则确定所述第一会控场景的会控场景系数为所述第二会控场景的会控场景系数；确定所述第一会控场景的优先级为所述第二会控场景的会控场景系数与所述第二会控场景对应的媒体流系数之和；或者，响应于所述至少一个会控场景信息中，第一会控场景对应的媒体流不包括所述至少一个会控场景信息中第二会控场景的媒体流，则确定所述第一会控场景的优先级为所述第一会控场景的会控场景系数。
158.所述布局单元441，在基于所述至少一个会控场景对应的媒体流信息，向第二服务器发送媒体流订阅请求信息之前或之后，还用于基于所述目标会控场景中各区域的比例，确定各区域对应的媒体流的传输码率；向所述第一服务器发送所述各区域对应的媒体流的传输码率；以使所述第一服务器在所述虚拟流配置信息中添加所述各区域对应的媒体流的传输码率。
159.所述第一发送单元442，在基于所述至少一个会控场景对应的媒体流信息，向第二服务器发送媒体流订阅请求信息之前或之后，还用于向所述第二服务器发送所述终端设备对应的视频流和音频流；其中，所述终端设备对应的视频流包括所述终端设备采集的视频，所述终端设备对应的音频流包括所述终端设备采集的音频。
160.图13示出了本公开实施例提供的第二服务器的可选结构示意图，将根据各个部分进行说明。
161.在一些实施例中，所述第二服务器430包括第一接收单元431、生成单元432和第二发送单元433。
162.所述第一接收单元431，用于接收至少一个终端设备发送的视频流；所述生成单元432，用于基于第一服务器发送的虚拟流配置信息，和/或所述至少一个终端设备发送的视频流，生成与所述虚拟流配置信息对应的至少一个虚拟流；所述第二发送单元433，用于基于终端设备发送的媒体流订阅请求信息，向所述终端设备发送与所述媒体流订阅请求信息对应的至少一个媒体流；其中，所述媒体流包括至少一个终端设备对应的视频流和音频流，和/或与所述虚拟流配置信息对应的虚拟流。
163.所述生成单元432，具体用于针对所述虚拟流配置信息对应的每一个原始媒体流标识执行以下操作：基于所述虚拟流配置信息中包括的原始媒体流标识，确定与所述原始媒体流标识对应的终端设备发送的第一视频流；响应于接收所述第一视频流的第一标识帧，将所述第一视频流的原始媒体流标识替换为所述虚拟流配置信息中包括的虚拟流标识；更新所述第一视频流的帧元数据；确定替换所述原始媒体流标识，且更新所述帧元数据的视频流为与所述虚拟流配置信息对应的虚拟流。
164.所述生成单元432，具体用于更新所述第一视频流中至少一帧的帧序列号；和/或，更新所述第一视频流中，至少一帧的帧时间戳。
165.所述生成单元432，还用于响应于未接收所述第一视频流，基于预设帧生成所述虚拟流配置信息对应的至少一个虚拟流。
166.所述第二发送单元433，具体用于基于所述虚拟流配置信息，确定至少一个媒体流的传输码率；基于所述媒体流订阅请求信息中的虚拟流标识和/或所述虚拟流标识对应的虚拟流的传输码率，向所述终端设备发送与所述虚拟流标识对应的虚拟流；或者，基于所述媒体流订阅请求信息中的原始媒体流标识和/或所述原始媒体流标识对应的视频流的传输码率，向所述终端设备发送与所述原始媒体流标识对应的第一视频流。
167.图14示出了本公开实施例提供的第一服务器的可选结构示意图，将根据各个部分
进行说明。
168.在一些实施例中，所述第一服务器420包括第三发送单元421。
169.所述第三发送单元421，用于向至少一个终端设备发送会控操作信息，以使所述至少一个终端设备基于所述会控操作信息包括的至少一个会控场景信息和与所述至少一个会控场景对应的媒体流信息，确定显示在所述终端设备的目标会控场景；向第二服务器发送虚拟流配置信息，以使所述第二服务器基于所述虚拟流配置信息和至少一个终端设备对应的视频流和音频流确定对应的虚拟流。
170.在一些实施例中，所述第一服务器420包括处理单元422。
171.所述处理单元422，用于接收第一设备发送的会控信息；接收终端设备发送的所述终端设备中各区域对应的媒体流的传输码率；基于所述会控信息，生成所述会控操作信息；基于所述会控信息和/或所述传输码率，生成所述虚拟流配置信息；其中，所述会控信息包括会议目标会控场景的参数信息。
172.根据本公开的实施例，本公开还提供了一种电子设备和一种可读存储介质。
173.图15示出了可以用来实施本公开的实施例的示例电子设备800的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
174.如图15所示，电子设备800包括计算单元801，其可以根据存储在只读存储器（rom）802中的计算机程序或者从存储单元808加载到随机访问存储器（ram）803中的计算机程序，来执行各种适当的动作和处理。在ram 803中，还可存储设备800操作所需的各种程序和数据。计算单元801、rom 802以及ram 803通过总线804彼此相连。输入/输出（i/o）接口805也连接至总线804。
175.电子设备800中的多个部件连接至i/o接口805，包括：输入单元806，例如键盘、鼠标等；输出单元807，例如各种类型的显示器、扬声器等；存储单元808，例如磁盘、光盘等；以及通信单元809，例如网卡、调制解调器、无线通信收发机等。通信单元809允许设备800通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
176.计算单元801可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元801的一些示例包括但不限于中央处理单元（cpu）、图形处理单元（gpu）、各种专用的人工智能（ai）计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器（dsp）、以及任何适当的处理器、控制器、微控制器等。计算单元801执行上文所描述的各个方法和处理，例如数据处理方法。例如，在一些实施例中，数据处理方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元808。在一些实施例中，计算机程序的部分或者全部可以经由rom 802和/或通信单元809而被载入和/或安装到设备800上。当计算机程序加载到ram 803并由计算单元801执行时，可以执行上文描述的数据处理方法的一个或多个步骤。备选地，在其他实施例中，计算单元801可以通过其他任何适当的方式（例如，借助于固件）而被配置为执行数据处理方法。
177.本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电
路系统、场可编程门阵列（fpga）、专用集成电路（asic）、专用标准产品（assp）、芯片上系统的系统（soc）、负载可编程逻辑设备（cpld）、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
178.用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
179.在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器（ram）、只读存储器（rom）、可擦除可编程只读存储器（eprom或快闪存储器）、光纤、便捷式紧凑盘只读存储器（cd-rom）、光学储存设备、磁储存设备、或上述内容的任何合适组合。
180.为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置（例如，crt（阴极射线管）或者lcd（液晶显示器）监视器）；以及键盘和指向装置（例如，鼠标或者轨迹球），用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈（例如，视觉反馈、听觉反馈、或者触觉反馈）；并且可以用任何形式（包括声输入、语音输入或者、触觉输入）来接收来自用户的输入。
181.可以将此处描述的系统和技术实施在包括后台部件的计算系统（例如，作为数据服务器）、或者包括中间件部件的计算系统（例如，应用服务器）、或者包括前端部件的计算系统（例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互）、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信（例如，通信网络）来将系统的部件相互连接。通信网络的示例包括：局域网（lan）、广域网（wan）和互联网。
182.计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。
183.应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，
只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
184.此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或隐含地包括至少一个该特征。在本公开的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
185.以上所述，仅为本公开的具体实施方式，但本公开的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应以所述权利要求的保护范围为准。