一种多用户视频通话方法及装置与流程

1.本技术实施例涉及通信技术领域，尤其涉及一种多用户视频通话方法及装置。


背景技术：

2.长期演进语音承载(voice over long term evolution，volte)是架构在第四代(the 4th generation，4g)网络上全ip条件下的端到端语音方案。volte使得用户之间通信时，接通等待时间更短，并且语音视频通话质量更高。
3.在基于volte的多用户视频通话的场景中，不同的用户的视频画面大小同比例分块呈现，无法区分关键用户，不利于用户体验。


技术实现要素：

4.本技术实施例提供一种多用户视频通话方法及装置，以实现多用户视频通话过程中区分关键用户，提高用户体验。
5.第一方面，本技术实施例提供一种多用户视频通话方法，包括：在n个终端设备的用户进行视频通话的过程中，媒体服务器接收n个终端设备的用户视频，n≥2；媒体服务器接收应用服务器发送的第一消息，第一消息用于确定第一终端设备的主窗口的显示对象为第二终端设备的用户视频，第一终端设备和第二终端设备为n个终端设备中的两个终端设备；然后，媒体服务器根据接收到的第一消息对n个终端设备的用户视频进行视频处理，进一步地，向第一终端设备发送视频处理后的n个终端设备的用户视频，视频处理后的第二终端设备的用户视频的分辨率高于视频处理后的n个终端设备中除第二终端设备以外的其它终端设备的分辨率。一种方式中，媒体服务器可以通过第一终端设备对应的第一会话边界控制器sbc向第一终端设备发送视频处理后的n个终端设备的用户视频。另一种方式中，媒体服务器可以通过第一会话边界控制器sbc将作为主窗口显示对象的第二终端设备的用户视频发送给第一终端设备，可以通过媒体服务器与第一终端设备之间创建的辅助视频通道，将其它终端设备的用户视频发送给第一终端设备。上述方案中，媒体服务器接收应用服务器确定的终端设备的主窗口显示对象，进而能够媒体流中的用户视频进行处理，使得主窗口显示的用户视频的分辨率高于其它用户视频的分辨率。既能够实现区分主窗口，并且使得主窗口的画质更清晰，提高用户体验。
6.需要说明的是，终端设备的用户视频可以终端设备的摄像头采集的图像，或者可以是终端设备的用户头像(用户头像可以是用户预设置的)，还可以是终端设备所显示的文档等。
7.在一种可能的设计中，所述媒体服务器根据第一消息对n个终端设备的用户视频进行视频处理，包括：将根据所述第一消息确定的第二终端设备的用户视频的分辨率提高为第一分辨率；或者，根据所述第一消息将所述n个终端设备中除所述第二终端设备以外的其它终端设备的用户视频的分辨率降低为第二分辨率，所述第二分辨率低于所述第一分辨率；或者，将根据所述第一消息确定的第二终端设备的用户视频的分辨率提高为第一分辨
率，并将所述n个终端设备中除所述第二终端设备以外的其它终端设备的用户视频的分辨率降低为第二分辨率。
8.上述设计中示例性地提供三种可能的对用户视频进行视频处理的方案，以简化方案。
9.在一种可能的设计中，媒体服务器可以根据当前的网络传输状况来确定作为主窗口显示对象的第二终端设备的分辨率和其它终端设备的分辨率。
10.在一种可能的设计中，所述第一消息携带第一标识，所述第一标识用于标识所述第一终端设备的主窗口的显示对象为第二终端设备的用户视频。可选地，该第一标识所标识的主窗口的显示对象可以是第一终端设备的用户选择的。
11.可选地，媒体服务器接收应用服务器发送的第二消息，所述第二消息携带第三标识，所述第三标识用于标识在所述n个终端设备的用户进行视频通话过程中，当前说话方为所述第三终端设备的用户，所述第三终端设备为所述n个终端设备中除所述第二终端设备以外的一个终端设备；媒体服务器确定所述第一终端设备的主窗口的显示对象为所述第一标识所标识的所述第二终端设备的用户视频。在用户选择的主窗口显示对象与确定的当前说话方不为同一终端设备的用户时，将用户选择的终端设备的用户视频作为主窗口的显示对象。
12.在一种可能的设计中，所述第一消息携带第二标识，所述第二标识用于标识在所述n个终端设备的用户进行视频通话过程中，当前说话方为所述第二终端设备的用户；所述媒体服务器根据所述第一消息对n个终端设备的用户视频进行视频处理之前，还包括：
13.所述媒体服务器确定所述第一终端设备的主窗口的显示对象为所述第二标识所标识的所述第二终端设备的用户视频。
14.需要说明的是，在多用户视频通话过程中，如果仅一个用户在说话，则该用户为当前说话方。如果多个用户同时在说话，则当前说话方可以是音量最大的用户。
15.可选地，媒体服务在确定未保存用于指示第一终端设备的用户选择的主窗口显示对象的信息时，确定所述第一终端设备的主窗口的显示对象为所述第二标识所标识的所述第二终端设备的用户视频。
16.在一种可能的设计中，所述方法还包括：所述媒体服务器向第一终端设备发送指示信息，所述指示信息用于指示所述第一终端设备的主窗口的显示对象为所述第二终端设备的用户视频。
17.第二方面，本技术实施例提供一种多用户视频通话方法，包括：在n个终端设备的用户进行视频通话的过程中，应用服务器接收来自第一终端设备的第一消息，所述第一消息携带第一标识，所述第一标识用于标识所述第一终端设备选择的主窗口的显示对象为第二终端设备的用户视频；所述第一终端设备和所述第二终端设备为所述n个终端设备中的两个终端设备；所述应用服务器向所述第一终端设备对应的增强现实媒体服务器发送第二消息，所述第二消息携带所述第一标识。第二消息可以用于所述媒体服务器为所述第一终端设备确定主窗口的显示对象。上述设计提供用户根据需求选择主窗口的显示对象，能够区分关键用户，提高用户体验。
18.在一种可能的设计中，所述方法还包括：所述应用服务器接收所述n个终端设备发送的n个第一数据，每个第一数据用于表征发送所述第一数据的终端设备的用户音量；所述
应用服务器根据所述n个第一数据确定第二终端设备的用户为当前说话方，所述第二终端设备的用户音量高于所述n个终端设备中除所述第二终端设备以外的其它终端设备的用户音量；所述应用服务器分别向所述n个终端设备对应的媒体服务器发送第三消息，所述第三消息携带第二标识，所述第二标识用于标识当前说话方为所述第二终端设备的用户。
19.上述设计中，由应用服务器根据每个终端设备发送的表征用户音量的第一数据来确定音量最大的用户确定为说话方。
20.第三方面，本技术实施例提供一种多用户视频通话方法，包括：应用服务器接收n个终端设备发送的n个第一数据，第一终端设备发来的第一数据用于表征所述第一终端设备的用户音量；所述应用服务器根据所述n个第一数据确定第二终端设备，所述第二终端设备的用户音量高于所述n个终端设备中除所述第二终端设备以外的其它终端设备的用户音量，所述第一终端设备和所述第二终端设备为所述n个终端设备中的两个终端设备；所述应用服务器向所述第一终端设备对应的媒体服务器发送第一消息，所述第一消息携带第一标识，所述第一标识用于标识当前说话方为所述第二终端设备的用户。第一消息用于根据第一标识确定第一终端设备的主窗口的显示对象。比如当前说话方为第一终端设备的主窗口显示对象，则认为第一标识用于标识第一终端设备的主窗口显示对象为第二终端设备的用户。
21.示例性地，第一数据中可以包括所述第一终端设备的用户音量信息，以及第一终端设备的标识或者第一终端设备的用户编号。
22.上述设计中，多用户视频通话过程中，说话方发生变化时，各个终端设备的主窗口显示对象跟随说话方的变化来变化，用户能够及时知道当前的说话方，提升用户体验。
23.第四方面，本技术实施例提供一种多用户视频通话方法，包括：响应于第一终端设备的用户的第一操作，确定用户选择的主窗口的显示对象为第二终端设备的用户视频；所述第一终端设备向应用服务器发送第一标识，所述第一标识用于标识所述用户选择的主窗口的显示对象为第二终端设备的用户视频，所述第一终端设备和所述第二终端设备为进行视频通话的n个终端设备中的两个终端设备，n为大于或等于2的整数；所述第一终端设备接收所述第一sbc发送的所述n个终端设备的用户视频，所述n个终端设备的用户视频中所述第二终端设备的用户视频的分辨率高于所述n个终端设备中除所述第二终端设备以外的n-1个终端设备的用户视频的分辨率；所述第一终端设备在主窗口显示所述第一sbc发来的n个终端设备的用户视频中所述第二终端设备的用户视频。
24.上述方案中，用户根据需求选择主窗口的显示对象，进而能够在第一终端设备的主窗口显示用户选择的第二终端设备的用户视频。另外，主窗口显示的用户视频的分辨率高于其它用户视频的分辨率。既能够实现区分主窗口，并且使得主窗口的画质更清晰，提升用户体验。
25.在一种可能的设计中，所述方法还包括：所述第一终端设备在n-1子窗口显示经过处理的所述n个终端设备中除所述第二终端设备以外的n-1个终端设备的用户视频。
26.在一种可能的设计中，所述主窗口的尺寸大于所述n-1子窗口的尺寸。通过上述设计，主窗口的尺寸大于其它子窗口的尺寸，以突出关键用户，提升用户体验。
27.在一种可能的设计中，所述方法还包括：响应于所述第一终端设备的用户在所述第一界面上触发的第二操作，确定用户取消选择的主窗口的显示对象为第二终端设备的用
户视频；确定当前说话方为第一终端设备的用户时，在所述主窗口显示所述第一终端设备的用户视频。
28.在一种可能的设计中，所述方法还包括：所述第一终端设备向应用服务器发送第一数据，所述第一数据用于表征所述第一终端设备的用户音量，所述第一数据用于确定所述第一终端设备的主窗口的显示对象；所述确定当前说话方为第一终端设备的用户，包括：接收媒体服务器发送的指示信息，所述指示信息用于指示所述第一终端设备的主窗口的显示对象为所述第一终端设备的用户视频，所述第一终端设备的用户音量高于所述n个终端设备中除所述第一终端设备以外的其它终端设备的用户音量。
29.第五方面，本技术实施例提供一种多用户视频通话方法，包括：显示n个终端设备的用户进行视频通话的通话界面，所述通话界面包括主窗口，所述主窗口显示n个终端设备中第一终端设备的用户视频；确定当前说话方由第一终端设备的用户更新为第二终端设备的用户；将所述通话界面中主窗口由显示第一终端设备的用户视频切换为显示第二终端设备的用户视频。
30.上述设计中，多用户视频通话过程中，说话方发生变化时，各个终端设备的主窗口显示对象跟随说话方的变化来变化，用户能够及时知道当前的说话方，提升用户体验。
31.在一种可能的设计中，所述通话界面还包括n-1个子窗口，所述方法还包括：所述通话界面中的n-1个子窗口显示所述n个终端设备中除所述第二终端设备以外的n-1个终端设备的用户视频。
32.在一种可能的设计中，所述方法还包括：向应用服务器发送第一数据，所述第一数据用于表征所述第一终端设备的用户音量，所述第一数据用于确定所述第一终端设备的主窗口的显示对象；确定当前说话方由第一终端设备的用户更新为第二终端设备的用户，包括：接收媒体服务器发送的指示信息；当所述指示信息指示所述第一终端设备的主窗口的显示对象为所述第二终端设备的用户视频，则当前说话方为第二终端设备的用户。
33.在一种可能的设计中，所述第一数据是根据在第一时长内所采集的所述第一终端设备的用户的声音信号确定的。
34.在一种可能的设计中，还包括：在当前说话方由第一终端设备的用户更新为第二终端设备的用户时，接收所述第一终端设备对应的第一会话边界控制器sbc发送的所述n个终端设备的用户视频，所述第一sbc发来的n个终端设备的用户视频中所述第二终端设备的用户视频的分辨率高于所述n个终端设备中除所述第二终端设备以外的n-1个终端设备的用户视频的分辨率；将所述通话界面中主窗口由显示第一终端设备的用户视频切换为显示第二终端设备的用户视频，包括：在所述通话界面的主窗口显示所述第一sbc发来的n个终端设备的用户视频中所述第二终端设备的用户视频。
35.第六方面，本技术实施例还提供了一种通信装置，所述通信装置应用于媒体服务器，有益效果可以参见第一方面的描述此处不再赘述。该装置具有实现上述第一方面的方法实例中行为的功能。所述功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。所述硬件或软件包括一个或多个与上述功能相对应的模块。在一个可能的设计中，所述装置的结构中可以包括通信单元和处理单元，这些单元可以执行上述第一方面方法示例中的相应功能，具体参见方法示例中的详细描述，此处不做赘述。比如，通信单元用于接收所述n个终端设备的用户视频，以及接收应用服务器发送的第一消息，处理单元用于根据所述第
一消息对所述n个终端设备的用户视频进行视频处理。
36.第七方面，本技术实施例还提供了一种通信装置，所述装置应用于应用服务器，有益效果可以参见第二方面或第三方面的描述此处不再赘述。该装置具有实现上述第二方面或第三方面的方法实例中行为的功能。所述功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。所述硬件或软件包括一个或多个与上述功能相对应的模块。在一个可能的设计中，所述装置的结构中包括通信单元和处理单元，这些单元可以执行上述第二方面或者第三方面方法示例中的相应功能，具体参见方法示例中的详细描述，此处不做赘述。
37.第八方面，本技术实施例还提供了一种通信装置，所述装置应用于所述终端设备，有益效果可以参见第四方面或第五方面的描述此处不再赘述。该装置具有实现上述第四方面或第五方面的方法实例中行为的功能。所述功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。所述硬件或软件包括一个或多个与上述功能相对应的模块。在一个可能的设计中，所述装置的结构中包括显示单元、通信单元和处理单元，这些单元可以执行上述第四方面或第五方面方法示例中的相应功能，具体参见方法示例中的详细描述，此处不做赘述。
38.第九方面，本技术实施例还提供了一种通信装置，所述装置应用于所述媒体服务器，有益效果可以参见第一方面的描述此处不再赘述。所述通信装置的结构中包括处理器和通信接口，还可以包括存储器，所述处理器被配置为支持所述媒体服务器通过通信接口执行上述第一方面方法中相应的功能。所述存储器与所述处理器耦合，其保存所述通信装置必要的程序指令和数据。
39.第十方面，本技术实施例还提供了一种通信装置，所述装置应用于所述应用服务器，有益效果可以参见第二方面或第三方面的描述此处不再赘述。所述装置的结构中包括处理器和通信接口，还可以包括存储器，所述处理器被配置为支持所述应用服务器通过通信接口执行上述第二方面或第三方面方法中相应的功能。所述存储器与所述处理器耦合，其保存所述装置必要的程序指令和数据。
40.第十一方面，本技术实施例还提供了一种通信装置，所述装置应用于所述终端设备，有益效果可以参见第四方面或第五方面的描述此处不再赘述。所述装置的结构中包括显示屏、处理器和通信接口，还可以包括存储器，所述处理器被配置为支持所述终端设备通过通信接口和显示屏执行上述第四方面或第五方面方法中相应的功能。所述存储器与所述处理器耦合，其保存所述装置必要的程序指令和数据。
41.第十二方面，本技术还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述任一方面所述的方法。
42.第十三方面，本技术还提供一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述任一方面所述的方法。
43.第十四方面，本技术还提供一种计算机芯片，所述芯片与存储器相连，所述芯片用于读取并执行所述存储器中存储的软件程序，执行上述任一方面所述的方法。
附图说明
44.图1为本技术实施例中一种多用户视频通话系统架构示意图；
45.图2为本技术实施例中另一种可能的多用户视频通话系统架构示意图；
enabler具体较强的图像处理功能以及数据计算功能，能够采用ar技术对接收到的媒体流执行逻辑运算、画面渲染、虚拟景象合成等操作。ar媒体服务器可以是以容器服务的形式部署。ar媒体服务器还可以通过一个或者虚拟机来实现。ar媒体服务器也可以包括一个或者处理器，或者通过一个或者多个计算机来实现，比如超多核计算机、部署有图形处理器(graphics processing unit，gpu)集群的计算机、大型的分布式计算机、硬件资源池化的集群计算机等等。sbc用于对终端设备的会话进行管理或控制。sbc包括信令面功能以及媒体面功能，例如可以用于接收来自其管理的终端设备的媒体流，并将从终端设备接收的媒体流发送给ar媒体服务器。ar媒体服务器用于对接收到的上行媒体流进行媒体处理得到下行视频流。上行媒体流包括来自终端设备的媒体流，在多用户视频通话场景中，上行媒体流可以包括来自多个终端设备的媒体流。下行视频流可以由ar媒体服务器通过sbc发送给对应的终端设备。终端设备是具有视频通话功能的设备，例如可以是配置有摄像头的终端设备。示例性地，终端设备可以是可穿戴设备(例如电子手表)，终端设备还可以是手机、平板电脑等设备。本技术实施例对终端设备的具体形式不作特殊限制。
63.图1中以4个sbc为例，分别为sbc1、sbc2、sbc3和sbc4。不同的sbc管理不同的终端上设备。作为一种示例，sbc1管理第一终端设备、sbc2管理第二终端设备、sbc3管理第三终端设备以及sbc4管理第四终端设备。不同终端设备也可以由同一个sbc来管理，比如sbc1还可以用于管理第五终端设备(图1中未示出)。sbc部署于边缘节点。三个sbc分别部署于不同的边缘节点上。ar媒体服务器可以部署于边缘节点上，也可以部署于中心节点上。图1以ar媒体服务器与sbc部署于边缘节点为例。图1中以4个ame为例，分别为ame 1、ame 2以及ame 3。边缘节点相比中心节点来说，更靠近终端设备的用户，为这些用户提供边缘计算服务、转发服务等等，降低响应时延和带宽成本，减轻中心节点的压力。可选地，中心节点和边缘节点可以部署于云上，在该请况下，中心节点可以称为中心云，边缘节点可以称为边缘云。为了区分，在图1中，sbc 1和ame 1部署于第一边缘云，sbc 2和ame 2部署于第二边缘云，sbc 3和ame 3部署于第三边缘云，sbc 4和ame 4部署于第四边缘云。以第一终端设备、第二终端设备、第三终端设备和第四设备之间进行多用户视频通话为例，第一边缘云为第一终端设备提供服务，第二边缘云为第二终端设备提供服务，第三边缘云为第三终端设备提供服务，第四边缘云为第四终端设备提供服务。示例性地，边缘节点也可以是移动边缘计算(mobile edge computing，mec)节点。应理解的是，边缘云可以为多个终端设备提供服务，即多个终端设备归属于一个边缘云。图1仅以4个终端设备归属于不同的边缘云。作为一种示例，系统中还包括第五终端设备，第五终端设备归属于第一边缘云(图1中未示出)。
64.需要说明的是，ar媒体服务器和sbc的功能在边缘云中可以合并部署，也可以分开独立部署，本技术实施例对此不作限定。
65.示例性地，通话系统还可以包括应用服务器。应用服务器用于在终端设备的触发下建立视频通话，比如以上述第一终端设备、第二终端设备和第三终端设备之间进行视频通话为例，应用服务器接收来自第一终端设备的信息(比如第一终端设备的用户选择的主窗口的显示对象)或数据(比如用于表征终端设备的用户说话的音量大小的数据)，应用服务器对接收到的信息或数据进行相应处理后发送给ar媒体服务器；从而ar媒体服务器能够确定对应的终端设备的主窗口的显示对象，进而ar媒体服务器根据确定终端设备的主窗口的显示对象来对上行媒体流进行处理。
66.可选地，参见图1所示，应用服务器可以包括媒体插件服务功能，也可以简称为插件服务(plugin service)或者称为插件服务器(plugin server)。应用服务器还包括应用服务功能(app service，as)。媒体插件服务功能，用于与终端设备进行交互。在多用户视频通话产场景中，接收来自多个终端设备触发的信息或者数据，并对接收到的信息或数据进行相应处理得到不同的终端设备的处理后信息或数据，并将不同的终端设备的处理后信息或数据发送给应用服务功能。应用服务功能用于与ar媒体服务器交互，将媒体插件服务功能针对不同的终端设备的处理后数据或信息分别发送给不同的终端设备对应的ar媒体服务器。从而ar媒体服务器能够确定对应的终端设备的主窗口的显示对象，进而ar媒体服务器根据确定终端设备的主窗口的显示对象来对上行媒体流进行处理。
67.需要说明的是，媒体插件服务功能与as在部署时，可以分别独立部署，还可以合并部署，比如媒体插件服务功能与as通过一个设备来实现，或者通过一个或者多个虚拟机来实现。
68.可选地，中心云还可以部署ip多媒体系统(ip multimedia subsystem，ims)核心网(core)。ims core中可以包括呼叫会话控制功能(call session control function，cscf)和归属签约用户服务器(home subscriber server，hss)，ims core还可以包括其它网元，本技术实施例中不再赘述。cscf是ims core的呼叫控制中心，是在ip传输平台上实现用户接入，鉴权、会话路由和业务触发等功能。cscf可以包括服务-呼叫会话控制功能(serving-call session control function，s-cscf)、代理-cscf(proxy cscf，p-cscf)、查询-cscf(interrogating-cscf，i-cscf)中的一个或多个。hss用于记录用户的签约数据(比如用户信息、业务数据)。参见图1所示，sbc(包括sbc1、sbc2和sbc3)提供接入网与ims核心网之间以及ims核心网之间的边界控制功能，能够提供接入控制、服务质量(quality of service)控制以及防火墙穿越等功能。
69.可选地，在终端设备中可以部署端侧控件(可以称为端侧plugin)。端侧控件用于与网络侧的媒体插件服务功能进行消息交互。端侧控件还可以与ar media enabler之间建立辅助传输通道。其中辅助传输通道用于终端设备向ar media enabler发送辅助媒体流或者用于ar media enabler向终端设备发送辅助媒体流。示例性地，辅助媒体流可以包括子窗口需要显示的用户视频。辅助媒体流还可以包括点云数据、空间数据(也可以称为空间位姿数据)、用户视角视频或虚拟模型中的一项或者多项。点云数据是指以点的形式记录的数据，每个点可以包括空间位置信息，还可以包含颜色信息或者反射强度信息等。空间数据也可以称为几何数据，它用来表示物体的位置、形态、大小分布等各方面的信息，是对现世界中存在的具有定位意义的事物和现象的定量描述。虚拟模型，比如可以包括虚拟人像模型、虚拟物体模型以及素材图像(比如贴纸、卡通头像等)、或者虚拟动画模型等中的一项或多项。用户视角视频，比如可以是在用户通过终端设备的后置摄像头采集到的视频，或者通过终端设备的前置摄像头采集到的视频。
70.可选地，通话系统中还可以包括选择转发单元(selective forwarding unit，sfu)。sfu用于不同的边缘云的媒体流的转发。
71.作为一种示例，ar媒体服务器可以部署于中心云中，参见图2所示。该ar媒体服务器为不同的终端设备提供服务。
72.需要说明的是，不同的终端设备所对应的边缘节点可能相同，也可能不同。另外不
同的终端设备对应的中心节点可能相同，也可能不同。不同的终端设备所对应的ar媒体服务器可能不同，也可能相同。不同的终端所对应的cscf可能相同，也可能不同。
73.本技术实施例中涉及的终端设备，比如第一终端设备-第四终端设备均支持多用户的视频通话，比如支持volte或者安装有社交应用(application，app)。终端设备可以是向用户提供拍摄视频以及数据连通性的设备。比如：移动电话(或称为“蜂窝”电话)、智能手机，可以是便携式、袖珍式、手持式、可穿戴设备(如智能手表等)、平板电脑、个人电脑(pc，personal computer)、车载电脑等。
74.图3示出了终端设备的一种可选的硬件结构示意图。
75.终端设备可以包括处理器110，外部存储器接口120，内部存储器121，通用串行总线(universal serial bus，usb)接口130，充电管理模块140，电源管理模块141，电池142，天线1，天线2，移动通信模块150，无线通信模块160，音频模块170，扬声器170a，受话器170b，麦克风170c，耳机接口170d，传感器模块180，按键190，马达191，指示器192，摄像头193，显示屏194，以及用户标识模块(subscriber identification module，sim)卡接口195等。其中传感器模块180可以包括压力传感器，陀螺仪传感器，气压传感器，磁传感器，加速度传感器，距离传感器，接近光传感器，指纹传感器，温度传感器，触摸传感器等。
76.可以理解的是，本实施例示意的结构并不构成对终端设备的具体限定。在本技术另一些实施例中，终端设备可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。
77.处理器110可以包括一个或多个处理单元，例如：处理器110可以包括应用处理器(application processor，ap)，调制解调处理器，图形处理器(graphics processing unit，gpu)，图像信号处理器(image signal processor，isp)，控制器，视频编解码器，数字信号处理器(digital signal processor，dsp)，基带处理器，和/或神经网络处理器(neural-network processing unit，npu)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。
78.控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。
79.处理器110中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据，可从所述存储器中直接调用。避免了重复存取，减少了处理器110的等待时间，因而提高了系统的效率。
80.在一些实施例中，处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit，i2c)接口，集成电路内置音频(inter-integrated circuit sound，i2s)接口，脉冲编码调制(pulse code modulation，pcm)接口，通用异步收发传输器(universal asynchronous receiver/transmitter，uart)接口，移动产业处理器接口(mobile industry processor interface，mipi)，通用输入输出(general-purpose input/output，gpio)接口，用户标识模块(subscriber identity module，sim)接口，和/或通用串行总线(universal serial bus，usb)接口等。
81.usb接口130是符合usb标准规范的接口，具体可以是mini usb接口，micro usb接
口，usb type c接口等。usb接口130可以用于连接充电器为终端设备充电，也可以用于终端设备与外围设备之间传输数据。也可以用于连接耳机，通过耳机播放音频。该接口还可以用于连接其他终端设备，例如ar设备等。
82.可以理解的是，本发明实施例示意的各模块间的接口连接关系，只是示意性说明，并不构成对终端设备的结构限定。在本技术另一些实施例中，终端设备也可以采用上述实施例中不同的接口连接方式，或多种接口连接方式的组合。
83.充电管理模块140用于从充电器接收充电输入。其中，充电器可以是无线充电器，也可以是有线充电器。在一些有线充电的实施例中，充电管理模块140可以通过usb接口130接收有线充电器的充电输入。在一些无线充电的实施例中，充电管理模块140可以通过终端设备的无线充电线圈接收无线充电输入。充电管理模块140为电池142充电的同时，还可以通过电源管理模块141为终端设备供电。
84.电源管理模块141用于连接电池142，充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入，为处理器110，内部存储器121，显示屏194，摄像头193，和无线通信模块160等供电。电源管理模块141还可以用于监测电池容量，电池循环次数，电池健康状态(漏电，阻抗)等参数。在其他一些实施例中，电源管理模块141也可以设置于处理器110中。在另一些实施例中，电源管理模块141和充电管理模块140也可以设置于同一个器件中。
85.终端设备的无线通信功能可以通过天线1，天线2，移动通信模块150，无线通信模块160，调制解调处理器以及基带处理器等实现。
86.天线1和天线2用于发射和接收电磁波信号。终端设备中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用，以提高天线的利用率。例如：可以将天线1复用为无线局域网的分集天线。在另外一些实施例中，天线可以和调谐开关结合使用。
87.移动通信模块150可以提供应用在终端设备上的包括2g/3g/4g/5g等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器，开关，功率放大器，低噪声放大器(low noise amplifier，lna)等。移动通信模块150可以由天线1接收电磁波，并对接收的电磁波进行滤波，放大等处理，传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大，经天线1转为电磁波辐射出去。在一些实施例中，移动通信模块150的至少部分功能模块可以被设置于处理器110中。在一些实施例中，移动通信模块150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。
88.调制解调处理器可以包括调制器和解调器。其中，调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后，被传递给应用处理器。应用处理器通过音频设备(不限于扬声器170a，受话器170b等)输出声音信号，或通过显示屏194显示图像或视频。在一些实施例中，调制解调处理器可以是独立的器件。在另一些实施例中，调制解调处理器可以独立于处理器110，与移动通信模块150或其他功能模块设置在同一个器件中。
89.无线通信模块160可以提供应用在终端设备上的包括无线局域网(wireless local area networks，wlan)(如无线保真(wireless fidelity，wi-fi)网络)，蓝牙(bluetooth，bt)，全球导航卫星系统(global navigation satellite system，gnss)，调频
(frequency modulation，fm)，近距离无线通信技术(near field communication，nfc)，红外技术(infrared，ir)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波，将电磁波信号调频以及滤波处理，将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号，对其进行调频，放大，经天线2转为电磁波辐射出去。
90.在一些实施例中，终端设备的天线1和移动通信模块150耦合，天线2和无线通信模块160耦合，使得终端设备可以通过无线通信技术与网络以及其他设备通信。所述无线通信技术可以包括全球移动通讯系统(global system for mobile communications，gsm)，通用分组无线服务(general packet radio service，gprs)，码分多址接入(code division multiple access，cdma)，宽带码分多址(wideband code division multiple access，wcdma)，时分码分多址(time-division code division multiple access，td-scdma)，长期演进(long term evolution，lte)，bt，gnss，wlan，nfc，fm，和/或ir技术等。所述gnss可以包括全球卫星定位系统(global positioning system，gps)，全球导航卫星系统(global navigation satellite system，glonass)，北斗卫星导航系统(beidou navigation satellite system，bds)，准天顶卫星系统(quasi-zenith satellite system，qzss)和/或星基增强系统(satellite based augmentation systems，sbas)。
91.终端设备通过gpu，显示屏194，以及应用处理器等实现显示功能。gpu为图像处理的微处理器，连接显示屏194和应用处理器。gpu用于执行数学和几何计算，用于图形渲染。处理器110可包括一个或多个gpu，其执行程序指令以生成或改变显示信息。
92.显示屏194用于显示图像，视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display，lcd)，有机发光二极管(organic light-emitting diode，oled)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrix organic light emitting diode的，amoled)，柔性发光二极管(flex light-emitting diode，fled)，miniled，microled，micro-oled，量子点发光二极管(quantum dot light emitting diodes，qled)等。在一些实施例中，终端设备可以包括1个或n1个显示屏194，n1为大于1的正整数。
93.终端设备可以通过isp，摄像头193，视频编解码器，gpu，显示屏194以及应用处理器等实现拍摄功能。
94.外部存储器接口120可以用于连接外部存储卡，例如micro sd卡，实现扩展终端设备的存储能力。外部存储卡通过外部存储器接口120与处理器110通信，实现数据存储功能。例如将音乐，视频等文件保存在外部存储卡中。
95.内部存储器121可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。内部存储器121可以包括存储程序区和存储数据区。其中，存储程序区可存储操作系统，至少一个功能所需的应用程序(比如相机应用)等。存储数据区可存储终端设备使用过程中所创建的数据(比如摄像头采集的图像等)等。此外，内部存储器121可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件，闪存器件，通用闪存存储器(universal flash storage，ufs)等。处理器110通过运行存储在内部存储器121的指令，和/或存储在设置于处理器中的存储器的指令，执行终端设备的各种功能应用以及数据处理。
96.终端设备可以通过音频模块170，扬声器170a，受话器170b，麦克风170c，耳机接口170d，以及应用处理器等实现音频功能。例如音乐播放，录音等。
97.按键190包括开机键，音量键等。按键190可以是机械按键。也可以是触摸式按键。终端设备可以接收按键输入，产生与终端设备的用户设置以及功能控制有关的键信号输入。
98.马达191可以产生振动提示。马达191可以用于来电振动提示，也可以用于触摸振动反馈。例如，作用于不同应用(例如拍照，音频播放等)的触摸操作，可以对应不同的振动反馈效果。作用于显示屏194不同区域的触摸操作，马达191也可对应不同的振动反馈效果。不同的应用场景(例如：时间提醒，接收信息，闹钟，游戏等)也可以对应不同的振动反馈效果。触摸振动反馈效果还可以支持自定义。
99.指示器192可以是指示灯，可以用于指示充电状态，电量变化，也可以用于指示消息，未接来电，通知等。
100.sim卡接口195用于连接sim卡。sim卡可以通过插入sim卡接口195，或从sim卡接口195拔出，实现和终端设备的接触和分离。终端设备可以支持1个或n3个sim卡接口，n3为大于1的正整数。
101.在n个用户视频通话的场景中，目前采用的方案是，不同的用户视频画面大小同比例分块呈现，参见图4所示，无法重点突出某个关键的用户。例如多用户的视频通话中，用户向重点观察某个视频通话中的用户画面，依据现有的方案是无法实现的。
102.本技术实施例中为了实现突出关键用户，可以采用如下两种方式中的任一种。n为大于或等于2的整数。
103.第一种可能的方式：用户通过终端设备的通话界面进行操作，选择主窗口所显示的终端设备的用户视频，能够根据需求切换主窗口所显示的终端设备的用户视频，不同的终端设备的用户选择的主窗口可以相同也可以不同。
104.第二种可能的方式，跟随说话方的变化来变化主窗口显示的终端设备的用户视频，即采用声音激励的方式，可以按照用户的音量大小来确定当前说话方。用户的音量，可以是用户说话的音量，当前用户也可能未发出声音，用户的音量为0。用户的音量大小可以统计第一时长内采集到的终端设备的用户的声音信号来确定。在用户未发出任何声音或者关闭麦克风的情况下，可能采集不到该用户的声音信号。
105.第三种可能的方式，既支持用户通过通话界面来选择主窗口，还支持采用声音激励的方式。用户选择的主窗口的显示对象的优先级高于通过声音激励的方式确定的主窗口的显示对象。
106.下面结合附图本技术实施例提供的方案进行详细说明。
107.先对第一种可能的方式进行说明，由用户通过在通话界面操作来实现主窗口显示对象的选择。后续描述时，以n为4为例，即4个用户进行视频通话为例，以用户1-用户4进行视频通话为例。用户1使用第一终端设备、用户2使用第二终端设备、用户3使用第三终端设备，用户4使用第四终端设备。
108.以用户1通过第一终端设备发起与用户2、用户3以及用户4进行视频通话，第一终端设备的显示屏显示通话界面，如图5中(a)所示。图5中(a)所示为一种可能的4个用户进行视频通话的通话界面示意图。通话界面中包括主窗口和3个子窗口。子窗口也可以称为副窗
口。子窗口的数量与参加视频通话的终端设备的数量相关。参与视频通话的终端设备的数量为n时，子窗口的数量可以为n-1。作为一种示例，在初始显示通话界面时，主窗口的显示对象可以是发起方的用户视频，可以理解为第一终端设备-第四终端设备上主窗口显示对象可以相同。进一步地，各个用户可以根据需求切换主窗口显示对象。
109.一种可能的实施方式中，不同的终端设备的主窗口显示对象可以不同，也就是不同的用户管理自身的主窗口的显示对象。以用户1为例，用户1可以根据需求在第一终端设备的通话界面上执行切换主窗口的显示对象的操作，来切换主窗口显示对象。用户1经过执行切换主窗口显示对象的操作，从而第一终端设备响应于用户1的切换主窗口显示对象的操作，将主窗口显示对象由第一终端设备的用户视频切换到第二终端设备的用户视频，即用户2的视频，比如参见图5中(b)所示。
110.比如，切换主窗口显示对象的操作可以是待切换终端设备的用户视频的子窗口中执行双击或者单击或者多击操作。再比如，切换主窗口显示对象的操作可以是滑动待切换终端设备的用户视频的显示窗口。又比如拖拽操作，将待切换终端设备的用户视频从子窗口拖拽到主窗口。
111.用户1执行的切换主窗口显示对象的操作不影响其它用户的终端设备的主窗口的显示对象的切换，参见图6所示。图6中以用户2执行的切换主窗口的显示对象为第三终端设备的用户视频，用户3和用户4未执行相应的切换主窗口显示对象的操作。
112.结合图1所示的架构对各个用户选择自身使用的终端设备的主窗口显示对象的流程进行说明。以用户1选择主窗口显示对象为例。参见图7所示。
113.s701，用户1根据需求在第一终端设备的通话界面上执行选择(获取切换)主窗口的显示对象的操作1，响应于用户1的操作1，确定用户1选择的主窗口显示对象为第二终端设备的用户视频。
114.作为一种示例，由第一终端设备中的端侧控件来实现步骤s701。即端侧控件响应于用户1的操作1，确定用户1选择的主窗口显示对象为第二终端设备的用户视频。
115.s702a，所述第一终端设备的端侧控件向应用服务器中插件服务发送消息1，消息1中携带第一标识，第一标识用于标识用户1选择的主窗口显示对象为第二终端设备的用户视频。比如，消息1可以是超文本传输协议(hypertext transfer protocol，http)消息。
116.s702b，插件服务向as发送第一标识。
117.第一种示例中，在多用户视频通话的呼叫连接建立完成后，第一终端设备可以对进行视频通话的n个用户进行编号。第一终端设备可以根据配置的编号规则进行编号。比如按照接入视频通话的时间顺序进行编号，又比如按照用户的姓氏的首字母在26个英文字母的排列顺序进行编号，或者按照用户的名字的首字母在26个英文字母的排列顺序进行编号。第一终端设备建立每个用户的编号与用户使用的终端设备的标识信息之间的映射关系。例如参见表1所示。
118.表1
119.编号终端设备的标识信息1标识1(第一终端设备)2标识2(第二终端设备)3标识3(第三终端设备)
4标识4(第四终端设备)
120.第一终端设备可以将建立后的编号与终端设备的标识信息之间的映射关系发送给应用服务器。比如，可以将建立后的编号与终端设备的标识信息之间的映射关系发送给plugin service，进而plugin service发送给as。进一步地，as还可以将映射关系发送给ame1。同理，其它终端设备采用同样的方式建立编号与终端设备的标识信息之间的映射关系，并发送给应用服务器。不同的终端设备采用的编号规则可以相同也可以不同。在采用的编号规则不同的情况下，不同的终端设备建立的映射关系也不相同。例如，第二终端设备建立的映射关系如表2所示。
121.表2
122.编号终端设备的标识信息4标识1(第一终端设备)3标识2(第二终端设备)2标识3(第三终端设备)1标识4(第四终端设备)
123.应用服务器(包括的as)接收到不同终端设备发来的映射关系后，保存不同终端设备发来的映射关系。第一终端设备在选择主窗口显示对象后，可以将第二终端设备的对应的编号作为第一标识发送给应用服务器，以表1为例，第一标识为编号2。从而应用服务器根据编号2以及表1对应的映射关系确定用户1选择的第一终端设备的主窗口显示对象为第二终端设备的用户视频。
124.第二种示例中，在多用户视频通话的呼叫连接建立过程中或者完成呼叫连接建立后，由应用服务器为不同的终端设备创建编号，并分别发送给各个终端设备。
125.第三种示例中，采用终端设备的标识信息来标识用户选择的主窗口显示对象。
126.s703，应用服务器接收消息1后，将第一标识发送给ame 1。比如，可以通过消息2将第一标识发送给ame 1。
127.s704，ame 1接收到第一标识后，确定第一终端设备的主窗口的显示对象为第二终端设备的用户视频，可以对n个终端设备的媒体流进行处理。n个终端设备的媒体流包括n个终端设备的用户视频。
128.需要说明的是，第一终端设备产生媒体流会通过sbc1发送给ame1，然后ame1通过sfu转发给其它终端设备所归属的ame。第二终端设备产生的媒体流通过sbc2发送给ame 2，然后ame2发送给sfu，sfu将第二终端设备的媒体流发送给各个终端设备所属的ame。比如ame1接收来自其他终端设备发送的媒体流，包括第二终端设备的媒体流、第三终端设备的媒体流以及第四终端设备的媒体流。同理，每个终端设备产生的媒体流都会通过该终端设备所属的sbc和ame发送给sfu，从而sfu负责转发给其它终端设备所属的ame，进而由ame执行处理，再发送给所管理的终端设备。
129.可以理解的是，在某个用户没有开启视频情况下(或者说该用户的摄像头处于关闭状态)，n个终端设备的媒体流中可以不包括该用户视频。某个用户既没有开启视频并且麦克风也被禁止的情况下，比如用户1没有开启摄像头也没有开启麦克风，则该用户1的第一终端设备所属的ame1不会接收到来自该第一终端设备的媒体流，进而ame2、ame3和ame4也不会接收该第一终端设备的媒体流。
130.ame1对n个终端设备的媒体流进行处理，包括对媒体流包括的用户视频进行视频处理，视频处理后的主窗口显示对象的分辨率高于其它子窗口的显示对象的分辨率。在本实施例中，针对第一终端设备来说，第二终端设备的用户视频(作为第一终端设备的主窗口的显示对象)的分辨率高于其它终端设备的显示对象的分辨率。第二终端设备的用户视频的分辨率可以高于其它任一终端设备的显示对象的分辨率，或者第二终端设备的用户视频的分辨率高于至少一个终端设备的显示对象的分辨率。
131.ame1在对n个终端设备的媒体流包括的用户视频进行视频处理，可以采用如下任意一种方式。
132.第一方式，将所述第一标识所述标识的第二终端设备的用户视频的分辨率提高为第一分辨率。可以理解为对第二终端设备的用户视频进行画质超分处理。
133.在采用上述第一方式的情况下，在视频处理之前，不同的终端设备的用户视频的分辨率可能不同，比如，第三终端设备的用户视频分辨率高于第一终端设备的用户视频分辨率，第一终端设备的用户视频分辨率高于第二终端设备的用户视频分辨率，第二终端设备的用户视频分辨率高于第四终端设备的用户视频分辨率。经过视频处理后，将第二终端设备的用户视频分辨率提高为第一分辨率。比如第一分辨率与第一终端设备的用户视频分辨率相同。
134.第二方式，根据第一标识将所述n个终端设备中除所述第二终端设备以外的其它终端设备的用户视频的分辨率降低为第二分辨率，所述第二分辨率低于所述第一分辨率。即将第一终端设备的用户视频、第三终端设备的用户视频以及第四终端设备的用户视频降低为第二分辨率。
135.第三方式，将第一标识所标识的第二终端设备的用户视频的分辨率提高为第一分辨率，并将所述n个终端设备中除所述第二终端设备以外的其它终端设备的用户视频的分辨率降低为第二分辨率。即将第二终端设备的用户视频的分辨率提高为第一分辨率，以及将第一终端设备的用户视频、第三终端设备的用户视频以及第四终端设备的用户视频降低为第二分辨率。可以理解为对第二终端设备的用户视频进行画质超分处理，对其它所有终端设备的用户视频进行降画质处理。
136.可选地，ame1在对n个终端设备的媒体流包括的用户视频进行视频处理之前，可以根据当前的网络传输状况，来确定是否进行视频处理。比如，ame1可以获取当前的网络传输参数，比如传输带宽和/或信号强度等，根据网络传输参数来确定是否执行进行视频处理，以及执行怎么样的处理。
137.作为一种示例，当所述网络传输参数满足第一网络指标时，将第二终端设备的用户视频(作为第一终端设备的主窗口显示对象)的分辨率提高为第一分辨率；或者，
138.当所述网络传输参数不满足第二网络指标时，根将所述n个终端设备中除所述第二终端设备以外的其它终端设备的用户视频的分辨率降低为第二分辨率，所述第二分辨率低于所述第一分辨率；或者，
139.当所述网络传输参数不满足第二网络指标时，将第二终端设备的用户视频的分辨率提高为第一分辨率，并将所述n个终端设备中除所述第二终端设备以外的n-1个终端设备的用户视频的分辨率降低为第二分辨率；或者，
140.当所述网络传输参数满足第一网络指标时，将第二终端设备的用户视频的分辨率
提高为第一分辨率，并将所述n个终端设备中除所述第二终端设备以外的n-1个终端设备的用户视频的分辨率降低为第二分辨率。
141.ame1在对n个终端设备的媒体流进行处理后，将经过处理后的n个终端设备的媒体流发送给第一终端设备。
142.一种示例中，ame1在对n个终端设备的媒体流进行处理后，s705和s706。
143.s705，ame1将经过处理后的n个终端设备的媒体流发送给sbc1。
144.s706，sbc1将经过处理后的n个终端设备的媒体流发送给第一终端设备。
145.另一种示例中，ame1可以将作为主窗口的第二终端设备的媒体流通过sbc1发送给第一终端设备。ame1可以将其它终端设备的媒体流作为辅助媒体流通过与第一终端设备之间建立的辅助传输通道发送给第一终端设备。
146.s707，第一终端设备在主窗口显示经过处理后的第二终端设备的媒体流包括的用户视频，在3个子窗口分别显示其它3个终端设备的用户视频。即在3个子窗口分别显示经过处理后的第一终端设备的用户视频、第三终端上设备的用户视频以及第四终端设备的用户视频。
147.另一种可能的实施方式中，不同的终端设备的主窗口显示对象可以相同。比如可以设置主持人。比如以用户1为主持人为例，用户1可以通过在第一终端设备通话界面上执行切换主窗口显示对象的操作。用户1执行用于指示将主窗口显示对象由用户1的视频切换到用户2的视频的操作1的情况下，第一终端设备响应于操作1，将第一终端设备的主窗口显示对象由用户1的视频切换到用户2的视频。
148.比如，切换主窗口显示对象的操作可以是待切换终端设备的用户视频的子窗口中执行双击或者单击或者多击操作。再比如，切换主窗口显示对象的操作可以是滑动待切换终端设备的用户视频的显示窗口。又比如拖拽操作，将待切换终端设备的用户视频从子窗口拖拽到主窗口。
149.用户1执行的切换主窗口显示对象的操作影响其它用户的终端设备的主窗口的显示对象的切换，参见图8所示。作为一种示例，发起方可以自动作为主持人。主持人也可以在通话界面触发取消主持人的操作，进而进行视频通话的各个终端设备的用户均可以根据需求执行切换主窗口的显示对象的操作。作为主持人的用户可以通过在通话界面上执行切换主持人的操作，以用户1为例，第一终端设备响应于用户1将主持人切换为用户3的操作，向应用服务器发送通知消息，通知消息用于通知应用服务器当前主持人为用户3。应用服务器可以保存作为主持人的用户信息，比如终端设备的标识，或者用户编号等。
150.结合图1所示的架构对主持人选择使用的终端设备的主窗口显示对象的流程进行说明。以用户1作为主持人选择主窗口显示对象为例。参见图9所示。
151.用户1根据需求在第一终端设备的通话界面上执行选择(获取切换)主窗口的显示对象的操作1，响应于用户1的操作1，确定用户1选择的主窗口显示对象为第二终端设备的用户视频。所述第一终端设备的端侧控件向应用服务器中插件服务发送消息1，消息1中携带第一标识，第一标识用于标识用户1选择的主窗口显示对象为第二终端设备的用户视频。插件服务向as发送第一标识。应用服务器接收消息1后，将第一标识发送给ame 1-ame4。比如，可以通过消息2将第一标识发送给ame 1-ame4。
152.进一步地，ame 1接收到第一标识后，确定第一终端设备的主窗口的显示对象为第
二终端设备的用户视频，可以对n个终端设备的媒体流进行处理。n个终端设备的媒体流包括n个终端设备的用户视频。同样ame2-ame4接收到第一标识后，确定第一终端设备的主窗口的显示对象为第二终端设备的用户视频，可以对n个终端设备的媒体流进行处理。
153.ame1对n个终端设备的媒体流进行处理，包括对媒体流包括的用户视频进行视频处理，视频处理后的主窗口显示对象的分辨率高于其它子窗口的显示对象的分辨率。在本实施例中，针对第一终端设备来说，第二终端设备的用户视频(作为第一终端设备的主窗口的显示对象)的分辨率高于其它终端设备的显示对象的分辨率。第二终端设备的用户视频的分辨率可以高于其它任一终端设备的显示对象的分辨率，或者第二终端设备的用户视频的分辨率高于至少一个终端设备的显示对象的分辨率。
154.需要说明的是，第一终端设备产生媒体流会通过sbc1发送给ame1，然后ame1发送给sfu。同样的，第二终端设备、第三终端设备和第四终端设备产生媒体流均发送到sfu。sfu负责转发媒体流，sfu会将第二终端设备、第三终端设备和第四终端设备产生媒体流转发到ame1，sfu会将第一终端设备、第三终端设备和第四终端设备产生媒体流转发到ame2，sfu会将第一终端设备、第二终端设备和第四终端设备产生媒体流转发到ame3，sfu会将第一终端设备、第二终端设备和第三终端设备产生媒体流转发到ame4。具体参见图9中的黑色加粗实线箭头。
155.可以理解的是，在某个用户没有开启视频情况下(或者说该用户的摄像头处于关闭状态)，n个终端设备的媒体流中可以不包括该用户视频。某个用户既没有开启视频并且麦克风也被禁止的情况下，比如用户1没有开启摄像头也没有开启麦克风，则该用户1的第一终端设备所属的ame1不会接收到来自该第一终端设备的媒体流，进而ame2、ame3和ame4也不会接收该第一终端设备的媒体流。
156.ame1在对n个终端设备的媒体流进行处理后，将经过处理后的n个终端设备的媒体流通过sbc1发送给第一终端设备。ame2对n个终端设备的媒体流进行处理后，将经过处理后的n个终端设备的媒体流通过sbc2发送给第二终端设备，同样，ame3对n个终端设备的媒体流进行处理后，将经过处理后的n个终端设备的媒体流通过sbc3发送给第三终端设备，ame4对n个终端设备的媒体流进行处理后，将经过处理后的n个终端设备的媒体流通过sbc3发送给第四终端设备，参见图9中的黑色加粗虚线箭头。
157.4个终端设备在主窗口显示经过处理后的第二终端设备的媒体流包括的用户视频，在3个子窗口分别显示其它3个终端设备的用户视频。即在3个子窗口分别显示经过处理后的第一终端设备的用户视频、第三终端上设备的用户视频以及第四终端设备的用户视频，参见图9所示，4个终端设备的主窗口的显示对象均为用户2的视频。
158.下面对第二种可能的方式进行说明，跟随说话方的变化来变化主窗口显示的终端设备的用户视频，即采用声音激励的方式，可以按照用户的音量大小来确定当前说话方。
159.以第一终端设备的通话界面为例。在n个终端设备进行视频通话的过程中，第一终端设备显示n个终端设备的用户进行视频通话的通话界面，所述通话界面包括主窗口，所述主窗口显示n个终端设备中第一终端设备的用户视频；在确定当前说话方由第一终端设备的用户更新为第二终端设备的用户，进而第一终端设备将所述通话界面中主窗口由显示第一终端设备的用户视频切换为显示第二终端设备的用户视频。通话界面在包括主窗口的基础上，还可以包括子窗口，子窗口的数量与进行视频通话的终端设备的数量相关。比如，进
行视频通话的终端设备的数量为n，则子窗口的数量是n-1。在确定当前说话方由第一终端设备的用户更新为第二终端设备的用户情况下，第一终端设备将所述通话界面中主窗口由显示第一终端设备的用户视频切换为显示第二终端设备的用户视频，在通话界面中的n-1个子窗口显示所述n个终端设备中除所述第二终端设备以外的n-1个终端设备的用户视频。
160.下面以n为4为例，即4个用户进行视频通话为例，以用户1-用户4进行视频通话为例。用户1使用第一终端设备、用户2使用第二终端设备、用户3使用第三终端设备，用户4使用第四终端设备。
161.以用户1通过第一终端设备发起与用户2、用户3以及用户4进行视频通话。本技术实施例中，视频通话初始建立时，可以将发起方作为主窗口的显示对象，可以理解为在视频通话初始建立时，第一终端设备-第四终端设备上主窗口显示对象均为用户1的视频。当说话方发生变化时，比如，以当前说话方为用户4为例，通话界面可以参见图10所示。通话界面中的主窗口的显示对象为用户4的视频，其余4个子窗口显示用户1的视频、用户2的视频以及用户3的视频。作为一种可选地的方案，主窗口的显示对象由用户1的视频切换为用户4的视频时，可以将切换前用于显示用户4的子窗口，切换后用来显示用户1的视频。作为一种示例，当前有多个用户发言或者说话时，可以将音量最大的用户作为当前说话方。
162.下面结合图1所示的架构对各个用户选择自身使用的终端设备的主窗口显示对象的流程进行说明。以用户1选择主窗口显示对象为例。参见图11所示。如下以ame对媒体流进行视频超分处理为例进行说明。
163.s1101，第一终端设备-第四终端设备分别向应用服务器包括的插件服务发送用于表征用户音量的第一数据，第一数据用于表征所述第一终端设备的用户音量。
164.比如，可以由端侧plugin来生成第一数据。以第一终端设备为例，第一终端设备的端侧plugin通过第一终端设备中麦克风采集第一时长内用户1的声音信号，根据第一时长内用户的声音信号确定用于表征用户音量的第一数据。第一数据可以是用户音量的量化值。作为一种示例，可以对第一时长内用户的声音信号进行采样获取用户音量的平均值。为了减少传输的数据的比特数，可以对平均值进行量化，将量化得到的第一数据来表征用户音量。作为另一种示例，可以采用分析模型对第一时长内用户的声音信号得到用于用户音量的量化值，即第一数据。第一终端设备可以周期性的获得第一数据并发送给插件服务。
165.同理，其它终端设备采用与第一终端设备同样的方式获得第一数据，并发送给插件服务，参见针对第一终端设备描述的获取第一数据的方式，不再赘述。
166.s1102，插件服务接收到分别来自第一终端设备-第四终端设备的第一数据，根据来自第一终端设备-第四终端设备的第一数据确定音量最大的用户，以用户4为例。
167.s1103，插件服务将用户4的标识发送给as。所述用户4的标识用于标识音量最大的用户为用户4，即当前的说话方为用户4。
168.s1104，as分别向第一终端设备-第四终端设备所属的ame发送用户4的标识。
169.一种可能的示例中，各个终端设备可以根据配置的相同的编号规则对各个用户进行编号。可选地，各个终端设备在向插件服务发送第一数据时，可以携带该终端设备的用户编号发送给插件服务。插件服务确定音量最大的用户4的标识，即用户4的编号，将用户4的编号发送给as，进而as将用户4的编号发送给ame1-ame4。具体各个终端设备所采用的编号方式，可以参见图7对应的实施例中的描述，此处不再赘述。具体各个终端设备所采用的编
号方式，可以参见图7对应的实施例中的描述，此处不再赘述。
170.另一种可能的示例中，各个终端设备可以采用不同的编号规则对各个用户进行编号。可选地，各个终端设备在向插件服务发送第一数据时，可以携带该终端设备的用户编号发送给插件服务。根据保存的针对不同的终端设备的映射关系插件服务为每个终端设备确定音量最大的用户4的标识，即用户4的编号，分别将针对不同的终端设备的用户4的编号，发送给as，进而as将针对第一终端设备的用户4的编号(或者可以描述为在第一终端设备中用于标识用户4的编号)发送给ame1，将针对第二终端设备的用户4的编号发送给ame2，将针对第三终端设备的用户4的编号发送给ame3，将针对第四终端设备的用户4的编号发送给ame4。
171.又一种可能的示例中，由应用服务器为不同的终端设备创建编号，并分别发送给各个终端设备。可选地，各个终端设备在向插件服务发送第一数据时，可以携带该终端设备的用户编号发送给插件服务。插件服务确定音量最大的用户4的标识，即用户4的编号，将用户4的编号发送给as，进而as将用户4的编号发送给ame1-ame4。
172.在一种可能的示例中，采用各个终端设备的标识作为终端设备的用户的标识。可选地，各个终端设备在向插件服务发送第一数据时，可以携带该终端设备的标识发送给插件服务。插件服务确定说话方为用户4时，将用户4对应的第四终端设备的标识发送给as。进而as将第四终端设备的标识发送给ame1-ame4。
173.s1105，ame1-ame4分别接收到用户4的标识时，对用户4的标识对应的第四终端设备的用户视频进行视频超分处理。
174.s1106，ame分别将4个终端设备的用户视频通过所属的sbc发送给终端设备。n个终端设备的用户视频包括视频超分处理的第四终端设备的用户视频以及第一终端设备-第三终端设备的用户视频。ame1将经过视频超分处理的第四终端设备的用户视频以及第一终端设备-第三终端设备的用户视频发送给sbc1，并由sbc1发送给第一终端设备。ame2将经过视频超分处理的第四终端设备的用户视频以及第一终端设备-第三终端设备的用户视频发送给sbc2，并由sbc2发送给第二终端设备。ame3将经过视频超分处理的第四终端设备的用户视频以及第一终端设备-第三终端设备的用户视频发送给sbc3，并由sbc3发送给第三终端设备。ame4将经过视频超分处理的第四终端设备的用户视频以及第一终端设备-第三终端设备的用户视频发送给sbc4，并由sbc4发送给第四终端设备。
175.s1107，第一终端设备在通话界面的主窗口显示经过视频超分处理的第四终端设备的用户视频，在3个子窗口分别显示第一终端设备-第三终端设备的用户视频。同样，第二终端设备、第三终端设备和第四终端设备分别在通话界面的主窗口显示经过视频超分处理的第四终端设备的用户视频，在3个子窗口分别显示第一终端设备-第三终端设备的用户视频，如图11所示。
176.下面对第三种可能的方式进行说明，既支持用户通过通话界面来选择主窗口显示对象，还支持采用声音激励的方式。用户选择的主窗口的显示对象的优先级高于通过声音激励的方式确定的主窗口的显示对象。以n＝4为例，即4个用户进行视频通话为例，以用户1-用户4进行视频通话为例。用户1使用第一终端设备、用户2使用第二终端设备、用户3使用第三终端设备，用户4使用第四终端设备。
177.在第三种可能的方式下，如果用户通过通话界面来选择主窗口的显示对象，以用
户1为例，当前说话方为用户4，用户1通过在通话界面执行的选择主窗口的显示对象的操作，选择用户2的视频作为主窗口的显示对象，则第一终端设备的主窗口的显示对象为用户2的视频。如果用户1未通过通话界面执行选择主窗口的显示对象的操作，则第一终端设备的主窗口的显示对象为用户4的视频。
178.在第三种可能的方式下，不同的终端设备的主窗口显示对象可能不同也可能相同。比如，当4个终端设备的用户均未执行通过通话界面选择主窗口的显示对象的情况下，则4个终端设备的通话界面的主窗口的显示对象跟随说话方的变化而变化。当某个用户通过执行通过通话界面选择主窗口的显示对象的操作的情况下，以用户1为例，当前说话方为用户3，第一终端设备响应于用户1通过执行通过通话界面选择主窗口的显示对象的操作，在第一终端设备的通话界面的主窗口显示用户1的视频，参见图12所示。
179.结合图1所示的架构以用户1选择主窗口显示对象为例对第三种可能的实现方式进行详细说明，参见图13所示。
180.s1301a，用户1根据需求在第一终端设备的通话界面上执行选择(获取切换)主窗口的显示对象的操作1，响应于用户1的操作1，向应用服务器中插件服务发送消息1，消息1中携带第一标识，第一标识用于标识用户1选择的主窗口显示对象为第二终端设备的用户视频。
181.作为一种示例，由第一终端设备中的端侧控件来实现步骤s701。即端侧控件响应于用户1的操作1，确定用户1选择的主窗口显示对象为第二终端设备的用户视频。
182.s1301b，第一终端设备-第四终端设备分别向应用服务器包括的插件服务发送用于表征用户音量的第一数据，第一数据用于表征所述第一终端设备的用户音量。
183.s1302，插件服务接收到分别来自第一终端设备-第四终端设备的第一数据，根据来自第一终端设备-第四终端设备的第一数据确定音量最大的用户，以用户4为例。
184.s1303a，插件服务向as发送用于标识用户1选择的主窗口的显示对象的第一标识。
185.s1303b，插件服务向as发送用户4的标识，用户4的标识用于标识音量最大的用户为用户4，或者可以描述为用户4的标识用于标识当前说话方为用户4。
186.s1304a，as向第一终端设备所属的ame1发送第一标识。
187.s1304b，as分别向第一终端设备-第四终端设备所属的ame发送用户4的标识。
188.s1305a，ame1根据用于标识用户选择的主窗口显示对象的第一标识和用于标识当前说话方的用户4的标识确定第一终端设备的主窗口显示对象为第一标识所标识的用户2的视频。ame1对第二终端设备的用户2视频进行视频超分处理，并对第一终端设备的用户1视频、第三终端设备的用户3视频和第四终端设备的用户4视频进行降分辨率处理。
189.s1305b，ame2接收到用于标识当前说话方的用户4的标识，确定是否保存有用于标识用户2选择的主窗口显示对象的标识信息，确定未保存，则确定当前说话方的用户视频为第二终端设备的主窗口显示对象。ame3接收到用于标识当前说话方的用户4的标识，确定是否保存有用于标识用3选择的主窗口显示对象的标识信息，确定未保存，则确定当前说话方的用户视频为第三终端设备的主窗口显示对象。ame4接收到用于标识当前说话方的用户4的标识，确定是否保存有用于标识用户4选择的主窗口显示对象的标识信息，确定未保存，则确定当前说话方的用户视频为第四终端设备的主窗口显示对象。ame2、ame3和ame4均执行：对第四终端设备的用户4视频进行视频超分处理，并对第一终端设备的用户1视频、第二
终端设备的用户2视频和第三终端设备的用户3视频进行降分辨率处理。
190.s1306a，ame1将视频超分处理后的用户2视频、将分辨率处理后的用户1视频、用户3视频和用户4视频通过sbc1发送给第一终端设备。
191.s1306b，ame2将视频超分处理后的用户4视频、将分辨率处理后的用户1视频、用户2视频和用户3视频通过sbc2发送给第二终端设备。ame3将视频超分处理后的用户4视频、将分辨率处理后的用户1视频、用户2视频和用户3视频通过sbc3发送给第三终端设备。ame4将视频超分处理后的用户4视频、将分辨率处理后的用户1视频、用户2视频和用户3视频通过sbc4发送给第四终端设备。
192.s1307a，第一终端设备在通话界面的主窗口显示经过视频超分处理的第二终端设备的用户2视频，在3个子窗口分别显示降分辨率处理的用户1视频、用户3视频以及用户4视频。
193.s1307b，第二终端设备、第三终端设备和第四终端设备分别在通话界面的主窗口显示经过视频超分处理的用户4视频，在3个子窗口分别显示降分辨率处理的用户1视频、用户2视频以及用户3视频。
194.基于与方法实施例同一发明构思，本技术实施例提供一种通信装置1400，该装置1400的结构如图14所示，包括通信单元1401以及处理单元1402。示例性地，通信单元1401既可以用于发送信号，也可以用于接收信号。可选地，通信单元1401中可以包括发送单元和接收单元，发送单元用于发送信号，接收单元用于接收信号。
195.一种可能的应用场景中，通信装置1400应用于媒体服务器，具体用于实现上述方法实施例中媒体服务器(比如为ame1-ame4中任一个)所执行的方法。
196.通信单元1401，用于在n个终端设备的用户进行视频通话的过程中，接收n个终端设备的用户视频，n≥2；接收应用服务器发送的第一消息，第一消息用于确定第一终端设备的主窗口的显示对象为第二终端设备的用户视频，第一终端设备和第二终端设备为n个终端设备中的两个终端设备。
197.处理单元1402，用于根据接收到的第一消息对n个终端设备的用户视频进行视频处理。
198.通信单元1401，还用于向第一终端设备发送视频处理后的n个终端设备的用户视频，视频处理后的第二终端设备的用户视频的分辨率高于视频处理后的n个终端设备中除第二终端设备以外的其它终端设备的分辨率。
199.一种方式中，通信单元1401可以通过第一终端设备对应的第一会话边界控制器sbc向第一终端设备发送视频处理后的n个终端设备的用户视频。
200.另一种方式中，通信单元1401可以通过第一sbc将作为主窗口显示对象的第二终端设备的用户视频发送给第一终端设备，可以通过媒体服务器与第一终端设备之间创建的辅助视频通道，将其它终端设备的用户视频发送给第一终端设备。
201.在一种可能的实施方式中，所述处理单元1402，具体用于：将根据所述第一消息确定的第二终端设备的用户视频的分辨率提高为第一分辨率；或者，根据所述第一消息将所述n个终端设备中除所述第二终端设备以外的其它终端设备的用户视频的分辨率降低为第二分辨率，所述第二分辨率低于所述第一分辨率；或者，将根据所述第一消息确定的第二终端设备的用户视频的分辨率提高为第一分辨率，并将所述n个终端设备中除所述第二终端
设备以外的其它终端设备的用户视频的分辨率降低为第二分辨率。
202.在一种可能的实施方式中，处理单元1402可以根据当前的网络传输状况来确定作为主窗口显示对象的第二终端设备的分辨率和其它终端设备的分辨率。
203.在一种可能的实施方式中，所述第一消息携带第一标识，所述第一标识用于标识所述第一终端设备的主窗口的显示对象为第二终端设备的用户视频。可选地，该第一标识所标识的主窗口的显示对象可以是第一终端设备的用户选择的。
204.可选地，通信单元1401接收应用服务器发送的第二消息，所述第二消息携带第三标识，所述第三标识用于标识在所述n个终端设备的用户进行视频通话过程中，当前说话方为所述第三终端设备的用户，所述第三终端设备为所述n个终端设备中除所述第二终端设备以外的一个终端设备；处理单元1402确定所述第一终端设备的主窗口的显示对象为所述第一标识所标识的所述第二终端设备的用户视频。在用户选择的主窗口显示对象与确定的当前说话方不为同一终端设备的用户时，将用户选择的终端设备的用户视频作为主窗口的显示对象。
205.在一种可能的实施方式中，所述第一消息携带第二标识，所述第二标识用于标识在所述n个终端设备的用户进行视频通话过程中，当前说话方为所述第二终端设备的用户；所述处理单元1402根据所述第一消息对n个终端设备的用户视频进行视频处理之前，还用于：确定所述第一终端设备的主窗口的显示对象为所述第二标识所标识的所述第二终端设备的用户视频。
206.在一种可能的实施方式中，所述通信单元1401，还用于向第一终端设备发送指示信息，所述指示信息用于指示所述第一终端设备的主窗口的显示对象为所述第二终端设备的用户视频。
207.另一种可能的场景中，通信装置1400应用于应用服务器，具体用于实现上述方法实施例中应用服务器所执行的方法。
208.通信单元1401(接收单元)，用于在n个终端设备的用户进行视频通话的过程中，接收来自第一终端设备的第一消息，所述第一消息携带第一标识，所述第一标识用于标识所述第一终端设备选择的主窗口的显示对象为第二终端设备的用户视频；所述第一终端设备和所述第二终端设备为所述n个终端设备中的两个终端设备；
209.通信单元1401(发送单元)，用于向所述第一终端设备对应的增强现实媒体服务器发送第二消息，所述第二消息携带所述第一标识。第二消息可以用于所述媒体服务器为所述第一终端设备确定主窗口的显示对象。
210.在一种可能的实施方式中，所述通信单元1401(接收单元)接收所述n个终端设备发送的n个第一数据，每个第一数据用于表征发送所述第一数据的终端设备的用户音量；
211.处理单元1402，用于根据所述n个第一数据确定第二终端设备的用户为当前说话方，所述第二终端设备的用户音量高于所述n个终端设备中除所述第二终端设备以外的其它终端设备的用户音量；
212.通信单元1401(发送单元)，用于分别向所述n个终端设备对应的媒体服务器发送第三消息，所述第三消息携带第二标识，所述第二标识用于标识当前说话方为所述第二终端设备的用户。
213.又一种可能的场景中，通信装置1400应用于应用服务器，具体用于实现上述方法
实施例中应用服务器所执行的方法。
214.通信单元1401(接收单元)，用于接收n个终端设备发送的n个第一数据，第一终端设备发来的第一数据用于表征所述第一终端设备的用户音量；
215.处理单元1402，用于根据所述n个第一数据确定第二终端设备，所述第二终端设备的用户音量高于所述n个终端设备中除所述第二终端设备以外的其它终端设备的用户音量，所述第一终端设备和所述第二终端设备为所述n个终端设备中的两个终端设备；
216.通信单元1401(发送单元)，用于向所述第一终端设备对应的媒体服务器发送第一消息，所述第一消息携带第一标识，所述第一标识用于标识当前说话方为所述第二终端设备的用户。第一消息用于根据第一标识确定第一终端设备的主窗口的显示对象。比如当前说话方为第一终端设备的主窗口显示对象，则认为第一标识用于标识第一终端设备的主窗口显示对象为第二终端设备的用户。
217.基于与方法实施例同一发明构思，本技术实施例提供一种通信装置1500，该装置1500的结构如图15所示，包括处理单元1501、通信单元1502和显示单元1503。示例性地，通信单元1502既可以用于发送信号，也可以用于接收信号。可选地，通信单元1502中可以包括发送单元和接收单元，发送单元用于发送信号，接收单元用于接收信号。该通信装置1500用于应用于终端设备，具体用于实现上述方法实施例中终端设备(第一终端设备-第四终端设备)所执行的方法。
218.一种可能的应用场景中，处理单元1501，用于响应于第一终端设备的用户的第一操作，确定用户选择的主窗口的显示对象为第二终端设备的用户视频；
219.通信单元1502，用于向应用服务器发送第一标识，所述第一标识用于标识所述用户选择的主窗口的显示对象为第二终端设备的用户视频，所述第一终端设备和所述第二终端设备为进行视频通话的n个终端设备中的两个终端设备，n为大于或等于2的整数；
220.通信单元1502，还用于接收所述第一sbc发送的所述n个终端设备的用户视频，所述n个终端设备的用户视频中所述第二终端设备的用户视频的分辨率高于所述n个终端设备中除所述第二终端设备以外的n-1个终端设备的用户视频的分辨率；
221.显示单元1503，用于在主窗口显示所述第一sbc发来的n个终端设备的用户视频中所述第二终端设备的用户视频。
222.在一种可能的实施方式中，显示单元1503，还用于在n-1子窗口显示经过处理的所述n个终端设备中除所述第二终端设备以外的n-1个终端设备的用户视频。
223.在一种可能的实施方式中，所述主窗口的尺寸大于所述n-1子窗口的尺寸。通过上述设计，主窗口的尺寸大于其它子窗口的尺寸，以突出关键用户，提升用户体验。
224.在一种可能的实施方式中，所述处理单元1501，还用于响应于所述第一终端设备的用户在所述第一界面上触发的第二操作，确定用户取消选择的主窗口的显示对象为第二终端设备的用户视频；确定当前说话方为第一终端设备的用户时，显示单元1503，还用于在所述主窗口显示所述第一终端设备的用户视频。
225.在一种可能的实施方式中，通信单元1502，还用于向应用服务器发送第一数据，所述第一数据用于表征所述第一终端设备的用户音量，所述第一数据用于确定所述第一终端设备的主窗口的显示对象；接收媒体服务器发送的指示信息，所述指示信息用于指示所述第一终端设备的主窗口的显示对象为所述第一终端设备的用户视频，所述第一终端设备的
用户音量高于所述n个终端设备中除所述第一终端设备以外的其它终端设备的用户音量。
226.另一种可能应用场景中，显示单元1503，用于显示n个终端设备的用户进行视频通话的通话界面，所述通话界面包括主窗口，所述主窗口显示n个终端设备中第一终端设备的用户视频；处理单元1501，用于确定当前说话方由第一终端设备的用户更新为第二终端设备的用户；显示单元1503，还用于将所述通话界面中主窗口由显示第一终端设备的用户视频切换为显示第二终端设备的用户视频。
227.在一种可能的实施方式中，所述通话界面还包括n-1个子窗口，所述方法还包括：所述通话界面中的n-1个子窗口显示所述n个终端设备中除所述第二终端设备以外的n-1个终端设备的用户视频。
228.在一种可能的实施方式中，所述通信单元1502，用于向应用服务器发送第一数据，所述第一数据用于表征所述第一终端设备的用户音量，所述第一数据用于确定所述第一终端设备的主窗口的显示对象；接收媒体服务器发送的指示信息；当所述指示信息指示所述第一终端设备的主窗口的显示对象为所述第二终端设备的用户视频，处理单元1501，具体用于当前说话方为第二终端设备的用户。
229.在一种可能的实施方式中，所述第一数据是根据在第一时长内所采集的所述第一终端设备的用户的声音信号确定的。
230.在一种可能的实施方式中，所述通信单元1502，还用于在当前说话方由第一终端设备的用户更新为第二终端设备的用户时，接收所述第一终端设备对应的第一会话边界控制器sbc发送的所述n个终端设备的用户视频，所述第一sbc发来的n个终端设备的用户视频中所述第二终端设备的用户视频的分辨率高于所述n个终端设备中除所述第二终端设备以外的n-1个终端设备的用户视频的分辨率；所述显示单元1503，具体用于在所述通话界面的主窗口显示所述第一sbc发来的n个终端设备的用户视频中所述第二终端设备的用户视频。
231.本技术实施例中对单元的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，另外，在本技术各个实施例中的各功能单元可以集成在一个处理器中，也可以是单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
232.该集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台设备，比如终端设备(可以是个人计算机，手机等)或处理器(processor)执行本技术各个实施例该方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read-only memory，rom)、随机存取存储器(random access memory，ram)、磁碟或者光盘等各种可以存储程序代码的介质。
233.在本技术实施例中，所述媒体服务器和所述应用服务器以及终端设备均可以采用集成的方式划分各个功能模块的形式来呈现。这里的“模块”可以指特定asic，电路，执行一个或多个软件或固件程序的处理器和存储器，集成逻辑电路，和/或其他可以提供上述功能的器件。
234.在一个简单的实施例中，sbc、媒体服务器或应用服务器可采用图16所示的形式。
235.如图16所示的装置1600，包括至少一个处理器1601，通信接口1602。可选地，还可以包括存储器1603。
236.一种可能的实现方式中，当媒体服务器采用图16所示的形式时，图16中的处理器1601可以通过调用存储器1603中存储的计算机执行指令，使得所述媒体服务器可以执行上述任一方法实施例中的所述媒体服务器执行的方法。
237.处理器1601可以通过通信接口1602与其他设备进行通信。比如，处理器1601通过通信接口1602接收应用服务器发送的第一消息，以及向所述终端设备发送视频处理后的所述n个终端设备的用户视频。
238.一种示例中，存储器1603中存储有用于实现图14中的通信单元1401和处理单元1402的功能的计算机执行指令，图14中的通信单元1401和处理单元1402的功能/实现过程均可以通过图16中的处理器1601调用存储器1603中存储的计算机执行指令，并结合通信接口1602来实现。另一种示例中，图14中的通信单元1401的功能由通信接口1602来实现，处理器1601实现处理单元1402的功能。
239.另一种可能的实现方式中，当应用服务器采用图16所示的形式时，图16中的处理器1601可以通过调用存储器1603中存储的计算机执行指令，使得所述应用服务器可以执行上述任一方法实施例中的所述应用服务器执行的方法。
240.处理器1601可以通过通信接口1602与其他设备进行通信。比如，处理器1601通过通信接口1602接收来自媒体服务器发送的第一消息，以及向媒体服务器发送的第二消息。
241.一种示例中，存储器1603中存储有用于实现图14中的通信单元1401和处理单元1402的功能的计算机执行指令，图14中的通信单元1401和处理单元1402的功能/实现过程均可以通过图16中的处理器1601调用存储器1603中存储的计算机执行指令，并结合通信接口1602来实现。另一种示例中，图14中的通信单元1401的功能由通信接口1602来实现，处理器1601实现处理单元1402的功能。
242.又一种可能的实现方式中，当sbc采用图16所示的形式时，图16中的处理器1601可以通过调用存储器1603中存储的计算机执行指令，使得所述sbc可以执行上述任一方法实施例中的所述sbc1-sbc4任一执行的方法。
243.本技术实施例中不限定上述处理器1601以及存储器1603之间的具体连接介质。本技术实施例在图中以存储器1603和处理器1601之间通过总线1604连接，总线1604在图16中以粗线表示，其它部件之间的连接方式，仅是进行示意性说明，并不引以为限。该总线1604可以分为地址总线、数据总线、控制总线等。为便于表示，图16中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
244.在一个简单的实施例中，所述终端设备可采用图17所示的形式。如图17所示的装置1700包括至少一个处理器1701，通信接口1702，可选地还可以包括存储器1703。在一种可能的实现方式中，装置1700还包括显示屏1704。所述装置还可以包括传感器1705，用于检测用户在通话界面上的操作。
245.处理器1701可以具有数据收发功能，能够与其他设备进行通信，如在本技术实施例中，处理器1701可以向sbc发送媒体流，也可以接收来自所述sbc的媒体流，在如图17装置中，也可以设置独立的数据收发模块，例如通信接口1702，用于收发数据；处理器1701在与其他设备进行通信时，可以通过通信接口1702进行数据传输，如在本技术实施例中，处理器
1701可以通过通信接口1702向sbc发送媒体流，也可以通过通信接口1702接收来自所述sbc的媒体流。
246.当所述终端设备采用图17所示的形式时，图17中的处理器1701可以通过调用存储器1703中存储的计算机执行指令，使得所述终端设备可以执行上述任一方法实施例中的所述终端设备(比如第一终端设备-第四终端设备)执行的方法。
247.具体的，存储器1703中存储有用于实现图15中的通信单元、显示单元和处理单元的功能的计算机执行指令，图15中的通信单元、显示单元和处理单元的功能/实现过程均可以通过图17中的处理器1701调用存储器1703中存储的计算机执行指令来实现。
248.或者，存储器1703中存储有用于实现图15中的显示单元的功能的计算机执行指令，图6中的显示单元的功能/实现过程可以通过图17中的处理器1701调用存储器1703中存储的计算机执行指令来实现，图17的通信单元的功能/实现过程可以通过图17中的通信接口1702来实现。
249.其中，所述处理器1701在执行显示单元的功能时，如涉及显示图像的操作，如显示通话界面，处理器1701可以通过所述装置1700中的显示屏1704显示图像。可选的，处理器1701在执行显示单元的功能时，也可以通过其他设备中的显示屏显示图像，如向其他设备发送显示指令，指示显示图像。
250.本技术实施例中不限定上述处理器1701以及存储器1703、通信接口1702、显示屏1704以及传感器1705之间的具体连接介质。本技术实施例在图中通过总线1706连接为例，总线1706在图中以粗线表示，其它部件之间的连接方式，仅是进行示意性说明，并不引以为限。该总线1706可以分为地址总线、数据总线、控制总线等。为便于表示，图17中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
251.基于以上实施例，本技术实施例还提供了一种计算机存储介质，该存储介质中存储软件程序，该软件程序在被一个或多个处理器读取并执行时可实现上述任意一个或多个实施例提供业务平台或边缘计算设备执行的方法。所述计算机存储介质可以包括：u盘、移动硬盘、只读存储器、随机存取存储器、磁碟或者光盘等各种可以存储程序代码的介质。
252.基于以上实施例，本技术实施例还提供了一种芯片，该芯片包括处理器，用于实现上述任意一个或多个实施例所涉及的ar媒体服务器的功能或者终端设备或者应用该服务器的功能。可选地，所述芯片还包括存储器，所述存储器，用于处理器所执行必要的程序指令和数据。该芯片，可以由芯片构成，也可以包含芯片和其他分立器件。
253.应理解，说明书通篇中提到的“一个实施例”、“一个实现方式”、“一个实施方式”或“一示例”意味着与实施例有关的特定特征、结构或特性包括在本技术的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”、“一个实现方式”、“一个实施方式”或“在一示例中”未必一定指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。应理解，在本技术的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本技术实施例的实施过程构成任何限定。
254.另外，本文中术语“系统”和“网络”在本文中常被可互换使用。本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。另外，本文中字符“/”，一般表示前后
关联对象是一种“或”的关系。本技术涉及的术语“至少一个”，是指一个，或一个以上，即包括一个、两个、三个及以上；“多个”，是指两个，或两个以上，即包括两个、三个及以上。另外，需要理解的是，在本技术的描述中，“第一”、“第二”等词汇，仅用于区分描述的目的，而不能理解为指示或暗示相对重要性，也不能理解为指示或暗示顺序。“以下至少一项(个)”或其类似表达，是指的这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a,b,或c中的至少一项(个)，可以表示：a,b,c,a-b,a-c,b-c,或a-b-c，其中a,b,c可以是单个，也可以是多个。应理解，在本技术实施例中，“与a相应的b”表示b与a相关联，根据a可以确定b。但还应理解，根据a确定b并不意味着仅仅根据a确定b，还可以根据a和/或其它信息确定b。此外，本技术实施例和权利要求书及附图中的术语“包括”和“具有”不是排他的。例如，包括了一系列步骤或模块的过程、方法、系统、产品或设备没有限定于已列出的步骤或模块，还可以包括没有列出的步骤或模块。
255.可以理解的是，本技术的实施例中的处理器可以是中央处理单元(central processing unit，cpu)，还可以是其它通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现场可编程门阵列(field programmable gate array，fpga)或者其它可编程逻辑器件、晶体管逻辑器件，硬件部件或者其任意组合。通用处理器可以是微处理器，也可以是任何常规的处理器。
256.本技术的实施例中的方法步骤可以通过硬件的方式来实现，也可以由处理器执行软件指令的方式来实现。软件指令可以由相应的软件模块组成，软件模块可以被存放于随机存取存储器(random access memory，ram)、闪存、只读存储器(read-only memory，rom)、可编程只读存储器(programmable rom，prom)、可擦除可编程只读存储器(erasable prom，eprom)、电可擦除可编程只读存储器(electrically eprom，eeprom)、寄存器、硬盘、移动硬盘、cd-rom或者本领域熟知的任何其它形式的存储介质中。一种示例性的存储介质耦合至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于asic中。另外，该asic可以位于网络设备或终端设备中。当然，处理器和存储介质也可以作为分立组件存在于网络设备或终端设备中。
257.在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机程序或指令。在计算机上加载和执行所述计算机程序或指令时，全部或部分地执行本技术实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其它可编程装置。所述计算机程序或指令可以存储在计算机可读存储介质中，或者通过所述计算机可读存储介质进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是集成一个或多个可用介质的服务器等数据存储设备。所述可用介质可以是磁性介质，例如，软盘、硬盘、磁带；也可以是光介质，例如，dvd；还可以是半导体介质，例如，固态硬盘(solid state disk，ssd)。
258.在本技术的各个实施例中，如果没有特殊说明以及逻辑冲突，不同的实施例之间的术语和/或描述具有一致性、且可以相互引用，不同的实施例中的技术特征根据其内在的逻辑关系可以组合形成新的实施例。