一种云会议中的动态帧投屏方法及相关产品与流程

1.本技术涉及电子及通信技术领域，尤其涉及一种云会议中的动态帧投屏方法及相关产品。


背景技术：

2.云会议是基于云计算技术的一种高效、便捷、低成本的会议形式。使用者只需要通过互联网界面，进行简单易用的操作，便可快速高效地与全球各地团队及客户同步分享语音、数据文件及视频，而会议中数据的传输、处理等复杂技术由云会议服务商帮助使用者进行操作。
3.云会议场景下共享文件区域的图像数据传输与云终端不匹配，进而影响云会议的效果，降低用户体验度。


技术实现要素：

4.本技术实施例公开了一种云会议中的动态帧投屏方法及相关产品，该方法可以提高图像数据传输与云终端的匹配程度，提高云会议的技术效果，提高用户的体验度。
5.第一方面，提供一种云会议中的动态帧投屏方法，所述方法包括如下步骤：
6.云会议服务器获取主讲人终端以及其他云终端的参数信息；
7.云会议服务器依据该参数信息预测当前会议的投屏策略；
8.云会议服务器依据该投屏策略动态调整云会议的投屏帧率，并执行云会议。
9.第二方面，提供一种云会议中的动态帧投屏系统，所述系统包括：
10.获取单元，用于获取主讲人终端以及其他云终端的参数信息；
11.处理单元，用于依据该参数信息预测当前会议的投屏策略；依据该投屏策略动态调整云会议的投屏帧率，并执行云会议。
12.第三方面，提供一种电子设备，包括处理器、存储器、通信接口，以及一个或多个程序，所述一个或多个程序被存储在所述存储器中，并且被配置由所述处理器执行，所述程序包括用于执行第一方面所述的方法中的步骤的指令。
13.第四方面，提供了一种计算机可读存储介质，存储用于电子数据交换的计算机程序，其中，所述计算机程序使得计算机执行第一方面所述的方法。
14.第五方面，提供了一种计算机程序产品，其中，上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，上述计算机程序可操作来使计算机执行如本技术实施例第一方面中所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。
15.本技术提供的技术方案云会议服务器获取主讲人终端以及其他云终端的多个参数信息；云会议服务器依据该多个参数信息预测当前会议的投屏策略，云会议服务器依据该投屏策略动态调整云会议的投屏帧率，并执行云会议。这样在进行云会议时，能够通过多个参数信息动态对云会议的投屏帧率进行调整，在保证云会议的会议流畅度的同时，减少
网络数据传输量，提高会议的质量，提高用户体验度，降低成本。
附图说明
16.以下对本技术实施例用到的附图进行介绍。
17.图1是本技术的一种云会议平台构架的示意图；
18.图2是本技术提供的一种云会议中的动态帧投屏方法的流程示意图；
19.图3是本技术提供的一种云会议中的动态帧投屏系统的结构示意图；
20.图4为本技术实施例一提供的云会议中的动态帧投屏方法的流程示意图；
21.图5是本技术实施例提供的一种电子设备的结构示意图。
具体实施方式
22.下面结合本技术实施例中的附图对本技术实施例进行描述。
23.本技术中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。另外，本文中字符“/”，表示前后关联对象是一种“或”的关系。
24.本技术实施例中出现的“多个”是指两个或两个以上。本技术实施例中出现的第一、第二等描述，仅作示意与区分描述对象之用，没有次序之分，也不表示本技术实施例中对设备个数的特别限定，不能构成对本技术实施例的任何限制。本技术实施例中出现的“连接”是指直接连接或者间接连接等各种连接方式，以实现设备间的通信，本技术实施例对此不做任何限定。
25.参阅图1，图1为云会议平台的构架示意图，如图1所示，其具有多个云终端，该云终端通过云会议服务器连接在一起，上述云终端具体可以包括：处理器、存储器、显示屏、通信电路、音频组件和摄像组件，上述部件可以通过总线连接，也可以通过其他方式连接，本技术并不限制上述连接的具体方式。上述云终端与云会议平台连接的方式可以通过有线网络连接，当然也可以通过无线通信系统的无线网络连接。
26.上述无线通信系统可以是：全球移动通讯(global system of mobile communication，gsm)系统、码分多址(code division multiple access，cdma)系统、宽带码分多址(wideband code division multiple access，wcdma)系统、通用分组无线业务(general packet radio service，gprs)、长期演进(long term evolution，lte)系统、先进的长期演进(advanced long term evolution，lte-a)系统、新空口(new radio，nr)系统、nr系统的演进系统、免授权频谱上的lte系统(lte-based access to unlicensed spectrum，lte-u)、免授权频谱上的nr系统(nr-based access tounlicensed spectrum，nr-u)、通用移动通信系统(universal mobile telecommunication system，umts)、下一代通信系统或其他通信系统等。
27.参阅图2，图2提供了一种云会议中的动态帧投屏方法的流程示意图，如图2所示的方法可以在如图1所示的云会议平台的构架下执行，具体的，其可以通过如图1所示的云会议平台中的云终端执行，当然也可以由云会议服务器执行，本实施例以云会议服务器为例进行说明，在实际应用中，也可以是云终端执行，该方法如图2所示，包括如下步骤：
28.步骤s201、云会议服务器获取主讲人终端以及其他云终端的参数信息；
29.示例的，上述参数信息包括但不限于：主讲人终端的操作信息、其他云终端的网络延时、云会议的当前讲义内容等等。
30.示例的，上述操作信息包括但不限于：终端交互信息、终端硬件参数；例如负载率、硬件使用率(例如cpu使用率、内存使用率等等)。
31.步骤s202、云会议服务器依据该参数信息预测当前会议的投屏策略；
32.示例的，上述投屏策略包括：高帧率投屏、中帧率投屏、低帧率投屏或变化帧率投屏。
33.步骤s203、云会议服务器依据该投屏策略动态调整云会议的投屏帧率，并执行云会议。
34.可以根据投屏策略动态的调整云会议的投屏帧率以匹配投屏策略，上述参数信息可以为周期性的采集，这样即实现了动态的调整。
35.本技术提供的技术方案云会议服务器获取主讲人终端以及其他云终端的多个参数信息；云会议服务器依据该多个参数信息预测当前会议的投屏策略，云会议服务器依据该投屏策略动态调整云会议的投屏帧率，并执行云会议。这样在进行云会议时，能够通过多个参数信息动态对云会议的投屏帧率进行调整，在保证云会议的会议流畅度的同时，减少网络数据传输量，提高会议的质量，提高用户体验度，降低成本。
36.示例的，上述云会议服务器依据该参数信息预测当前会议的投屏策略具体可以包括：
37.若该参数信息包含云会议的当前讲义内容，云会议服务器将该当前讲义内容输入到类型识别模型确定当前讲义内容的第一类型，云会议服务器对主讲人进行识别确定该主讲人的第一身份，依据该第一身份提取主讲人对该第一类型的历史讲义时间t，依据该时间t所处于的区间确定当前会议的投屏策略。
38.示例的，上述类型识别模型具体可以为神经网络模型、深度神经网络模型、支持向量机等等，本技术并不限制上述模型的具体表现形式。
39.具体的，上述依据该时间t所处于的区间确定当前会议的投屏策略具体可以包括：
40.确定该时间t所处于的第一区间，依据区间与投屏策略之间的映射关系提取该第一区间对应的第一策略，将该第一策略确定为当前会议的投屏策略。
41.具体的，例如该时间t为30分钟，提取的第一策略可以为压缩帧率投屏，若该时间t为2分钟，则确定该第一策略可以为中帧率投屏等等，本技术并不限制上述区间与投屏策略之间的映射关系的具体实现方式。
42.示例的，上述云会议服务器依据该参数信息预测当前会议的投屏策略具体可以包括：
43.若该参数信息包含其他云终端的网络延时，确定当前会议的投屏策略为变化帧率投屏，具体包括：依据该网络延时所处于的延时区间为网络延时对应的终端分配与延时区间对应的帧率投屏。
44.其实现的方案具体可以包括：若云终端1的网络延时很低，例如5毫秒，则确定该对应的帧率投屏可以为高帧率投屏，若云终端2的网络延时中等，例如20毫秒，则确定该对应的帧率投屏可以为中帧率投屏，若云终端3的网络延时较高，例如100毫秒，则确定该对应的帧率投屏可以为低帧率投屏。针对不同的帧率投屏也可以采用不同的压缩方法来实现，例
如，对于高帧率投屏，可以不压缩投屏的传输数据，对于中帧率投屏，可以采用无损压缩传输数据，对于低帧率投屏，可以采用有损压缩传输数据。
45.示例的，上述方法还可以包括：
46.云会议服务器通过其他云终端的网络延时设置其他云终端对应的投屏传输数据的传输优先级，依据该传输优先级发送其他云终端的投屏传输数据。
47.参阅图3，图3提供了一种云会议中的动态帧投屏系统的结构示意图，所述系统包括：
48.获取单元301获取主讲人终端以及其他云终端的参数信息；
49.处理单元302依据该参数信息预测当前会议的投屏策略；依据该投屏策略动态调整云会议的投屏帧率，并执行云会议。
50.示例的，
51.所述参数信息包括：主讲人终端的操作信息、其他云终端的网络延时、云会议的当前讲义内容；
52.所述投屏策略包括：高帧率投屏、中帧率投屏、低帧率投屏或变化帧率投屏。
53.示例的，
54.所述处理单元，用于若该参数信息包含云会议的当前讲义内容，将该当前讲义内容输入到类型识别模型确定当前讲义内容的第一类型，对主讲人进行识别确定该主讲人的第一身份，依据该第一身份提取主讲人对该第一类型的历史讲义时间t，依据该时间t所处于的区间确定当前会议的投屏策略。
55.示例的，
56.处理单元，具体用于若该参数信息包含其他云终端的网络延时，确定当前会议的投屏策略为变化帧率投屏，具体包括：依据该网络延时所处于的延时区间为网络延时对应的终端分配与延时区间对应的帧率投屏。
57.示例的，
58.处理单元，还用于通过其他云终端的网络延时设置其他云终端对应的投屏传输数据的传输优先级，依据该传输优先级发送其他云终端的投屏传输数据。
59.实施例一
60.参阅图4，图4提供了一种云会议中的动态帧投屏方法的流程示意图，如图4所示的方法可以在如图1所示的云会议平台的构架下执行，具体的，其可以通过如图1所示的云会议平台中的云终端执行，当然也可以由云会议服务器(以下简称云端)执行，本实施例以云会议服务器为例进行说明，在实际应用中，也可以是云终端执行，该方法如图4所示，包括如下步骤：
61.步骤s401、云端获取当前云会议的云桌面图像内容的变化情况；
62.步骤s402、云端适配满足用户需求的帧率来传输对应云桌面图像数据。
63.具体的，如相邻帧变化量相对小的投屏场景，如静态文件投屏场景，可以采用低传输帧率，减少单位时间内数据传输量以降低功耗，视频类投屏场景中，采用高传输帧率以提高流畅度。
64.又如ppt投屏讲解场景中，用户无交互操作的情况下每页ppt内容可推送单帧，动态视频讲解场景中，则需要通过高帧率投屏确保动态视频投屏画面不卡顿。
65.上述方法还可以包括：
66.云端具体可以根据针对主讲人针对本地设备或者大屏投屏设备的交互操作的检测结果(一般检测到具体控制操作时需要动态更新会议桌面内容并推流给客户端设备显示)、以及当前会议桌面全屏状态下显示的共享内容信息的类型(如文档、文件、音视频等)、以及可选会议室投屏设备的网速等动态计算适配的帧率等。
67.例如，主讲人控制目标ppt文件讲解到第五页，该ppt页面内容涉及到一个直观的且有具体步骤标注的流程图，主讲人控制显示该页面后，云服务器预测该主讲人需要花费30秒进行讲解，且页面原生标注性明显无需额外交互操作来提醒具体讲解位置，因此确定最低推流投屏帧率如一秒更新并推流一帧等。
68.云端还可以根据应用场景之间的差异，即通过对云会议特殊的视频传输来减少传输数据量。
69.云端还可以增加不同的用户提供不同的传输方式，云会议中不同的参会人可能关注的视频的概念可能不同，通过对用户的分类来针对不同分类的用户传输不同的压缩图片，进一步降低数据传输量。
70.云端还可以增加传输的优先级，即针对不同的参会人员之间的延时来分配各个传输的图片个传输量，例如网速高的线路可以分配较高清晰度的图片，网速低的线路可以分配较低清晰度的图片，进而保证图片清晰度与数据量之间的同步。
71.针对ppt投屏的方式，对于不同的ppt的投屏的页面采用不同的方式来实现。
72.可以理解的是，上述装置为了实现上述功能，其包含了执行各个功能相应的硬件和/或软件模块。结合本文中所公开的实施例描述的各示例的算法步骤，本技术能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以结合实施例对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本技术的范围。
73.本实施例可以根据上述方法示例对电子设备进行功能模块的划分，例如，可以对应各个功能划分各个功能模块，也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块可以采用硬件的形式实现。需要说明的是，本实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
74.需要说明的是，上述方法实施例涉及的各步骤的所有相关内容均可以援引到对应功能模块的功能描述，在此不再赘述。
75.在采用集成的单元的情况下，用户设备可以包括处理模块和存储模块。其中，处理模块可以用于对用户设备的动作进行控制管理，例如，可以用于支持电子设备执行上述获取单元、通信单元、处理单元执行的步骤。存储模块可以用于支持电子设备执行存储程序代码和数据等。
76.其中，处理模块可以是处理器或控制器。其可以实现或执行结合本技术公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，数字信号处理(digital signal processing，dsp)和微处理器的组合等等。存储模块可以是存储器。通信模块具体可以为射频电路、蓝牙芯片、wi-fi芯片等与其他电子设备交互的设备。
77.可以理解的是，本技术实施例示意的各模块间的接口连接关系，只是示意性说明，并不构成对用户设备的结构限定。在本技术另一些实施例中，用户设备也可以采用上述实施例中不同的接口连接方式，或多种接口连接方式的组合。
78.请参见图5，图5是本技术实施例提供的一种电子设备50，该电子设备50包括处理器501、存储器502、通信接口503和显示屏504，所述处理器501、存储器502和通信接口503通过总线相互连接，所述显示屏为所述电子设备供电，该电子设备还可以包括：
79.存储器502包括但不限于是随机存储记忆体(random access memory，ram)、只读存储器(read-only memory，rom)、可擦除可编程只读存储器(erasable programmable read only memory，eprom)、或便携式只读存储器(compact disc read-only memory，cd-rom)，该存储器502用于相关计算机程序及数据。通信接口503用于接收和发送数据。
80.处理器501可以是一个或多个中央处理器(central processing unit，cpu)，在处理器501是一个cpu的情况下，该cpu可以是单核cpu，也可以是多核cpu。
81.处理器501可以包括一个或多个处理单元，例如：处理单元可以包括应用处理器(application processor，ap)，调制解调处理器，图形处理器(graphics processing unit，gpu)，图像信号处理器(image signal processor，isp)，控制器，视频编解码器，数字信号处理器(digital signal processor，dsp)，基带处理器，和/或神经网络处理器(neural-network processing unit，npu)等。其中，不同的处理单元可以是独立的部件，也可以集成在一个或多个处理器中。在一些实施例中，用户设备也可以包括一个或多个处理单元。其中，控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。在其他一些实施例中，处理单元中还可以设置存储器，用于存储指令和数据。示例性地，处理单元中的存储器可以为高速缓冲存储器。该存储器可以保存处理单元刚用过或循环使用的指令或数据。如果处理单元需要再次使用该指令或数据，可从所述存储器中直接调用。这样就避免了重复存取，减少了处理单元的等待时间，因而提高了用户设备处理数据或执行指令的效率。
82.在一些实施例中，处理器501可以包括一个或多个接口。接口可以包括集成电路间(inter-integrated circuit，i2c)接口、集成电路间音频(inter-integrated circuit sound，i2s)接口、脉冲编码调制(pulse code modulation，pcm)接口、通用异步收发传输器(universal asynchronous receiver/transmitter，uart)接口、移动产业处理器接口(mobile industry processor interface，mipi)、用输入输出(general-purpose input/output，gpio)接口、sim卡接口和/或usb接口等。其中，usb接口是符合usb标准规范的接口，具体可以是mini usb接口、micro usb接口、usb type c接口等。usb接口可以用于连接充电器为用户设备充电，也可以用于用户设备与外围设备之间传输数据。该usb接口也可以用于连接耳机，通过耳机播放音频。
83.若该电子设备50为云会议服务器或云设备，例如智能手机、计算机设备、服务器，该电子设备50中的处理器501用于读取所述存储器502中存储的计算机程序代码，执行以下操作：
84.获取主讲人终端以及其他云终端的参数信息；依据该参数信息预测当前会议的投屏策略；依据该投屏策略动态调整云会议的投屏帧率，并执行云会议。
85.示例的，若该参数信息包含云会议的当前讲义内容，将该当前讲义内容输入到类
型识别模型确定当前讲义内容的第一类型，云会议服务器对主讲人进行识别确定该主讲人的第一身份，依据该第一身份提取主讲人对该第一类型的历史讲义时间t，依据该时间t所处于的区间确定当前会议的投屏策略。
86.示例的，若该参数信息包含其他云终端的网络延时，所述云会议服务器依据该参数信息预测当前会议的投屏策略具体包括：
87.确定当前会议的投屏策略为变化帧率投屏，具体包括：依据该网络延时所处于的延时区间为网络延时对应的终端分配与延时区间对应的帧率投屏。
88.示例的，云会议服务器通过其他云终端的网络延时设置其他云终端对应的投屏传输数据的传输优先级，依据该传输优先级发送其他云终端的投屏传输数据。
89.其中，上述方法实施例涉及的各场景的所有相关内容均可以援引到对应功能模块的功能描述，在此不再赘述。
90.本技术实施例还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，当其在网络设备上运行时，图2所示的方法流程得以实现。
91.本技术实施例还提供一种计算机程序产品，当所述计算机程序产品在终端上运行时，图2所示的方法流程得以实现。
92.本技术实施例还提供一种电子设备，包括处理器、存储器、通信接口，以及一个或多个程序，所述一个或多个程序被存储在所述存储器中，并且被配置由所述处理器执行，所述程序包括用于执行图2所示实施例的方法中的步骤的指令。
93.上述主要从方法侧执行过程的角度对本技术实施例的方案进行了介绍。可以理解的是，电子设备为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模板。本领域技术人员应该很容易意识到，结合本文中所提供的实施例描述的各示例的单元及算法步骤，本技术能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用使用不同方法来实现所描述的功能，但是这种实现不应认为超出本技术的范围。
94.本技术实施例可以根据上述方法示例对电子设备进行功能单元的划分，例如，可以对应各个功能划分各个功能单元，也可以将两个或两个以上的功能集成在一个处理单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。需要说明的是，本技术实施例中对单元的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
95.需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本技术并不受所描述的动作顺序的限制，因为依据本技术，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模板并不一定是本技术所必须的。
96.在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
97.在本技术所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如上述单元的划分，仅仅为一种
逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。
98.上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
99.另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
100.上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本技术各个实施例上述方法的全部或部分步骤。而前述的存储器包括：u盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
101.本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储器中，存储器可以包括：闪存盘、只读存储器(英文：read-only memory，简称：rom)、随机存取器(英文：random access memory，简称：ram)、磁盘或光盘等。