多人在线视频会议图像显示的方法、系统和存储介质与流程

1.本发明涉及图像处理在远程视频会议的应用领域，具体涉及一种多人在线视频会议图像显示的方法、系统和存储介质。


背景技术：

2.在远程会议领域，不同的平台可以实现多人远程会议，例如，企业微信和钉钉，但是，二者只能实现多人语音会议。视频会议只能支持少量人同屏在线，达不到多人视频会议的要求。
3.在技术实现上，多人视频会议同屏显示对设备的gpu(graphics processing unit，图形处理器)性能要求高。目前由于硬件性能瓶颈，这样就限制了多人视频会议的应用。


技术实现要素：

4.有鉴于此，提供一种多人在线视频会议图像显示的方法、系统和存储介质，以解决现有技术中多人在线视频会议受设备硬件性能影响的问题。
5.本发明采用如下技术方案：
6.第一方面，本技术实施例提供了一种多人在线视频会议图像显示的方法，该方法包括：
7.各个第一设备对采集到的图像数据进行第一编码操作，并将得到的第一编码数据发送至第二设备进行渲染；
8.所述第二设备检测图像框获取焦点操作，确定所述图像框对应的第一设备为目标第一设备，向缓存服务器发送获取所述目标第一设备的第二编码数据的请求；
9.若所述缓存服务器正在接收所述目标第一设备的所述第二编码数据，则第二设备接收来自所述缓存服务器转发的所述第二编码数据，并向所述缓存服务器发送停止发送第一编码数据的请求；
10.若所述缓存服务器没有接收到所述目标第一设备的所述第二编码数据，则所述缓存服务器向所述目标第一设备发送第二编码数据请求消息，所述目标第一设备将采集的图像数据进行第二编码，并将得到的第二编码数据发送至所述缓存服务器，所述缓存服务器将所述第二编码数据转发给所述第二设备；
11.所述第二设备对所述第二编码数据进行解码，并将解码后的图像数据渲染到所述目标第一设备对应的图像框内显示。
12.第二方面，本技术实施例提供了一种多人在线视频会议图像显示的系统，该系统包括：
13.处理器，以及与所述处理器相连接的存储器；
14.所述存储器用于存储计算机程序，所述计算机程序至少用于执行本技术实施例第一方面所述的多人在线视频会议图像显示的方法；
15.所述处理器用于调用并执行所述存储器中的所述计算机程序。
16.第三方面，本技术实施例提供了一种存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时，实现如第一方面所述的多人在线视频会议图像显示的方法中各个步骤。
17.通过上述技术方案，本技术实施例解决了实时在线百人以上视频会议不能同时显示所有设备图像的问题，大大节省了设备gpu的性能消耗，使任意设备对应的用户都能在屏幕上看到所有其他设备对应的用户的图像。并且当一个设备对应的用户需要详细看某一个其他设备对应的用户的图像时，或者需要看当前发言人的图像时，可将鼠标移到对应用户的图像框内，或者在移动端上用手指点击对应用户的图像框，对应用户的图像框就能显示更加流畅的画面。本系统操作简单，体验感强，为用户使用大大节省了时间，提高了舒适感。
附图说明
18.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
19.图1是本技术实施例提供的一种多人在线视频会议图像显示的方法的流程图；
20.图2是本技术实施例提供的一种多人在线视频会议图像显示的系统的结构示意图。
具体实施方式
21.为使本发明的目的、技术方案和优点更加清楚，下面将对本发明的技术方案进行详细的描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施方式，都属于本发明所保护的范围。
22.首先对本技术实施例的可应用场景进行说明，本技术实施例可应用在多人在线视频会议中，将当前画面展示的设备称为第二设备，可以用设备b表示，将当前画面的来源设备称为第一设备，其中，第一设备默认为多个，分别用a1、a2，
…
，an表示，n为第一设备的个数。这样，在多人在线视频会议中，第二设备的人员可以观看n个第一设备的画面，也可以详细看某一个第一设备对应的用户对象，将该某一个第一设备称为目标第一设备。需要说明的是，上述第一设备和第二设备没有主次之分，为了描述方便以及以示区别做上述区分。
23.实施例
24.图1为本发明实施例提供的一种多人在线视频会议图像显示的方法的流程图，该方法可以由本发明实施例提供的多人在线视频会议图像显示的系统来执行，该装置可采用软件和/或硬件的方式实现。参考图1，该方法具体可以包括如下步骤：
25.s101、各个第一设备对采集到的图像数据进行第一编码操作，并将得到的第一编码数据发送至第二设备进行渲染。
26.其中，jpeg(joint photographic experts group，联合图像专家组)为一种图片编码格式。可选的，第一编码数据为jpeg编码数据。另外，第一编码数据的格式还可以是用
户自行研发的私有协议编码格式。
27.具体的，第一设备以10个为例，分别用a1、a2、a3、a4、a5、a6、a7、a8、a9和a10表示，各个第一设备通过摄像头持续采集用户图像数据。在一个具体的例子中，图像数据为颜色空间格式数据，例如颜色空间格式数据为yuv数据，yuv数据为摄像头采集数据时的一种颜色空间格式。然后各个第一设备对采集到的图像数据进行第一编码操作，并将得到的第一编码数据jpeg数据发送至第二设备进行渲染。
28.s102、第二设备检测图像框获取焦点操作，确定图像框对应的第一设备为目标第一设备，向缓存服务器发送获取目标第一设备的第二编码数据的请求。
29.其中，第二设备的用户想要详细的看某个第一设备的画面时，可以将鼠标移动至该第一设备的图像框内，或者用手指在屏幕上点击该第一设备的图像，该操作过程中，该第一设备的图像框可以获取到焦点，此时，第二设备检测图像框获取焦点的操作，确定该第一图像框对应的第一设备为目标第一设备，例如，目标第一设备可以是a1。在一个具体的例子中，比如，公司总部给各个分公司开会，则每个分公司可以将总部或者其他分公司的画面详细观看。
30.具体的，在确定目标第一设备后，第二设备向缓存服务器发送获取目标第一设备的第二编码数据的请求。可选的，第二编码数据为h264编码数据，h264编码是一种高度压缩数字视频编码器标准。也即，为了获得详细观看时更流畅的画面，第二编码操作可以采用h264编码。
31.s1031、若缓存服务器正在接收目标第一设备的第二编码数据，则第二设备接收来自缓存服务器转发的第二编码数据，并向缓存服务器发送停止发送第一编码数据的请求。
32.具体的，缓存服务器接收到第二目标设备的请求后，判断缓存服务器当前接收数据的状态。若缓存服务器正在接收目标第一设备的第二编码数据，则第二设备接收来自缓存服务器转发的第二编码数据后，同时向缓存服务器请求停止发送第一编码数据。这样，在第二设备的显示画面中，就可以看到更为详细的、更流畅的目标第一设备的画面。
33.s1032、若缓存服务器没有接收到目标第一设备的第二编码数据，则缓存服务器向目标第一设备发送第二编码数据请求消息，目标第一设备将采集的图像数据进行第二编码，并将得到的第二编码数据发送至缓存服务器，缓存服务器将第二编码数据转发给第二设备。
34.另外，如果缓存服务器没有接收到目标第一设备的第二编码数据，那么缓存服务器向目标第一设备发送第二编码数据请求消息，也即，请求目标第一设备将第二编码数据发送至第二设备。此时，目标第一设备将采集的图像数据进行第二编码，例如可以是h264编码，然后将第二编码得到的第二编码数据通过rtp(real-time transport protocol，实时传输协议)协议发送至缓存服务器，缓存服务器再将第二编码数据发送给第二设备。
35.s104、第二设备对第二编码数据进行解码，并将解码后的图像数据渲染到目标第一设备对应的图像框内显示。
36.在一个具体的例子中，第二设备对来自目标第一设备的第二编码数据进行解码，经过解码成功后，将解码后的图像数据渲染到目标第一设备对应的图像框内。这样，第二设备的显示画面上就可以看到详细的更流畅的目标第一设备的画面。
37.因此，本技术实施例中解决了实时在线百人以上视频会议不能同时显示所有设备
图像的问题，大大节省了设备gpu的性能消耗，使任意设备对应的用户都能在屏幕上看到所有其他设备对应的用户的图像。并且当一个设备对应的用户需要详细看某一个其他设备对应的用户的图像时，或者需要看当前发言人的图像时，可将鼠标移到对应用户的图像框内，或者在移动端上用手指点击对应用户的图像框，对应用户的图像框就能显示更加流畅的画面。本系统操作简单，体验感强，为用户使用大大节省了时间，提高了舒适感。
38.可选的，各个第一设备对采集到的图像数据进行第一编码操作得到的第一编码数据发送至第二设备进行渲染，具体可以包括：各个第一设备采集图像数据，并分别对图像数据进行初始编码，得到第一编码数据；各个第一设备分别将第一编码数据通过设定传输协议发送至缓存服务器；缓存服务器将第一编码数据转发给第二设备；第二设备对第一编码数据进行渲染。其中，设定传输协议为rtp协议。
39.示例性的，对图像数据进行初始编码，包括：在设定时间内抽取设定帧数的图像数据进行初始编码。在一个具体的例子中，设定时间可以是1秒，设定帧数可以是2帧，因此，各个第一设备在1秒内抽取2帧摄像头采集的图像数据进行初始编码。
40.在上述技术方案的基础上，本技术的技术方案还包括：若缓存服务器接收到目标第一设备请求停止发送第一编码数据和/或第二编码数据的请求，则停止发送数据。其中，如果缓存服务器接收到目标第一设备请求停止发送第一编码数据和/或第二编码数据的请求后，表明第一设备暂时中断会议，或者有其他情况发送，则此时，缓存服务器停止向第二设备发送相应的数据。
41.在上述技术方案的基础上，本技术的技术方案还包括：若第二设备检测到目标第一设备的图像框失去焦点的操作，则向缓存服务器发送停止目标第一设备发送第二编码数据的请求和继续发送第一编码数据的请求。其中，如果用户操作鼠标移除目标第一设备的图像框，或者，手指再次点屏幕上的目标第一设备的图像时，表明图像框失去焦点，此时，第二设备检测目标第一设备的图像框失去焦点的操作，此时，第二设备向缓存服务器发送停止目标第一设备发送第二编码数据的请求，则停止发送数据；第二设备向缓存服务器发送继续发送第一编码数据的请求，则继续发送第一编码数据，用于可以停止观看详细的目标第一设备的画面，切换至正常显示画面。
42.在上述技术方案的基础上，本技术的技术方案还包括：若缓存服务器没有接收到任何第二设备请求目标第一设备的第二编码数据，则向目标第一设备发送停止发送第二编码数据的请求。其中，如果缓存服务器没有接收到任何第二设备请求目标第一设备的第二编码数据，表明用户暂时不想查看任何一个图像框的详细的画面，则此时向目标第一设备发送停止第一编码数据的请求，目标第一设备停止数据发送。
43.因此，本技术实施例中解决了实时在线百人以上视频会议不能同时显示所有设备图像的问题，大大节省了设备gpu的性能消耗，使任意设备对应的用户都能在屏幕上看到所有其他设备对应的用户的图像。并且当一个设备对应的用户需要详细看某一个其他设备对应的用户的图像时，或者需要看当前发言人的图像时，可将鼠标移到对应用户的图像框内，或者在移动端上用手指点击对应用户的图像框，对应用户的图像框就能显示更加流畅的画面。本系统操作简单，体验感强，为用户使用大大节省了时间，提高了舒适感。
44.本发明实施例还提供一种系统，请参阅图2，图2为一种多人在线视频会议图像显示的系统的结构示意图，如图2所示，该系统包括：处理器210，以及与处理器210相连接的存
储器220；存储器220用于存储计算机程序，计算机程序至少用于执行本发明实施例中的多人在线视频会议图像显示的方法；处理器210用于调用并执行存储器中的计算机程序；上述多人在线视频会议图像显示的方法至少包括如下步骤：各个第一设备对采集到的图像数据进行第一编码操作，并将得到的第一编码数据发送至第二设备进行渲染；第二设备检测图像框获取焦点操作，确定图像框对应的第一设备为目标第一设备，向缓存服务器发送获取目标第一设备的第二编码数据的请求；若缓存服务器正在接收目标第一设备的第二编码数据，则第二设备接收来自缓存服务器转发的第二编码数据，并向缓存服务器发送停止发送第一编码数据的请求；若缓存服务器没有接收到目标第一设备的第二编码数据，则缓存服务器向目标第一设备发送第二编码数据请求消息，目标第一设备将采集的图像数据进行第二编码，并将得到的第二编码数据发送至缓存服务器，缓存服务器将第二编码数据转发给第二设备；第二设备对第二编码数据进行解码，并将解码后的图像数据渲染到目标第一设备对应的图像框内显示。
45.本发明实施例还提供一种存储介质，存储介质存储有计算机程序，计算机程序被处理器执行时，实现如本发明实施例中的多人在线视频会议图像显示的方法中各个步骤：各个第一设备对采集到的图像数据进行第一编码操作，并将得到的第一编码数据发送至第二设备进行渲染；第二设备检测图像框获取焦点操作，确定图像框对应的第一设备为目标第一设备，向缓存服务器发送获取目标第一设备的第二编码数据的请求；若缓存服务器正在接收目标第一设备的第二编码数据，则第二设备接收来自缓存服务器转发的第二编码数据，并向缓存服务器发送停止发送第一编码数据的请求；若缓存服务器没有接收到目标第一设备的第二编码数据，则缓存服务器向目标第一设备发送第二编码数据请求消息，目标第一设备将采集的图像数据进行第二编码，并将得到的第二编码数据发送至缓存服务器，缓存服务器将第二编码数据转发给第二设备；第二设备对第二编码数据进行解码，并将解码后的图像数据渲染到目标第一设备对应的图像框内显示。
46.需要说明的是，在本发明的描述中，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本发明的描述中，除非另有说明，“多个”的含义是指至少两个。流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
47.应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(pga)，现场可编程门阵列(fpga)等。
48.本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
49.此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
50.上述提到的存储介质可以是只读存储器，磁盘或光盘等。
51.在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
52.尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。