云桌面共享到会议电视系统的方法、云桌面终端及云桌面与流程

1.本发明涉及云桌面以及视频会议领域，将云桌面和视频视频会议结合，可以将云桌面桌面流共享给会议电视终端，实现随时随地加入会议共享桌面。


背景技术：

2.云桌面以其随时随地可以接入，统一方便的维护和管理特性，正在得到应用越来越广泛的应用。而传统的视频会议电视系统，由于终端条件的限制，一般是将终端部署到固定的会议室，召开和加入会议都只能到会议室，并且如果需要共享个人电脑或云桌面，只能将电脑连接会议电视终端并通过会议电视终端双流来共享桌面。虽然现在视频会议也做了一些客户端软件，可以在云桌面内运行软件加入会议然后共享桌面，但是这种方式一般都是采用在云桌面内截屏然后将截屏内容编码发送给会议电视系统的方式来桌面。这种方式存在几个弊端，一是截屏在编码会消耗大量资源，如果虚机或终端性能比较差，流畅度难以保证；二是截屏再编码清晰度会难以保证，对有些特别密集显示的图片或绘图软件，清晰度难以保证；三是截屏方式可能会在本地残留些临时截屏文件，会带来安全的问题。


技术实现要素：

3.本发明所要解决的技术问题是提供一种充分利用云桌面服务器资源，通过服务器编码一路桌面流共享到会议电视终端，实现随时随地的清晰流畅地共享云桌面的方法、云桌面终端及云桌面。
4.本发明解决上述技术问题，采用的技术方案是：一种云桌面共享到会议电视系统的方法，其特征在于，包括：建立云桌面客户端与会议电视系统的连接；通过云桌面服务器，将所述云桌面客户端的桌面流转成所述会议电视系统所支持的辅流；通过所述云桌面客户端，将转成的会议电视系统所支持的辅流发送给所述会议电视系统。
5.一种云桌面共享到会议电视系统的方法，包括：建立会议电视系统与云桌面客户端的连接；接收所述云桌面服务器将云桌面客户端的桌面流转成会议电视终端所支持的辅流。
6.一种云桌面客户端，其特征在于，包括：会议处理模块，用于：会议电视系统的注册及将注册后的云桌面客户端接入到会议电视系统；向会议电视系统发起共享申请或接受会议电视系统发起的共享邀请；向云桌面服务器发起桌面流转换请求，并接收转换后的辅流；向会议电视系统发送转换后的辅流。
7.一种云桌面，包括云桌面服务器及n个云桌面客户端，其特征在于：所述云桌面客户端包括：会议处理模块，用于：会议电视系统的注册及将注册后的云桌面客户端接入到会议电视系统；向会议电视系统发起共享申请或接受会议电视系统发起的共享邀请；向云桌面服务器发起桌面流转换请求，并接收转换后的辅流；向会议电视系统发送转换后的辅流；所述云桌面服务器包括：转换模块，将所述云桌面客户端的桌面流转成所述会议电视系统所支持的辅流，并将转换后的辅流发送给云桌面客户端。
8.与现有技术相比，本发明的有益效果是：本发明在云桌面客户端引入一个会议处理模块，并改造云桌面服务器。会议处理模块负责到会议电视系统注册并发起呼叫将云桌面接入到会议电视系统。由于会议终端并不支持云桌面的桌面流，rap/ice服务器需要改造，在收到的会议处理模块的桌面共享消息后，云桌面服务器除了发送桌面流外，还另外编码一路辅流桌面流发送到会议电视系统。云桌面本身就需要在服务端调用虚拟化接口对桌面流进行编解码处理，所以将云桌面和会议电视系统结合起来，让云桌面的服务端再编一路桌面流发给会议电视系统，就能够实现将桌面共享给会议室的会议电视终端，同时又不会受云桌面客户端的终端资源限制，如果云桌面服务器上有gpu显卡，还能利用gpu显卡进行硬编码，充分利用云桌面服务器资源，同时清晰度也有保证。并且所有的编码过程都是在服务端完成的，也不会带来安全性的问题。
附图说明
9.图1是系统整体框架图；图2是会议处理模块结构图；图3是会议处理模块到会议as注册流程；图4是会议处理模块加入会议流程；图5是共享桌面流到会议电视终端流程。
具体实施方式
10.为了使本方案的目的、技术优点更加清楚明确，以下结合附图及实例，对本方案进行进一步详细说明。应当理解，基于本发明中的实例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
11.说明书附图中:会议处理模块,是云桌面客户端处理会议的模块，负责处理会议相关流程的处理。
12.云桌面服务器（也称云桌面服务端）,负责处理桌面流，将桌面显示图片帧编码为桌面流发送到云桌面客户端。
13.图形处理显卡,是云桌面服务器上的硬件显卡设备，有的服务器没有，没有时服务器采用软件编码方式，如果有，云桌面服务器调用图形处理显卡进行硬件编码，提高编码效率。
14.云桌面客户端,负责将云桌面服务器发送的桌面流解码并呈现给客户。
15.会议服务器，负责音视频会议召开和管理，会议媒体流的协商。
16.媒体控制单元，负责音视频会议混音混屏以及辅流的接收和发送处理。
17.会议电视终端，会议的硬终端，用于会议室中接入会议。以下没有特殊说明，各模块的含义皆以此为准。
18.下面结合附图1，对发明进行详细说明：本发明云桌面共享到会议电视系统的方法，用于云桌面客户端将桌面共享到会议电视系统，其中云桌面客户端的结构框图如图1所示，包括：会议处理模块，用于：会议电视系统的注册及将注册后的云桌面客户端接入到会议电视系统；向会议电视系统发起共享申请或接受会议电视系统发起的共享邀请；向云桌面服务器发起桌面流发送请求，并接收共享的桌面流；向会议电视系统发送转换后的辅流。
19.解码模块，负责将云桌面的桌面流解码，解码后图像发给客户端展示。
20.视频处理模块，负责将本地摄像头图像采集并编码发送到会议电视系统，并将会议电视系统发送到云桌面终端的视频流解码展示。
21.音频处理模块，负责将本地麦克风的声音采集并编码发送到会议电视系统，并将会议电视系统发送到终端的音频码流解码播放。
22.连接模块，负责云桌面客户端与云桌面服务端的连接建立和释放。
23.外设处理模块，负责将外部设备的重定向到桌面内，如u盘、打印机等接口设备。
24.会议处理模块的构成如图2所示，包括下面几个模块：控制模块：负责总体流程的控制，包括云桌面客户端用户注册的发起，加入会议流程发起，通知云桌面服务器发送辅流；sip（session initiation protocol，会话初始协议）协议模块：负责sip协议包的收发处理，在云桌面客户端的会议处理模块与会议电视系统的媒体处理单元之间建立媒体通道；http（超文本传输协议，hyper text transfer protocol)模协议处理块：负责http消息的收发处理，由会议服务器向会议处理模块返回媒体处理单元的音视频媒体地址和辅流发送媒体地址；音视频处理模块：加入音视频会议后，负责对音频流和视频流进行编解码处理；双流处理模块：向云桌面服务器发起辅流的申请和释放处理消息的处理；收到辅流申请后，云桌面服务器编一路h264 cif的桌面流发送到云桌面终端；流处理模块：负责对桌面流的处理，收到云桌面服务器下发h264 cif桌面流后，将桌面流发送给媒体处理单元的辅流通道。
25.会议电视系统包括：会议服务器；负责音视频会议召开和管理，会议媒体流的协商。
26.媒体控制单元，负责音视频会议混音混屏以及辅流的接收和发送处理。
27.以及若干个会议电视终端，会议的硬终端，用于会议室中接入会议。
28.本发明将云桌面共享到会议电视系统的方法，具体为：建立云桌面客户端与会议电视系统的连接，包括：步骤1：在会议电视系统的会议服务器中先给云桌面的桌面用户开户；会议处理模块发起到会议服务器的注册流程；注册成功后召开或加入会议；步骤2：会议处理模块发起召开或加入会议流程，会议服务器响应请求，两个网元通过sip协议完成媒体的协商；完成媒体的协商后，会议服务器会返回媒体处理单元的音视频媒体地址和辅流发送媒体地址；发送完地址后，云桌面客户端和媒体处理单元之间进行交互传送音频流和视频流；步骤3：需要将云桌面客户端的桌面共享到会议电视系统的会议电视终端时，会议处理模块发起到会议服务器的辅流申请；申请成功后，会议处理模块通知云桌面服务器单独编一路h264 cif的桌面流发送到云桌面终端；会议处理模块收到桌面流后不解码直接转发到媒体处理单元的辅辅流通道，媒体处理单元再将辅流转发给会议电视终端，会议电视终端将桌面展示给用户。
29.会议处理模块到会议服务器注册流程，如图3所示，具体步骤如下：步骤1：会议处理模块发送获取用户信息消息到会议服务器获取用户信息和sip注册地址，会议服务器鉴权通过后返回会议服务器sip注册地址。
30.步骤2：会议处理模块发送sip注册消息到会议服务器注册，会议服务器鉴权通过后返回注册成功响应；步骤3：sip注册成功，会议处理模块发送消息获取地址簿，以便后续会议中可以邀请常用的终端入会。
31.会议处理模块加入会议的流程，如图4所示，具体步骤为：步骤1：会议处理模块发起sip 呼叫请求召开或加入会议，sip 呼叫请求携带本地媒体通信地址；会议服务器收到呼叫请求后，判断用户如果是已注册用户，返回振铃等中间响应以及接通响应，响应消息中携带媒体处理单元的音视频媒体地址以及会议辅流的媒体地址；步骤2：媒体协商完成后，会议处理模块发送音视频流到媒体处理单元，同时媒体处理单元也会将混音混屏后的音视频流发送到终端，终端解码后可以正常呈现会议声音和图像了。
32.共享桌面流到会议电视终端的流程，如图5所示，步骤为：步骤1：云桌面客户端用户要发起共享桌面到会议电视终端时，会议处理模块先发送辅流申请请求到媒体处理单元，媒体处理单元判断当前没有其他会议电视终端发送辅流时，返回申请成功消息给会议处理模块；步骤2：会议处理模块收到辅流申请成功消息后，发送通知消息到云桌面服务器，云桌面服务器收到消息后，除了正常的桌面流外，另外单独编码一路会议电视终端支持的h264 cif格式桌面流发送给云桌面客户端。
33.如果服务带有gpu显卡，服务器调用gpu进行硬件编码以提高编码的效率，如果服务器没有gpu资源，直接使用云桌面服务器的cpu进行软编码。
34.步骤3：会议处理模块收到步骤2的桌面流后，通过辅流通道，将辅流发送给媒体处理单元
步骤4：媒体处理单元收到辅流后，将辅流转发到会议电视终端；会议电视终端收到辅流后，解码桌面流，此时会议电视终端就能呈现整个桌面的图像和操作。