通过无线信道实现UAC和UVC设备远程连接的系统和方法与流程

通过无线信道实现uac和uvc设备远程连接的系统和方法
技术领域
1.本发明涉及无线通信技术领域，具体涉及一种通过无线信道实现uac和uvc设备远程连接的系统和方法。


背景技术：

2.usb-c的dongle连接pc，可以将pc显示的视频和音频信息通过无线信道发送到远端的接收器rx，rx将视频和音频信息转换成hdmi输出到tv显示。pc投屏同时需要远端的uac和uvc设备开视频会议时，pc需要再接一条usb线缆通过rx连接uac和uvc。
3.如图3所示，原uac和uvc设备远程连接系统，由投屏器dongle和接收器rx组成。
4.该投屏器dongle用于对外提供usb-c接口、投屏按键和wifi硬件接口。其中，该usb-c接口用于pc向dongle供电，pc向dongle发送音视频数据以及构造触控屏hid usb设备；该投屏按键用于提供投屏、取消投屏和冻结等功能；该wifi硬件接口工作在wifi sta模式，主动连接rx；无线信道承载信令和投屏媒体。该投屏器dongle主要包含信令模块和投屏发送模块；该信令模块负责与接收器rx建立和维护信令通道，负责投屏器dongle和接收器rx之间信令处理；该投屏发送模块用于把usb-c接口接收到pc的音视频数据经过编码通过无线信道上的投屏媒体通道发送给接收器rx；从投屏媒体通道接收接收器rx的hid设备信息创建hid设备，接收hid报文通过usb-c接口送给pc。
5.该接收器rx用于对外提供usb设备接口、usb host接口、hdmi输出和wifi硬件接口。其中，该usb设备接口用于实现uac、uvc、hid等设备接入；该usb host接口连接pc经过usb hub与usb设备互通；该hdmi输出实现外输出投屏的hdmi；该wifi硬件接口工作在wifi ap模式，接受和管理投屏器dongle连接。该接收器rx主要包含信令模块和投屏接收功能模块；该信令模块用于负责管理投屏器dongle建立的信令通道，负责投屏器dongle与接收器rx之间信令处理；该投屏接收功能模块用于接收无线信道上投屏媒体通道的投屏器dongle编码的音频数据，解析转换成hdmi输出，管理hid设备，向投屏媒体通道发送hid设备信息和hid报文，投屏主要信令流程如图4所示。
6.上述技术的缺点为：使用usb线缆长度有限，无线传输则没有，可以覆盖大中小各种会议室，会议室布局灵活方便；pc用户需要投屏同时开视频会议室时，需要接入dongle设备和usb线缆，不如接入一个设备完成此功能的体验好。
7.综上可知，有必要对现有技术做进一步完善和创新。


技术实现要素：

8.针对上述背景技术中存在的技术问题，本发明提出了一种构思合理，可以在大中小会议室场景中方便灵活组网，用户只需在pc插入投屏器dongle即可投屏又可以开视频会议，简化了用户接线操作，提升了用户体验的通过无线信道实现uac和uvc设备远程连接的系统和方法。
9.为解决上述技术问题，本发明提供的一种通过无线信道实现uac和uvc设备远程连
接的系统，由投屏器dongle和接收器rx组成；所述投屏器dongle用于对外提供usb-c接口、投屏按键和wifi硬件接口；所述usb-c接口用于pc向所述投屏器dongle供电及pc向所述投屏器dongle发送音视频数据；所述wifi硬件接口工作在wifi sta模式，主动连接所述接收器rx;所述wifi硬件接口的无线信道承载信令和投屏媒体；所述投屏器dongle主要包含dongle信令模块和dongle投屏发送模块；所述dongle信令模块用于负责与所述接收器rx建立和维护信令通道，负责所述投屏器dongle与接收器rx之间信令处理；所述dongle投屏发送模块用于把usb-c接口接收到pc的音视频数据经过编码通过无线信道上的投屏媒体通道发送给所述接收器rx，从投屏媒体通道接收所述接收器rx的hid设备信息创建hid设备，接收hid报文通过usb-c接口送给pc；所述接收器rx用于对外提供usb接口、hdmi输出接口和wifi硬件接口；所述接收器rx包含rx信令模块和rx投屏接收模块；所述rx信令模块用于负责管理所述投屏器dongle建立的信令通道，负责所述接收器rx与投屏器dongle之间信令处理；所述rx投屏接收模块用于接收无线信道上投屏媒体通道的dongle编码的音频数据，解析转换成hdmi输出，并管理hid设备，向投屏媒体通道发送hid设备信息和hid报文；所述usb-c接口还用于向pc呈现一个usb组合设备；所述wifi硬件接口的无线信道还承载有usb控制、camera媒体、speaker媒体和mic媒体通道；所述投屏器dongle还用于对外连接按键硬件接口；且所述连接按键硬件接口具有实现可抢占的usb连接和可回退的断开连接功能；所述投屏器dongle还包含usb组合设备；所述接收器rx还包含usb控制功能模块；所述usb组合设备用于通过信令控制向接收器rx请求usb组合设备描述符构建组合设备，创建所述usb组合设备与所述usb控制功能模块之间传输通道;所述传输通道用于usb控制和usb媒体信息的传输且包含usb控制和usb媒体通道;且所述usb媒体通道包含camera媒体、speaker媒体和mic媒体通道；所述usb控制功能模块用于完成所述接收器rx连接的usb设备的管理，与指定所述投屏器dongle协商提供usb组合设备描述符，创建与所述投屏器dongle的控制和媒体通道收发usb的控制和媒体信息。
10.一种通过无线信道实现uac和uvc设备远程连接的方法，基于上述的通过无线信道实现uac和uvc设备远程连接的系统，主要包括以下步骤：（1）创建信令通道；（2）usb连接（2.1）投屏器dongle的连接按键在断开状态时被按下；无连接按键的投屏器dongle可通过插入pc触发；（2.2）投屏器dongle向接收器rx发送usb连接请求，请求包含usb支持最大端点个数、媒体接收可用端口范围、wifi支持最大带宽等；（2.3）接收器rx收到usb连接请求时进行可抢占的连接处理；（2.4）投屏器dongle收到usb连接请求响应，响应码是成功时，表示usb连接请求成功；（3）创建usb控制和媒体通道；（4）循环数据收发
（4.1）投屏器dongle与接收器rx之间的usb控制通道是双向的；投屏器dongle从usb组合设备0端点读取控制信息，封装成控制消息发送给接收器rx，接收器rx接收到控制消息解析之后发送给对应uac或者uvc设备，并把操作结果反馈给投屏器dongle；（4.2）通过usb控制通道打开mic、speaker和camera；（4.3）循环收发mic、speaker和camera的数据；（4.4）usb控制通道控制操作；（4.5）通过usb控制通道关闭mic、speaker和camera；（5）usb变更通知（5.1）usb连接请求的抢占、usb断开连接请求的回退和接收器rx的usb更新时向投屏器dongle发送usb变更通知，变更通知包含消息类型、usb组合设备描述、使用端点个数和端点信息数组信息；变更类型包含连接、断开连接和连接更新；（5.2）投屏器dongle收到接收器rx的usb变更通知，根据变更类型处理usb组合设备，给接收器rx发送响应；（5.3）接收器rx收到投屏器dongle的usb变更通知响应，返回码成功时，根据变更类型处理usb端点读取和媒体通道收发；（6）usb断开连接（6.1）投屏器dongle的连接按键在连接状态时被按下；无连接按键的投屏器dongle可通过从pc移除触发,接收器rx检测信令通道关闭时进行可回退的断开连接处理，然后释放与该投屏器dongle的usb控制和媒体通道资源；（6.2）投屏器dongle向接收器rx发送usb断开连接请求；（6.3）接收器rx收到断开连接请求时进行可回退的断开连接处理;（6.4）投屏器dongle收到接收器rx断开连接请求响应，返回码是成功表示usb断开连接成功；（7）关闭usb控制和媒体通道；（8）信令通道关闭。
11.所述通过无线信道实现uac和uvc设备远程连接的方法，其中，所述步骤（2.3）的具体步骤如下：（2.3.1）接收器rx没有投屏器dongle连接时，打开usb接口连接的uac、uvc和hid设备，根据请求信息生成请求响应并发送给投屏器dongle，请求响应包含响应码、usb组合设备描述、使用端点个数和端点信息数组，且端点信息包含端点编号、类型、接收端口，类型有usb控制、mic数据、speaker数据和camera数据；创建uac、uvc设备的mic数据、speaker数据和camera数据对应端点读写及其对应媒体通道收发；（2.3.2）接收器rx与投屏器dongle连接时，接收器rx不是抢占策略则返回失败，接收器rx是抢占策略则：向usb连接的投屏器dongle发送变更通知消息，关闭usb组合设备，接收器rx收到投屏器dongle的变更通知响应后，关闭usb控制和usb媒体通道的数据接收和发送；根据新投屏器dongle发起的usb连接请求信息生成请求响应并发送给新连接的投屏器dongle；接收器rx创建新投屏器dongle媒体通道收发。
12.所述通过无线信道实现uac和uvc设备远程连接的方法，其中，所述步骤（4.3）的具体步骤如下：
（4.3.1）接收器rx从mic数据对应端点读取mic数据封装成rtp包，从mic数据通道发送给投屏器dongle，投屏器dongle接收到rtp包，解析rtp包之后写入usb组合设备mic对应端点；（4.3.2）接收器rx从camera数据对应端点读取camera数据封装成rtp包，从camera数据通道发送给投屏器dongle，投屏器dongle接收到rtp包，解析rtp包之后写入usb组合设备camera对应端点；（4.3.3）投屏器dongle从媒体通道接收到mic和camera的rtp包，先分别按rtp序号排序之后，按rtp时戳对齐之后送入usb组合设备对应端点；（4.3.4）投屏器dongle从speaker数据对应端点读取speaker数据封装成rtp包，从speaker数据通道发送给接收器rx，接收器rx接收到rtp包，解析rtp包之后写入speaker数据对应端点。
13.所述通过无线信道实现uac和uvc设备远程连接的方法，其中，所述步骤（6.3）的具体步骤如下：（6.3.1）没有投屏器dongle连接时，关闭uac、uvc设备的mic数据、speaker数据和camera数据对应端点读写及其对应媒体通道收发，关闭uac、uvc和hid设备，向投屏器dongle发送usb断开连接请求响应；（6.3.2）有投屏器dongle连接时，关闭媒体通道收发，向请求的投屏器dongle发送usb断开连接请求响应；向上一个usb连接的投屏器dongle发送usb变更消息打开usb组合设备，收到响应后，创建媒体通道收发。
14.所述通过无线信道实现uac和uvc设备远程连接的方法，其中，所述步骤（1）具体包括以下步骤：（1.1）投屏器dongle使用ssid和密码连接接收器rx的wifi, ssid和密码通过与接收器rx配对获取；（1.2）投屏器dongle使用指定ip和port与接收器rx建立tcp连接；（1.3）投屏器dongle向接收器rx发送创建信令通道请求，请求包含设备类型和接入码信息；（1.4）接收器rx收到请求处理之后向投屏器dongle发送创建信令通道请求响应，且请求响应包含响应码、客户端唯一标识、接入码类型、rx设备类型和能力集；（1.5）投屏器dongle收到创建信令通道请求响应，响应码是成功时，表示信令通道创建成功。
15.所述通过无线信道实现uac和uvc设备远程连接的方法，其中，所述步骤（3）的具体步骤为：投屏器dongle根据usb连接请求响应中的usb组合设备描述符创建usb组合设备，根据端点信息数组创建usb组合设备对应端点读写及其对应媒体通道收发。
16.所述通过无线信道实现uac和uvc设备远程连接的方法，其中，所述步骤（4.4）的控制操作步骤如下：（4.4.1）mic和speaker的静音和取消静音；（4.4.2）mic和speaker的音量加减；（4.4.3）camera的移动和缩放；（4.4.4）camera的对比度和亮度调节。
17.所述通过无线信道实现uac和uvc设备远程连接的方法，其中，所述步骤（7）具体方式为：投屏器dongle关闭usb媒体通道、usb控制通道和usb组合设备。
18.所述通过无线信道实现uac和uvc设备远程连接的方法，其中，所述步骤（8）具体方式为：投屏器dongle既没有投屏又没有usb组合设备时关闭信令通道。
19.采用上述技术方案，本发明具有如下有益效果：本发明通过无线信道实现uac和uvc设备远程连接的系统和方法，构思合理，可以在大中小会议室场景中方便灵活组网，用户只需在pc插入投屏器dongle即可投屏又可以开视频会议，简化了用户接线操作，提升了用户体验。本发明支持多个pc同时插入dongle使用，可根据用户的连接命令进行usb host的灵活切换，断开连接后可以自动回退到上一个usb host。
附图说明
20.为了更清楚地说明本发明具体实施方式或现有技术中的技术方案下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
21.图1为本发明通过无线信道实现uac和uvc设备远程连接的系统的结构组成图；图2为本发明通过无线信道实现uac和uvc设备远程连接的方法的流程图；图3为原uac和uvc设备远程连接系统的结构组成图；图4为原uac和uvc设备远程连接方法的流程图。
具体实施方式
22.下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
23.下面结合具体的实施方式对本发明做进一步的解释说明。
24.名词解释:pc全称为personal computer，即：个人计算机;usb全称为universal serial bus，即：通用串行总线;uac全称为usb audio class，即：usb音频类;uvc全称为usb video class，即：usb视频类;usb-c全称为usb type-c;hid全称为human interface device，即：人机交互设备;camera即：摄像头;speaker即：扬声器;mic全称为microphone，即：麦克风;wifi ap全称为wifi access point，即：wifi接入点;wifi sta全称为wifi station，即：wifi客户端。
25.如图1所示，本发明通过无线信道实现uac和uvc设备远程连接的系统，由投屏器
dongle和接收器rx组成。
26.该投屏器dongle用于对外提供usb-c接口、投屏按键、wifi硬件接口和连接按键硬件接口。其中，该usb-c接口用于pc向投屏器dongle供电、pc向投屏器dongle发送音视频数据以及向pc呈现一个usb组合设备。该投屏按键具有提供投屏、取消投屏和冻结等功能。该wifi硬件接口工作在wifi sta模式，主动连接接收器rx，wifi硬件接口的无线信道承载信令、投屏媒体、usb控制、camera媒体、speaker媒体和mic媒体通道。该连接按键硬件接口具有实现可抢占的usb连接和可回退的断开连接功能。usb连接可以通过投屏器dongle插入触发，usb可回退的断开连接功能可以通过接收器rx检测usb连接投屏器dongle离线触发。
27.该投屏器dongle主要包含dongle信令模块、dongle投屏发送模块和usb组合设备。其中，该dongle信令模块用于负责与接收器rx建立和维护信令通道，负责投屏器dongle与接收器rx之间信令处理。该dongle投屏发送模块用于把usb-c接口接收到pc的音视频数据经过编码后，通过无线信道上的投屏媒体通道发送给接收器rx，从投屏媒体通道接收接收器rx的hid设备信息创建hid设备，接收hid报文通过usb-c接口送给pc。该usb组合设备用于通过信令控制向接收器rx请求usb组合设备描述符构建组合设备，创建usb组合设备与接收器rx的usb控制功能模块之间传输通道，该通道用于usb控制和usb媒体信息的传输，该通道包含usb控制和usb媒体通道，且usb媒体通道包含camera媒体、speaker媒体和mic媒体通道。
28.该接收器rx用于对外提供usb接口、hdmi输出接口和wifi硬件接口。其中，该usb接口用于实现uac、uvc、hid等设备接入。该hdmi输出接口用于实现向外输出投屏的hdmi。该wifi硬件接口工作在wifi ap模式，用于接受和管理投屏器dongle连接。
29.该接收器rx主要包含rx信令模块、rx投屏接收模块和usb控制功能模块。其中，该rx信令模块用于负责管理投屏器dongle建立的信令通道，负责接收器rx与投屏器dongle之间信令处理。该rx投屏接收模块用于接收无线信道上投屏媒体通道的dongle编码的音频数据，解析转换成hdmi输出，并管理hid设备，向投屏媒体通道发送hid设备信息和hid报文。该usb控制功能模块用于完成接收器rx连接的usb设备的管理，与指定投屏器dongle协商提供usb组合设备描述符，创建与投屏器dongle的控制和媒体通道收发usb的控制和媒体信息。
30.如图2所示，本发明通过无线信道实现uac和uvc设备远程连接的方法，基于上述的通过无线信道实现uac和uvc设备远程连接的系统，具体包括以下步骤：s100、创建信令通道：s110、投屏器dongle使用ssid和密码连接接收器rx的wifi, ssid和密码通过与接收器rx配对获取；s120、投屏器dongle使用指定ip和port与接收器rx建立tcp连接；s130、投屏器dongle向接收器rx发送创建信令通道请求，请求包含设备类型和接入码信息；s140、接收器rx收到请求处理之后向投屏器dongle发送创建信令通道请求响应，该请求响应包含响应码、客户端唯一标识、接入码类型、rx设备类型和能力集；s150、投屏器dongle收到创建信令通道请求响应，响应码是成功时，表示信令通道创建成功；s200、usb连接：
s210、投屏器dongle的连接按键在断开状态时被按下；无连接按键的投屏器dongle可以通过插入pc触发；s220、投屏器dongle向接收器rx发送usb连接请求，请求包含usb支持最大端点个数、媒体接收可用端口范围、wifi支持最大带宽等；s230、接收器rx收到usb连接请求时进行可抢占的连接处理：s231、接收器rx没有与投屏器dongle连接时：打开usb接口连接的uac、uvc和hid设备，根据请求信息生成请求响应并发送给投屏器dongle，请求响应包含响应码、usb组合设备描述、使用端点个数和端点信息数组（端点信息包含端点编号、类型、接收端口，类型有usb控制、mic数据、speaker数据和camera数据)；创建uac、uvc设备的mic数据、speaker数据和camera数据对应端点读写及其对应媒体通道收发；s232、接收器rx与投屏器dongle连接时，接收器rx不是抢占策略则返回失败，接收器rx是抢占策略则：向usb连接的投屏器dongle发送变更通知消息，关闭usb组合设备，接收器rx收到投屏器dongle的变更通知响应后，关闭usb控制和usb媒体通道的数据接收和发送；根据新投屏器dongle发起的usb连接请求信息生成请求响应并发送给新连接的投屏器dongle；接收器rx创建新投屏器dongle媒体通道收发；s240、投屏器dongle收到usb连接请求响应，响应码是成功时，表示usb连接请求成功；s300、创建usb控制和媒体通道投屏器dongle根据usb连接请求响应中的usb组合设备描述符创建usb组合设备，根据端点信息数组创建usb组合设备对应端点读写及usb组合设备对应媒体通道收发；s400、循环数据收发：s410、投屏器dongle与接收器rx之间的usb控制通道是双向的；投屏器dongle从usb组合设备0端点读取控制信息，封装成控制消息发送给接收器rx，接收器rx接收到控制消息解析之后发送给对应uac或者uvc设备，并把操作结果反馈给投屏器dongle；s420、通过usb控制通道打开mic、speaker和camera；s430、循环收发mic、speaker和camera的数据：s431、接收器rx从mic数据对应端点读取mic数据封装成rtp包，从mic数据通道发送给投屏器dongle，投屏器dongle接收到rtp包，解析rtp包之后写入usb组合设备mic对应端点；s432、接收器rx从camera数据对应端点读取camera数据封装成rtp包，从camera数据通道发送给投屏器dongle，投屏器dongle接收到rtp包，解析rtp包之后写入usb组合设备camera对应端点；s433、投屏器dongle从媒体通道接收到mic和camera的rtp包，先分别按rtp序号排序之后，按rtp时戳对齐之后送入usb组合设备对应端点；s434、投屏器dongle从speaker数据对应端点读取speaker数据封装成rtp包，从speaker数据通道发送给接收器rx，接收器rx接收到rtp包，解析rtp包之后写入speaker数据对应端点；s440、通过usb控制通道控制操作：s441、mic和speaker的静音和取消静音；
s442、mic和speaker的音量加减；s443、camera的移动和缩放等；s444、camera的对比度、亮度等调节；s450、通过usb控制通道关闭mic、speaker和camera；s500、usb变更通知：s510、usb连接请求的抢占、usb断开连接请求的回退和接收器rx的usb更新时，向投屏器dongle发送usb变更通知；变更通知包含消息类型、usb组合设备描述、使用端点个数和端点信息数组信息；变更类型包含连接、断开连接和连接更新；s520、投屏器dongle收到接收器rx的usb变更通知，根据变更类型处理usb组合设备，给接收器rx发送响应；s530、接收器rx收到投屏器dongle的usb变更通知响应，返回码成功时，根据变更类型处理usb端点读取和媒体通道收发；s600、usb断开连接：s610、投屏器dongle的连接按键在连接状态时被按下；无连接按键的投屏器dongle可以通过从pc移除触发,接收器rx检测信令通道关闭时进行可回退的断开连接处理，然后释放与该投屏器dongle的usb控制和媒体通道资源；s620、投屏器dongle向接收器rx发送usb断开连接请求；s630、接收器rx收到断开连接请求时进行可回退的断开连接处理：s631、没有投屏器dongle连接时，关闭uac、uvc设备的mic数据、speaker数据和camera数据对应端点读写及其对应媒体通道收发，关闭uac、uvc和hid设备，向投屏器dongle发送usb断开连接请求响应；s632、有投屏器dongle连接时，关闭媒体通道收发，向请求的投屏器dongle发送usb断开连接请求响应；向上一个usb连接的投屏器dongle发送usb变更消息打开usb组合设备，收到响应后，创建媒体通道收发；s640、投屏器dongle收到接收器rx断开连接请求响应，返回码是成功时表示usb断开连接成功；s700、关闭usb控制和媒体通道：投屏器dongle关闭usb媒体通道、usb控制通道和usb组合设备；s800、信令通道关闭投屏器dongle既没有投屏又没有usb组合设备时关闭信令通道。
31.本发明构思合理，可以在大中小会议室场景中方便灵活组网，用户只需在pc插入dongle即可投屏又可以开视频会议，简化了用户接线操作，提升了用户体验，适于推广与应用。
32.最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。