软硬件结合实现远程控制的方法及其系统与流程

1.本发明涉及远程控制领域，具体涉及软硬件结合实现远程控制的方法及其系统。


背景技术：

2.现有的远程控制方式为在windows、android、ios操作系统上，开发相应的投屏软件主控端与被控端，需要对被控端屏幕进行采集，然后通过网络传输到主控端，在主控端解析显示。
3.现有的上述远程控制主要通过软件的方式来实现，需要在windows、android、ios操作系统同时进行开发。
4.有需求在进行远程控制的软件开发涉及不同的操作系统时，能尽量减少不同操作系统差异的影响。


技术实现要素：

5.本发明所要解决的技术问题是：提供软硬件结合实现远程控制的方法及其系统，能够同时兼容不同操作系统，且简化部署。
6.为了解决上述技术问题，本发明采用的技术方案为：
7.软硬件结合实现远程控制的方法，包括：
8.投屏器与传屏盒子通过usb链路完成配对并建立无线连接后，断开所述usb链路；
9.发送端通过usb链路传输投屏数据至投屏器；
10.投屏器无线传输所述投屏数据至传屏盒子；
11.传屏盒子通过usb链路传输所述投屏数据至显示器。
12.本发明提供的另一个技术方案为：
13.一种软硬件结合实现远程控制的系统，包括发送端、投屏器、传屏盒子以及显示屏；
14.所述发送端与所述投屏器通过usb链路连接；所述投屏器与所述传屏盒子无线连接；所述传屏盒子与所述显示屏通过usb链路连接；
15.所述投屏器，用于与传屏盒子通过usb链路完成配对建立无线连接，以及无线传输发送端发来的投屏数据至传屏盒子；
16.所述发送端，用于通过usb链路传输投屏数据至投屏器；
17.所述传屏盒子，用于与投屏器通过usb链路完成配对建立无线连接，以及通过usb链路传输接收到的投屏数据至显示器。
18.本发明的有益效果在于：本发明通过软硬件结合的方式，充分利用硬件的特性，减少软件开发量；在应用的时候，尽量减少用户安装软件与配置等操作，直接插入投屏器即可自动完成网络连接、投屏数据的网络发送等投屏工作，显著提升操作的便捷性，同时能够实现对传屏双端不同操作系统的兼容。另外，也极大简化了部署，不再要求用户所处环境是否有网络以及对网络的各项参数要求，能做到自组网投屏。
附图说明
19.图1为本发明一实施例一种软硬件结合实现远程控制的方法的流程示意图；
20.图2为本发明一实施例投屏器的组成连接示意图；
21.图3为本发明一实施例一种软硬件结合实现远程控制的系统结构组成和连接示意图；
22.图4为本发明一实施例一种软硬件结合实现远程控制的方法总wi-fi配对过程的时序图；
23.图5为本发明实施例二中软硬件结合实现远程控制的方法的投屏时序图；
24.图6为本发明实施例四中软硬件结合实现远程控制的方法及其系统的操作示意图。
具体实施方式
25.为详细说明本发明的技术内容、所实现目的及效果，以下结合实施方式并配合附图予以说明。
26.本发明最关键的构思在于：利用硬件的投屏器和传屏盒子实现网络构建和数据传输；利用发送端的软件应用启动投屏，以软硬件结合的方式实现投屏。
27.本发明涉及的技术术语解释:
28.[0029][0030]
请参照图1以及图2，本发明提供软硬件结合实现远程控制的方法，包括：
[0031]
投屏器与传屏盒子通过usb链路完成配对建立无线连接后，断开所述usb链路；
[0032]
发送端通过usb链路传输投屏数据至投屏器；
[0033]
投屏器无线传输所述投屏数据至传屏盒子；
[0034]
传屏盒子通过usb链路传输所述投屏数据至显示器。
[0035]
从上述描述可知，本发明的有益效果在于：通过软硬件结合的方式，充分利用硬件的特性，减少软件开发量；在应用的是时候，尽量减少用户安装软件与配置等操作，直接插入投屏器即可自动完成网络连接、投屏数据的网络发送等投屏工作，显著提升操作的便捷性。同时，也极大简化了部署，不再要求用户所处环境是否有网络以及对网络的各项参数要求，能做到自组网投屏。
[0036]
进一步地，所述投屏器与传屏盒子通过usb链路完成配对建立无线连接，包括：
[0037]
投屏器与传屏盒子通过usb链路建立有线连接；
[0038]
传屏盒子将内置的无线路由器信息发送至投屏器；
[0039]
所述投屏器返回对应所述无线路由器信息的应答至所述传屏盒子，所述投屏器与所述传屏盒子成功建立无线连接。
[0040]
由上述描述可知，基于usb链路实现投屏器与传屏盒子之间简易投屏器的快速搭建。
[0041]
进一步地，所述发送端通过usb链路传输投屏数据流至投屏器，之前，还包括：
[0042]
投屏器中的应用层连接内核层；
[0043]
投屏器的应用层连接传屏盒子；
[0044]
传屏盒子回报连接成功消息至所述应用层；
[0045]
所述应用层上报所述连接成功消息至所述内核层；
[0046]
所述内核层通过usb链路上报所述连接成功消息至发送端；
[0047]
发送端通过usb链路向所述内核层查询状态；
[0048]
所述内核层向所述应用层查询状态；
[0049]
所述应用层回报状态至所述内核层；
[0050]
所述内核层通过usb链路返回状态至发送端。
[0051]
由上述描述可知，投屏器、传屏盒子与发送端之间建立起连接链路后，将即时进行回报给发送端，标识硬件准备就绪；发送端发起状态查询后，能依据反馈的查询结果确认链路当前状态是否符合传屏条件，作为传屏触发的先决条件。
[0052]
进一步地，所述投屏器无线传输所述投屏数据至传屏盒子，包括：
[0053]
投屏器的内核层接收到发送端发来的投屏数据流后，将其传输至应用层；
[0054]
所述应用层无线传输所述投屏数据流至传屏盒子。
[0055]
由上述描述可知，先通过有线传输再通过短距离的无线传输方式进行投屏数据的传输，能确保传输数据准确、快速地到达传屏盒子。
[0056]
进一步地，所述传屏盒子通过usb链路传输所述投屏数据至显示器，包括：
[0057]
传屏盒子接收到所述投屏数据流后，解析得到对应的投屏数据；
[0058]
传屏盒子通过usb链路传输所述投屏数据至显示器。
[0059]
由上述描述可知，由传屏盒子进行数据流的解析后再传输给显示屏，显示屏无需解析便可直接同步，能提高同步的效率。
[0060]
进一步地，所述内核层通过usb链路返回状态至发送端，之后，还包括：
[0061]
发送端依据所述返回状态进行状态提示；
[0062]
所述应用层检测到传屏指令后，上报所述传屏指令至所述内核层；
[0063]
所述内核层通过usb链路上报所述传屏指令至发送端。
[0064]
由上述描述可知，发送端可以通过状态提示确认是否已经准备就绪；在确认就绪后，直接通过指令触发即可执行传屏，操作便捷。
[0065]
本发明提供的另一个技术方案为：
[0066]
一种软硬件结合实现远程控制的系统，包括发送端、投屏器、传屏盒子以及显示屏；
[0067]
所述发送端与所述投屏器通过usb链路连接；所述投屏器与所述传屏盒子无线连
接；所述传屏盒子与所述显示屏通过usb链路连接；
[0068]
所述投屏器，用于与传屏盒子通过usb链路完成配对建立无线连接，以及无线传输发送端发来的投屏数据至传屏盒子；
[0069]
所述发送端，用于通过usb链路传输投屏数据至投屏器；
[0070]
所述传屏盒子，用于与投屏器通过usb链路完成配对建立无线连接，以及通过usb链路传输接收到的投屏数据至显示器。
[0071]
进一步地，所述传屏盒子，用于与所述投屏器通过usb链路建立有线连接后，将内置的无线路由器信息发送至投屏器；
[0072]
所述投屏器，用于与传屏盒子通过usb链路建立有线连接后，在接收到无线路由器信息时，返回对应无线路由器信息的应答至传屏盒子，与所述传屏盒子成功建立无线连接。
[0073]
进一步地，所述投屏器包括应用层和内核层；
[0074]
所述传屏盒子，还用于在应用层连接内核层时，回报连接成功消息至所述应用层；
[0075]
所述应用层，用于连接传屏盒子，以及上报接收到的连接成功消息至所述内核层，以及接收到内核层的查询状态请求时回报状态至内核层；
[0076]
所述内核层，用于通过usb链路上报接收到的连接成功消息至发送端，以及接收到发送端的查询状态请求时向所述应用层查询状态，以及通过usb链路返回状态至发送端；
[0077]
所述发送端，还用于通过usb链路向所述内核层查询状态。
[0078]
进一步地，所述内核层，还用于接收到发送端发来的投屏数据流后，将其传输至应用层，
[0079]
所述应用层，还用于无线传输接收到的投屏数据流至传屏盒子；
[0080]
所述传屏盒子，用于接收到所述投屏数据流后，解析得到对应的投屏数据，以及通过usb链路传输所述投屏数据至显示器。
[0081]
实施例一
[0082]
请参照图1、图2和图4，本实施例提供软硬件结合实现远程控制的方法，通过引入硬件设备：投屏器与传屏盒子，能够以软硬结合的方式实现传屏控制，减少软件开发量，减少用户安装软件与配置等操作，同时对传屏端上各种操作系统的兼容；更是极大简化了部署，不再要求用户所处环境是否有网络以及对网络的各项参数要求，能做到自组网投屏。
[0083]
方法包括：
[0084]
s1：投屏器插入传屏盒子的usb口，二者通过usb链路完成配对建立无线连接；
[0085]
请参阅图4，具体过程包括：
[0086]
s11：投屏器与传屏盒子通过usb链路建立有线连接；
[0087]
s12：传屏盒子将内置的无线路由器信息发送至投屏器；
[0088]
s13：投屏器返回对应无线路由器信息的应答至传屏盒子，投屏器与传屏盒子成功建立无线连接，至此，二者完成了自组网。
[0089]
s2：投屏器与传屏盒子断开有线连接，即投屏器从传屏盒子上拔下。但二者依然维持建立好的无线wi-fi连接。
[0090]
s3：投屏器与发送端(如pc)通过usb链路建立有线连接关系；
[0091]
s4：触发传屏指令后，发送端通过usb链路传输投屏数据至投屏器；
[0092]
s5：投屏器无线传输接收到的所述投屏数据至传屏盒子；
[0093]
s6：传屏盒子通过usb链路传输接收到的所述投屏数据至显示器。
[0094]
至此，完成了发送端与显示器之间的远程传屏控制。
[0095]
本实施例充分利用硬件的特性，减少软件开发量；在应用的时候，尽量减少用户安装软件与配置等操作，直接插入投屏器即可自动完成网络连接、投屏数据的网络发送等投屏工作，显著提升操作的便捷性。同时，也极大简化了部署，不再要求用户所处环境是否有网络以及对网络的各项参数要求，能做到自组网投屏。
[0096]
实施例二
[0097]
请同时参阅图2、图3以及图5，本实施例在实施例一的基础上做进一步限定。
[0098]
方法包括：
[0099]
1.投屏器插入传屏盒子的usb口后，投屏器进行初始化；投屏器进行自检；投屏器与传屏盒子通过wi-fi信息配置完成自组网。
[0100]
2.投屏器拔离传屏盒子而插入pc后，pc机检测到usb并初始化；投屏器的应用层连接内核层层，上报状态，进行连接；应用层连接传屏盒子，连接成功后，由传屏盒子回报给应用层，应用层把连接成功的消息通知内核层。内核层通过usb接口通知pc机，硬件准备就绪。pc机通过usb接口向内核层查询状态。
[0101]
3.用户通过按键，启动检测，由投屏器的应用层进行检测，应用层向内核层上报按键事件，由内核层通知pc机按键事件，pc机接收到按键事件后，开始投屏操作。
[0102]
4.pc机根据状态开始投屏，对依序执行屏幕截取、编码和网络层打包后，传屏视频流经过usb接口传输到投屏器的内核层，传到应用层，然后由应用层通过传屏盒子，通过wi-fi数据发送出去。
[0103]
5.投屏器接收端(传屏盒子)接收到数据，将数据进行解码，然后将视频数据通过usb接口(或者hdmi接口)传给显示器，由软件显示在显示器上。
[0104]
本实施例通过软硬件结合的方式，采集发送端的视频数据，然后通过网络，将视频数据发送到接收端(与显示器连接的传屏盒子)，然后接收端将数据进行解析与通过显示器进行显示。通过这个技术实现了：1、用户不需要再安装投屏软件，直接插入投屏器即可以开始投屏。因为pc端的应用程序已经被烧录内置在硬件投屏器之中。需要投屏的pc只需要插入投屏器，即可自动运行内置于其中的pc端应用程序。投屏器完成了网络连接、视频数据的网络发送等工作，这样不同操作系统上的开发工作，就可以省去网络相关内容，只负责采集即可。2、极大简化部署。投屏不再要求用户的工作环境有网络，以及对网络的各项参数要求。
[0105]
实施例三
[0106]
请参照图6，本实施例提供对应实施例一或实施例二，提供一具体运用场景：
[0107]
在一个智慧教室中，只有一台pc机和一台显示器的时候，一台pc机插入硬件投屏器做为发送端，另一个pc机插入投屏盒子做为接收端。然后，通过简单的配置，通过投屏器和投屏盒子之间搭建好简易的局域网内的投屏系统应用。用户可以将pc上的图像投射到显示器上。实现了大大减少部署的时间与流程操作步骤。
[0108]
又比如，一个大型会议的现场，有嘉宾临时需要投屏相关的ppt资料，这时可以用投屏器与传屏盒子，把传屏盒子插入到显示屏或者投影仪(播放端)上；把传屏器先插入到传屏盒子上进行自动配对，自组网完成实现wi-fi连接后，将传屏器从传屏盒子上拔下，插
入笔记本电脑(发送端)上，可以迅速搭建一个临时的网络环境和投屏应用系统，用户就可以现场做演示了。
[0109]
上述例子的具体过程如下：
[0110]
1、将支持hdmi接口的显示屏接到传屏盒子上；
[0111]
2、传屏盒子开机后，将投屏器接入到传屏盒子的usb口上。
[0112]
这一步主要为了将传屏盒子上内置的路由器信息同步到投屏器，同步后，投屏器就可以通过传屏盒子上内置的路由器连接到传屏盒子，二者实现自组网。这一过程也称为配对。
[0113]
3、将配对完的投屏器转插入要进行投屏的pc机；
[0114]
4、投屏器会在发送端的pc机上虚拟出一个cdrom，并自动运行cdrom中的pc端程序；在这个过程中，投屏器上的固件会自动连接投屏器；
[0115]
5、投屏器与传屏盒子连接成功后，会告诉已经运行起来的pc端应用程序；应用程序ui显示相应状态，当用户看到就绪相关信息时，即可按下按键进行投屏；
[0116]
6、这时，用户就可以看到接在传屏盒子上的显示屏呈现发送端pc的桌面内容；这样就完成了投屏过程。
[0117]
实施例四
[0118]
本实施例对应实施例一至实施例三，提供一种软硬件结合实现远程控制的系统，如图6所示，包括发送端、投屏器、传屏盒子以及显示屏。
[0119]
其中，所述发送端与所述投屏器通过usb链路连接；所述投屏器与所述传屏盒子无线连接；所述传屏盒子与所述显示屏通过usb链路连接；
[0120]
所述投屏器，用于与传屏盒子通过usb链路完成配对建立无线连接，以及无线传输发送端发来的投屏数据至传屏盒子；
[0121]
所述发送端，用于通过usb链路传输投屏数据至投屏器；
[0122]
所述传屏盒子，用于与投屏器通过usb链路完成配对建立无线连接，以及通过usb链路传输接收到的投屏数据至显示器。
[0123]
进一步地，所述传屏盒子，用于与所述投屏器通过usb链路建立有线连接后，将内置的无线路由器信息发送至投屏器；
[0124]
所述投屏器，用于与传屏盒子通过usb链路建立有线连接后，在接收到无线路由器信息时，返回对应无线路由器信息的应答至传屏盒子，与所述传屏盒子成功建立无线连接。
[0125]
进一步地，所述投屏器包括应用层和内核层；
[0126]
所述传屏盒子，还用于在应用层连接内核层时，回报连接成功消息至所述应用层；
[0127]
所述应用层，用于连接传屏盒子，以及上报接收到的连接成功消息至所述内核层，以及接收到内核层的查询状态请求时回报状态至内核层；
[0128]
所述内核层，用于通过usb链路上报接收到的连接成功消息至发送端，以及接收到发送端的查询状态请求时向所述应用层查询状态，以及通过usb链路返回状态至发送端；
[0129]
所述发送端，还用于通过usb链路向所述内核层查询状态。
[0130]
进一步地，所述内核层，还用于接收到发送端发来的投屏数据流后，将其传输至应用层，
[0131]
所述应用层，还用于无线传输接收到的投屏数据流至传屏盒子；
[0132]
所述传屏盒子，用于接收到所述投屏数据流后，解析得到对应的投屏数据，以及通过usb链路传输所述投屏数据至显示器。
[0133]
综上所述，本发明提供的软硬件结合实现远程控制的方法及其系统，充分利用硬件的特性，减少软件开发量；在应用的时候，能尽量减少用户安装软件与配置等操作，直接插入投屏器即可自动完成网络连接、投屏数据的网络发送等投屏工作，显著提升操作的便捷性，同时能够实现双端不同操作系统的兼容；另外，极大简化了部署，不再要求用户所处环境是否有网络以及对网络的各项参数要求，能做到自组网投屏；具有操作简便、精准同步以及开发效率高等特点。
[0134]
以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等同变换，或直接或间接运用在相关的技术领域，均同理包括在本发明的专利保护范围内。