远程控制的方法及其系统与流程

1.本发明涉及远程控制领域，具体涉及远程控制的方法及其系统。


背景技术：

2.现有的远程控制方式为在windows、android、ios操作系统上，开发相应的投屏软件主控端与被控端，需要对被控端屏幕进行采集，然后通过网络传输到主控端，在主控端解析显示。
3.现有的上述远程控制主要通过软件的方式来实现，需要在windows、android、ios操作系统同时进行开发。
4.有需求在进行远程控制的软件开发涉及不同的操作系统时，能尽量减少不同操作系统差异的影响。


技术实现要素：

5.本发明所要解决的技术问题是：提供远程控制的方法及其系统，能够兼容不同操作系统，且能省去发送端的软件开发。
6.为了解决上述技术问题，本发明采用的技术方案为：
7.远程控制的方法，包括：
8.投屏器与传屏盒子通过usb链路完成配对建立无线连接后，断开所述usb链路；
9.发送端与投屏器通过type-c接口建立连接；
10.投屏器采集发送端的dp投屏信号，并将其转换为对应的投屏数据；
11.投屏器无线传输所述投屏数据至传屏盒子；
12.传屏盒子通过usb链路传输所述投屏数据至接收端接收端。
13.本发明提供的另一个技术方案为：
14.一种远程控制的系统，包括发送端、投屏器、传屏盒子以及接收端；
15.所述发送端与所述投屏器通过usb链路连接；所述投屏器与所述传屏盒子无线连接；所述传屏盒子与所述接收端通过usb链路连接；
16.所述投屏器，用于与传屏盒子通过usb链路完成配对建立无线连接，与发送端通过type-c接口建立连接，采集发送端的dp投屏信号，并将其转换为对应的投屏数据，以及无线传输发送端发来的投屏数据至传屏盒子；
17.所述发送端，用于与投屏器通过type-c接口建立连接；
18.所述传屏盒子，用于与投屏器通过usb链路完成配对建立无线连接，以及通过usb链路传输接收到的投屏数据至接收端接收端。
19.本发明的有益效果在于：本发明以软硬件结合的方式，充分利用硬件以及usb type-c接口的功能特性，使得在传屏器通过type-c接口插入发送端后，发送端能够认为这个设备是一台接收端，直接向该设备输出dp传屏信号，从而实现无需在发送端额外安装任何软件；在应用的时候，直接插入投屏器即可自动完成网络连接、投屏数据的网络发送等投
屏工作，能够显著提升操作的便捷性；同时，能够不受限于发送端和接收端的操作系统，实现兼容不同的操作系统；极大简化了部署，不再要求用户所处环境是否有网络以及对网络的各项参数要求，能做到自组网投屏。
附图说明
20.图1为本发明一实施例一种远程控制的方法的流程示意图；
21.图2为本发明一实施例投屏器的组成连接示意图；
22.图3为本发明一实施例一种远程控制的系统结构组成和连接示意图；
23.图4为本发明一实施例一种远程控制的方法中usb type-c接口的数据处理示意图；
24.图5为本发明一实施例一种远程控制的方法总wi-fi配对过程的时序图；
25.图6为本发明实施例二中远程控制的方法的投屏时序图；
26.图7为本发明实施例四中远程控制的方法及其系统的操作示意图。
具体实施方式
27.为详细说明本发明的技术内容、所实现目的及效果，以下结合实施方式并配合附图予以说明。
28.本发明最关键的构思在于：利用硬件的投屏器和传屏盒子实现快速构建网络和数据传输，兼容不同操作系统和减少软件部署；利用type-c接口直接采集发送端的dp投屏信号，发送端无需额外外装软件即可实现投屏。
29.本发明涉及的技术术语解释:
30.[0031][0032]
请参照图1以及图2，本发明提供远程控制的方法，包括：
[0033]
投屏器与传屏盒子通过usb链路完成配对建立无线连接后，断开所述usb链路；
[0034]
发送端与投屏器通过type-c接口建立连接；
[0035]
投屏器采集发送端的dp投屏信号，并将其转换为对应的投屏数据；
[0036]
投屏器无线传输所述投屏数据至传屏盒子；
[0037]
传屏盒子通过usb链路传输所述投屏数据至接收端接收端。
[0038]
从上述描述可知，本发明的有益效果在于：通过软硬件结合的方式，充分利用硬件和type-c接口的特性，减少软件开发量；在应用的是时候，尽量减少用户安装软件与配置等操作，特别是在发送端，可以实现无需额外安装软件，直接插入投屏器即可自动完成网络连接、投屏数据的网络发送等投屏工作，显著提升操作的便捷性；同时，也实现了发送端和接收端不同操作系统的兼容，极大简化了部署；另外，不再要求用户所处环境是否有网络以及对网络的各项参数要求，能做到自组网投屏。
[0039]
进一步地，还包括：
[0040]
传屏盒子采集接收端接收到的控制数据，并无线传输至投屏器；
[0041]
投屏器将所述控制数据转换为对应的dp控制信号后，发送至发送端。
[0042]
由上述描述可知，能够实现接收端远程控制发送端传屏，且在发送端，依然无需额外安装软件即可实现。
[0043]
进一步地，所述投屏器采集发送端的dp投屏信号，并将其转换为对应的投屏数据，包括：
[0044]
投屏器采集发送端的dp投屏信号；
[0045]
转换所述dp投屏信号为对应的mipi投屏信号；
[0046]
转换所述mipi投屏信号为对应的传屏数据。
[0047]
由上述描述可知，投屏器从发送端采集过来的dp信号无法直接被使用，但只需将其进行简单的格式转换，即可为接收端所用，因此，为发送端无需额外安装软件而能够直接进行传屏信号采集，提供了技术支持。
[0048]
进一步地，所述投屏器与传屏盒子通过usb链路完成配对建立无线连接，包括：
[0049]
投屏器与传屏盒子通过usb链路建立有线连接；
[0050]
传屏盒子将内置的无线路由器信息发送至投屏器；
[0051]
所述投屏器返回对应所述无线路由器信息的应答至所述传屏盒子，所述投屏器与所述传屏盒子成功建立无线连接。
[0052]
由上述描述可知，基于usb链路实现投屏器与传屏盒子之间简易投屏器的快速搭建。
[0053]
进一步地，所述发送端与投屏器通过type-c接口建立连接，包括：
[0054]
发送端检测到投屏器通过type-c接口接入后，启动初始化；
[0055]
投屏器中的应用层连接内核层；
[0056]
投屏器的应用层连接传屏盒子；
[0057]
传屏盒子回报连接成功消息至所述应用层；
[0058]
所述应用层上报所述连接成功消息至所述内核层；
[0059]
所述内核层向所述应用层查询硬件准备状态；
[0060]
所述应用层回报硬件准备就绪的状态至所述内核层；
[0061]
所述内核层通过type-c接口返回硬件准备就绪的状态至发送端；
[0062]
投屏器提示硬件准备就绪的状态。。
[0063]
由上述描述可知，投屏器、传屏盒子与发送端之间建立起连接链路后，将即时进行回报给发送端，标识硬件准备就绪；并且，在硬件准备就绪后，发送端即可开始投屏传屏操作，发出dp投屏信号，而无需辅助软件输出指定格式的传屏数据。特别的，本发明无需在pc端系统上额外安装应用程序来支持即可实现，即在pc端系统上没有应用程序在运行，所以由投屏器硬件实体呈现相关的状态(连接成功、开始投屏等状态)。
[0064]
进一步地，所述投屏器无线传输所述投屏数据至传屏盒子，包括：
[0065]
投屏器的内核层接收到发送端发来的投屏数据流后，将其传输至应用层；
[0066]
所述应用层无线传输所述投屏数据流至传屏盒子。
[0067]
由上述描述可知，先通过有线传输再通过短距离的无线传输方式进行投屏数据的传输，能确保传输数据准确、快速地到达传屏盒子。
[0068]
进一步地，所述传屏盒子通过usb链路传输所述投屏数据至接收端，包括：
[0069]
传屏盒子接收到所述投屏数据流后，解析得到对应的投屏数据；
[0070]
传屏盒子通过usb链路传输所述投屏数据至接收端。
[0071]
由上述描述可知，由传屏盒子进行数据流的解析后再传输给显示屏，显示屏无需
解析便可直接同步，能提高同步的效率。
[0072]
本发明提供的另一个技术方案为：
[0073]
一种远程控制的系统，包括发送端、投屏器、传屏盒子以及接收端；
[0074]
所述发送端与所述投屏器通过usb链路连接；所述投屏器与所述传屏盒子无线连接；所述传屏盒子与所述接收端通过usb链路连接；
[0075]
所述投屏器，用于与传屏盒子通过usb链路完成配对建立无线连接，与发送端通过type-c接口建立连接，采集发送端的dp投屏信号，并将其转换为对应的投屏数据，以及无线传输发送端发来的投屏数据至传屏盒子；
[0076]
所述发送端，用于与投屏器通过type-c接口建立连接；
[0077]
所述传屏盒子，用于与投屏器通过usb链路完成配对建立无线连接，以及通过usb链路传输接收到的投屏数据至接收端接收端。
[0078]
进一步地，所述传屏盒子，还用于采集接收端接收到的控制数据，并无线传输至投屏器；
[0079]
所述投屏器，还用于将所述控制数据转换为对应的dp控制信号后，发送至发送端。
[0080]
进一步地，所述投屏器，具体用于投屏器采集发送端的dp投屏信号、转换所述dp投屏信号为对应的mipi投屏信号，以及转换所述mipi投屏信号为对应的传屏数据。
[0081]
进一步地，所述投屏器，具体用于与传屏盒子通过usb链路建立有线连接后，返回对应所述无线路由器信息的应答至所述传屏盒子，并与所述传屏盒子成功建立无线连接；
[0082]
所述传屏盒子，具体用于与投屏器通过usb链路建立有线连接后，将内置的无线路由器信息发送至投屏器，以及在投屏器返回对应所述无线路由器信息的应答后，与所述投屏器成功建立无线连接。
[0083]
进一步地，所述投屏器包括应用层和内核层；
[0084]
所述传屏盒子，还用于在应用层连接内核层时，回报连接成功消息至所述应用层；
[0085]
所述应用层，用于连接传屏盒子，以及上报接收到的连接成功消息至所述内核层，以及接收到内核层的查询状态请求时回报状态至内核层；
[0086]
所述内核层，用于接收到发送端的查询状态请求时向所述应用层查询状态，以及通过usb链路返回状态至发送端；
[0087]
所述投屏器，还用于提示硬件准备就绪的状态。
[0088]
进一步地，所述内核层，还用于接收到发送端发来的投屏数据流后，将其传输至应用层，
[0089]
所述应用层，还用于无线传输接收到的投屏数据流至传屏盒子；
[0090]
所述传屏盒子，用于接收到所述投屏数据流后，解析得到对应的投屏数据，以及通过usb链路传输所述投屏数据至接收端。
[0091]
实施例一
[0092]
请参照图1、图2、图4和图5，本实施例提供软硬件结合实现远程控制的方法，通过引入硬件设备：投屏器与传屏盒子，能够以软硬结合的方式实现传屏控制，减少软件开发量，减少用户安装软件与配置等操作，特别是能省去发送端的软件开发过程；同时还兼容了不同操作系统；更是极大简化了部署，不再要求用户所处环境是否有网络以及对网络的各项参数要求，能做到自组网投屏；更重要的是，能够实现在发送端无需额外安装软件，即可
实现传屏以及接收端对发送端的传屏控制。
[0093]
本实施例的方法包括：
[0094]
s1：投屏器插入传屏盒子的usb口，二者通过usb链路完成配对建立无线连接；
[0095]
请参阅图5，具体过程包括：
[0096]
s11：投屏器与传屏盒子通过usb链路建立有线连接；
[0097]
s12：传屏盒子将内置的无线路由器信息发送至投屏器；
[0098]
s13：投屏器返回对应无线路由器信息的应答至传屏盒子，投屏器与传屏盒子成功建立无线连接，至此，二者完成了自组网。
[0099]
s2：投屏器与传屏盒子断开有线连接，即投屏器从传屏盒子上拔下。但二者依然维持建立好的无线wi-fi连接。
[0100]
s3：投屏器与发送端(如pc)通过type-c接口建立有线连接关系；
[0101]
s4：发送端通过type-c接口输出dp投屏信号至投屏器；
[0102]
在此，需要特别说明的是，本实施例利用了type-c的功能特性，因此当type-c接口的设备插入到pc后，pc会认为这个设备是一台接收端，直接向type-c接口的设备输出dp音视频信号，即dp传屏信号。相较于需要在发送端pc中安装软件，由pc辅助来采集音视频信号而言，能够省去在发送端部署软件的操作，同时也减少软件开发量。
[0103]
s5：投屏器将采集到的dp音视频信号转换为对应的投屏数据；
[0104]
该步骤具体包括：
[0105]
s51：投屏器采集发送端的dp投屏信号；
[0106]
s52：通过转换模块转换所述dp投屏信号为对应的mipi投屏信号，再转换所述mipi投屏信号为对应的传屏数据。
[0107]
s6：投屏器无线传输所述投屏数据至传屏盒子；
[0108]
s7：传屏盒子通过usb链路接收所述投屏数据，并将其解析，将解析后的投屏数据传输至与其连接的接收端。
[0109]
至此，完成了发送端与接收端之间的远程传屏控制。
[0110]
实施例二
[0111]
请同时参阅图2、图3以及图6，本实施例在实施例一的基础上做进一步限定。
[0112]
方法包括：
[0113]
1、投屏器插入传屏盒子的usb口后，投屏器进行初始化；投屏器进行自检；投屏器与传屏盒子通过wi-fi信息配置完成自组网。对于投屏器而言，即投屏器的应用层(firmware app层)通过内核层(kernel层)匹配wi-fi信息，firmware app层通过kernel层接收应答的wi-fi数据。
[0114]
2、投屏器拔离传屏盒子而插入pc后，投屏器根据配对好的wi-fi信息，进行连接传屏盒子。
[0115]
具体而言，pc与投屏器成功建立连接的过程包括：
[0116]
发送端检测到投屏器通过type-c接口接入后，启动初始化；投屏器中的应用层连接内核层；投屏器的应用层连接传屏盒子；传屏盒子回报连接成功消息至所述应用层；所述应用层上报所述连接成功消息至所述内核层；所述内核层向所述应用层查询硬件准备状态；所述应用层回报硬件准备就绪的状态至所述内核层；投屏器通过其指示灯提示硬件准
备就绪的状态。
[0117]
3、发送端接收开始投屏的指令；在此，可以通过发送端上特定的按键或者其他方式来触发投屏。
[0118]
4、如图2所示，发送端触发开始投屏操作后，将输出dp格式的音视频信号；投屏器内的转换模块(接口转换芯片)负责采集视频信号采集，相当于一个类似显示屏的设备。投屏器的转换模块与pc的dp接口连接，转换模块将采集发送端输出的dp格式的音视频信号至投屏器；然后，转换模块将dp格式的音视频信号转换为mipi格式的音视频信号(csi信号)，再发送至内核层的csi图像采集进行相应处理后，传到应用层进行编码、打包后，由应用层通过传屏盒子，通过wi-fi将音视频数据流发送出去。
[0119]
5、投屏器接收端(传屏盒子)接收到音视频数据流，将音视频数据流进行解析，得到对应的音视频数据；然后将音视频数据通过usb接口(或者hdmi接口)传给接收端，由软件显示在接收端的显示屏上。
[0120]
6、接收端pc将通过软件收集鼠标、键盘与触控事件的数据；然后通过wi-fi网络，将鼠标、键盘与触控事件的数据发送给投屏器；投屏器接收到数据后，解析数据后，还原成硬件的信息，即dp格式的信息，为发送端通过usb type-c接口能够直接接收和处理的信息格式；所述信息输入给发送端pc；发送端pc把usb type-c所给的数据直接当成硬件的原始数据进行处理(处理成鼠标、键盘与触控事件)。
[0121]
本实施例通过软硬件结合的方式，能通过投屏器直接采集发送端的dp投屏信号，进行格式转换后，通过网络发送到传屏盒子，然后解析并通过接收端进行显示。通过这个技术实现了：1、可以减少发送端相应的软件开发量，提升开发效率；用户不需要在发送端安装投屏软件，直接插入投屏器即可以开始投屏。因为基于type-c接口的特性，需要投屏的pc只需要插入投屏器，即可采集到pc端的传屏信号；投屏器完成了网络连接、视频数据的采集、网络发送等工作，这样不同操作系统上的开发工作，就可以省去网络相关内容，只负责采集即可。2、能够实现接收端远程控制发送端的传屏操作，且同样无需在发送端额外开发软件；更是可以绕过操作系统不兼容或者类似杀毒软件、操作系统系统对调用系统api的限制。3、极大简化部署。投屏不再要求用户的工作环境有网络，以及对网络的各项参数要求。
[0122]
实施例三
[0123]
请参照图7，本实施例提供对应实施例一或实施例二，提供一具体运用场景：
[0124]
在一个智慧教室中，只有一台pc机和一台接收端的时候，一台pc机插入硬件投屏器做为发送端，另一个pc机插入投屏盒子做为接收端。然后，通过简单的配置，通过投屏器和投屏盒子之间搭建好简易的局域网内的投屏系统应用。用户可以将pc上的图像投射到接收端上。实现了大大减少部署的时间与流程操作步骤。
[0125]
又比如，一个大型会议的现场，有嘉宾临时需要投屏相关的ppt资料，这时可以用投屏器与传屏盒子，把传屏盒子插入到显示屏或者投影仪(播放端)上；把传屏器先插入到传屏盒子上进行自动配对，自组网完成实现wi-fi连接后，将传屏器从传屏盒子上拔下，插入笔记本电脑(发送端)上，可以迅速搭建一个临时的网络环境和投屏应用系统，用户就可以现场做演示了。
[0126]
上述例子的具体过程如下：
[0127]
1、将支持hdmi接口的显示屏接到传屏盒子上；
[0128]
2、传屏盒子开机后，将投屏器接入到传屏盒子的usb口上。
[0129]
这一步主要为了将传屏盒子上内置的路由器信息同步到投屏器，同步后，投屏器就可以通过传屏盒子上内置的路由器连接到传屏盒子，二者实现自组网。这一过程也称为配对。
[0130]
3、将配对完的投屏器转插入要进行投屏的pc机的usb type-c接口；
[0131]
4、投屏器会在发送端的pc机上虚拟出一个cdrom，并自动运行cdrom中的pc端程序；在这个过程中，投屏器上的固件会自动连接投屏器；
[0132]
5、投屏器与传屏盒子连接成功后，会告诉已经运行起来的pc端应用程序；应用程序ui显示相应状态，当用户看到就绪相关信息时，即可按下按键进行投屏；
[0133]
6、这时，用户就可以看到接在传屏盒子上的显示屏呈现发送端pc的桌面内容；这样就完成了投屏过程。
[0134]
实施例四
[0135]
本实施例对应实施例一至实施例三，提供一种软硬件结合实现远程控制的系统，如图6所示，包括发送端、投屏器、传屏盒子以及接收端；
[0136]
所述发送端与所述投屏器通过usb链路连接；所述投屏器与所述传屏盒子无线连接；所述传屏盒子与所述接收端通过usb链路连接；
[0137]
所述投屏器，用于与传屏盒子通过usb链路完成配对建立无线连接，与发送端通过type-c接口建立连接，采集发送端的dp投屏信号，并将其转换为对应的投屏数据，以及无线传输发送端发来的投屏数据至传屏盒子；
[0138]
所述发送端，用于与投屏器通过type-c接口建立连接；
[0139]
所述传屏盒子，用于与投屏器通过usb链路完成配对建立无线连接，以及通过usb链路传输接收到的投屏数据至接收端接收端。
[0140]
进一步地，所述传屏盒子，还用于采集接收端接收到的控制数据，并无线传输至投屏器；
[0141]
所述投屏器，还用于将所述控制数据转换为对应的dp控制信号后，发送至发送端。
[0142]
进一步地，所述投屏器，具体用于投屏器采集发送端的dp投屏信号、转换所述dp投屏信号为对应的mipi投屏信号，以及转换所述mipi投屏信号为对应的传屏数据。
[0143]
进一步地，所述投屏器，具体用于与传屏盒子通过usb链路建立有线连接后，返回对应所述无线路由器信息的应答至所述传屏盒子，并与所述传屏盒子成功建立无线连接；
[0144]
所述传屏盒子，具体用于与投屏器通过usb链路建立有线连接后，将内置的无线路由器信息发送至投屏器，以及在投屏器返回对应所述无线路由器信息的应答后，与所述投屏器成功建立无线连接。
[0145]
进一步地，所述投屏器包括应用层和内核层；
[0146]
所述传屏盒子，还用于在应用层连接内核层时，回报连接成功消息至所述应用层；
[0147]
所述应用层，用于连接传屏盒子，以及上报接收到的连接成功消息至所述内核层，以及接收到内核层的查询状态请求时回报状态至内核层；
[0148]
所述内核层，用于接收到发送端的查询状态请求时向所述应用层查询状态，以及通过usb链路返回状态至发送端；
[0149]
所述投屏器，还用于提示硬件准备就绪的状态。
[0150]
进一步地，所述内核层，还用于接收到发送端发来的投屏数据流后，将其传输至应用层，
[0151]
所述应用层，还用于无线传输接收到的投屏数据流至传屏盒子；
[0152]
所述传屏盒子，用于接收到所述投屏数据流后，解析得到对应的投屏数据，以及通过usb链路传输所述投屏数据至接收端。
[0153]
综上所述，本发明提供的远程控制的方法及其系统，充分利用硬件以及type-c接口的特性，减少系统软件开发量，更是省去发送端的软件开发；在应用的时候，能尽量减少用户安装软件与配置等操作，直接插入投屏器即可自动完成网络连接、投屏数据的网络发送等投屏工作，显著提升操作的便捷性；针对双端，能兼容各种操作系统，提高了实用性；极大简化了部署，不再要求用户所处环境是否有网络以及对网络的各项参数要求，能做到自组网投屏；在实现接收端远程控制发送端的传屏操作时，可以绕过操作系统不兼容或者类似杀毒软件、操作系统系统对调用系统api的限制；因此，本发明具有操作简便、精准同步以及开发效率高等特点。
[0154]
以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等同变换，或直接或间接运用在相关的技术领域，均同理包括在本发明的专利保护范围内。