远程控制界面显示的方法、系统、设备及存储介质与流程

1.本技术属于终端技术领域，尤其涉及一种远程控制界面显示的方法、系统、设备及存储介质。


背景技术：

2.目前，为了使工作任务能够顺利地进行，时常需要第一设备与第二设备之间进行数据的交互。例如，第一设备对第二设备进行远程协助，以对第二设备进行控制，取得对第二设备的显示界面的控制权，并进行相应的协助活动。
3.然而，目前第一设备对第二设备进行远程协助时，一些类如账号登录和密码输入等隐私区域，会直接显示在第二设备的显示界面中，从而被第二设备的使用者所看到，造成信息的泄露。


技术实现要素：

4.本技术实施例提供了一种远程控制界面显示的方法、系统、设备及存储介质，以解决被控制设备的显示界面中隐私区域的信息泄露的问题。
5.第一方面，本技术实施例提供了一种远程控制界面显示的方法，应用于第一设备，所述第一设备与第二设备建立有远程控制连接，且所述第一设备控制所述第二设备，所述方法包括：
6.基于所述第一设备中显示的第一显示窗口，检测第一操作，所述第一显示窗口中显示的是所述第二设备的显示界面，所述第一操作是用于指示控制所述第二设备对所述第二设备的显示界面中待遮挡的区域进行遮挡的操作；
7.基于所述第一操作，确定所述区域的区域信息；
8.基于所述区域信息，向所述第二设备发送遮挡指令，所述遮挡指令用于指示所述第二设备基于所述区域信息对所述区域进行遮挡处理。
9.本技术实施例提供的显示方法，基于所述第一设备中显示的第一显示窗口，第一设备检测是否存在针对第一显示窗口中显示的所述第二设备的显示界面的第一操作，若检测到第一操作，则基于所述第一操作，确定所述第二设备的显示界面中待遮挡的区域的区域信息，并基于所述区域信息，向所述第二设备发送遮挡指令，以便于第二设备基于所述区域信息对所述区域进行遮挡处理，以避免第二设备的使用者看到区域对应的信息，导致信息的泄露。
10.第二方面，本技术实施例提供了一种远程控制界面显示的方法，应用于第二设备，所述第二设备与第一设备建立有远程控制连接，且所述第一设备控制所述第二设备，所述方法包括：
11.接收所述第一设备发送的遮挡指令，所述遮挡指令中携带所述第二设备的显示界面中待遮挡的区域的区域信息，所述遮挡指令是所述第一设备基于所述第一设备中显示的第一显示窗口，检测用于指示所述第一设备控制所述第二设备对所述区域进行遮挡的第一
操作，并基于所述第一操作，确定所述区域信息后向所述第二设备发送的指令，所述第一显示窗口中显示的是所述第二设备的显示界面；
12.根据所述区域信息，对所述区域进行遮挡处理。
13.第三方面，本技术实施例提供了一种远程控制界面显示的系统，所述系统包括第一设备和第二设备，所述第一设备与第二设备建立有远程控制连接，且所述第一设备控制所述第二设备；
14.所述第一设备，用于基于所述第一设备中显示的第一显示窗口，检测第一操作，所述第一显示窗口中显示的是所述第二设备的显示界面，所述第一操作是用于指示控制所述第二设备对所述第二设备的显示界面中待遮挡的区域进行遮挡的操作；
15.所述第一设备，用于基于所述第一操作，确定所述区域的区域信息；
16.所述第一设备，用于基于所述区域信息，向所述第二设备发送遮挡指令，所述遮挡指令中携带所述第二设备的显示界面中待遮挡的区域的区域信息；
17.所述第二设备，用于根据所述区域信息，对所述区域进行遮挡处理。
18.第四方面，本技术实施例提供了一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现第一方面所述的方法，或者，实现第二方面所述的方法。
19.第五方面，本技术实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现第一方面所述的方法，或者，实现第二方面所述的方法。
20.第六方面，本技术实施例提供了一种计算机程序产品，当计算机程序产品在电子设备上运行时，使得电子设备执行上述第一方面或第二方面中任一项所述的方法。
21.可以理解的是，上述第二方面至第六方面的有益效果可以参见上述第一方面中的相关描述，在此不再赘述。
附图说明
22.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
23.图1是本技术一实施例提供的远程控制界面显示的系统的示意图；
24.图2是本技术一实施例提供的第一设备与第二设备进行信息交互的示意图；
25.图3是本技术一实施例提供的第一设备的显示界面的示意图；
26.图4是本技术一实施例提供的第二设备的显示界面中的待遮挡的区域被遮挡前和被遮挡后的示意图；
27.图5是本技术一实施例提供的远程控制界面显示的方法的流程示意图；
28.图6是本技术另一实施例提供的远程控制界面显示的方法的流程示意图；
29.图7是本技术另一实施例提供的远程控制界面显示的方法的流程示意图；
30.图8是本技术另一实施例提供的远程控制界面显示的方法的流程示意图；
31.图9是本技术一实施例提供的电子设备的结构示意图。
具体实施方式
32.以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本技术实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本技术。
33.在本技术说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
[0034]
另外，在本技术说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
[0035]
在本技术说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本技术的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。
[0036]
为了说明本技术所述的技术方案，下面通过具体实施例来进行说明。
[0037]
请参阅图1，图1是本技术实施例提供的一种远程控制界面显示的系统的示意图。本实施例中，远程控制界面显示的系统，包括第一设备和第二设备，第一设备与第二设备建立有远程控制连接，且第一设备控制第二设备。
[0038]
可以理解的是，第一设备与第二设备建立有远程控制连接时，可以是第一设备与第二设备直接建立控制连接，也可以是第一设备与服务器连接，服务器与第二设备连接，从而第一设备与第二设备之间通过服务器建立控制连接。其中，当第一设备与第二设备基于服务器建立远程控制连接时，第一设备与第二设备之间通过服务器进行信息交互。示例性地，第一设备将信息发送至服务器后，服务器根据预设的通信协议解析所接收到的信息，并根据服务器与第二设备之间的通信协议，对解析得到的信息生成与服务器与第二设备之间的通信协议对应的信息并发送至第二设备，由第二设备解析接收到的信息，并执行与信息对应的操作。
[0039]
在一些实施例中，服务器采用netty框架搭建websocket通信协议服务，使得第一设备和第二设备分别基于websocket通信协议与服务器进行信息交互，从而基于服务器实现第一设备与第二设备之间的信息交互。
[0040]
结合图1和图2，本技术实施例提供的远程控制界面显示的系统中，第一设备和第二设备之间进行信息交互的具体实现过程如下：
[0041]
s11：第一设备向第二设备发送远程控制请求。
[0042]
在本实施例中，为了使得第一设备能够控制第二设备，第一设备向第二设备发送远程控制请求，以便于第二设备对该远程控制请求进行验证，从而在验证通过后，使得第一设备能够对第二设备进行远程控制。
[0043]
对于第一设备向第二设备发送远程控制请求的时机，可以包括但不限于以下两个场景：
[0044]
场景1：当需要对第二设备的显示桌面中的某个区域进行遮挡时，第一设备向第二设备发送远程控制请求。
[0045]
场景2：当第一设备需要远程协助第二设备时，第一设备向第二设备发送远程控制请求。
[0046]
在一个实施例中，当第二设备是无人值守的设备时，可以通过预先设置在第二设备中的验证程序，自动对该远程控制请求进行验证，以便于在验证通过后，自动地向第一设备返回控制响应。
[0047]
在另一个实施例中，当第二设备是有人值守的设备时，第一设备向第二设备发送远程控制请求后，可以由第二设备的使用者手动对远程控制请求进行操作验证，比如第二设备接收到输入的确认请求时，即表示远程控制请求验证通过。
[0048]
在另一个实施例中，当第二设备是有人值守的设备时，可以通过预先设置在第二设备中的验证程序，自动对该远程控制请求进行验证，以便于在验证通过后，自动地向第一设备返回控制响应。
[0049]
s12：第二设备获取当前的显示界面的镜像图像，并生成远程控制响应。
[0050]
在本实施例中，镜像图像为第二设备当前的显示桌面的截图。例如，获取如图4中的a图的第二设备的当前的显示界面的镜像图像。
[0051]
可以理解的是，第二设备在接收到第一设备发送的远程控制请求后，若对该远程控制请求验证通过后，即获取第二设备的当前显示界面的镜像图像，并根据镜像图像生成针对远程控制请求的远程控制响应，以便于第一设备接收到远程控制响应后，可以解析得到远程控制响应中的镜像图像，并将该镜像图像显示在第一设备的第一显示窗口中，从而便于第一设备的使用者查看第二设备的桌面，进而更方便地对第二设备进行控制。
[0052]
s13：第二设备向第一设备返回远程控制响应。
[0053]
在本实施例中，为了便于第一设备对第二设备进行远程控制，第二设备在对第一设备的远程控制请求验证通过后，还向第一设备返回远程控制响应。
[0054]
s14：第一设备将镜像图像显示于第一显示窗口中。
[0055]
在本实施例中，为了便于第一设备更好地对第二设备进行控制，第一设备接收第二设备针对远程控制请求返回的远程控制响应后，将远程控制响应中包括的第二设备的显示界面的镜像图像显示在第一显示窗口中，以便于通过该镜像图像了解到第二设备的桌面情况，进而便于第一设备对第二设备进行控制。
[0056]
例如，在一种具体的场景中，第一设备为个人计算机，第二设备为手机，个人计算机接收到手机返回的远程控制响应后，将远程控制响应中包括的手机的显示界面的镜像图像显示在个人计算机的第一显示窗口中，从而便于该个人计算机的使用者通过该镜像图像查看到手机的界面。例如，将图4中第二设备的显示界面的图a显示在个人计算机的第一显示窗口中，得到如图3所示的个人计算机的显示界面。
[0057]
在应用中，当第一设备对第二设备进行控制时，可以基于第一设备对显示在第一显示窗口中的镜像图像的操作，即将第一设备对镜像图像进行操作时对应的位置信息返回至第二设备，以表示第一设备对第二设备的控制信息。比如，基于第一设备的鼠标在镜像图像中的点击操作和该操作对应的坐标，生成点击指令，并将该点击指令返回至第二设备，以便于第二设备基于该点击指令了解第一设备的控制信息，比如第二设备基于点击指令，进
行选中文件夹的操作。
[0058]
可以理解的是，上述步骤s11至步骤s14可以在步骤s15之前执行，而步骤s15和步骤s15之后的每一个步骤可以是在第一设备与第二设备之间建立远程控制连接之后的某个时刻触发执行，也即是说步骤s15及步骤s15之后的步骤不一定是在建立远程控制连接之后立即执行。
[0059]
s15：第一设备基于第一操作，确定第二设备的显示界面中待遮挡的区域的区域信息。
[0060]
在本实施例中，第一操作指的是针对第一显示窗口中的镜像图像进行的操作，也即是通过该第一操作来描述第一设备对第二设备的远程控制信息。例如，为了遮挡第二设备的显示界面中的部分区域，通过第一操作指示第一设备控制第二设备对第二设备的显示界面中待遮挡的区域进行遮挡的操作。
[0061]
可以理解的是，在一种场景中，当检测到第一操作时，说明第一设备要控制第二设备对其显示界面中的待遮挡的区域进行遮挡，以避免第二设备的显示界面中部分区域的信息被第二设备的使用者看到，进而造成信息的泄露。所以第一设备根据第一操作，确定第二设备的显示界面中待遮挡的区域的区域信息，以便于基于该区域信息确定第二设备的显示界面中待遮挡的区域。
[0062]
在应用中，为了更好地确定区域信息，并快速地控制第二设备对待遮挡的区域进行遮挡的操作，基于第一操作，确定区域信息时，可以包括以下两种情形：
[0063]
第一种情形：在第一操作执行过程中，实时地获取第一操作对应的用于定位待遮挡的区域的位置，每确定一个位置，实时地确定用于描述待遮挡的区域的部分区域的部分区域信息，以此类推，可以在第一操作执行过程中确定多个部分区域信息，多个部分区域信息组成待遮挡的区域的区域信息。
[0064]
第二种情形：从第一操作开始执行，确定第一操作对应的用于定位待遮挡的区域的每个位置，基于所确定的每个位置，在第一操作结束后，基于所确定的每个位置，确定用于描述待遮挡的区域的区域信息。
[0065]
在一些实施例中，第一操作为鼠标拖动操作。
[0066]
第一设备获取鼠标拖动操作对应的鼠标拖动轨迹信息后，将鼠标拖动轨迹信息确定为待遮挡的区域的区域信息。
[0067]
在本实施例中，鼠标拖动轨迹信息包括多个位置信息。
[0068]
可以理解的是，为了指示第二设备对其显示界面中待遮挡的区域进行遮挡处理，可以基于该鼠标拖动轨迹信息对应的多个位置信息，确定一个区域范围，并在该区域范围内进行遮挡处理，比如绘制一个与该区域范围大小一致的遮罩图像，以通过该遮罩图像遮挡待遮挡的区域。
[0069]
需要说明的是，可以是鼠标拖动经过每个位置时，同时地根据每个位置，实时地确定用于描述待遮挡的区域的部分区域的部分区域信息，以此类推，在鼠标拖动过程中确定多个部分区域信息，该多个部分区域信息组成待遮挡的区域的区域信息。或者是，鼠标拖动结束后，将鼠标轨迹对应的每个位置，确定用于描述待遮挡的区域的区域信息。
[0070]
在一些实施例中，第一设备检测到预设事件时，开始检测是否有第一操作，若检测到第一操作，则基于第一操作，确定区域信息。其中，预设事件用于指示开始记录在第一显
示窗口中针对第二设备的显示界面的第一操作。
[0071]
示例的，第一显示窗口中显示有针对第二设备的显示界面进行操作的选择操作弹窗，在该选择操作弹窗中显示有选择绘制矩形框和选择绘制圆形框两个选项。比如第一设备接收到选择绘制矩形框的操作时，即表示检测到预设事件，则开始检测是否存在鼠标拖动绘制矩形框操作，若检测到鼠标拖动绘制矩形框操作，则记录鼠标拖动绘制矩形框操作，以便于根据鼠标拖动绘制矩形框操作，确定区域信息。
[0072]
s16：第一设备基于区域信息，向第二设备发送遮挡指令。
[0073]
在本实施例中，遮挡指令用于指示第二设备基于区域信息对区域进行遮挡操作。
[0074]
第一设备基于区域信息，向第二设备发送遮挡指令时，可以包括以下两种情形：
[0075]
第一种情形：基于第一操作确定一个用于定位待遮挡的区域的位置时，确定一次待遮挡的区域的部分区域信息，并基于该部分区域信息向第二设备发送遮挡指令，以此类推，第一设备向第二设备发送多个遮挡指令。
[0076]
例如，为了指示第二设备对其显示桌面中的待遮挡的区域进行遮挡操作，用户通过外接设备来控制第一设备的鼠标移动，在第一显示窗口中的镜像图像区域绘制一个可以覆盖待遮挡的区域的矩形框的过程中，鼠标经过一个位置时，确定一次待遮挡的区域的部分区域信息，并基于该部分区域信息向第二设备发送一个遮挡指令。以此类推，当绘制完一个矩形框时，第一设备向第二设备发送多个遮挡指令，从便于第二设备每接收一个遮挡指令，同步地对待遮挡的区域进行遮挡处理。
[0077]
第二种情形：基于第一操作确定所有用于定位待遮挡的区域的位置时，根据该所有用于定位待遮挡的区域的位置，确定一次区域信息，并基于该区域信息向第二设备发送遮挡指令，即第一设备只向第二设备发送一个遮挡指令。
[0078]
例如，为了指示第二设备对其显示桌面中的待遮挡的区域进行遮挡操作，用户通过拖动第一设备的鼠标，以在第一显示窗口中的镜像图像区域绘制一个可以覆盖待遮挡的区域的矩形框时，绘制完该矩形框后，根据该矩形框对应的每个点的位置，确定一次区域信息，根据该区域信息向第二设备发送一个遮挡指令。
[0079]
s17：第二设备根据遮挡指令中包括的区域信息，对区域进行遮挡处理。
[0080]
在本实施例中，第二设备根据接收到遮挡指令后，对该遮挡指令进行解析以得到区域的区域信息，进而地根据解析得到的区域信息，对区域进行遮挡处理。例如，根据区域信息，在区域处绘制遮挡层，以通过该遮挡层遮挡该区域。
[0081]
示例的，参见图4，第二设备根据遮挡指令中包括的对图标4进行遮挡的区域信息，对图4的a图中的图标4进行遮挡处理，得到遮挡后的图4中的b图。
[0082]
第二设备根据区域信息，对区域进行遮挡处理时，可以包括以下两种情形：
[0083]
第一种情形：第一设备基于第一设备中显示的第一显示窗口，检测第一操作，并且由第一设备根据第一操作顺序地向第二设备发送多个遮挡指令，以通过每个遮挡指令中携带的区域信息分别描述待遮挡的区域。而第二设备则根据每次接收到的遮挡指令中携带的区域信息，逐步地对待遮挡的区域进行遮挡处理，以便于在第一设备中的第一操作结束时，第二设备中对待遮挡的区域进行的遮挡操作也同步的结束。
[0084]
第二种情形：第一设备基于第一设备中显示的第一显示窗口，检测第一操作结束后，第一设备向第二设备发送一个描述所检测到的第一操作的遮挡指令，并通过该遮挡指
令中携带的区域信息整体描述待遮挡的区域，第二设备根据该遮挡指令，对待遮挡的区域进行遮挡处理。
[0085]
在一些实施例中，第二设备对遮挡指令进行解析得到区域信息后，获取第二设备的显示桌面，并利用遮挡处理软件根据区域信息，设置相应的参数来绘制遮罩层，显示于待遮挡的区域，以对显示桌面中的待遮挡的区域进行遮挡。
[0086]
在一些实施例中，由于是遮挡指令中描述的区域信息对应的是第一设备的第一显示窗口中镜像图像中的区域信息，所对应位置信息可能与第二设备的显示界面中待遮挡的区域的位置坐标不同，所以，预先地确定第一设备与第二设备之间的位置转换关系，位置转换关系用于描述第一设备的第一显示窗口中的像素点的坐标与第二设备的显示界面中的像素点的坐标之间的变换关系。
[0087]
第二设备根据遮挡指令中包括的区域信息和位置转换关系，确定第二设备的显示界面中的目标区域信息，根据目标区域信息对待遮挡的区域进行遮挡处理。
[0088]
示例的，对于第二设备的显示界面的镜像图像中的顶点，该顶点在第二设备中的坐标为(0，0)，将该镜像图像显示在第一设备的第一显示窗口中时，该顶点对应的坐标为(200，300)，即表示将第二设备中的一个点的横坐标与该点在第一设备中坐标的横坐标之间差值为200，纵坐标的差值为300，进而地根据该横坐标变换时的差值和纵坐标变换时的差值作为位置转换关系。
[0089]
在一些实施例中，第二设备根据遮挡指令中包括的区域信息，对待遮挡的区域进行遮挡处理之后，为了便于第一设备的使用者查看到待遮挡的区域对应的内容，第二设备获取被遮挡的区域的文本信息，文本信息用于描述第二设备的显示界面中被遮挡的区域的内容。
[0090]
同时，第二设备将文本信息发送至第一设备，接着第一设备基于接收到的文本信息，生成悬浮窗，并将悬浮窗显示在第一设备的第一显示窗口的指定位置。
[0091]
在一些实施例中，第二设备根据遮挡指令中包括的区域信息，对区域进行遮挡处理之后，为了便于第一设备的使用者可以通过第一设备更好地对第二设备进行控制，第二设备将进行遮挡处理后的显示桌面的第一镜像图像返回至第一设备，以便于第一设备将该第一镜像图像显示在第一显示窗口中。
[0092]
可以理解的是，第二设备获取其显示桌面的镜像图像时，可以基于第三方截图软件对其显示桌面进行截图操作，并将截图操作得到的桌面截图作为镜像图像。
[0093]
可以理解的是，步骤s18和步骤s18之后的步骤可以是在第二设备根据遮挡指令中包括的区域信息，对区域进行遮挡处理之后的某个时刻触发执行。
[0094]
s18：第一设备基于第二操作，向第二设备发送取消指令。
[0095]
在本实施例中，第一设备基于第一设备中显示的第一显示窗口，检测是否存在第二操作，若检测到指示控制第二设备取消对区域的遮挡的第二操作，则基于第二操作，向第二设备发送取消指令。
[0096]
可以理解的是，第一设备向第二设备发送取消指令的时机，可以包括但不限于以下场景：
[0097]
场景1：由于对待遮挡的区域已经操作完成，已经没继续对该区域进行遮挡的必要时，第一设备基于第二操作，向第二设备发送取消指令。
[0098]
场景2：在确定遮挡错误时，第一设备基于第二操作，向第二设备发送取消指令。
[0099]
s19：第二设备根据取消指令消除对区域的遮挡。
[0100]
在本实施例中，第二设备接收到第一设备发送的取消指令时，确定被遮挡的区域；根据被遮挡的区域的位置信息，对该区域进行消除操作，以使得第二设备的显示界面无遮挡的显示在第一显示窗口中，以便于通过第一设备更好地对第二设备进行控制，或第二设备的使用者使用第二设备。
[0101]
参见图5，图5示出了本技术提供的远程控制界面显示的方法的示意性流程图。作为示例而非限定，该方法的执行主体为第一设备，第一设备与第二设备建立有远程控制连接，且第一设备控制第二设备。
[0102]
如图5所示，本技术提供的远程控制界面显示的方法可以包括：
[0103]
s101：基于第一设备中显示的第一显示窗口，检测第一操作，第一显示窗口中显示的是第二设备的显示界面，第一操作是用于指示控制第二设备对第二设备的显示界面中待遮挡的区域进行遮挡的操作。
[0104]
在步骤s101中，第一显示窗口为第一设备的显示屏幕的一部分或全部。
[0105]
在本实施例中，为了便于第一设备更好地对第二设备进行控制，第一设备将第二设备的显示界面的镜像图像显示在第一显示窗口中，以便于通过该镜像图像了解到第二设备的桌面情况，进而便于第一设备对第二设备进行控制。
[0106]
具体地，基于第一设备中显示的第一显示窗口，检测第一操作，以便于通过该针对第一显示窗口中的显示界面进行的操作，并通过第一操作来对显示界面进行区域选择，以将选择出来的区域确定为待遮挡的区域。例如，图3中第二设备的显示界面中由虚线围成的矩形框，即是通过第一操作确定需要控制第二设备对第二设备的显示界面中待遮挡的区域进行遮挡的区域。
[0107]
在一些实施例中，第一设备使用预设脚本对第一显示窗口中的显示界面进行第一操作。
[0108]
s102：基于第一操作，确定区域的区域信息。
[0109]
在本实施例中，为了避免第二设备的显示界面中部分区域的信息为该设备的使用者看到，进而造成信息的泄露，所以，需要通过第一设备对第二设备进行控制，即针对第一设备中显示的第一显示窗口的镜像图像进行检测，以通过检测发现的第一操作来了解通过第一设备控制第二设备进行遮挡的区域，并确定该区域的区域信息，以便于第一设备基于该区域信息控制第二设备对该区域进行遮挡。
[0110]
s103：基于区域信息，向第二设备发送遮挡指令，遮挡指令用于指示第二设备基于区域信息对区域进行遮挡处理。
[0111]
在本实施例中，遮挡指令用于指示第二设备基于区域对区域进行遮挡操作。
[0112]
第一设备基于区域信息，向第二设备发送遮挡指令时，可以包括以下两种情形：
[0113]
第一种情形：基于第一操作确定一个用于定位待遮挡的区域的位置时，确定一次待遮挡区域的区域信息，并基于该区域信息向第二设备发送遮挡指令，以此类推，第一设备向第二设备发送多个遮挡指令。
[0114]
示例的，第一设备与服务器连接，服务器与第二设备连接，接着第一设备与第二设备之间通过服务器建立远程控制连接。当需要对第二设备的显示界面中的密码输入框进行
遮挡时，若第一设备通过操作检测软件检测到针对第一显示窗口中的显示界面的第一操作，则通过操作检测软件捕捉第一操作对应的位置坐标，并按第一设备与服务器之间的通信协议格式对第一操作对应的位置坐标进行数据格式处理，并将数据格式处理后的位置坐标作为遮挡指令发送至服务器。接着，服务器根据通信协议格式，对该遮挡指令进行解析，得到第一操作对应的位置坐标，并继续基于服务器与第二设备之间的通信协议格式对解析得到第一操作对应的位置坐标进行数据格式处理，并将数据格式处理后的位置坐标作为遮挡指令发送至第二设备，以由第二设备根据服务器与第二设备之间的通信协议格式，对接收的遮挡指令进行解析，得到第一操作对应的位置坐标。最后，由第二设备先获取窗口管理服务(window manager)对象，即获取第二设备的显示界面，接着根据接收到的第一操作对应的位置坐标绘制遮罩层，使遮罩层遮挡住第二设备的显示界面中的密码输入框。
[0115]
在一些实施例中，预先定义遮罩指令的通信类型，以便于第二设备接收到遮罩指令时，可以基于通信类型和遮罩指令中包含的基于区域信息对区域进行遮挡处理。
[0116]
示例的，遮罩指令中包括一字节的0x07代表开启远程遮罩功能，使得第一设备将遮罩指令发送至第二设备后，第二设备相应地开启遮罩功能，以便于根据遮罩指令中包含的基于区域信息对区域进行遮挡处理。
[0117]
本技术实施例提供的远程控制界面显示的方法，基于第一设备中显示的第一显示窗口，第一设备检测是否存在针对第一显示窗口中显示的第二设备的显示界面的第一操作，若检测到第一操作，则基于第一操作，确定第二设备的显示界面中待遮挡的区域的区域信息，并基于区域信息，向第二设备发送遮挡指令，以便于第二设备基于区域信息对区域进行遮挡处理，以避免第二设备的使用者看到区域对应的信息，导致信息的泄露。
[0118]
在本技术一实施例中，第一操作为鼠标拖动操作。
[0119]
根据第一操作，确定区域的区域信息的具体实现方式包括：
[0120]
获取鼠标拖动操作对应的鼠标拖动轨迹信息。
[0121]
将鼠标拖动轨迹信息确定为区域的区域信息。
[0122]
在本实施例中，鼠标拖动操作描述的是第一设备中的鼠标在第一显示窗口中的显示界面进行的拖动操作，而且为了描述区域的区域信息，鼠标拖动轨迹信息包括多个位置信息。例如，如图3中，鼠标拖动绘制得到一个由虚线围成的矩形框。
[0123]
可以理解的是，为了指示第二设备对其显示界面中待遮挡的区域进行遮挡处理，可以基于该鼠标拖动轨迹信息对应的多个位置信息，确定一个区域范围，以便于第二设备基于对其显示界面中的该区域范围内进行遮挡处理。
[0124]
在一些实施例中，在检测到预设事件时，获取鼠标拖动操作对应的鼠标拖动轨迹信息，将鼠标拖动轨迹信息确定为区域的区域信息。
[0125]
结合图6，在本技术一实施例中，基于区域信息，向第二设备发送遮挡指令之后，还包括：
[0126]
s201：获取第二设备发送的文本信息，文本信息用于描述第二设备的显示界面中被遮挡的区域的内容。
[0127]
在步骤s201中，在第二设备根据遮挡指令对待遮挡的区域进行遮挡之后，为了第一设备的使用者更好地对第二设备进行控制，获取第二设备发送的文本信息，以便于通过该文本信息了解第二设备的显示界面中被遮挡的区域的内容。
[0128]
示例的，第二设备的显示界面中被遮挡的区域为密码输入框，为了便于第一设备的使用者向该密码输入框输入的内容是否错误，获取第二设备发送的文本信息，以便于通过该文本信息，来了解输入的内容。
[0129]
s202：根据文本信息，生成悬浮窗。
[0130]
在步骤s202中，悬浮窗指的是悬浮在第一设备的显示界面上的窗口，该窗口中记录有第二设备的显示界面中被遮挡的区域的内容。
[0131]
s203：在第一显示窗口的指定位置显示悬浮窗。
[0132]
在本实施例中，指定位置为按需求设定的位置。例如，指定位置为第一显示窗口的中间位置、左上角位置或右下角位置。
[0133]
可以理解的是，悬浮窗置于指定位置时，不会影响用户基于第一显示窗口中显示的显示界面查看第二设备，进而通过第一设备控制第二设备。
[0134]
在一些实施例中，根据悬浮窗拖动指令，将悬浮窗从指定位置调整至目标位置。
[0135]
在本技术一实施例中，基于区域信息，向第二设备发送遮挡指令之后，还包括：
[0136]
基于第一设备中显示的第一显示窗口，检测第二操作，第二操作是用于指示控制第二设备取消对区域的遮挡的操作。
[0137]
在本实施例中，当无对区域进行遮挡的必要性时，基于第一设备中显示的第一显示窗口，检测是否存在第二操作，若检测到指示控制第二设备取消对区域的遮挡的第二操作，则确定需要指示控制第二设备取消对区域的遮挡。
[0138]
基于第二操作，向第二设备发送取消指令，取消指令用于指示第二设备消除对区域的遮挡。
[0139]
在本实施例中，为了消除对区域的遮挡，以便于第二设备的使用者更好地使用第二设备，或第一设备的使用者更好地通过第一设备控制第二设备，于第二操作，向第二设备发送取消指令。
[0140]
在本技术一实施例中，基于第一设备中显示的第一显示窗口，检测第一操作之前，还包括：
[0141]
向第二设备发送远程控制请求。
[0142]
在本实施例中，远程控制请求用于描述第一设备对第二设备的控制需求。
[0143]
接收第二设备针对远程控制请求返回的远程控制响应，远程控制响应中包括第二设备的显示界面的镜像图像。
[0144]
将镜像图像显示于第一显示窗口中。
[0145]
在本实施例中，为了便于通过第一设备控制第二设备，在接收到第二设备针对远程控制请求返回的远程控制响应后，将远程控制响应中包括的镜像图像显示于第一显示窗口中，从而便于第一设备的使用者查看第二设备的桌面，进而更方便地对第二设备进行控制。
[0146]
参见图7，图7示出了本技术提供的远程控制界面显示的方法的示意性流程图。作为示例而非限定，该方法的执行主体为第二设备，第一设备与第二设备建立有远程控制连接，且第一设备控制第二设备。
[0147]
如图7所示，本技术提供的远程控制界面显示的方法可以包括：
[0148]
s301：接收第一设备发送的遮挡指令，遮挡指令中携带第二设备的显示界面中待
遮挡的区域的区域信息，遮挡指令是第一设备基于第一设备中显示的第一显示窗口，检测用于指示第一设备控制第二设备对区域进行遮挡的第一操作，并基于第一操作，确定区域信息后向第二设备发送的指令，第一显示窗口中显示的是第二设备的显示界面。
[0149]
在步骤s301中，第二设备根据接收到遮挡指令后，对该遮挡指令进行解析以得到区域的区域信息，进而地根据解析得到的区域信息，了解需要进行遮挡处理的区域。例如，根据区域信息，了解到需要遮挡的区域是密码输入框。
[0150]
s302：根据区域信息，对区域进行遮挡处理。
[0151]
在步骤s302中，为了避免第二设备的显示界面中的一些区域中的信息被第二设备的使用者看到，第二设备根据接收到遮挡指令后，对该遮挡指令进行解析以得到区域的区域信息，进而地根据解析得到的区域信息，对区域进行遮挡处理。例如，根据区域信息，在区域处绘制遮挡层，以通过该遮挡层遮挡该区域。
[0152]
结合图8，在本技术一实施例中，根据区域信息，对区域进行遮挡处理之后，还包括：
[0153]
s401：获取被遮挡的区域的文本信息，文本信息用于描述第二设备的显示界面中被遮挡的区域的内容。
[0154]
在本实施例中，由于对待遮挡的区域进行遮挡处理后，该区域的内容无法被第一设备的使用者看到，所以，为了便于第一设备的使用者通过第一设备更好地控制第二设备，获取被遮挡的区域的文本信息，并通过该文本信息来描述第二设备的显示界面中被遮挡的区域的内容。
[0155]
s402：将文本信息发送至第一设备，文本信息用于第一设备生成悬浮窗，并将悬浮窗显示在第一显示窗口的指定位置。
[0156]
在本实施例中，为了便于第一设备查看文本信息描述的内容，第二设备将文本信息发送至第一设备，以便于第一设备根据文本信息来生成悬浮窗，并将悬浮窗显示在第一显示窗口的指定位置。
[0157]
在本技术一实施例中，根据区域信息，对区域进行遮挡处理之后，还包括：
[0158]
若接收到第一设备发送的取消指令，则根据取消指令消除对区域的遮挡，取消指令为第一设备基于第一设备中显示的第一显示窗口检测第二操作后向第二设备发送的指令，第二操作是用于指示控制第二设备取消对区域的遮挡的操作。
[0159]
在本技术一实施例中，第一操作为鼠标拖动操作，区域信息中包括鼠标拖动操作对应的鼠标拖动轨迹信息。
[0160]
根据区域信息，对区域进行遮挡处理的具体实现方式包括：
[0161]
根据鼠标拖动轨迹信息，确定区域。
[0162]
生成遮罩层，并将遮罩层显示于待遮挡的区域。
[0163]
在实施例中，为了避免第二设备的使用者看到区域对应的内容，在根据鼠标拖动轨迹信息确定待遮挡的区域后，通过生成遮罩层，并将遮罩层显示于待遮挡的区域，以实现遮挡待遮挡的区域的目的。
[0164]
可以理解的是，由于鼠标拖动轨迹信息描述的是基于第一设备中显示的第一显示窗口，检测到的需要对第二设备的显示界面中待遮挡的区域进行遮挡处理的操作。所以，可以通过根据鼠标拖动轨迹信息，确定区域，并根据鼠标拖动轨迹信息，生成用于遮挡区域遮
罩层。
[0165]
在本技术一实施例中，接收第一设备发送的遮挡指令之前，还包括：
[0166]
接收第一设备发送的远程控制请求。
[0167]
获取当前的显示界面的镜像图像。
[0168]
针对远程控制请求，向第一设备返回远程控制响应，远程控制响应中包括镜像图像。
[0169]
在本实施例中，第二设备接收到发送的远程控制请求之后，通过该远程控制请求了解第一设备将要控制第二设备的需求，所以，为了便于第一设备的使用者更好控制第二设备，获取当前的显示界面的镜像图像，并针对远程控制请求，向第一设备返回包括镜像图像的远程控制响应，以便于第一设备将该远程控制响应中的镜像图像显示在第一显示窗口中。
[0170]
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本技术实施例的实施过程构成任何限定。
[0171]
对应于上文实施例的远程控制界面显示的方法，本技术一实施例提供的远程控制界面显示的装置的结构框图，为了便于说明，仅示出了与本技术实施例相关的部分。
[0172]
该装置包括：
[0173]
检测模块，用于基于第一设备中显示的第一显示窗口，检测第一操作，第一显示窗口中显示的是第二设备的显示界面，第一操作是用于指示控制第二设备对第二设备的显示界面中待遮挡的区域进行遮挡的操作。
[0174]
确定模块，用于基于第一操作，确定区域的区域信息。
[0175]
发送模块，用于基于区域信息，向第二设备发送遮挡指令，遮挡指令用于指示第二设备基于区域信息对区域进行遮挡处理。
[0176]
在一实施例中，第一操作为鼠标拖动操作。
[0177]
确定模块，还用于获取鼠标拖动操作对应的鼠标拖动轨迹信息；将鼠标拖动轨迹信息确定为区域的区域信息。
[0178]
在一实施例中，该装置还包括弹窗模块。
[0179]
弹窗模块，用于获取第二设备发送的文本信息，文本信息用于描述第二设备的显示界面中被遮挡的区域的内容；根据文本信息，生成悬浮窗；在第一显示窗口的指定位置显示悬浮窗。
[0180]
在一实施例中，该装置还包括取消模块。
[0181]
取消模块，用于基于区域信息，向第二设备发送遮挡指令之后，还包括：基于第一设备中显示的第一显示窗口，检测第二操作，第二操作是用于指示控制第二设备取消对区域的遮挡的操作；基于第二操作，向第二设备发送取消指令，取消指令用于指示第二设备消除对区域的遮挡。
[0182]
在一实施例中，该装置还包括连接模块。
[0183]
连接模块，用于向第二设备发送远程控制请求；接收第二设备针对远程控制请求返回的远程控制响应，远程控制响应中包括第二设备的显示界面的镜像图像；将镜像图像显示于第一显示窗口中。
[0184]
对应于上文实施例的远程控制界面显示的方法，本技术另一实施例提供的远程控制界面显示的装置的结构框图，为了便于说明，仅示出了与本技术实施例相关的部分。
[0185]
该装置包括：
[0186]
接收模块，用于接收第一设备发送的遮挡指令，遮挡指令中携带第二设备的显示界面中待遮挡的区域的区域信息，遮挡指令是第一设备基于第一设备中显示的第一显示窗口，检测用于指示第一设备控制第二设备对区域进行遮挡的第一操作，并基于第一操作，确定区域信息后向第二设备发送的指令，第一显示窗口中显示的是第二设备的显示界面；
[0187]
遮挡模块，用于根据区域信息，对区域进行遮挡处理。
[0188]
在一实施例中，该装置还包括发送模块。
[0189]
发送模块，用于获取被遮挡的区域的文本信息，文本信息用于描述第二设备的显示界面中被遮挡的区域的内容；将文本信息发送至第一设备，文本信息用于第一设备生成悬浮窗，并将悬浮窗显示在第一显示窗口的指定位置。
[0190]
在一实施例中，接收模块，还用于根据区域信息，对区域进行遮挡处理之后，还包括：若接收到第一设备发送的取消指令，则根据取消指令消除对区域的遮挡，取消指令为第一设备基于第一设备中显示的第一显示窗口检测第二操作后向第二设备发送的指令，第二操作是用于指示控制第二设备取消对区域的遮挡的操作。
[0191]
在一实施例中，第一操作为鼠标拖动操作，区域信息中包括鼠标拖动操作对应的鼠标拖动轨迹信息。
[0192]
该装置还包括遮挡模块。
[0193]
遮挡模块，用于根据鼠标拖动轨迹信息，确定区域；生成遮罩层，并将遮罩层显示于待遮挡的区域。
[0194]
在一实施例中，接收模块，还用于接收第一设备发送的远程控制请求；获取当前的显示界面的镜像图像；针对远程控制请求，向第一设备返回远程控制响应，远程控制响应中包括镜像图像。
[0195]
图9为本技术一实施例提供的电子设备的结构示意图。如图9所示，该实施例的电子设备9包括：至少一个处理器90(图9中仅示出一个处理器)、存储器91以及存储在存储器91中并可在至少一个处理器90上运行的计算机程序92，处理器90执行计算机程序92时实现上述任意各个方法实施例中的步骤。
[0196]
电子设备9可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。该电子设备可包括，但不仅限于，处理器90、存储器91。本领域技术人员可以理解，图9仅仅是电子设备9的举例，并不构成对电子设备9的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如还可以包括输入输出设备、网络接入设备等。
[0197]
处理器90可以是中央处理单元(central processing unit，cpu)，该处理器90还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现成可编程门阵列(field
‑
programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
[0198]
存储器91在一些实施例中可以是电子设备9的内部存储单元，例如电子设备9的硬
盘或内存。存储器91在另一些实施例中也可以是电子设备9的外部存储设备，例如电子设备9上配备的插接式硬盘，智能存储卡(smart media card，smc)，安全数字(secure digital，sd)卡，闪存卡(flash card)等。进一步地，存储器91还可以既包括电子设备9的内部存储单元也包括外部存储设备。存储器91用于存储操作系统、应用程序、引导装载程序(bootloader)、数据以及其他程序等，例如计算机程序的程序代码等。存储器91还可以用于暂时地存储已经输出或者将要输出的数据。
[0199]
需要说明的是，上述装置/单元之间的信息交互、执行过程等内容，由于与本技术方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。
[0200]
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本技术的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
[0201]
本技术实施例还提供了一种电子设备，该电子设备包括：至少一个处理器、存储器以及存储在存储器中并可在至少一个处理器上运行的计算机程序，处理器执行计算机程序时实现上述任意各个方法实施例中的步骤。
[0202]
本技术实施例还提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时可实现上述各个方法实施例中的步骤。
[0203]
本技术实施例提供了一种计算机程序产品，当计算机程序产品在电子设备上运行时，使得电子设备执行时可实现上述各个方法实施例中的步骤。
[0204]
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，计算机程序包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质至少可以包括：能够将计算机程序代码携带到装置/电子设备的任何实体或装置、记录介质、计算机存储器、只读存储器(rom，read
‑
only memory)、随机存取存储器(ram，random access memory)、电载波信号、电信信号以及软件分发介质。例如u盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区，根据立法和专利实践，计算机可读介质不可以是电载波信号和电信信号。
[0205]
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
[0206]
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员
可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本技术的范围。
[0207]
在本技术所提供的实施例中，应该理解到，所揭露的装置/电子设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/电子设备实施例仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口、装置或单元的间接耦合或通讯连接，可以是电性、机械或其它的形式。
[0208]
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0209]
以上实施例仅用以说明本技术的技术方案，而非对其限制；尽管参照前述实施例对本技术进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本技术各实施例技术方案的精神和范围，均应包含在本技术的保护范围之内。