一种投屏的反向控制方法和装置与流程

1.本技术涉及计算机领域，具体而言，涉及一种投屏的反向控制方法和装置。


背景技术：

2.随着人工智能的发展，可以基于机器学习反向控制投屏设备，实现不同投屏设备间的交互。目前，针对投屏的反向控制方法，常采用在接收投屏设备屏幕上监听用户的键盘或者触屏的屏幕操作，并且把屏幕操作发送到投屏设备上的方式，通过模拟用户的键盘或者触屏的屏幕操作，实现反向控制投屏设备的目的。
3.然而，上述投屏的反向控制方式，一般是基于用户在屏幕上操作的机械模仿，也就是，监听接收投屏设备的输入操作，在投屏设备上模拟用户做同样的输入操作。在投屏设备与接收投屏设备采用不同的输入控制方式的情况下，则无法实现对投屏的反向控制。比如，从冰箱投屏到电视时，由于电视不支持触控操作，则无法通过电视反向控制冰箱。
4.由此可见，相关技术中的投屏的反向控制方法，存在由于投屏设备间的输入控制方式不同导致的无法实现反向控制的问题。


技术实现要素：

5.本技术实施例提供了一种投屏的反向控制方法和装置，以至少解决相关技术中的投屏的反向控制方法存在由于投屏设备间的输入控制方式不同导致的无法实现反向控制的问题。
6.根据本技术实施例的一个方面，提供了一种投屏的反向控制方法，包括：在第一设备的屏幕上显示与投屏图像对应的可交互界面，其中，所述投屏图像是第二设备的屏幕投屏到所述第一设备上的图像，所述可交互界面中包含从所述投屏图像中识别出的可交互元素；接收所述第一设备上输入的第一交互命令，其中，所述第一交互命令是与所述可交互元素中包含第一位置的目标元素对应的交互命令；将所述第一交互命令转化为屏幕操作指示信息，其中，所述屏幕操作指示信息用于指示对所述第一位置执行的目标屏幕操作；将所述屏幕操作指示信息发送给所述第二设备，以使所述第二设备对第二位置执行所述目标屏幕操作，其中，所述第二位置为所述第二设备的屏幕中与所述第一位置对应的位置。
7.在一个示例性实施例中，将所述第一交互命令转化为屏幕操作指示信息包括：对所述第一交互命令进行解析，确定所述目标元素中的所述第一位置，其中，所述目标元素为所述可交互元素中与所述第一交互命令匹配的元素；根据所述第一位置和所述目标屏幕操作，生成所述屏幕操作指示信息，其中，所述目标屏幕操作为所述目标元素所允许执行的屏幕操作。
8.在一个示例性实施例中，所述对所述第一交互命令进行解析，确定所述目标元素中的所述第一位置包括：在所述第一交互命令为非屏幕操作命令的情况下，对所述第一交互命令进行解析，确定所述第一交互命令中所包含的交互信息；将所述交互信息和所述可交互元素的元素内容进行匹配，确定所述可交互元素中与所述第一交互命令匹配的所述目
标元素；将所述目标元素中的预设点的位置，确定为所述第一位置。
9.在一个示例性实施例中，所述对所述第一交互命令进行解析，确定所述第一交互命令中所包含的交互信息包括：在所述第一交互命令为语音命令的情况下，对所述语音命令进行语音解析，得到所述语音命令中所包含的所述交互信息；在所述第一交互命令为手势命令的情况下，使用预设手势的预设手势信息对所述手势命令进行解析，得到与所述手势命令匹配的目标手势；将所述目标手势的手势信息，确定为所述手势命令中所包含的所述交互信息。
10.在一个示例性实施例中，所述对所述第一交互命令进行解析，确定所述目标元素中的所述第一位置包括：在所述第一交互命令为对所述目标元素执行的屏幕操作命令的情况下，将对所述目标元素执行的屏幕操作的操作位置，确定为所述第一位置。
11.在一个示例性实施例中，在所述将所述第一交互命令转化为屏幕操作指示信息之前，所述方法还包括：识别所述投屏图像中的所述可交互元素，得到所述可交互元素的描述信息，其中，所述可交互元素的描述信息用于指示以下至少之一：所述可交互元素的元素类型，所述可交互元素的元素位置，所述可交互元素允许执行的屏幕操作，所述可交互元素的元素内容，将所述第一交互命令转化为所述屏幕操作指示信息是基于所述可交互元素的描述信息执行的。
12.在一个示例性实施例中，在所述在第一设备的屏幕上显示与投屏图像对应的可交互界面之前，所述方法还包括：识别所述投屏图像中的所述可交互元素，得到所述可交互元素的元素位置；将所述可交互界面中所述可交互元素的元素位置设置为可交互状态，其中，所述可交互状态为所述元素位置被选中之后所述可交互元素的显示信息发生变化的状态。
13.在一个示例性实施例中，在所述将所述屏幕操作指示信息发送给所述第二设备之后，所述方法还包括：在所述第二设备上从接收到的所述屏幕操作指示信息中提取出所述第一位置；在所述第二设备上按照所述第二设备的屏幕的尺寸和所述投屏图像在所述第一设备的屏幕上的显示尺寸，确定所述第二设备的屏幕中与所述第一位置对应的所述第二位置；在所述第二设备上对所述第二位置执行与所述目标屏幕操作。
14.根据本技术实施例的另一个方面，还提供了一种投屏的反向控制装置，包括：显示单元，用于在第一设备的屏幕上显示与投屏图像对应的可交互界面，其中，所述投屏图像是第二设备的屏幕投屏到所述第一设备上的图像，所述可交互界面中包含从所述投屏图像中识别出的可交互元素；接收单元，用于接收所述第一设备上输入的第一交互命令，其中，所述第一交互命令是与所述可交互元素中包含第一位置的目标元素对应的交互命令；转化单元，用于将所述第一交互命令转化为屏幕操作指示信息，其中，所述屏幕操作指示信息用于指示对所述第一位置执行的目标屏幕操作；发送单元，用于将所述屏幕操作指示信息发送给所述第二设备，以使所述第二设备对第二位置执行所述目标屏幕操作，其中，所述第二位置为所述第二设备的屏幕中与所述第一位置对应的位置。
15.在一个示例性实施例中，所述转化单元包括：解析模块，用于对所述第一交互命令进行解析，确定所述目标元素中的所述第一位置，其中，所述目标元素为所述可交互元素中与所述第一交互命令匹配的元素；生成模块，用于根据所述第一位置和所述目标屏幕操作，生成所述屏幕操作指示信息，其中，所述目标屏幕操作为所述目标元素所允许执行的屏幕操作。
16.在一个示例性实施例中，所述解析模块包括：解析子模块，用于在所述第一交互命令为非屏幕操作命令的情况下，对所述第一交互命令进行解析，确定所述第一交互命令中所包含的交互信息；匹配子模块，用于将所述交互信息和所述可交互元素的元素内容进行匹配，确定所述可交互元素中与所述第一交互命令匹配的所述目标元素；第一确定子模块，用于将所述目标元素中的预设点的位置，确定为所述第一位置。
17.在一个示例性实施例中，所述解析子模块包括：第一解析子单元，用于在所述第一交互命令为语音命令的情况下，对所述语音命令进行语音解析，得到所述语音命令中所包含的所述交互信息；第二解析子单元，用于在所述第一交互命令为手势命令的情况下，使用预设手势的预设手势信息对所述手势命令进行解析，得到与所述手势命令匹配的目标手势；将所述目标手势的手势信息，确定为所述手势命令中所包含的所述交互信息。
18.在一个示例性实施例中，所述解析模块包括：第二确定子模块，用于在所述第一交互命令为对所述目标元素执行的屏幕操作命令的情况下，将对所述目标元素执行的屏幕操作的操作位置，确定为所述第一位置。
19.在一个示例性实施例中，所述装置还包括：第一识别单元，用于在所述将所述第一交互命令转化为屏幕操作指示信息之前，识别所述投屏图像中的所述可交互元素，得到所述可交互元素的描述信息，其中，所述可交互元素的描述信息用于指示以下至少之一：所述可交互元素的元素类型，所述可交互元素的元素位置，所述可交互元素允许执行的屏幕操作，所述可交互元素的元素内容，将所述第一交互命令转化为所述屏幕操作指示信息是基于所述可交互元素的描述信息执行的。
20.在一个示例性实施例中，所述装置还包括：第二识别单元，用于在所述在第一设备的屏幕上显示与投屏图像对应的可交互界面之前，识别所述投屏图像中的所述可交互元素，得到所述可交互元素的元素位置；设置单元，用于将所述可交互界面中所述可交互元素的元素位置设置为可交互状态，其中，所述可交互状态为所述元素位置被选中之后所述可交互元素的显示信息发生变化的状态。
21.在一个示例性实施例中，所述装置还包括：提取单元，用于在所述将所述屏幕操作指示信息发送给所述第二设备之后，在所述第二设备上从接收到的所述屏幕操作指示信息中提取出所述第一位置；确定单元，用于在所述第二设备上按照所述第二设备的屏幕的尺寸和所述投屏图像在所述第一设备的屏幕上的显示尺寸，确定所述第二设备的屏幕中与所述第一位置对应的所述第二位置；执行单元，用于在所述第二设备上对所述第二位置执行与所述目标屏幕操作。
22.根据本技术实施例的又一方面，还提供了一种计算机可读的存储介质，该计算机可读的存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述投屏的反向控制方法。
23.根据本技术实施例的又一方面，还提供了一种电子装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，上述处理器通过计算机程序执行上述的投屏的反向控制方法。
24.在本技术实施例中，通过在第一设备(接收投屏的设备)的屏幕上显示与投屏图像对应的可交互界面，其中，投屏图像是第二设备(发送投屏的设备)的屏幕投屏到第一设备上的图像，可交互界面中包含从投屏图像中识别出的可交互元素；接收第一设备上输入的
第一交互命令，其中，第一交互命令是与可交互元素中包含第一位置的目标元素对应的交互命令；将第一交互命令转化为屏幕操作指示信息，其中，屏幕操作指示信息用于指示对第一位置执行的目标屏幕操作；将屏幕操作指示信息发送给第二设备，以使第二设备对第二位置执行目标屏幕操作，其中，第二位置为第二设备的屏幕中与第一位置对应的位置，也即，将接收投屏的设备上的交互命令转化为屏幕操作指示信息，该屏幕操作指示信息可以指示对接收投屏的设备的屏幕上的特定位置执行的屏幕操作，并将该屏幕操作指示信息发送给发送投屏的设备，控制发送投屏的设备执行对应的屏幕操作，由于将接收投屏的设备上多模态交互输入转化为基础的如键盘或触屏等屏幕操作后对发送投屏的设备执行反向控制，屏幕操作可以适用于大多数的设备，从而可以实现对发送投屏的设备进行反向控制的目的，达到提高投屏反向控制的适用性、进而提高投屏反向控制的成功率的技术效果，进而解决了相关技术中的投屏的反向控制方法存在由于投屏设备间的输入控制方式不同导致的无法实现反向控制的问题。
附图说明
25.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本技术的实施例，并与说明书一起用于解释本技术的原理。
26.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
27.图1是根据本技术实施例的一种可选的投屏的反向控制方法的硬件环境的示意图；
28.图2是根据本技术实施例的一种可选的投屏的反向控制方法的流程示意图；
29.图3是根据本技术实施例的一种可选的投屏的反向控制方法的示意图；
30.图4是根据本技术实施例的另一种可选的投屏的反向控制方法的流程示意图；
31.图5是根据本技术实施例的一种可选的投屏的反向控制装置的结构框图；
32.图6是根据本技术实施例的一种可选的电子装置的结构框图。
具体实施方式
33.为了使本技术领域的人员更好地理解本技术方案，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分的实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本技术保护的范围。
34.需要说明的是，本技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品
或设备固有的其它步骤或单元。
35.根据本技术实施例的一个方面，提供了一种投屏的反向控制方法。可选地，在本实施例中，上述投屏的反向控制方法可以应用于如图1所示的由第一设备102和第二设备104所构成的硬件环境中。如图1所示，第二设备104可以通过网络与第一设备102进行连接，两者之间可以实现投屏的双向控制。
36.上述网络可以包括但不限于以下至少之一：有线网络，无线网络。上述有线网络可以包括但不限于以下至少之一：广域网，城域网，局域网，上述无线网络可以包括但不限于以下至少之一：wifi(wireless fidelity，无线保真)，蓝牙。
37.本技术实施例的投屏的反向控制方法可以由第一设备102来执行，也可以由第二设备104来执行，还可以是由第二设备104和第一设备102共同执行。其中，第一设备102或者第二设备104执行本技术实施例的投屏的反向控制方法也可以是由安装在其上的客户端来执行。
38.以由第一设备102来执行本实施例中的投屏的反向控制方法为例，图2是根据本技术实施例的一种可选的投屏的反向控制方法的流程示意图，如图2所示，该方法的流程可以包括以下步骤：
39.步骤s202，在第一设备的屏幕上显示与投屏图像对应的可交互界面，其中，投屏图像是第二设备的屏幕投屏到第一设备上的图像，可交互界面中包含从投屏图像中识别出的可交互元素(即，可交互的屏幕元素)。
40.本实施例中的投屏的反向控制方法可以应用于接收投屏的设备(例如，第一设备)对发送投屏的设备(如，第二设备)实行反向控制的场景。这里的第一设备可以是用于显示第二设备发送的镜像视频或是静态镜像图像的显示设备，还可以是其他具有类似功能的智能设备，这里的第二设备可以是将自身设备上显示的视频或图像发送到其他设备上进行显示的智能设备。第一设备的屏幕尺寸和第二设备的屏幕尺寸可以是相同的，也可以是不同的，可选地，第一设备的屏幕尺寸可以大于第二设备的屏幕尺寸。本实施例中对第一设备和第二设备的设备类型、设备尺寸等均不做限定。
41.需要说明的是，为了保证对于第一设备和第二设备进行相应交互操作的安全性，在开启设备间的交互之前，可以采用在第一设备和第二设备上使用同一账号进行登录并授权认证的方式，防止其他误操作对于设备间交互操作的影响，以此保证设备间反向控制的安全性和可靠性。
42.可选地，也可以在进行反向控制前，确定第二设备允许反向控制。例如，在第二设备上设置有允许反向控制的选项，在确定第二设备开启了允许反向控制的选项的情况下，确定第二设备允许反向控制。或者，第一设备向第二设备发送授权请求，该授权请求用于请求允许第一设备对第二设备进行反向控制，在接收到第二设备相应该授权请求返回的授权响应的情况下，确定第二设备允许反向控制。
43.在本实施例中，第一设备可以实时接收第二设备发送的投屏图像。在接收到第二设备发送的投屏图像之后，第一设备可以从投屏图像中自动识别出用于执行交互操作的可交互元素。根据识别出的可交互元素，在第一设备的屏幕上显示与投屏图像相对应的、用于与第二设备进行交互的可交互界面。
44.识别可交互元素可以是基于人工智能的机器学习执行的，例如，通过人工智能的
机器学习，自动分析投屏的镜像视频中的ui(user interface，用户界面)界面上的所有交互元素。机器学习算法通过大量输入的样本先归纳出一个数学模型。对一个新样本，直接使用这个数学模型，可以获得结果。机器学习有很多应用，例如，在计算机视觉中，用于车牌识别和面部识别等。本实施例中可以将机器学习用于目标检测中，目标检测是一种与计算机视觉和图像处理有关的计算机技术，用于检测数字图像和视频中特定类别的语义对象(例如人，动物或汽车)，本可选示例中检测的是可交互元素。
45.需要说明的是，这里的可交互元素是可以响应于相应的输入控制操作的元素，或者说，允许与输入控制操作进行交互的界面元素(或者称，屏幕元素、交互元素)，可以是一些基本的用户界面设计元素，比如图标、输入框、按钮等，也可以是一些复杂的对话框或tab页(tabular key，标签页)的设计元素，在此不做限定。这里的可交互界面是包含上述可交互元素、应用于第一设备和第二设备间的控制操作的可视化界面。可选地，可交互界面可以是允许进行反向控制的投屏图像，也就是说，第一设备上显示的是投屏图像，该投屏图像允许对第二设备进行反向控制。
46.例如，如图3所示，对于冰箱(第二设备的一种示例)上购买食材的应用，在将冰箱投屏到电视(第一设备的一种示例)时，电视可以识别到所有界面元素，比如，商品名称、商品图标、购买商品数量的输入框、从购物车里删除的按钮、或者“扫码付款”的按钮等。在电视的屏幕上显示的可交互界面中可以包含有多个可交互的界面元素，例如，商品图像、删除图标、数量增加的输入框、“扫码付款”按钮等。
47.步骤s204，接收第一设备上输入的第一交互命令，其中，第一交互命令是与可交互元素中包含第一位置的目标元素对应的交互命令。
48.在本实施例中，可以在所有支持输入的接收投屏的设备上，监听用户的多模态交互输入，例如，触屏、按键、手势、语音等。对于第一设备，在投屏开始之后，第一设备可以接收到输入的第一交互命令，这里的第一交互命令可以是采用不同方式进行输入的，比如，可以是在第一设备屏幕上的触屏输入、键盘输入，也可以是语音输入或其他的输入方式。第一设备的设备类型不同，其能够获取交互命令的方式可以是不同的，本实施例中对于获取第一交互命令的方式不做限定。
49.在本实施例中，第一交互命令是与可交互界面中位于特定位置(即，第一位置)上的可交互元素对应的交互命令，该可交互元素可以为目标元素。第一交互命令可以用于指示对目标元素执行交互操作，从而可以触发开启第一设备和第二设备间的交互。
50.例如，如图3所示，用户点击电视的屏幕上与“扫码付款”按钮对应的位置，电视可以接收到输入的该交互命令(第一交互命令的一种示例)。
51.步骤s206，将第一交互命令转化为屏幕操作指示信息，其中，屏幕操作指示信息用于指示对第一位置执行的目标屏幕操作。
52.在本实施例中，在接收到第一交互命令开启与第二设备间的交互之后，第一设备可以基于机器学习对第一交互命令进行解析，对采用不同的输入方式的第一交互命令进行识别，将第一交互命令转化为对第一设备屏幕上的第一位置执行的目标屏幕操作的屏幕操作指示信息。这里的目标屏幕操作可以是对屏幕上特定的位置点执行的操作，可以是基本的触屏操作或者在屏幕上进行的键入操作。
53.例如，如图3所示，用户点击电视的屏幕上与“扫码付款”按钮对应的位置。电视在
接收到输入的该交互命令之后，可以对其进行解析，将其转换成用于指示对本设备的屏幕上的特定位置(第一位置的一种示例)执行的屏幕操作的屏幕操作指示信息。
54.步骤s208，将屏幕操作指示信息发送给第二设备，以使第二设备对第二位置执行目标屏幕操作，其中，第二位置为第二设备的屏幕中与第一位置对应的位置。
55.在将第一交互命令转化为屏幕操作指示信息之后，第一设备可以将屏幕指示信息通过网络发送给第二设备。第二设备在接收到该屏幕指示信息之后，可以根据屏幕指示信息的指示在第二设备的屏幕上对与第一位置对应的位置(即，第二位置)执行目标屏幕操作，以此实现第一设备对于第二设备的反向控制。
56.需要说明的是，屏幕操作指示信息中可以携带用于表示第一位置的位置信息(例如，位置坐标)，由第二设备根据第一位置、以及第一设备的屏幕尺寸和第二设备的屏幕尺寸之间的比例关系，确定第二位置。或者，也可以由第一设备根据第一位置、以及第一设备的屏幕尺寸和第二设备的屏幕尺寸之间的比例关系，确定第二位置，屏幕操作指示信息中可以直接携带用于表示第二位置的位置信息，也可以是其他的实现方式，本实施例中对此不做限定。
57.作为一种可选的实施方式，第一设备可以将屏幕操作指示信息发送给第二设备，屏幕操作指示信息携带有用于表示第一位置的位置信息和目标屏幕操作(例如，触屏操作或键入操作)的指示信息。第二设备在接收到屏幕操作指示信息之后，可以根据第一设备和第二设备间的投屏比例和第一位置确定第二位置，并结合该屏幕指示信息所指示的目标屏幕操作，模拟对第二设备的屏幕上的第二位置执行该目标屏幕操作，实现对第二设备的反向控制。
58.例如，如图3所示，电视可以将屏幕操作指示信息发送给冰箱。在冰箱上可以模拟用户输入依次执行相应屏幕操作，可以是跟”扫码付款”按钮相关的点击触屏操作，从而进行如扫码付款界面。
59.通过上述步骤，在第一设备的屏幕上显示与投屏图像对应的可交互界面，其中，投屏图像是第二设备的屏幕投屏到第一设备上的图像，可交互界面中包含从投屏图像中识别出的可交互元素；接收第一设备上输入的第一交互命令，其中，第一交互命令是与可交互元素中包含第一位置的目标元素对应的交互命令；将第一交互命令转化为屏幕操作指示信息，其中，屏幕操作指示信息用于指示对第一位置执行的目标屏幕操作；将屏幕操作指示信息发送给第二设备，以使第二设备对第二位置执行目标屏幕操作，其中，第二位置为第二设备的屏幕中与第一位置对应的位置，解决了相关技术中的反向控制方法存在由于投屏设备间的输入控制方式不同导致的无法实现反向控制的问题，提高了投屏设备间反向控制的适用性，提高了投屏反向控制的成功率。
60.在一个示例性实施例中，将第一交互命令转化为屏幕操作指示信息包括：
61.s11，对第一交互命令进行解析，确定目标元素中的第一位置，其中，目标元素为可交互元素中与第一交互命令匹配的元素；
62.s12，根据第一位置和目标屏幕操作，生成屏幕操作指示信息，其中，目标屏幕操作为目标元素所允许执行的屏幕操作。
63.第一设备可以利用目标检测算法对输入的第一交互命令进行解析，从而确定出与第一交互命令对应的第一位置。该第一位置为可交互元素中的目标元素所包含的位置，而
目标元素为可交互元素中与第一交互命令匹配的元素。
64.第一交互命令可以为多模态的交互命令，不同类型的交互命令，其确定第一位置和目标元素的方式可以是不同的。例如，对于屏幕的触控操作、键盘的输入操作等，可以基于操作的位置点确定第一位置，将第一位置所属的可交互元素确认为目标元素。又例如，对于语音输入操作，可以基于语音识别结果确定目标元素，将目标元素中的特定位置点确定为地址位置。本实施例中对于语音交互命令的解析方式不做限定。
65.在本实施例中，可以将第一交互命令所指示的交互信息与可交互界面上的可交互元素进行匹配，确定出目标元素中的第一位置，这里的第一位置可以是目标元素中的某一个位置点，也可以是可交互界面中目标元素所在的位置区域。第一设备根据第一位置以及目标元素允许进行的目标屏幕操作，可以生成发送给第二设备的屏幕操作指示信息。
66.目标元素的元素类型可以为多种元素类型中的一种，不同的元素类型，其所允许执行的屏幕操作的操作类型可以是不同的。这里的屏幕操作可以是点击、连击、滑动目标元素对应的区域等，还可以是在目标元素所处的区域绘制图像或是键入操作，本实施例中对于目标屏幕操作的操作类型不做限定。
67.通过本实施例，通过对交互命令进行解析，确定交互命令匹配的元素以及该元素中的位置点，从而生成对应的屏幕操作指示信息，可以将多模态的交互命令转换为统一的屏幕操作，实现了设备间不同的输入控制方式的交互，提升了设备间反向控制的便捷性和适用性。
68.在一个示例性实施例中，对第一交互命令进行解析，确定目标元素中的第一位置包括：
69.s21，在第一交互命令为非屏幕操作命令的情况下，对第一交互命令进行解析，确定第一交互命令中所包含的交互信息；
70.s22，将交互信息和可交互元素的元素内容进行匹配，确定可交互元素中与第一交互命令匹配的目标元素；
71.s23，将目标元素中的预设点的位置，确定为第一位置。
72.交互命令可以分为屏幕操作命令和非屏幕操作命令。第一设备可以确定第一交互命令的类型。在第一交互命令为非屏幕操作命令的情况下，第一设备可以对第一交互命令进行解析，从而确定出第一交互命令中包含的交互信息，该交互信息可以用于指示输入的控制操作。第一设备还可以将确定出的交互信息与可交互元素的元素内容进行匹配，在可交互元素中确定出与第一交互命令指示的控制操作匹配的目标元素。
73.例如，如图3所示，用户输入的交互命令为语音输入“我要付款”，其为非屏幕操作命令。电视可以对该语音输入进行解析，识别出该语音输入中的交互信息包括付款。电视可以将交互信息与可交互界面中的可交互元素的元素内容进行匹配，确定出与该交互命令匹配的可交互元素为“扫码付款”按钮。
74.在确定出目标元素之后，为了确定第一交互命令所指示的屏幕操作的在可交互界面中的位置信息，第一设备可以将目标元素的预设点的位置，确定为第一位置。预设点可以是目标元素所在区域的任意位置点，例如，中心点，边缘点，还可以是目标元素中的其他位置点，本实施例中对于预设点不做限定。
75.通过本实施例，根据从非屏幕操作命令中解析出的交互信息确定出交互的屏幕元
素，并根据屏幕元素中的预定点的位置确定交互的位置，提升了对设备输入控制的兼容性，进而提高了设备投屏反向控制的便捷性。
76.在一个示例性实施例中，对第一交互命令进行解析，确定第一交互命令中所包含的交互信息包括：
77.s31，在第一交互命令为语音命令的情况下，对语音命令进行语音解析，得到语音命令中所包含的交互信息；
78.s32，在第一交互命令为手势命令的情况下，使用预设手势的预设手势信息对手势命令进行解析，得到与手势命令匹配的目标手势；将目标手势的手势信息，确定为手势命令中所包含的交互信息。
79.在本实施例中，非屏幕操作命令可以有多种，可以包括但不限于以下至少之一：语音命令，手势命令。对于不同的非屏幕操作命令，对其进行解析进而确定其所包含的交互命令的方式可以是不同的。
80.作为一种可选的实施方式，如果第一交互命令为语音命令，第一设备可以对该语音命令进行语音解析(或者说，语音识别)，识别出该语音命令中所包含的交互信息。对语音命令进行语音解析的方式可以是使用预训练的声学模型执行的，通过该声学模型可以对语音命令进行语音识别，识别出该语音命令中所包含的信息，从而得到前述的交互信息。
81.作为另一种可选的实施方式，如果第一交互命令为手势命令，第一设备可以使用预设手势的预设手势信息对手势命令进行解析，得到与该手势命令匹配的目标手势，预设手势信息可以是预设手势的手势特征。例如，可以预先设置“ok”手势、“点击”手势、“滑动”手势、“左滑动”手势、“右滑动”手势等，通过将手势命令的手势信息与预设手势的预设手势信息进行匹配，得到该目标手势。
82.不同的预设手势可以对应于不同的手势信息，例如，“ok”手势对应的手势信息可以为确定，“左滑动”手势对应的手势信息可以是返回、返回上一页，“右滑动”手势的手势信息可以为进入下一页等。在确定与手势命令匹配的目标手势之后，第一设备可以将目标手势对应的手势信息确定为手势命令中所包含的交互信息。
83.可选地，第一设备还可以定义手势信息与可交互元素之间的对应关系，上述对应关系可以是基于元素类型的对应，即，每种类型的可交互元素可以预设允许的手势信息，基于目标手势的手势信息和每种可交互元素允许的手势信息之间的匹配关系，确定出目标元素。
84.可选地，如果手势命令是对可交互界面中特定的位置点或者特定的元素执行的，即，可以识别出该手势操作的操作位置，也可以直接将该手势命令所操作的位置点确定为第一位置，将该位置点所属的可交互元素，确定为目标元素，或者，将该手势命令所操作的可交互元素，确定为目标元素，将该目标元素中的预设点的位置，确定为第一位置。
85.通过本实施例，可以对不同模态的非屏幕操作命令采用不同的方式对其包含的交互信息进行识别，可以提高设备投屏反向控制的兼容性，进而提升了用户的使用体验。
86.在一个示例性实施例中，对第一交互命令进行解析，确定目标元素中的第一位置包括：
87.s41，在第一交互命令为对目标元素执行的屏幕操作命令的情况下，将对目标元素执行的屏幕操作的操作位置，确定为第一位置。
88.在本实施例中，如果第一交互命令为对可交互界面中的目标元素所执行的屏幕操作命令，屏幕操作命令指示对目标元素执行屏幕操作(例如，基本的键入操作或触屏操作等)，第一设备可以将对目标元素执行上述屏幕操作的操作位置(可以是位置点，也可以是位置区域)，确定为执行屏幕操作的第一位置。
89.通过本实施例，对于屏幕操作命令，将该屏幕操作命令所指示的屏幕操作的操作位置，确定为转换后的屏幕操作的操作位置，可以提高命令转化的效率，进而提高投屏反向控制的速度。
90.在一个示例性实施例中，在将第一交互命令转化为屏幕操作指示信息之前，上述方法还包括：
91.s51，识别投屏图像中的可交互元素，得到可交互元素的描述信息，其中，可交互元素的描述信息用于指示以下至少之一：可交互元素的元素类型，可交互元素的元素位置，可交互元素允许执行的屏幕操作，可交互元素的元素内容，将第一交互命令转化为屏幕操作指示信息是基于可交互元素的描述信息执行的。
92.在本实施例中，在将第一交互命令转化为屏幕操作指示信息之前，第一设备可以对投屏图像中的可交互元素进行识别，获取关于可交互元素在投屏图像中的描述信息。识别可交互元素可以是在接收到投屏图像之后、在第二设备的屏幕上显示可交互界面之前执行的，也可以是在获取到第一交互命令之后、将第一交互命令转化为屏幕操作指示信息之前执行的，还可以是其他的识别时机，本实施例中对此不做限定。
93.上述可交互元素的描述信息可以用于描述可交互元素，可以包含一种或多种信息，例如，可交互元素的元素类型的指示信息，可交互元素在可交互界面中的元素位置的指示信息，可交互元素的元素内容。上述元素位置可以是可交互元素的中心点的位置坐标，也可以是可交互元素所在区域的区域坐标。不同类型的可交互元素，其对应的元素内容可以是不同的，对于包含文本的可交互元素，其元素内容可以是为其包含的文本，对于图标按钮，其元素内容可以为其图标的描述。
94.可选地，可交互元素的描述信息还可以包含用于指示可交互元素允许执行的屏幕操作的指示信息，用于指示可交互元素允许执行的屏幕操作的指示信息可以是根据配置信息确定的，该配置信息用于指示不同类型的可交互元素所允许执行的屏幕操作。
95.基于可交互元素的描述信息，第一设备可以将第一交互命令转化为屏幕操作指示信息。例如，根据目标元素的元素位置可以确定出第一位置，或者，根据可交互元素的元素位置，可以确定出目标元素。又例如，根据目标元素允许执行的屏幕操作，可以确定出目标屏幕操作等，本实施例中对于交互命令的转换方式不同限定。
96.例如，如图3所示，电视可以根据识别的界面元素，自动生成可交互界面的布局框架，比如界面大小、按钮的位置、按钮名称等，得到可交互界面的布局描述，可以是关于界面元素的描述信息，如表1所示。
97.表1
98.类型位置大小参数图片25,2045,25 文本75,1670,16内容“我是原价商品”图标按钮234,1614,16删除图标
文本75,5045,14内容“￥80.00”输入框130,4660,22内容”1”文本203,4548,22内容“￥80.00”图片25,8445,55 文本75,8670,16内容“称重自选商品”图标按钮235,8414,16删除图标文本75,11845,14内容“￥40.00”输入框134,11860,14内容
”×
0.290kg”文本208,11542,22内容“￥11.60”文本按钮462,96104,42内容“扫码付款”99.由表1可知，可交互界面的布局描述可以包括每个界面元素的类型、位置和大小、以及相关参数，比如，图3中的关键元素的交互界面描述。
100.电视在接收到任意多模态交互命令之后，可以跟当前可交互界面的描述信息进行匹配，将多模态交互命令转换为对应的屏幕操作的屏幕操作指示信息。比如，把用户在“扫码付款”按钮处的触屏操作、点击购买按键、语音命令“我要购买”、比划的“ok”手势，统一转换为以下屏幕操作：在514，138位置的点击触屏操作。
101.通过本实施例，通过识别投屏图像中可交互的屏幕元素，得到屏幕元素的描述信息，并基于屏幕元素的描述信息对交互命令进行转换，可以提升投屏设备间进行控制交互的准确性。
102.在一个示例性实施例中，在第一设备的屏幕上显示与投屏图像对应的可交互界面之前，上述方法还包括：
103.s61，识别投屏图像中的可交互元素，得到可交互元素的元素位置；
104.s62，将可交互界面中可交互元素的元素位置设置为可交互状态，其中，可交互状态为元素位置被选中之后可交互元素的显示信息发生变化的状态。
105.在第一设备的屏幕上所显示的可交互界面可以是静态的，即，无论用户是否操作该可交互界面，可交互界面的显示状态是不发生变化的。在此情况下，在接收到第一交互命令之后，第一设备可以在设备后台执行投屏的反向控制逻辑，在可交互界面上的目标元素的显示状态是不发生变化的。
106.可选地，在本实施例中，为了提高用户的视觉体验，以使用户感知其所执行的操作，第一设备可以首先识别投屏图像中的可交互元素，识别可交互元素的方式与前述实施例中类似，在此不做赘述。在对可交互元素进行识别之后，第一设备可以获取到可交互元素的描述信息，该可交互元素的描述信息可以包括可交互元素的元素位置，即，可交互元素在可交互界面中所处的位置区域。第一设备可以将可交互元素的元素位置设置为可交互状态，以在用户对可交互界面中的可交互元素执行相关的操作时更改可交互元素的元素位置的显示信息(例如，通过添加加框更改该元素位置的颜色、背景色等)，以对用户所操作的可交互元素进行提示。
107.例如，如图3所示，在“扫码付款”按钮被选中时，可以对该“扫码付款”按钮所在的位置区域的显示信息进行更新，可以是在该元素位置上加上显示框，显示框可以是静态框，也可以是动态框(例如，闪动)，还可以其他能够区分出“扫码付款”按钮是否被选中的显示
框。
108.通过本实施例，将可交互元素的元素位置设置为可交互状态，可以在用户对可交互元素上执行屏幕操作后进行显示状态的更新，从而有效提升用户的视觉体验，减少用户误操作的概率，保证设备间交互控制的高效性。
109.在一个示例性实施例中，在将屏幕操作指示信息发送给第二设备之后，上述方法还包括：
110.s71，在第二设备上从接收到的屏幕操作指示信息中提取出第一位置；
111.s72，在第二设备上按照第二设备的屏幕的尺寸和投屏图像在第一设备的屏幕上的显示尺寸，确定第二设备的屏幕中与第一位置对应的第二位置；
112.s73，在第二设备上对第二位置执行与目标屏幕操作。
113.在本实施例中，可以按照第二设备的屏幕的尺寸和投屏图像在第一设备的屏幕上的显示尺寸，对第一位置进行转换，将转换为第二设备的屏幕中的第二位置。上述转换可以是按照第二设备的屏幕的尺寸和投屏图像在第一设备的屏幕上的显示尺寸之间的比例进行的转换，也可以是按照其他方式进行的转换。上述转换可以是由第一设备执行，也可以是由第二设备执行。本实施例中对此不做限定。
114.以由第二设备执行上述转换为例，屏幕操作指示信息中可以携带第一位置信息和投屏图像在第一设备的屏幕上的显示尺寸。在接收到第一设备发送的屏幕操作指示信息之后，第二设备可以从屏幕操作指示信息中提取出第一位置和投屏图像在第一设备的屏幕上的显示尺寸，并按照第二设备的屏幕的尺寸和投屏图像在第一设备的屏幕上的显示尺寸，确定第二设备的屏幕中与第一位置对应的第二位置。在确定第二位置之后，第一设备可以在该第二位置上模拟用户发起相应的目标屏幕操作，从而实现对发送投屏的设备进行多模态交互的反向控制。
115.例如，第一位置为可交互界面上(其尺寸为投屏图像在接收投屏的设备的屏幕上的显示尺寸)坐标为“230，890”的位置，而发送投屏的设备的屏幕的尺寸与投屏图像在接收投屏的设备的屏幕上的显示尺寸的比例为1:10，可以确定第二位置为“23，89”。发送投屏的设备可以在“23，89”的位置上模拟用户发起相应的目标屏幕操作。
116.需要说明的是，如果由第一设备确定第二位置，则第一设备可以首先获取第二设备的屏幕的尺寸，并按照第二设备的屏幕的尺寸和投屏图像在第一设备的屏幕上的显示尺寸，确定第二设备的屏幕中与第一位置对应的第二位置，将该第二位置携带在屏幕操作指示信息中发送给第二设备。
117.通过本实施例，由发送投屏的设备执行作为转换并执行相应的屏幕操作，降低对接收投屏的设备的处理需求，提高了设备间进行投屏反向控制的效率。
118.下面结合可选示例对上述投屏的反向控制方法中进行解释说明。本可选示例中提供的是一种通过机器学习自动识别镜像视频中的交互元素实现反向控制的方案，通过机器学习，自动识别联网的智能设备(手机，带屏的电视或者冰箱)投屏的镜像视频中的交互元素，在接收投屏的设备上，接收到用户的多模态(键盘，触屏，手势，语音命令等)交互命令，把交互命令解析为对某个交互元素的屏幕操作，通过网络把屏幕操作传回发送投屏的设备上，通过模拟用户发起的屏幕操作，来实现投屏的反向控制。
119.如图4所示，本可选示例中的投屏的反向控制方法的流程可以包括以下步骤：
120.步骤s402，识别交互元素，生成可交互界面的布局描述。
121.接收投屏的设备可以通过机器学习，对接收到的投屏图像中的界面元素进行识别，自动获得可交互的界面元素，即，可交互元素，并生成可交互界面的布局描述，生成的布局描述可以如表1所示。
122.步骤s404，接收多模态用户交互命令，确定用户的屏幕操作。
123.接收投屏的设备可以把跟屏幕元素相关的手势和语音，转换为触屏操作执行。在接收用户在接收投屏的设备上输入的交互命令(该交互命令可以是多模态的交互命令)，接收投屏的设备可以根据可交互界面的布局描述，将该交互命令转换为用户在可交互界面中特定位置上的屏幕操作。
124.步骤s406，将屏幕操作传递到发送投屏的设备并模拟用户输入屏幕操作。
125.接收投屏的设备可以将屏幕操作传递到发送投屏的设备，发送投屏的设备可以根据该屏幕操作在其屏幕对应的位置模拟用户输入屏幕操作，从而实现对发送投屏的设备的反向控制。
126.通过本可选示例，通过人工智能自动识别交互元素并且生成可交互界面的布局，在接收投屏的设备上，通过接收用户的多模态交互命令，根据可交互界面的布局，通过转换交互方式(语音/手势操作，转换为触屏操作)，确定用户的屏幕操作(触屏或者键盘)，并把用户的屏幕操作传回发送投屏的设备上模拟用户发起相应的屏幕操作，可以实现解放用户双手，并可以用键盘/语音/手势去触动界面上的内容，把不支持语音交互的设备(即，发送投屏的设备)转换为可语音交互的设备。
127.需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本技术并不受所描述的动作顺序的限制，因为依据本技术，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本技术所必须的。
128.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如rom(read-only memory，只读存储器)/ram(random access memory，随机存取存储器)、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本技术各个实施例所述的方法。
129.根据本技术实施例的另一个方面，还提供了一种用于实施上述投屏的反向控制方法的投屏的反向控制装置。图5是根据本技术实施例的一种可选的投屏的反向控制装置的结构框图，如图5所示，该装置可以包括：
130.显示单元502，用于在第一设备的屏幕上显示与投屏图像对应的可交互界面，其中，投屏图像是第二设备的屏幕投屏到第一设备上的图像，可交互界面中包含从投屏图像中识别出的可交互元素；
131.接收单元504，与显示单元502相连，用于接收第一设备上输入的第一交互命令，其中，第一交互命令是与可交互元素中包含第一位置的目标元素对应的交互命令；
132.转化单元506，与接收单元504相连，用于将第一交互命令转化为屏幕操作指示信息，其中，屏幕操作指示信息用于指示对第一位置执行的目标屏幕操作；
133.发送单元508，与转化单元506相连，用于将屏幕操作指示信息发送给第二设备，以使第二设备对第二位置执行目标屏幕操作，其中，第二位置为第二设备的屏幕中与第一位置对应的位置。
134.需要说明的是，该实施例中的显示单元502可以用于执行上述步骤s202，该实施例中的接收单元504可以用于执行上述步骤s204，该实施例中的转化单元506可以用于执行上述步骤s206，该实施例中的发送单元506可以用于执行上述步骤s208。
135.通过上述模块，在第一设备的屏幕上显示与投屏图像对应的可交互界面，其中，投屏图像是第二设备的屏幕投屏到第一设备上的图像，可交互界面中包含从投屏图像中识别出的可交互元素；接收第一设备上输入的第一交互命令，其中，第一交互命令是与可交互元素中包含第一位置的目标元素对应的交互命令；将第一交互命令转化为屏幕操作指示信息，其中，屏幕操作指示信息用于指示对第一位置执行的目标屏幕操作；将屏幕操作指示信息发送给第二设备，以使第二设备对第二位置执行目标屏幕操作，其中，第二位置为第二设备的屏幕中与第一位置对应的位置，解决了相关技术中的投屏的反向控制方法存在由于投屏设备间的输入控制方式不同导致的无法实现反向控制的问题，提高了投屏设备间反向控制的适用性。
136.在一个示例性实施例中，转化单元包括：
137.解析模块，用于对第一交互命令进行解析，确定目标元素中的第一位置，其中，目标元素为可交互元素中与第一交互命令匹配的元素；
138.生成模块，用于根据第一位置和目标屏幕操作，生成屏幕操作指示信息，其中，目标屏幕操作为目标元素所允许执行的屏幕操作。
139.在一个示例性实施例中，解析模块包括：
140.解析子模块，用于在第一交互命令为非屏幕操作命令的情况下，对第一交互命令进行解析，确定第一交互命令中所包含的交互信息；
141.匹配子模块，用于将交互信息和可交互元素的元素内容进行匹配，确定可交互元素中与第一交互命令匹配的目标元素；
142.第一确定子模块，用于将目标元素中的预设点的位置，确定为第一位置。
143.在一个示例性实施例中，解析子模块包括：
144.第一解析子单元，用于在第一交互命令为语音命令的情况下，对语音命令进行语音解析，得到语音命令中所包含的交互信息；
145.第二解析子单元，用于在第一交互命令为手势命令的情况下，使用预设手势的预设手势信息对手势命令进行解析，得到与手势命令匹配的目标手势；将目标手势的手势信息，确定为手势命令中所包含的交互信息。
146.在一个示例性实施例中，解析模块包括：
147.第二确定子模块，用于在第一交互命令为对目标元素执行的屏幕操作命令的情况下，将对目标元素执行的屏幕操作的操作位置，确定为第一位置。
148.在一个示例性实施例中，上述装置还包括：
149.第一识别单元，用于在将第一交互命令转化为屏幕操作指示信息之前，识别投屏
图像中的可交互元素，得到可交互元素的描述信息，其中，可交互元素的描述信息用于指示以下至少之一：可交互元素的元素类型，可交互元素的元素位置，可交互元素允许执行的屏幕操作，可交互元素的元素内容，将第一交互命令转化为屏幕操作指示信息是基于可交互元素的描述信息执行的。
150.在一个示例性实施例中，上述装置还包括：
151.第二识别单元，用于在在第一设备的屏幕上显示与投屏图像对应的可交互界面之前，识别投屏图像中的可交互元素，得到可交互元素的元素位置；
152.设置单元，用于将可交互界面中可交互元素的元素位置设置为可交互状态，其中，可交互状态为元素位置被选中之后可交互元素的显示信息发生变化的状态。
153.在一个示例性实施例中，上述装置还包括：
154.提取单元，用于在将屏幕操作指示信息发送给第二设备之后，在第二设备上从接收到的屏幕操作指示信息中提取出第一位置；
155.确定单元，用于在第二设备上按照第二设备的屏幕的尺寸和投屏图像在第一设备的屏幕上的显示尺寸，确定第二设备的屏幕中与第一位置对应的第二位置；
156.执行单元，用于在第二设备上对第二位置执行与目标屏幕操作。
157.此处需要说明的是，上述模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例所公开的内容。需要说明的是，上述模块作为装置的一部分可以运行在如图1所示的硬件环境中，可以通过软件实现，也可以通过硬件实现，其中，硬件环境包括网络环境。
158.根据本技术实施例的又一个方面，还提供了一种存储介质。可选地，在本实施例中，上述存储介质可以用于执行本技术实施例中上述任一项投屏的反向控制方法的程序代码。
159.可选地，在本实施例中，上述存储介质可以位于上述实施例所示的网络中的多个网络设备中的至少一个网络设备上。
160.可选地，在本实施例中，存储介质被设置为存储用于执行以下步骤的程序代码：
161.s1，在第一设备的屏幕上显示与投屏图像对应的可交互界面，其中，投屏图像是第二设备的屏幕投屏到第一设备上的图像，可交互界面中包含从投屏图像中识别出的可交互元素；
162.s2，接收第一设备上输入的第一交互命令，其中，第一交互命令是与可交互元素中包含第一位置的目标元素对应的交互命令；
163.s3，将第一交互命令转化为屏幕操作指示信息，其中，屏幕操作指示信息用于指示对第一位置执行的目标屏幕操作；
164.s4，将屏幕操作指示信息发送给第二设备，以使第二设备对第二位置执行目标屏幕操作，其中，第二位置为第二设备的屏幕中与第一位置对应的位置。
165.可选地，本实施例中的具体示例可以参考上述实施例中所描述的示例，本实施例中对此不再赘述。
166.可选地，在本实施例中，上述存储介质可以包括但不限于：u盘、rom、ram、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
167.根据本技术实施例的又一个方面，还提供了一种用于实施上述投屏的反向控制方
法的电子装置，该电子装置可以是服务器、终端、或者其组合。
168.图6是根据本技术实施例的一种可选的电子装置的结构框图，如图6所示，包括处理器602、通信接口604、存储器606和通信总线608，其中，处理器602、通信接口604和存储器606通过通信总线608完成相互间的通信，其中，
169.存储器606，用于存储计算机程序；
170.处理器602，用于执行存储器606上所存放的计算机程序时，实现如下步骤：
171.s1，在第一设备的屏幕上显示与投屏图像对应的可交互界面，其中，投屏图像是第二设备的屏幕投屏到第一设备上的图像，可交互界面中包含从投屏图像中识别出的可交互元素；
172.s2，接收第一设备上输入的第一交互命令，其中，第一交互命令是与可交互元素中包含第一位置的目标元素对应的交互命令；
173.s3，将第一交互命令转化为屏幕操作指示信息，其中，屏幕操作指示信息用于指示对第一位置执行的目标屏幕操作；
174.s4，将屏幕操作指示信息发送给第二设备，以使第二设备对第二位置执行目标屏幕操作，其中，第二位置为第二设备的屏幕中与第一位置对应的位置。
175.可选地，在本实施例中，通信总线可以是pci(peripheral component interconnect，外设部件互连标准)总线、或eisa(extended industry standard architecture，扩展工业标准结构)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图6中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。通信接口用于上述电子装置与其他设备之间的通信。
176.存储器可以包括ram，也可以包括非易失性存储器(non-volatile memory)，例如，至少一个磁盘存储器。可选地，存储器还可以是至少一个位于远离前述处理器的存储装置。
177.作为一种示例，上述存储器606中可以但不限于包括上述投屏的反向控制装置中的显示单元502、接收单元504、转化单元506、以及发送单元508。此外，还可以包括但不限于上述投屏的反向控制装置中的其他模块单元，本示例中不再赘述。
178.上述处理器可以是通用处理器，可以包含但不限于：cpu(central processing unit，中央处理器)、np(network processor，网络处理器)等；还可以是dsp(digital signal processing，数字信号处理器)、asic(application specific integrated circuit，专用集成电路)、fpga(field－programmable gate array，现场可编程门阵列)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
179.可选地，本实施例中的具体示例可以参考上述实施例中所描述的示例，本实施例在此不再赘述。
180.本领域普通技术人员可以理解，图6所示的结构仅为示意，实施上述投屏的反向控制方法的设备可以是终端设备，该终端设备可以是智能手机(如android手机、ios手机等)、平板电脑、掌上电脑以及移动互联网设备(mobile internet devices，mid)、pad等终端设备。图6其并不对上述电子装置的结构造成限定。例如，电子装置还可包括比图6中所示更多或者更少的组件(如网络接口、显示装置等)，或者具有与图6所示的不同的配置。
181.本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成，该程序可以存储于一计算机可读存储介质
中，存储介质可以包括：闪存盘、rom、ram、磁盘或光盘等。
182.上述本技术实施例序号仅仅为了描述，不代表实施例的优劣。
183.上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在上述计算机可读取的存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在存储介质中，包括若干指令用以使得一台或多台计算机设备(可为个人计算机、服务器或者网络设备等)执行本技术各个实施例所述方法的全部或部分步骤。
184.在本技术的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
185.在本技术所提供的几个实施例中，应该理解到，所揭露的客户端，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
186.所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例中所提供的方案的目的。
187.另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
188.以上所述仅是本技术的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本技术原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本技术的保护范围。