投屏控制方法及终端设备与流程

1.本技术涉及通信技术领域，具体而言，涉及一种投屏控制方法及终端设备。


背景技术：

2.投屏是指将电子设备上的显示画面投放到另外一个电子设备上面进行展示，例如，将手机上正在播放的视频投放到电视上进行播放，用户便可通过大屏电视观看视频。另外，投屏在会议场景、家庭场景、教学场景等常常被使用。随着投屏技术的快速发展，用户对于投屏的需求也不断提高，因此，投屏无线化、便携化则成为未来主流发展趋势。
3.目前，进行投屏时，通常需要通过发送端设备控制接收端设备的显示内容，例如，将手机上正在播放的视频投放到电视上进行播放，需要通过手机控制电视上展示的内容，这样的控制方式灵活性较低。


技术实现要素：

4.为了解决上述技术问题，本技术提供了一种投屏控制方法及终端设备。
5.第一方面，本技术提供了一种终端设备，该终端设备为投屏内容的接收端设备，包括：
6.显示屏幕，被配置为：通过第一显示区域展示接收到的投屏内容；
7.监听器，被配置为：监听针对所述显示屏幕的输入事件及获取所述输入事件对应的第一位置信息；
8.处理器，被配置为：在确定所述输入事件为针对所述第一显示区域中的事件时，将所述第一位置信息转换为第二位置信息；获取所述输入事件对应的事件类型信息；其中，所述第二位置信息为所述输入事件在发送所述投屏内容的发送端设备的显示屏幕中的位置信息；
9.通信组件，被配置为：将所述输入事件对应的事件类型信息以及所述第二位置信息传输至所述投屏内容的发送端设备。
10.作为一种可能的实施方式，所述处理器，具体被配置为：
11.若所述输入事件为首次进入所述第一显示区域的事件，则所述输入事件对应的事件类型为按压事件；
12.若所述输入事件为在所述第一显示区域内滑动的事件，则所述输入事件对应的事件类型为滑动事件；
13.若所述输入事件为离开所述第一显示区域的事件，则所述输入事件对应的事件类型为弹起事件。
14.作为一种可能的实施方式，所述显示屏幕，还被配置为：在所述显示屏幕中，所述第一显示区域之外的区域显示特定控件；
15.所述监听器，还被配置为：监听针对所述特定控件的输入事件；
16.所述处理器，还被配置为：根据针对所述特定控件的输入事件，生成针对所述发送
所述投屏内容的终端设备的控制指令；
17.所述通信组件，还被配置为：将所述控制指令传输至发送所述投屏内容的终端设备。
18.作为一种可能的实施方式，所述第一显示区域的宽高比与所述投屏内容的发送端设备的显示屏幕的宽高比相同；所述处理器，具体被配置为：
19.根据所述发送端设备的显示屏幕的宽与所述第一显示区域的宽之间的比值，将所述第一位置信息中的横坐标转换为所述第二位置信息中的横坐标；
20.根据所述发送端设备的显示屏幕的高与所述第一显示区域的高之间的比值，将所述第一位置信息中的纵坐标转换为所述第二位置信息中的纵坐标。
21.作为一种可能的实施方式，所述显示屏幕，还被配置为：在确定所述投屏内容的横竖屏状态与所述终端设备的横竖屏状态不一致时，旋转所述终端设备，以使所述终端设备的横竖屏状态适应所述投屏内容的横竖屏状态。
22.第二方面，本技术还提供一种终端设备，该终端设备为投屏内容的发送端设备，所述终端设备包括：
23.显示屏幕，被配置为：显示画面；所述显示屏幕显示的画面被录制为投屏内容在接收端设备显示；
24.通信组件，被配置为：接收所述投屏内容的接收端设备发送的控制信息；所述控制信息包括输入事件对应的事件类型信息以及所述输入事件在所述显示屏幕中的位置信息；
25.处理器，被配置为：根据所述输入事件对应的事件类型信息以及所述输入事件在所述显示屏幕中的位置信息、上一个输入事件对应的事件类型信息以及上一个输入事件在所述显示屏幕中的位置信息，生成执行指令；以及，响应所述执行指令。
26.作为一种可能的实施方式，所述处理器，具体被配置为：
27.根据所述输入事件对应的事件类型信息以及所述输入事件在所述显示屏幕中的位置信息、上一个输入事件对应的事件类型信息以及上一个输入事件在所述显示屏幕中的位置信息，获得所述输入事件对应的轨迹信息；
28.根据所述输入事件对应的轨迹信息，生成所述执行指令，并响应所述执行指令。
29.本技术还提供一种投屏控制方法，应用于第一方面任一项所述的终端设备，所述方法包括：
30.通过终端设备的显示屏幕中第一显示区域展示接收到的投屏内容的过程中，获取针对所述显示屏幕的输入事件及所述输入事件对应的第一位置信息；
31.在确定所述输入事件为针对所述第一显示区域中的事件时，将所述第一位置信息转换为第二位置信息；并获取所述输入事件对应的事件类型信息；其中，所述第二位置信息为所述输入事件在发送所述投屏内容的发送端设备的显示屏幕中的位置信息；
32.将所述输入事件对应的事件类型信息以及所述第二位置信息传输至所述投屏内容的发送端设备。
33.本技术还提供一种投屏控制方法，应用于第二方面任一项所述的终端设备，所述方法包括：
34.显示画面；所述终端设备显示的画面被录制为投屏内容发送至接收端设备；
35.在显示画面的过程中，接收所述投屏内容的接收端设备发送的控制信息；所述控
制信息包括输入事件对应的事件类型信息以及所述输入事件在所述显示屏幕中的位置信息；
36.根据所述输入事件对应的事件类型信息以及所述输入事件在所述显示屏幕中的位置信息、上一个输入事件对应的事件类型信息以及上一个输入事件在所述显示屏幕中的位置信息，生成执行指令，并响应所述执行指令。
37.作为一种可能的实施方式，若所述终端设备为安卓系统时，所述根据所述输入事件对应的事件类型信息以及所述输入事件在所述显示屏幕中的位置信息、上一个输入事件对应的事件类型信息以及上一个输入事件在所述显示屏幕中的位置信息，生成执行指令，并响应所述执行指令，包括：
38.基于安卓系统中的无障碍服务，对所述根据所述输入事件对应的事件类型信息以及所述输入事件在所述显示屏幕中的位置信息、上一个输入事件对应的事件类型信息以及上一个输入事件在所述显示屏幕中的位置信息，生成执行指令，并响应所述执行指令。
39.本技术还提供一种电子设备，包括：存储器和处理器；
40.所述存储器被配置为存储计算机程序指令；
41.所述处理器被配置为执行所述计算机程序指令，使得所述电子设备实现第三方面任一项所述的投屏控制方法，或者，实现第四方面任一项所述的投屏控制方法。
42.本技术还提供一种可读存储介质，包括：计算机程序指令；
43.所述计算机程序指令被电子设备的至少一个处理器执行时，使得所述电子设备实现第三方面任一项所述的投屏控制方法，或者，实现第四方面任一项所述的投屏控制方法。
44.本技术实施例提供一种投屏控制方法及终端设备，在投屏场景中，接收端设备通过监听针对接收端设备的显示屏幕的输入事件并获取输入事件在接收端设备的显示屏幕中的位置，当确定输入事件为投屏内容的显示区域的事件，则将输入事件在接收端设备的显示屏幕中的位置转换为输入事件在发送端设备的显示屏幕中的位置，且获取输入事件的事件类型信息；之后，将输入事件的事件类型信息以及输入事件在发送端设备的显示屏幕中的位置发送给投屏内容的发送端设备，发送端设备响应输入事件，从而实现在投屏场景中，通过接收端设备对发送端设备的控制，提高投屏控制的灵活性。
附图说明
45.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本技术的实施例，并与说明书一起用于解释本技术的原理。
46.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
47.图1为本技术一实施例提供的投屏系统的结构示意图；
48.图2为根据本技术一个或多个实施例的显示设备与终端设备之间操作场景的示意图；
49.图3为根据本技术一个或多个实施例的显示设备200的硬件配置框图；
50.图4为根据本技术一个或多个实施例的显示设备200中软件配置示意图；
51.图5为根据本技术一个或多个实施例的显示设备200中应用程序的图标控件界面
显示示意图；
52.图6为本公开一实施例提供的投屏控制方法的流程图；
53.图7a示例性地示出了投屏内容为竖屏状态时，显示设备的显示屏幕与第一显示区域之间的关系示意图；
54.图7b示例性地示出了投屏内容为横屏状态时，显示设备的显示屏幕与第一显示区域之间的关系示意图
55.图8为本公开一实施例提供的投屏控制方法的流程图；
56.图9a至图9d为本技术示例性地示出在显示设备中与第一显示区域不重合的操作区域中设置控件时的界面示意图。
具体实施方式
57.为使本技术的目的、实施方式和优点更加清楚，下面将结合本技术示例性实施例中的附图，对本技术示例性实施方式进行清楚、完整地描述，显然，所描述的示例性实施例仅是本技术一部分实施例，而不是全部的实施例。
58.基于本技术描述的示例性实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术所附权利要求保护的范围。此外，虽然本技术中公开内容按照示范性一个或几个实例来介绍，但应理解，可以就这些公开内容的各个方面也可以单独构成一个完整实施方式。需要说明的是，本技术中对于术语的简要说明，仅是为了方便理解接下来描述的实施方式，而不是意图限定本技术的实施方式。除非另有说明，这些术语应当按照其普通和通常的含义理解。
59.投屏在会议场景、家庭场景、教学场景等常常被使用。以电视为例，用户可以将手机上播放的ppt内容投屏至电视进行播放，通常情况下，用户需要通过在手机上进行操作控制电视上显示的ppt内容，然而，这样需要用户频繁操作手机，不够便捷。
60.基于此，本技术提供一种投屏控制方法及终端设备，在投屏场景中，接收端设备通过监听针对接收端设备的显示屏幕的输入事件并获取输入事件在接收端设备的显示屏幕中的位置，当确定输入事件为投屏内容的显示区域的事件，则将输入事件在接收端设备的显示屏幕中的位置转换为输入事件在发送端设备的显示屏幕中的位置，且获取输入事件的事件类型信息；之后，将输入事件的事件类型信息以及输入事件在发送端设备的显示屏幕中的位置发送给投屏内容的发送端设备，发送端设备响应输入事件，从而实现在投屏场景中，通过接收端设备对发送端设备的控制，提高投屏控制的灵活性。
61.示例性地，例如，在用户将手机上播放的ppt内容投屏至电视进行播放的过程中，通过本技术提供的投屏控制方法即可实现在电视上滑动实现ppt翻页。其他场景此处不一一示例。
62.图1为本技术一个或多个实施例的投屏系统的场景示意图，如图1 所示，投屏系统包括发送端设备101和接收端设备102，发送端设备 101与接收端设备102之间能够通过进行通信。
63.示例性地，发送端设备101可以但不限于为移动终端，例如，手机、平板电脑、笔记本电脑等等。
64.示例性地，接收端设备102，可以但不限于为液晶显示器、oled 显示器、投影显示
设备、大屏设备等等显示设备。接收端设备102可以根据需求还具备其他性能以及配置。
65.在一些实施例中，发送端设备101可以与接收端设备102均安装特定的软件应用，通过网络实现通信连接，进而实现投屏内容的传输以及控制信息、控制指令等传输。其中，发送端设备101与接收端设备102可以是设备之间的直接连接，也可以是通过局域网或者无线局域网连接，还可以是通过互联网的跨网连接，本公开对此不作限定。
66.图2为根据本技术一个或多个实施例的显示设备与控制装置之间操作场景的示意图，其中，本实施例所示的显示设备可以为前述图1 所示实施例中的接收端设备。如图2所示，用户可通过移动终端300 和控制装置100操作显示设备200。控制装置100可以是遥控器，遥控器和显示设备的通信包括红外协议通信、蓝牙协议通信，无线或其他有线方式来控制显示设备200。用户可以通过遥控器上按键，语音输入、控制面板输入等输入用户指令，来控制显示设备200。在一些实施例中，也可以使用移动终端、平板电脑、计算机、笔记本电脑、和其他智能设备以控制显示设备200。
67.在一些实施例中，移动终端300可与显示设备200安装软件应用，通过网络通信协议实现连接通信，实现一对一控制操作的和数据通信的目的。也可以将移动终端300上显示音视频内容传输到显示设备200 上，实现同步显示功能显示设备200还与服务器400通过多种通信方式进行数据通信。可允许显示设备200通过局域网(lan)、无线局域网 (wlan)和其他网络进行通信连接。服务器400可以向显示设备200提供各种内容和互动。显示设备200，可以液晶显示器、oled显示器、投影显示设备。显示设备200除了提供广播接收电视功能之外，还可以附加提供计算机支持功能的智能网络电视功能。
68.图3示出了根据示例性实施例中显示设备200的硬件配置框图。如图3所示显示设备200包括调谐解调器210、通信器220、检测器230、外部装置接口240、控制器250、显示器260、音频输出接口270、存储器、供电电源、用户接口280中的至少一种。控制器包括中央处理器，视频处理器，音频处理器，图形处理器，ram，rom，用于输入 /输出的第一接口至第n接口。显示器260可为液晶显示器、oled显示器、触控显示器以及投影显示器中的至少一种，还可以为一种投影装置和投影屏幕。调谐解调器210通过有线或无线接收方式接收广播电视信号，以及从多个无线或有线广播电视信号中解调出音视频信号，如以及epg数据信号。检测器230用于采集外部环境或与外部交互的信号。
69.在一些实施例中，控制器250，通过存储在存储器上中各种软件控制程序，来控制显示设备的工作和响应用户的操作。控制器250控制显示设备200的整体操作。用户可在显示器260上显示的图形用户界面(gui)输入用户命令，则用户输入接口通过图形用户界面(gui) 接收用户输入命令。或者，用户可通过输入特定的声音或手势进行输入用户命令，则用户输入接口通过传感器识别出声音或手势，来接收用户输入命令。
70.其中，若显示器260为触控显示器时，显示设备200还可以包括：传感器组件，用于根据用户在触摸显示器上的操作生成传感器信息，并将传感器信息传输至控制器250，使得控制器250根据传感器信息响应用户的操作。本技术对于传感器组件的具体类型不作限定。
71.在一些实施例中，“用户界面”，是应用程序或操作系统与用户之间进行交互和信息交换的介质接口，它实现信息的内部形式与用户可以接受形式之间的转换。用户界面常用的表现形式是图形用户界面 (graphic user interface，gui)，是指采用图形方式显示的与计算机操作相关的用户界面。它可以是在电子设备的显示屏中显示的一个图标、窗口、
控件等界面元素，其中控件可以包括图标、按钮、菜单、选项卡、文本框、对话框、状态栏、导航栏、widget等可视的界面元素中的至少一种。
72.图4为根据本技术一个或多个实施例的显示设备200中软件配置示意图，如图4所示，将系统分为四层，从上至下分别为应用程序 (applications)层(简称“应用层”)，应用程序框架(application framework) 层(简称“框架层”)，安卓运行时(android runtime)和系统库层(简称“系统运行库层”)，以及内核层。内核层至少包含以下驱动中的至少一种：音频驱动、显示驱动、蓝牙驱动、摄像头驱动、wifi驱动、usb 驱动、hdmi驱动、传感器驱动(如指纹传感器，温度传感器，压力传感器等)、以及电源驱动等。
73.图5为根据本技术一个或多个实施例的显示设备200中应用程序的图标控件界面显示示意图，如图5中所示，应用程序层包含至少一个应用程序可以在显示器中显示对应的图标控件，如：直播电视应用程序图标控件、视频点播应用程序图标控件、媒体中心应用程序图标控件、应用程序中心图标控件、游戏应用图标控件等。直播电视应用程序，可以通过不同的信号源提供直播电视。视频点播应用程序，可以提供来自不同存储源的视频。不同于直播电视应用程序，视频点播提供来自某些存储源的视频显示。媒体中心应用程序，可以提供各种多媒体内容播放的应用程序。应用程序中心，可以提供储存各种应用程序。
74.在本公开提供的投屏控制方法能够实现通过投屏内容的接收端设备控制投屏内容的发送端设备，进而实现控制投屏内容，因此，投屏内容的发送端设备可以理解为被控设备，投屏内容的接收端设备可以理解为触控设备。
75.为了更好地理解本技术实施例，接下来通过几个示例详细阐述本技术提供的投屏控制方法。在下述实施例中，以发送端设备为移动终端，接收端设备为显示设备为例进行说明。
76.其中，图6为本公开一实施例提供的投屏控制方法的流程图。参照图6所示，本实施例提供的方法包括：
77.s601、显示设备在通过第一显示区域展示投屏内容的过程中，监听针对显示屏幕的输入事件及获取输入事件对应的第一位置信息。
78.如前文所述，显示设备与移动终端可以建立通信连接，移动终端可以捕获录制移动终端显示的画面并进行视频流编码，并将编码后的视频流通过建立的通信连接发送给显示设备，显示设备对接收到的视频流进行解码展示。移动终端在录制的过程中，需要检测移动终端的横竖屏分辨率变化的信息，进而保证录制的视频流的宽高比与移动终端的实际显示屏幕的宽高比一致，即录制的视频流包含移动终端的整个显示屏幕的画面内容且没有其他内容(例如在四周、上下两端、左右两端填充的纯色区域)。
79.需要说明的是，在显示设备与移动终端建立通信连接之后，移动终端可以将自身的横竖屏分辨率信息发送给显示设备，显示设备可以通过移动终端的横竖屏分辨率信息为投屏内容分配宽高比一致的第一显示区域，以展示移动终端发送的投屏内容。
80.由于显示设备的显示屏幕的宽高比与移动终端的显示屏幕的宽高比可能不一致，因此，显示设备可以通过为投屏内容分配与为投屏内容分配宽高比一致的第一显示区域，保证投屏内容在显示设备上展示时不会出现拉伸变形、裁剪等现象，进而保证投屏内容在显示设备端的展示效果。
81.由于显示设备也可以为横屏状态，也可以为竖屏状态，为了充分利用显示设备的
显示空间，因此，可以基于投屏内容的宽高比(即对应前述提及的移动终端的横竖屏分辨率信息)与显示设备的显示屏幕中为显示投屏内容预留的显示区域的宽高比进行比较，确定是将投屏内容纵向充满显示，或者，是横向充满显示。需要说明的是，显示屏幕中为投屏内容预留的显示区域的尺寸可以大于或等于第一显示区域，第一显示区域是指投屏内容实际占用的显示区域。
82.示例性地，若投屏内容的宽高比大于预留的显示区域的宽高比，则将投屏内容横向充满预留的显示区域进行显示；若投屏内容的宽高比小于显示设备的显示屏幕的宽高比，则将投屏内容纵向充满预留的显示区域进行显示；若投屏内容的宽高比等于预留的显示区域的宽高比，则将投屏内容横向纵向完全充满预留的显示区域进行显示。
83.若显示设备的整个显示屏幕可用于展示投屏内容，则显示设备的整个显示屏幕即为投屏内容预留的显示区域。
84.需要说明的是，此处提及的“宽”对应水平方向，“高”对应竖直方向，水平方向以及竖直方向不随显示设备的旋转、移动终端的旋转而改变。
85.其中，图7a示例性地示出了投屏内容为竖屏状态时，显示设备的显示屏幕与第一显示区域之间的关系示意图；图7b示例性地示出了投屏内容为横屏状态时，显示设备的显示屏幕与第一显示区域之间的关系示意图。
86.在图7a以及图7b所示实施例中，s1表示显示设备的显示屏幕的区域，s2表示第一显示区域；参照图7a所示，第一显示区域s2的中心与显示屏幕s1的中心重叠，且纵向充满显示，在显示屏幕s1中，第一显示区域s2之外的其他显示区域，即左右两端的显示区域s3和显示区域s4，可以填充纯色，例如，黑色、白色等等。参照图7b所示，投屏内容为横屏状态时，第一显示区域s2的中心与显示屏幕s1的中心重叠，且横向充满显示，在显示屏幕s1中，第一显示区域s2之外的其他显示区域，即上下两端的显示区域s3和显示区域s4，可以填充纯色，例如，黑色、白色等等。
87.本方案支持从显示设备来控制移动终端，进而控制投屏内容，因此，在正常投屏的过程中，显示设备可以监听到针对显示设备的显示屏幕的输入事件，以及获取输入事件在显示设备的显示屏幕中的触点的位置信息，即第一位置信息。
88.其中，输入事件可以为用户通过手指触发的事件，也可以是用户通过与显示设备连接的外部输入设备(例如键盘、鼠标等等)触发的事件，本公开对此不作限定。此外，第一位置信息可以包括：输入事件所对应的触点在显示设备的显示屏幕中的横坐标和纵坐标。
89.例如，显示设备的显示屏幕为触摸屏，用户通过手指在触摸屏中点击时，显示设备的监听器可以监听到输入事件，以及获取用户手指点击触摸屏所对应的触点的位置信息(即第一位置信息)。其中，如果用户的操作为滑动操作、弹起操作等情况类似，显示设备的监听器均可以监听到输入事件并获取相应触点的位置信息。
90.s602、显示设备在确定输入事件为针对第一显示区域中的事件时，将第一位置信息转换为第二位置信息，且获取输入事件对应的事件类型信息。
91.参照图7a以及图7b所示实施例，输入事件为针对显示区域s3或者显示区域s4的事件，则移动终端无需响应该输入事件；输入事件为针对第一显示区域s2的事件，则可以确定该输入事件为有效事件，即为需要移动终端响应的事件。因此，本技术提供的投屏控制方法，显示设备在监听到输入事件后，需要根据第一位置信息确定输入事件是否为有效事件。
92.作为一种可能的实施方式，可根据第一位置信息包括的触点的横坐标以及纵坐标的值，确定触点的位置是否为第一显示区域中的位置，当确定触点的位置为第一显示区域中的位置，则确定输入事件为针对第一显示区域的输入事件，即为需要移动终端响应的有效事件。
93.确定输入事件为针对第一显示区域的输入事件后，还需要将第一位置信息转换为第二位置信息。
94.示例性地，可根据移动终端的显示屏幕的宽与第一显示区域的宽之间的比值，将第一位置信息中的横坐标转换为第二位置信息中的横坐标；根据移动终端的显示屏幕的高与第一显示区域的高之间的比值，将第一位置信息中的纵坐标转换为第二位置信息中的纵坐标。
95.可通过如下公式表示：x＝x触*wa/wb；y＝y触*ha/hb。
96.其中，x和y分别表示在移动终端的显示屏幕中的位置；x触和y 触分别表示输入事件在第一显示区域中的位置；ha和wa表示第一显示区域的高和宽，即第一显示区域的横竖分辨率；hb和wb表示移动终端的显示屏幕的高和宽，即投屏内容的横竖屏分辨率。
97.确定输入事件为针对第一显示区域的输入事件后，还需要进一步对输入事件的事件类型进行重新验证。
98.这里所指的输入事件的事件类型与传统的针对显示设备的显示屏幕的按压(down)、滑动(move)、弹起(up)事件不同。例如，用户通过手指在显示设备的触摸屏上滑动，滑动的起点假设位于图7a所示的显示区域s3，在手指向右滑动的过程中，进入第一显示区域s2，按照传统的方式，手指在进入第一显示区域s2的事件会被检测为滑动事件，但在本技术提供的投屏控制方法中，首次进入第一显示区域的输入事件需要被检测为按压事件，才能够保证移动终端正确响应用户在显示设备端的有效输入事件。
99.即显示设备在监听的过程中，需要检测的操作是否离开第一显示区域，其中，具体包括操作是否离开显示设备的显示屏幕和操作是否移出第一显示区域。显示设备将首次进入第一显示区域的输入事件对应的事件类型确定为按压事件，将在第一显示区域内移动的输入事件对应的事件类型确定为滑动事件，将离开第一显示区域(包括在第一显示区域内离开显示屏幕和滑动移出第一显示区域)的输入事件对应的事件类型确定为弹起事件。
100.监听到的针对第一显示区域之外的输入事件丢弃。
101.s603、显示设备将输入事件对应的事件类型信息和第二位置信息发送给移动终端。
102.其中，显示设备可以通过通信连接将验证之后的输入事件对应的事件类型信息以及第二位置信息发送给移动终端。
103.示例性地，可以按照如下数据格式将上述信息发送给移动终端， {“x”：100.1，“y”：200.1，“event”：“up”}，其中，“x”和“y”分别表示触点的横坐标和纵坐标，“event”表示输入事件，“up”表示输入事件的事件类型。当然，显示设备也可以采用其他数据格式发送上述信息，并不限于此处示例的数据格式。
104.s604、移动终端根据输入事件对应的事件类型信息和第二位置信息、以及上一个输入事件对应的事件类型信息和上一个输入事件对应的第二位置信息，生成执行指令。
105.s605、移动终端响应执行指令。
106.移动终端对于输入事件的响应的关键在于：移动终端需要根据显示设备上监听到的不同输入事件作出不同的响应。且在作出响应的过程中，需要结合前一个输入事件的具体情况，获得正确的轨迹信息，从而保证移动终端可以根据正确的轨迹信息作出正确的响应。
107.一种可能的实施方式，若移动终端的操作系统为安卓系统时，可以通过安卓系统的无障碍服务，调用无障碍接口，将上述信息转换为无障碍调用，进行执行。后文中，将通过具体实施例介绍移动终端通过安卓系统提供的无障碍服务响应用户在显示设备上的触发操作的具体实现过程。采用无障碍服务实现投屏控制，无需从系统层进行定制，且无需特殊设置便可使用，适用性较广。
108.另一种可能的实施方式，也可以通过调用特定的软件应用接口，根据上述信息转换为特定的软件应用的调用，进行执行。
109.本实施例提供的方法，在投屏场景中，接收端设备通过监听针对接收端设备的显示屏幕的输入事件并获取输入事件在接收端设备的显示屏幕中的位置，当确定输入事件为投屏内容的显示区域的事件，则将输入事件在接收端设备的显示屏幕中的位置转换为输入事件在发送端设备的显示屏幕中的位置，且获取输入事件的事件类型信息；之后，将输入事件的事件类型信息以及输入事件在发送端设备的显示屏幕中的位置发送给投屏内容的发送端设备，发送端设备响应输入事件，从而实现在投屏场景中，通过接收端设备对发送端设备的控制，提高投屏控制的灵活性。
110.无障碍服务(accessibilityservice)是一套可以模拟操作的系统级别的应用程序接口(application programming interface，api)。电子设备中安装的应用程序获取无障碍服务的权限之后就可以模拟操作，进而控制电子设备。通常，通过无障碍服务可以帮助残障人士执行一些不方便操作的功能。若使用无障碍服务响应显示设备上产生的输入事件，无需进行特殊的配置即可实现，从而可以适用于较多类型的电子设备。
111.对于移动终端上无障碍模拟连续的输入事件的执行，关键点在于移动终端需要根据显示设备上产生的不同输入事件做出不同的响应。接下来通过图9所示实施例详细介绍移动终端如何通过安卓无障碍服务响应显示设备的输入事件。参照图8所示，本实施例可以包括：
112.s801、创建无障碍服务，无障碍服务配置为支持执行输入事件。
113.s802、获取输入事件信息。
114.其中，输入事件信息包括：输入事件的事件类型信息和第二位置信息，移动终端每次收到输入事件信息可以记做gesture(x，y，event)， x和y即表示输入事件在移动终端的显示屏幕中的位置，event表示输入事件。
115.此外，移动终端需要保存上一次收到的输入事件信息，即上一次输入事件信息，其中，上一次输入事件信息可以记做lastgesture(x1， y1，event1)，x1和y1即表示上一次输入事件在移动终端的显示屏幕中的位置，event1表示上一次输入事件。安卓系统提供的无障碍服务执行时需要通过路径参数(path)指定输入事件对应的轨迹的起点和终点，并基于path生成strokedescription，生成strokedescription时需要配置starttime(开始时间)、duration(持续时长)、willcontinue(是否中止)。之后，需要基于strokedescription创建gesturedescription并通过无障碍服务的dispatch分发到系统。
116.s803、根据输入事件信息确定事件类型。
117.具体地，针对收到输入事件信息gesture(x,y,event)后，需要根据 event参数进行不同的设置：
118.path生成起点和终点按照以下方式设置：
119.如果收到的输入事件event为down事件，则执行s8041。
120.s8041、将路径参数对应的输入轨迹的起点和终点设置为(x，y)，且基于路径参数创建新的动作描述对象，将第一参数设置为第一状态。
121.示例性地，假设动作描述对象记为strokedescription，第一参数记为willcontinue，无障碍服务需要基于path创建strokedescription，且将willcontinue设置为第一状态true，以表明还有后续操作需要执行。
122.如果收到的输入事件event为move事件，则执行s8042。
123.s8042、将路径参数对应的输入轨迹的起点设置为(x1，y1)，将终点设置为(x，y)，且创建新的动作描述对象，将第一参数设置为第一状态。
124.示例性地，无障碍服务需要从上一次创建的strokedescription使用 continuestroke创建strokedescription，创建时willcontinue参数设置为true。
125.如果收到的输入事件event为up事件，则执行s8043。
126.s8043、将路径参数对应的输入轨迹的起点设置为(x1，y1)，将终点设置为(x，y)，且创建新的动作描述对象，将第一参数设置为第一状态。
127.示例性地，无障碍服务需要从上一次创建的strokedescription使用 continuestroke创建strokedescription，创建时willcontinue参数设置为第二状态false，表示无后续操作需要执行，即此次操作执行完毕。
128.s805、配置开始时间以及持续时长参数。
129.为了更低的响应时延，在以上基于不同的输入事件event创建 strokedescription时，starttime均需要设置为0表示需要立刻执行， duration需要设置尽可能短，示例性地，duration可以设置为1，即表示在1ms内执行完毕。
130.s806、创建输入事件描述，并通过无障碍服务调用执行，从而响应接收到的输入事件。
131.其中，无障碍服务可以strokedescription创建输入事件描述 (gesturedescription)并通过无障碍服务的调用(dispatch)执行，以响应接收到的输入事件。
132.本实施例提供的方法还包括：
133.s807、保存输入事件信息。
134.即将此次的输入事件信息gesture(x,y,event)信息保存至lastgesture (x1，y1，event1)，将此次的strokedescription保存至 laststrokedescription。
135.需要说明的是，因为down事件一定是第一个触发，且down事件的strokedescription的生成无需依赖上一个输入事件以及上一个输入事件对应的laststrokedescription，因此，在针对move事件和up事件创建strokedescription时，lastgesture及laststrokedescription一定是存在的，不会出现没有lastgesture及laststrokedescription的问题。
136.移动终端通过安卓无障碍服务响应显示设备发送的输入事件信息，无需进行特殊设置即可实现，能够支持各种类型的使用安卓系统的电子设备。
137.在一些情况下，显示设备可能会针对一些操作手势产生响应，例如，显示设备为可以实现触控功能的显示设备时，若手指在显示设备的第一显示区域向下滑动，可能会同时让移动终端和显示设备的通知栏滑下来，实际结果和预期中只想控制显示设备的期望结果不一致。为了解决此问题，可以设计一部分与第一显示区域不重合的操作区域，在该操作区域中设置禁用触控设备的部分手势响应的操作控件，从而实现避免发生操作手势冲突的情况。此外，与第一显示区域不重合的操作区域中还可以设置其他控件，例如，返回、主页等操作控件来控制移动终端，基于针对这些控件的触发操作生成的控制信息，将通过与移动终端之间的通信连接被传输至移动终端，进而使得移动终端响应接收到的控制信息。
138.示例性地，图9a至图9d示例性地示出在显示设备中与第一显示区域不重合的操作区域中设置控件时的界面示意图。在下述实施例中将用于设置控件的操作区域称为特定显示区域。且需要说明的是，显示设备中除特定显示区域之外的区域即为投屏内容预留的显示区域。
139.参照图9a所示实施例，显示设备为横屏状态，投屏内容为横屏状态，且特定显示区域为显示设备的显示屏幕中靠近左侧边缘的长方形区域，在特定显示区域包括禁用手势、主页、返回三个控件。
140.且投屏内容横向充满显示屏幕中除特定显示区域之外的区域。由于显示屏幕中除特定显示区域之外的区域的宽高比与投屏内容的宽高比不一致，因此，在第一显示区域的上下两分别还存在空闲区域，并填充黑色。
141.参照图9b所示，显示设备为横屏状态，投屏内容为竖屏状态，且特定显示区域为显示设备的显示屏幕中靠近左侧边缘的长方形区域，在特定显示区域包括禁用手势、主页、返回三个控件。
142.且投屏内容竖向充满显示屏幕中除特定显示区域之外的区域。由于显示屏幕中除特定显示区域之外的区域的宽高比与投屏内容的宽高比不一致，因此，在第一显示区域的左右两侧分别存在空闲区域，并填充黑色。
143.参照图9c所示，显示设备为竖屏状态，投屏内容为横屏状态，且特定显示区域为显示设备的显示屏幕中靠近底部边缘的长方形区域，在特定显示区域包括禁用手势、主页、返回三个控件。
144.且投屏内容横向充满显示屏幕中除特定显示区域之外的区域。由于显示屏幕中除特定显示区域之外的区域的宽高比与投屏内容的宽高比不一致，因此，在第一显示区域的上下两侧分别存在空闲区域，并填充黑色。
145.参照图9d所示，显示设备为竖屏状态，投屏内容为横屏状态，且特定显示区域为显示设备的显示屏幕中靠近底部边缘的长方形区域，在特定显示区域包括禁用手势、主页、返回三个控件。
146.且投屏内容横向充满显示屏幕中除特定显示区域之外的区域。由于显示屏幕中除特定显示区域之外的区域的宽高比与投屏内容的宽高比不一致，因此，在第一显示区域的左右两侧分别存在空闲区域，并填充黑色。
147.需要说明的是，在显示设备端若在特定显示区域中设置控件，则对于投屏内容来
说，可根据显示屏幕中除特定显示区域之外的区域的宽高比与投屏内容的宽高比之间的大小关系，确定投屏内容在该区域中为横向充满显示或者纵向充满显示。
148.其中，显示设备监测到的针对特定显示区域中的控件的控制指令传输至移动终端后，若移动终端的操作系统为安卓系统，移动终端也可以通过安卓系统的无障碍服务的performglobalaction接口，传递相应的参数，进而响应控制信息。例如，控制信息指示返回，或者，显示主页，则可以通过安卓系统的无障碍服务的performglobalaction接口，传递global_action_back或者global_action_home 参数，进而控制移动终端执行返回、主页等操作。
149.显示设备监测到的针对特定显示区域中的控件的控制指令传输至移动终端后，若移动终端的操作系统不是安卓系统，则移动终端可以通过响应软件应用的接口，传递相应的参数，进而响应控制信息。
150.通过在显示设备端设置控件，以避免用户控制显示设备端的实际结果和预期想控制显示设备的期望结果不一致，进而提高用户体验。
151.在一些情况下，移动终端的横竖屏状态可能会发生变化，此外，显示设备若为可旋转设备，则显示设备的横竖屏状态也可能会发生变化，因此，在显示设备上显示投屏内容时，需要结合投屏内容的横竖屏状态以及显示设备的横竖屏状态，当确定显示设备的横竖屏状态与投屏内容的横竖屏状态不一致时，旋转显示设备，以使显示设备的横竖屏状态跟随投屏内容的横竖屏状态。
152.示例性地，可包括下述方式实现：
153.一种可能的实施方式，移动终端在投屏场景中，检测自身的横竖屏状态变化，在初始投屏时以及检测到横竖屏状态变化时，向显示设备发送通知消息，显示设备根据移动终端的通知消息自动旋转实现横竖屏状态跟随。
154.如移动终端为手机，显示设备为旋转电视，手机初始为竖屏状态进行投屏，旋转电视初始时将自身也设置为竖屏状态；手机变为横屏状态时，将自身变化为横屏状态的通知信息发送给旋转电视，旋转电视自动旋转为横屏状态。
155.另一种可能的实施方式，移动终端在录制投屏内容时，需要检测设备的横竖屏分辨率变化的信息，始终保持录制的投屏内容的宽高比与移动终端的显示屏幕的宽高比一致，进而显示设备可以在解码播放时从投屏内容中获取横竖屏变化信息，进而显示设备检测到横竖屏状态发生变化时，自动旋转。
156.如移动终端为手机，显示设备为旋转电视，手机初始为竖屏状态进行投屏，因此，初始投屏内容为竖屏状态，旋转电视初始时将自身也设置为竖屏；手机变为横屏时，录制的投屏内容变为横屏状态，电视解码视频检测到横屏状态，则旋转电视自动旋转为横屏状态。
157.本技术提供的投屏控制方法，还可以通过其他方式使得显示设备自动旋转，以跟随移动终端的横竖屏变化。
158.为了方便解释，已经结合具体的实施方式进行了上述说明。但是，上述在一些实施例中讨论不是意图穷尽或者将实施方式限定到上述公开的具体形式。根据上述的教导，可以得到多种修改和变形。上述实施方式的选择和描述是为了更好的解释原理以及实际的应用，从而使得本领域技术人员更好的使用实施方式以及适于具体使用考虑的各种不同的变形的实施方式。