屏幕控制方法、装置、非触控屏系统和电子装置与流程

1.本技术涉及数据处理领域，特别是涉及屏幕控制方法、装置、非触控屏系统和电子装置。


背景技术：

2.随着科技的发展，触控屏已经广泛应用于各类智能设备，提高了人们生产生活的便捷性。对于一些屏幕未采用触控输入的早期设备而言，需要对其增加支持虚拟输入的功能，以提高该类设备操作的便捷性，提升用户体验。
3.目前，语音输入往往作为一种虚拟输入方案，来实现设备与用户之间的交互。该种方式通过识别用户的语音指令来实现相应功能。但该种语音输入的方式易受到环境干扰，导致识别准确度下降。
4.针对相关技术中存在非触控屏设备所支持的虚拟输入识别的准确度较低的问题，目前还没有提出有效的解决方案。


技术实现要素：

5.在本实施例中提供了一种屏幕控制方法、装置、非触控屏系统和电子装置，以解决相关技术中存在非触控屏设备所支持的虚拟输入识别的准确度较低的问题。
6.第一个方面，在本实施例中提供了一种屏幕控制方法，用于对非触控屏进行控制，包括：
7.获取识别区域中，目标对象的二维图像和深度图像；
8.根据所述二维图像和深度图像，利用预设的识别算法对所述目标对象的动作进行识别，得到目标对象的动作识别结果；
9.基于所述目标对象的动作识别结果，和基于所述非触控屏预先建立的虚拟桌面系统，判断所述目标对象的动作是否为可执行的触控操作，若是，则根据预设指令响应所述触控操作，对所述非触控屏进行控制。
10.在其中的一些实施例中，所述目标对象的动作识别结果包括所述目标对象的三维位置信息和动作信息，所述根据所述二维图像和深度图像，利用预设的识别算法对所述目标对象的动作进行识别，得到目标对象的动作识别结果，包括：
11.利用训练完备的目标检测模型，对所述二维图像中的目标对象所处区域进行检测，得到所述目标对象在所述二维图像中的位置信息；
12.利用预设的点云分割算法对所述深度图像中的目标对象进行分割，基于分割结果，和所述二维图像中的位置信息，得到所述目标对象的三维位置信息和动作信息。
13.在其中的一些实施例中，所述基于分割结果，和所述二维图像中的位置信息，得到所述目标对象的三维位置信息和动作信息，包括：
14.基于所述分割结果，和所述二维图像中的位置信息，得到所述目标对象在所述深度图像中的位置信息；
15.根据所述识别区域固有的转换参数，对所述深度图像中的位置信息进行坐标系映射，得到所述目标对象在参考坐标系下的三维位置信息和动作信息。
16.在其中的一些实施例中，所述基于所述目标对象的动作识别结果，和基于所述非触控屏预先建立的虚拟桌面系统，判断所述目标对象的动作是否为可执行的触控操作，包括：
17.基于所述目标对象的动作识别结果，判断所述目标对象的动作是否包括与所述非触控屏进行交互的动作；
18.若是，则根据所述虚拟桌面系统，判断所述目标对象进行交互动作的位置是否对应于所述虚拟桌面系统的可操作区域；
19.若是，则确定所述目标对象的动作为可执行的触控操作。
20.在其中的一些实施例中，所述目标对象与所述非触控屏进行交互的动作包括：敲击屏幕、滑动屏幕、以及缩放屏幕。
21.在其中的一些实施例中，在基于所述目标对象的动作识别结果，和基于所述非触控屏预先建立的虚拟桌面系统，判断所述目标对象的动作是否为可执行的触控操作之前，所述方法还包括：
22.按照预设规则，以所述非触控屏上预先选取的位置为坐标原点，以所述非触控屏中的像素为坐标单位，建立所述虚拟桌面系统的二维坐标系；
23.根据所述非触控屏预设的操作功能，在所述二维坐标系中配置响应触控操作的可操作区域，得到所述虚拟桌面系统。
24.在其中的一些实施例中，所述方法还包括：
25.利用预设的跟踪算法，对所述目标对象在所述虚拟桌面系统中的操作进行跟踪。
26.第二个方面，在本实施例中提供了一种屏幕控制装置，用于对非触控屏进行控制，包括：获取模块、识别模块、以及响应模块；其中：
27.所述获取模块，用于获取识别区域中，目标对象的二维图像和深度图像；
28.所述识别模块，用于根据所述二维图像和深度图像，利用预设的识别算法对所述目标对象的动作进行识别，得到目标对象的动作识别结果；
29.所述响应模块，用于基于所述目标对象的动作识别结果，和基于所述非触控屏预先建立的虚拟桌面系统，判断所述目标对象的动作是否为可执行的触控操作，若是，则根据预设指令响应所述触控操作，对所述非触控屏进行控制。
30.第三个方面，在本实施例中提供了一种非触控系统，包括：非触控屏、二维图像采集传感器、深度传感器、以及服务器；其中：
31.所述二维图像采集传感器和所述深度传感器设置于所述非触控屏上方，所述二维图像采集传感器、所述深度传感器均与所述服务器通信连接；
32.所述二维图像采集传感器用于采集所述非触控屏所处区域的二维图像，并将所述二维图像发送至所述服务器；
33.所述深度传感器用于采集所述非触控屏所处区域的深度图像，并将所述深度图像发送至所述服务器；
34.所述服务器用于执行上述第一个方面所述的屏幕控制方法。
35.第四个方面，在本实施例中提供了一种电子装置，包括存储器、处理器以及存储在
所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一个方面所述的屏幕控制方法。
36.第五个方面，在本实施例中提供了一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述第一个方面所述的屏幕控制方法。
37.在本实施例中提供了一种屏幕控制方法、装置、非触控屏系统和电子装置，通过获取识别区域中目标对象的二维图像和深度图像，根据二维图像和深度图像，利用预设的识别算法对目标对象的动作进行识别，得到目标对象的动作识别结果，基于目标对象的动作识别结果，和基于非触控屏预先建立的虚拟桌面系统，判断目标对象的动作是否为可执行的触控操作，若是，则根据预设指令响应触控操作，对非触控屏进行控制。其结合二维图像和深度图像实现对用户动作定位和动作识别，并基于虚拟桌面系统实现了对用户触控操作的准确识别，从而提高了非触控屏设备所支持的虚拟输入识别的准确度。
38.本技术的一个或多个实施例的细节在以下附图和描述中提出，以使本技术的其他特征、目的和优点更加简明易懂。
附图说明
39.此处所说明的附图用来提供对本技术的进一步理解，构成本技术的一部分，本技术的示意性实施例及其说明用于解释本技术，并不构成对本技术的不当限定。在附图中：
40.图1是相关技术的屏幕控制方法的终端的硬件结构框图；
41.图2是本实施例的屏幕控制方法的流程图；
42.图3是本实施例的摄像机在非触控屏上的安装示意图；
43.图4是本实施例中手部位置定位的示意图；
44.图5是本实施例的应用卡尔曼滤波的手部位置跟踪示意图；
45.图6是优选实施例中屏幕控制方法的流程图；
46.图7是本实施例的屏幕控制装置的结构框图；
47.图8是本实施例的非触控屏系统的结构示意图。
具体实施方式
48.为更清楚地理解本技术的目的、技术方案和优点，下面结合附图和实施例，对本技术进行了描述和说明。
49.除另作定义外，本技术所涉及的技术术语或者科学术语应具有本技术所属技术领域具备一般技能的人所理解的一般含义。在本技术中的“一”、“一个”、“一种”、“该”、“这些”等类似的词并不表示数量上的限制，它们可以是单数或者复数。在本技术中所涉及的术语“包括”、“包含”、“具有”及其任何变体，其目的是涵盖不排他的包含；例如，包含一系列步骤或模块(单元)的过程、方法和系统、产品或设备并未限定于列出的步骤或模块(单元)，而可包括未列出的步骤或模块(单元)，或者可包括这些过程、方法、产品或设备固有的其他步骤或模块(单元)。在本技术中所涉及的“连接”、“相连”、“耦接”等类似的词语并不限定于物理的或机械连接，而可以包括电气连接，无论是直接连接还是间接连接。在本技术中所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“a和/或b”可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。通常情况下，
字符“/”表示前后关联的对象是一种“或”的关系。在本技术中所涉及的术语“第一”、“第二”、“第三”等，只是对相似对象进行区分，并不代表针对对象的特定排序。
50.在本实施例中提供的方法实施例可以在终端、计算机或者类似的运算装置中执行。比如在终端上运行，图1是本实施例的屏幕控制方法的终端的硬件结构框图。如图1所示，终端可以包括一个或多个(图1中仅示出一个)处理器102和用于存储数据的存储器104，其中，处理器102可以包括但不限于微处理器mcu或可编程逻辑器件fpga等的处理装置。上述终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述终端的结构造成限制。例如，终端还可包括比图1中所示更多或者更少的组件，或者具有与图1所示出的不同配置。
51.存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如在本实施例中的屏幕控制方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
52.传输设备106用于经由一个网络接收或者发送数据。上述的网络包括终端的通信供应商提供的无线网络。在一个实例中，传输设备106包括一个网络适配器(network interface controller，简称为nic)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输设备106可以为射频(radio frequency，简称为rf)模块，其用于通过无线方式与互联网进行通讯。
53.在本实施例中提供了一种屏幕控制方法，图2是本实施例的屏幕控制方法的流程图，如图2所示，该流程包括如下步骤：
54.步骤s210，获取识别区域中，目标对象的二维图像和深度图像。
55.其中，可以在非触控屏的上方预设位置，设置一台或多台摄像机，以采集用户对该非触控屏进行操作的图像信息。摄像机的具体安装位置可以根据摄像机的视野范围进行确定，以使摄像机采集得到整个非触控屏完整的区域图像。图3为本实施例的摄像机在非触控屏上的安装示意图。如图3所示，其中301为摄像机，302为非触控屏。摄像机301安装于该非触控屏302的斜上方，用于采集该非触控屏302所在区域的二维图像和深度图像，以获得用户在该非触控屏302进行操作的位置信息和动作信息。
56.基于上述内容可知，上述步骤210中的识别区域，具体可以为安装于该非触控屏上方位置的一台或多台摄像机，对该非触控屏进行二维图像和深度图像采集的区域。其中的目标对象，具体可以为用户对非触控屏进行操作时，进入识别区域的手部。另外，还需要说明的是，该目标对象的二维图像和深度图像，既可以通过兼具二维信息采集功能和深度信息采集功能的同一台摄像设备来完成，也可以分别由具备二维信息采集功能的摄像设备进行二维图像采集，由具备深度信息采集功能的设备进行深度图像采集来实现。对此，本实施例中不作具体限定。其中，优选地，可以通过包含rgb镜头和tof(time of flight，飞行时间)镜头的rgb-d(rgb-depth map，rgb-深度图)摄像机来获取识别区域中，目标对象的二维图像和深度图像。
57.步骤s220，根据二维图像和深度图像，利用预设的识别算法对目标对象的动作进行识别，得到目标对象的动作识别结果。
58.其中，该预设的识别算法具体可以包括用于对二维图像进行处理的预设算法和用于对深度图像进行处理的预设算法。具体地，可以利用二维图像处理领域的目标检测模型对该二维图像进行处理，以得到该目标对象在二维图像中的位置信息。示例性地，该目标检测模型可以为yolo(you only look once)、rcnn(region-cnn，区域卷积神经网络)等算法，通过对二维图像进行处理，检测出该二维图像中手掌和指尖的区域。另外地，可以利用深度信息处理领域的点云分割算法对该深度信息进行处理。示例性地，该点云分割算法具体可以为pointnet(译为：点网)算法和pointnet 算法等。进一步地，可以在根据预设的点云分割算法分割出深度图像中前景与背景后，结合预设的目标检测算法所得到的目标对象在二维图像中的位置信息，确定目标对象在深度图像中的位置，进而得到该目标对象的动作识别结果。可以理解的是，除上述举例的算法之外，还可以根据实际应用场景和业务需要选择其他适用算法进行处理，在此不作具体限定。
59.步骤s230，基于目标对象的动作识别结果，和基于非触控屏预先建立的虚拟桌面系统，判断目标对象的动作是否为可执行的触控操作，若是，则根据预设指令响应触控操作，对非触控屏进行控制。
60.本实施例通过为非触控屏建立虚拟桌面系统，以实现与用户之间的交互。具体地，可以选取该非触控屏中的一处位置作为虚拟的二维坐标系的坐标原点，并从该非触控屏中选取固定大小的坐标单位，构建该非触控屏的二维坐标系。在该二维坐标系中，可以将非触控屏本身具有的操作界面和操作功能，映射到该二维坐标系中。在该二维坐标系中建立对应的可点击按钮、可选框、以及可实现屏幕滑动的滑块，从而构建出该非触控屏支持触控操作的可操作区域，实现虚拟桌面系统的建立。示例性地，可以以非触控屏左上角为二维坐标系的坐标原点，横向建立的坐标轴为二维坐标系的x轴，纵向建立的坐标轴为二维坐标系的y轴，建立该二维坐标系。在该二维坐标系中，可以以非触控屏中的像素为单个坐标单位。在该虚拟桌面系统中的每个操作组件，例如可点击按钮、可选框、以及滑块等，均绑定有该二维坐标系的坐标。
61.通过判断目标对象的动作识别结果，可以判断用户是否与非触控屏进行了交互，并在确定用户存在与非触控屏进行交互的动作，且基于该虚拟桌面系统确定该交互动作发生的位置为虚拟桌面系统的可操作区域的情况下，确定该交互动作为触控操作，并响应用户的触控操作。具体地，可以在识别到用户的指尖存在向非触控屏方向的动作的情况下，通过分析指尖向非触控屏方向运动的最大值处，指尖与非触控屏的距离是否小于预设的指尖-屏幕接触阈值，若是，则确认该用户存在敲击屏幕的交互动作。在该种情况下，可以记录指尖的敲击位置和敲击次数，在基于虚拟桌面系统确定该敲击动作落在可点击按钮、可操作性复选框、或者单选框的坐标范围内的情况下，选中相应的坐标范围内的操作组件。
62.另外地，也可以根据上述动作识别结果，分析得到用户存在滑动屏幕的动作的情况下，通过判断指尖的位置是否在指尖-屏幕接触阈值范围内，且指尖在平行于非触控屏的平面内做出一定距离的滑动动作的情况下，可以确认该用户存在滑动屏幕的交互动作。在该种情况下，记录该滑动动作在虚拟桌面系统上的初始位置、终止位置、滑动方位、以及滑动速度，并基于上述滑动动作的相关数据，响应该滑动动作滚动屏幕。例如，根据滑动方位，
朝对应的方向滚动屏幕，根据滑动的速度和滑动的距离确定滚动屏幕操作的终止位置。另外地，还可以在检测到用户的多个手指协同对非触控屏进行放大动作或缩小动作的情况下，基于虚拟桌面系统响应对应的操作。此外，本实施例的动作类别还可以包括其他动作，具体地判断规则也可以根据实际应用场景进行调整，在此不作具体限定。
63.相比目前通过语音识别来实现非触控屏系统与用户的交互而言，本实施例通过采集用户的手部在非触控屏进行操作的图像数据，对用户的操作动作进行识别，并基于在该非触控屏上建立的虚拟桌面系统，响应用户的操作，从而实现了非触控屏的触控功能，避免了语音识别中环境的干扰，提高了非触控屏的虚拟输入识别的准确度。
64.另外地，为了减少识别区域中的干扰因素，提高对目标对象的动作识别结果分析的准确性，还可以利用预设的目标跟踪算法对目标对象进行跟踪，从而为目标对象匹配对应的唯一标识，避免其他误入识别区域的手掌或手指对目标对象的动作识别造成干扰，同时跟踪记录目标对象在非触控屏上划过的轨迹。此外，若该非触控屏在预设时间段内未收到用户的任何交互动作，则可以在该非触控屏上返回消息提示，提示将退回到非触控屏的操作主界面。例如，若用户在30秒以上的时间内，未对非触控屏进行任何触控操作，则可以在非触控屏上弹出消息提示，提示用户该非触控屏将在30秒后退回主界面，并退出用户之前启动的应用程序。
65.上述步骤s210至步骤s230，通过获取识别区域中，目标对象的二维图像和深度图像，根据二维图像和深度图像，利用预设的识别算法对目标对象的动作进行识别，得到目标对象的动作识别结果，基于目标对象的动作识别结果，和基于非触控屏预先建立的虚拟桌面系统，判断目标对象的动作是否为可执行的触控操作，若是，则根据预设指令响应触控操作，对非触控屏进行控制。其结合二维图像和深度图像实现对用户动作定位和动作识别，并基于虚拟桌面系统实现了对用户触控操作的准确识别，从而提高了非触控屏设备所支持的虚拟输入识别的准确度。
66.在一个实施例中，基于上述步骤s220，目标对象的动作识别结果包括目标对象的三维位置信息和动作信息，根据二维图像和深度图像，利用预设的识别算法对目标对象的动作进行识别，得到目标对象的动作识别结果，具体包括以下步骤：
67.步骤s221，利用训练完备的目标检测模型，对二维图像中的目标对象所处区域进行检测，得到目标对象在二维图像中的位置信息。
68.步骤s222，利用预设的点云分割算法对深度图像中的目标对象进行分割，基于分割结果，和二维图像中的位置信息，得到目标对象的三维位置信息和动作信息。
69.进一步地，在一个实施例中，基于上述步骤s222，基于分割结果，和二维图像中的位置信息，得到目标对象的三维位置信息和动作信息，具体包括以下步骤：
70.步骤s2221，基于分割结果，和二维图像中的位置信息，得到目标对象在深度图像中的位置信息。
71.步骤s2222，根据识别区域固有的转换参数，对深度图像中的位置信息进行坐标系映射，得到目标对象在参考坐标系下的三维位置信息和动作信息。
72.其中，该识别区域固有的转换参数，具体可以为安装于该非触控屏上方的摄像机的安装参数，基于该摄像机的安装参数和固有参数，可以实现深度图像中的位置信息的坐标系的转换，得到参考坐标系，也即世界坐标系下的三维位置信息和动作信息。示例性地，
图4为本实施例中手部位置定位的示意图，基于上述步骤s2221以及s2222，对识别区域的指尖动作的识别的具体过程如图4所示。
73.步骤s401，获取2d图像目标检测位置；
74.步骤s402，获取相机安装参数和相机固有参数；
75.步骤s403，确定点云图像中的视锥范围；
76.步骤s404，对目标对象进行点云分割；
77.步骤s405，确定手位置及指尖位置；
78.步骤s406，确定指尖动作。
79.其中，该2d图像即二维图像，相机安装参数和相机固有参数即识别区域固有的转换参数。另外，目标对象的动作信息具体可以包括动作位置和动作速度等信息。
80.通过结合二维图像和深度图像，实现了对目标对象的动作的准确识别，从而提高了后续分析用户是否发生与非触控屏的交互动作的准确度。
81.另外地，在一个实施例中，基于上述步骤s230，基于目标对象的动作识别结果，和基于非触控屏预先建立的虚拟桌面系统，判断目标对象的动作是否为可执行的触控操作，具体包括以下步骤：
82.步骤s231，基于目标对象的动作识别结果，判断目标对象的动作是否包括与非触控屏进行交互的动作。
83.步骤s232，若是，则根据虚拟桌面系统，判断目标对象进行交互动作的位置是否对应于虚拟桌面系统的可操作区域。
84.步骤s233，若是，则确定目标对象的动作为可执行的触控操作。
85.进一步地，在一个实施例中，基于上述步骤s231至步骤s233，目标对象与非触控屏进行交互的动作包括：敲击屏幕、滑动屏幕、以及缩放屏幕。
86.在一个实施例中，在基于目标对象的动作识别结果，和基于非触控屏预先建立的虚拟桌面系统，判断目标对象的动作是否为可执行的触控操作之前，该屏幕控制方法还可以包括以下步骤：
87.步骤s240，按照预设规则，以非触控屏上预先选取的位置为坐标原点，以非触控屏中的像素为坐标单位，建立虚拟桌面系统的二维坐标系。
88.步骤s250，根据非触控屏预设的操作功能，在二维坐标系中配置响应触控操作的可操作区域，得到虚拟桌面系统。
89.通过为非触控屏建立虚拟桌面系统，能够为非触控屏支持触控操作提供对应的操作区域，从而提高了非触控屏虚拟输入获取的准确度。
90.另外地，在一个实施例中，上述屏幕控制方法还可以包括以下步骤：
91.步骤s260，利用预设的跟踪算法，对目标对象在虚拟桌面系统中的操作进行跟踪。
92.具体地，该跟踪算法具体可以为卡尔曼滤波、相关滤波以及孪生神经网络等目标跟踪算法中的一种。基于该跟踪算法，可以对进入识别区域的目标对象中的手掌和手指进行唯一标识，从而防止其他误入识别区域的对象对正在操作的目标对象造成干扰，同时还可以实现对目标对象的动作轨迹的跟踪。图5为本实施例的应用卡尔曼滤波的手部位置跟踪示意图。如图5所示，在本实施例中对手部位置的跟踪的具体过程可以包括以下步骤：
93.步骤s501，读取初始帧；
94.步骤s502，目标区域初始化处理；
95.步骤s503，初始化目标状态变量x0＝[x0 y0 0 0]
t
；
[0096]
步骤s504，计算目标核直方图；
[0097]
步骤s505，进入下一帧；
[0098]
步骤s506，运动目标的精确定位；
[0099]
步骤s507，建立运动目标的运动学方程，获得一步预测值和误差协方差矩阵；
[0100]
步骤s508，获得量测信息，获得滤波估计后的目标位置；
[0101]
步骤s509，实现目标跟踪。
[0102]
其中，该初始帧和下一帧为本实施例识别区域中目标对象的二维图像的初始帧和下一帧，目标区域为二维图像中的区域。
[0103]
下面通过优选实施例对本实施例进行描述和说明。
[0104]
图6是本优选实施例的屏幕控制方法的流程图。如图6所示，具体包括以下步骤：
[0105]
步骤s601，视觉采集系统初始化；
[0106]
步骤s602，人手进入摄像装置采集范围内；
[0107]
步骤s603，摄像头获取信息生成视频流；
[0108]
步骤s604，对2d图像信息进行目标检测；
[0109]
步骤s605，对3d图像信息进行手指定位；
[0110]
步骤s606，对屏幕位置和指尖位置进行坐标系位置统一；
[0111]
步骤s607，识别出敲击屏幕、滑动屏幕的动作；
[0112]
步骤s608，屏幕初始化；
[0113]
步骤s609，建立虚拟坐标系统；
[0114]
步骤s610，判断操作动作发生位置是否为可操作区域，若是则执行步骤s611；
[0115]
步骤s611，响应操作动作；
[0116]
步骤s612，屏幕显示响应动作。
[0117]
在上述步骤中，视觉采集系统具体可以为安装于非触控屏上方的摄像机的视觉采集系统，2d图像即上述二维图像，3d图像即上述深度图像。另外上述步骤s601至步骤s612中的屏幕具体为上述实施例的非触控屏。上述操作动作即包括敲击屏幕、互动屏幕等动作的触控操作动作。
[0118]
需要说明的是，在上述流程中或者附图的流程图中示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。例如，s604和s605。
[0119]
在本实施例中还提供了一种屏幕控制装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。以下所使用的术语“模块”、“单元”、“子单元”等可以实现预定功能的软件和/或硬件的组合。尽管在以下实施例中所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
[0120]
图7是本实施例的屏幕控制装置70的结构框图，如图7所示，该屏幕控制装置70包括：获取模块71、识别模块72、以及响应模块73；其中：
[0121]
获取模块71，用于获取识别区域中，目标对象的二维图像和深度图像；
[0122]
识别模块72，用于根据二维图像和深度图像，利用预设的识别算法对目标对象的
动作进行识别，得到目标对象的动作识别结果；
[0123]
响应模块73，用于基于目标对象的动作识别结果，和基于非触控屏预先建立的虚拟桌面系统，判断目标对象的动作是否为可执行的触控操作，若是，则根据预设指令响应触控操作，对非触控屏进行控制。
[0124]
上述屏幕控制装置70，获取识别区域中，目标对象的二维图像和深度图像，根据二维图像和深度图像，利用预设的识别算法对目标对象的动作进行识别，得到目标对象的动作识别结果，基于目标对象的动作识别结果，和基于非触控屏预先建立的虚拟桌面系统，判断目标对象的动作是否为可执行的触控操作，若是，则根据预设指令响应触控操作，对非触控屏进行控制。其结合二维图像和深度图像实现对用户动作定位和动作的识别，并基于虚拟桌面系统实现了对用户触控操作的准确识别，从而提高了非触控屏设备所支持的虚拟输入识别的准确度。
[0125]
需要说明的是，上述各个模块可以是功能模块也可以是程序模块，既可以通过软件来实现，也可以通过硬件来实现。对于通过硬件来实现的模块而言，上述各个模块可以位于同一处理器中；或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。
[0126]
在本实施例中还提供了一种非触控屏系统。图8为本实施例的非触控屏系统80的结构示意图，如图8所示，该非触控屏系统80包括：
[0127]
非触控屏81、二维图像采集传感器82、深度传感器83、以及服务器84；其中：
[0128]
二维图像采集传感器82和深度传感器83设置于非触控屏81上方，二维图像采集传感器82、深度传感器83均与服务器84通信连接；
[0129]
二维图像采集传感器82用于采集非触控屏81所处区域的二维图像，并将二维图像发送至服务器84；
[0130]
深度传感器83用于采集非触控屏81所处区域的深度图像，并将深度图像发送至服务器84；
[0131]
服务器84用于执行上述实施例的屏幕控制方法。
[0132]
上述非触控屏系统80，通过二维图像采集传感器82采集非触控屏81所处区域的二维图像，通过深度传感器83采集非触控屏81所处区域的深度图像，并利用服务器84基于上述二维图像和深度图像，识别出目标对象在非触控屏81的动作，其结合二维图像和深度图像实现对用户动作定位和动作识别，并基于虚拟桌面系统实现了对用户触控操作的准确识别，从而提高了非触控屏设备所支持的虚拟输入识别的准确度。
[0133]
在本实施例中还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
[0134]
可选地，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。
[0135]
可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：
[0136]
获取识别区域中，目标对象的二维图像和深度图像；
[0137]
根据二维图像和深度图像，利用预设的识别算法对目标对象的动作进行识别，得到目标对象的动作识别结果；
[0138]
基于目标对象的动作识别结果，和基于非触控屏预先建立的虚拟桌面系统，判断
目标对象的动作是否为可执行的触控操作，若是，则根据预设指令响应触控操作，对非触控屏进行控制需要说明的是，在本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，在本实施例中不再赘述。
[0139]
此外，结合上述实施例中提供的屏幕控制方法，在本实施例中还可以提供一种存储介质来实现。该存储介质上存储有计算机程序；该计算机程序被处理器执行时实现上述实施例中的任意一种屏幕控制方法。
[0140]
应该明白的是，这里描述的具体实施例只是用来解释这个应用，而不是用来对它进行限定。根据本技术提供的实施例，本领域普通技术人员在不进行创造性劳动的情况下得到的所有其它实施例，均属本技术保护范围。
[0141]
显然，附图只是本技术的一些例子或实施例，对本领域的普通技术人员来说，也可以根据这些附图将本技术适用于其他类似情况，但无需付出创造性劳动。另外，可以理解的是，尽管在此开发过程中所做的工作可能是复杂和漫长的，但是，对于本领域的普通技术人员来说，根据本技术披露的技术内容进行的某些设计、制造或生产等更改仅是常规的技术手段，不应被视为本技术公开的内容不足。
[0142]“实施例”一词在本技术中指的是结合实施例描述的具体特征、结构或特性可以包括在本技术的至少一个实施例中。该短语出现在说明书中的各个位置并不一定意味着相同的实施例，也不意味着与其它实施例相互排斥而具有独立性或可供选择。本领域的普通技术人员能够清楚或隐含地理解的是，本技术中描述的实施例在没有冲突的情况下，可以与其它实施例结合。
[0143]
以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对专利保护范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术的保护范围应以所附权利要求为准。