一种基于视觉追踪的界面控制方法

1.本发明涉及界面控制技术领域，具体为一种基于视觉追踪的界面控制方法。


背景技术：

2.视觉跟踪是指对图像序列中的运动目标进行检测、提取、识别和跟踪，获得运动目标的运动参数，如位置、速度、加速度和运动轨迹等，从而进行下一步的处理与分析，实现对运动目标的行为理解，以完成更高一级的检测任务。
3.现有的界面控制方法存在无法在娱乐的时候不用手，而是结合视觉追踪的技术来操作的问题。
4.因此市场急需研制一种基于视觉追踪的界面控制方法来帮助人们解决现有的问题。
5.实用内容
6.本发明实施例提供种基于视觉追踪的界面控制方法，用于解决现有技术中存在的用户无法在娱乐的时候不用手，而是结合视觉追踪的技术来操作的技术问题。
7.为实现上述目的，本发明提供如下技术方案：一种基于视觉追踪的界面控制方法，应用于配置有用户界面的电子设备，所述用户界面包括至少一个控制按钮，该方法的技术方案如下：
8.所述用户界面中存在眼球时，获取用户的视点；
9.确定所述视点停留在所述至少一个控制按钮中的第一控制按钮时间是否超过阈值；
10.若超出所述阈值，控制所述第一控制按钮，执行相应的操作。
11.可选的，所述控制所述第一控制按钮，执行相应的操作之前，还包括：接收用户对所述第一控制按钮的第一操作，所述第一操作包括点击操作和或滑动操作。
12.可选的，所述用户界面为游戏应用的用户界面，所述第一控制按钮包括控制游戏界面中人物的移动方向的按钮、控制游戏界面中人物的移动速度的按钮、控制游戏界面切换的按钮中的任一种。
13.可选的，所述第一控制按钮包括控制游戏界面中人物的移动方向的按钮时，所述控制所述第一控制按钮，执行相应的操作，包括：控制游戏中的人物向所述第一控制按钮预设的方向移动。
14.可选的，所述用户界面中存在眼球时，所述电子设备显示用户界面。
15.提供一种电子设备，所述电子设备包括：获取模块，用于检测到用户界面中存在眼球时，获取用户的视点；处理模块，若所述用户界面中的第一控制按钮或第二控制按钮被注视超过5s时，确定该视点在用户界面中对应的控制按钮；
16.可选的，显示模块，用于在所述电子设备上显示用户界面，所述用户界面中包括第一控件；处理模块，还用于视点在用户界面中对应的第一控制按钮或第二控制按钮时，控制该控制按钮，执行相应的操作。
附图说明
17.图1为本技术实施例中的一种具有用户界面的雷电飞机游戏的电子设备的用户界面示意图；
18.图2为本技术实施例中的一种基于视觉追踪的界面控制方法的流程图；
19.图3为本技术实施例中的一种具有用户界面的阅读软件的电子设备的用户界面的结构示意图。
20.图4为本技术实施例中的一种具有用户界面的雷电飞机游戏的电子设备的结构示意图。
具体实施方式
21.为使本技术的目的、技术方案和优点更加清楚明白，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。在不冲突的情况下，本技术中的实施例及实施例中的特征可以相互任意组合。并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，能够以不同于此处的顺序执行所示出或描述的步骤。
22.本技术的说明书和权利要求书及上述附图中的术语“第一”和“第二”是用于区别不同对象，而非用于描述特定顺序。此外，术语“包括”以及它们任何变形，意图在于覆盖不排他的保护。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
23.本技术实施例中，“至少一个”可以表示一个或者至少两个，例如可以是一个、两个、三个或者更多个，本技术实施例不做限制。
24.另外，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。另外，本文中字符“/”，在不做特别说明的情况下，一般表示前后关联对象是一种“或”的关系。
25.本技术实施例提供一种基于视觉追踪的界面控制方法，应用于配置有用户界面的电子设备，所述用户界面包括至少一个控制按钮；当检测到用户界面中存在眼球时，获取用户的视点；检测判断视点停留在所述至少一个控制按钮中的第一控制按钮时间是否超过阈值；当检测到超出阈值，控制所述第一控制按钮，执行相应的操作；通过该方法用户使用电子设备不用手也可以操作。
26.为了更好的理解上述技术方案，下面通过说明书附图以及具体实施例对本技术技术方案做详细的说明，应当理解本技术实施例以及实施例中的具体特征是对本技术技术方案的详细的说明，而不是对本技术技术方案的限定，在不冲突的情况下，本技术实施例以及实施例中的技术特征可以相互组合。
27.图1为本技术实施例所提供的一种基于视觉追踪的界面控制方法可适用的一种设置有用户界面的游戏的电子设备，因为可适用本技术实施例所提供方法的设置有用户界面的游戏包括雷电飞机游戏、竞技游戏、赛车游戏等，为了方便说明，本技术实施例提供一种
adaptive mean shift)跟踪算法，所述设置有用户界面的雷电飞机游戏的电子设备利用红外线对所述注视用户界面眼球进行照射使其产生明显的反射，通过摄像机采集带有这些反射效果的眼球的图像；识别采集到的眼睛图像即为反向投影图像，对获取到的反向投影图进行camshift算法计算，得到在眼睛图像中检测到的视点位置，判断视点在用户界面中对应的第一控制按钮或第二控制按钮上。
39.示例2，以阅读软件为例，所述视觉追踪算法采用光流跟踪算法；折叠屏通过所述用户界面上的摄像头获取所述注视用户界面的用户的眼球图像后，将眼球看成一个模型，通过光流跟踪算法分析所述眼球跟踪轨迹与运行方向，然后判断用运行方向与所述第一控制按钮或第二控制按钮是否存在交点，若存在交点，则所述视点在用户界面中对应的第一控制按钮或第二控制按钮上，若不存在交点，则视点不在用户界面中对应的第一控制按钮或第二控制按钮上。
40.以下介绍一个具体的实施例。
41.以设置有用户界面的雷电飞机游戏的电子设备为例，假设所述用户界面处于工作状态，用户界面上所设置的摄像头采集所述用户界面对面的图像信息；所述电子设备通过摄像头采集到图像信息后，对图像信息进行检测，判别其中是否存在眼球，若存在眼球，获取用户的视点，若不存在，所述电子设备的用户界面正常显示。
42.采用camshift(continuously adaptive mean shift)跟踪算法对所述视点进行追踪，所述设置有用户界面的雷电飞机游戏的电子设备利用红外线对所述与所述注视用户界面眼球进行照射使其产生明显的反射，通过摄像机采集带有这些反射效果的眼球的图像；识别采集到的眼睛图像即为反向投影图像，对获取到的反向投影图进行camshift算法计算，得到在眼睛图像中检测到的视点位置，判断视点在用户界面中对应的第一控制按钮或第二控制按钮上。
43.若所述用户界面中的第一控制按钮或第二控制按钮被注视超过5s时，确定该视点在用户界面中对应的控制按钮，设置有用户界面的雷电飞机游戏的电子设备接收用户对第一控制按钮或第二控制按钮的第一操作，所述第一操作可以是用户点击第一控制按钮或第二控制按钮，也可以是滑动第一控制按钮或第二控制按钮；设置有用户界面的雷电飞机游戏的电子设备接收到第一操作之后得到确认指令，控制该控制按钮，执行相应的操作。
44.在所述设置有用户界面的雷电飞机游戏的电子设备将设置有用户界面的雷电飞机游戏的电子设备检测眼球的范围调到最小值，用户界面中不存在眼球，使所述视点的坐标落在所述用户界面之外。
45.基于同一发明构思，本技术实施例提供一种电子设备，该电子设备能够实现前述的基于视觉追踪的界面控制方法对应的功能。该电子设备可以是硬件结构、软件模块、或硬件结构加软件模块。具有用户界面的雷电飞机游戏的电子设备可以由芯片系统实现，芯片系统可以由芯片构成，也可以包含芯片和其他分立器件。请参见图4所示，图4为本技术实施例中的一种具有用户界面的雷电飞机游戏的电子设备的结构示意图；该一种具有用户界面的雷电飞机游戏的电子设备中包括获取模块301、处理模块302、显示模块303，其中：
46.获取模块301，用于检测到用户界面中存在眼球时，获取用户的视点；
47.处理模块302，若所述用户界面中的第一控制按钮或第二控制按钮被注视超过5s时，确定该视点在用户界面中对应的控制按钮；
48.显示模块303，显示模块，用于在所述电子设备上显示用户界面，所述用户界面中包括第一控件。
49.可选的，所述用户界面中存在眼球时，所述设置有用户界面的雷电飞机游戏的电子设备显示用户界面；
50.所述处理模块302，还用于视点在用户界面中对应的第一控制按钮或第二控制按钮时，控制该控制按钮，执行相应的操作。
51.在一些可能的实施方式中，本技术提供的基于视觉追踪的界面控制方法的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在设置有折叠屏的电子设备上运行时，程序代码用于设置有用户界面的游戏的电子设备执行本说明书上述描述的根据本技术各种示例性实施方式的基于视觉追踪的界面控制方法中的步骤。
52.本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
53.本技术是参照根据本技术的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
54.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
55.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
56.显然，本领域的技术人员可以对本技术进行各种改动和变型而不脱离本技术的精神和范围。这样，倘若本技术的这些修改和变型属于本技术权利要求及其等同技术的范围之内，则本技术也意图包含这些改动和变型在内。