一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

电子设备的屏幕控制方法、装置、电子设备以及存储介质与流程

2022-02-20 00:08:16 来源:中国专利 TAG:


1.本技术涉及电子设备技术领域,更具体地,涉及一种电子设备的屏幕控制方法、装置、电子设备以及存储介质。


背景技术:

2.随着科学技术的发展,电子设备的使用越来越广泛,功能越来越多,已经成为人们日常生活中的必备之一。目前,电子设备的屏幕从息屏状态切换为亮屏状态一般是由用户手动触发,但在很多时候用户存在误操作,导致电子设备的无效亮屏,造成电子设备的功耗增加。


技术实现要素:

3.鉴于上述问题,本技术提出了一种电子设备的屏幕控制方法、装置、电子设备以及存储介质,以解决上述问题。
4.第一方面,本技术实施例提供了一种电子设备的屏幕控制方法,应用于电子设备,所述方法包括:当所述电子设备的屏幕处于息屏状态时,检测所述电子设备的姿态数据;当所述姿态数据满足预设姿态数据时,通过所述电子设备的摄像头采集人脸图像;通过神经网络模型处理所述人脸图像,获得人眼的注视点位置;当基于所述注视点位置确定所述注视点位于所述屏幕内时,控制所述屏幕从处于息屏状态切换为处于亮屏状态。
5.第二方面,本技术实施例提供了一种电子设备的屏幕控制装置,应用于电子设备,所述装置包括:姿态数据检测模块,用于当所述电子设备的屏幕处于息屏状态时,检测所述电子设备的姿态数据;人脸图像采集模块,用于当所述姿态数据满足预设姿态数据时,通过所述电子设备的摄像头采集人脸图像;注视点位置获得模块,用于通过神经网络模型处理所述人脸图像,获得人眼的注视点位置;屏幕控制模块,用于当基于所述注视点位置确定所述注视点位于所述屏幕内时,控制所述屏幕从处于息屏状态切换为处于亮屏状态。
6.第三方面,本技术实施例提供了一种电子设备,包括存储器和处理器,所述存储器耦接到所述处理器,所述存储器存储指令,当所述指令由所述处理器执行时所述处理器执行上述方法。
7.第四方面,本技术实施例提供了一种计算机可读取存储介质,所述计算机可读取存储介质中存储有程序代码,所述程序代码可被处理器调用执行上述方法。
8.本技术实施例提供的电子设备的屏幕控制方法、装置、电子设备以及存储介质,当电子设备的屏幕处于息屏状态时,检测电子设备的姿态数据,当该姿态数据满足预设姿态数据时,通过电子设备的摄像头采集人脸图像,通过神经网络模型处理该人脸图像,获得人眼的注视点位置,当基于注视点位置确定注视点位于屏幕内时,控制屏幕从息屏状态切换为亮屏状态。本技术通过在电子设备息屏时的姿态数据满足预设姿态数据时进行人眼注视检测,并在确定人眼注视点位于屏幕内时点亮屏幕,从而减少电子设备的无效亮屏,降低电子设备的功耗。
附图说明
9.为了更清楚地说明本技术实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本技术的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它的附图。
10.图1示出了本技术一实施例提供的电子设备的屏幕控制方法的流程示意图;
11.图2示出了本技术实施例提供的第一种场景示意图;
12.图3示出了本技术实施例提供的第二种场景示意图;
13.图4示出了本技术实施例提供的第三种场景示意图;
14.图5示出了本技术实施例提供的第四种场景示意图;
15.图6示出了本技术一实施例提供的电子设备的屏幕控制方法的流程示意图;
16.图7示出了本技术一实施例提供的电子设备的屏幕控制方法的流程示意图;
17.图8示出了本技术一实施例提供的电子设备的屏幕控制方法的流程示意图;
18.图9示出了本技术的图8所示的电子设备的屏幕控制方法的步骤s440的流程示意图;
19.图10示出了本技术一实施例提供的电子设备的屏幕控制的方法的流程示意图;
20.图11示出了本技术一实施例提供的电子设备的屏幕控制的方法的流程示意图;
21.图12示出了本技术一实施例提供的电子设备的屏幕控制装置的模块框图;
22.图13示出了本技术实施例用于执行根据本技术实施例的电子设备的屏幕控制方法的电子设备的框图;
23.图14示出了本技术实施例的用于保存或者携带实现根据本技术实施例的电子设备的屏幕控制方法的程序代码的存储单元。
具体实施方式
24.为了使本技术领域的人员更好地理解本技术方案,下面将结合本技术实施例中的附图,对本技术实施例中的技术方案进行清楚、完整地描述。
25.目前,电子设备的屏幕从息屏状态切换为亮屏状态的方式一般有两种。第一、电子设备被拿起时自动亮屏,该方案是通过电子设备的传感器参数来判断电子设备是否由平方状态进入竖直或斜直状态,若检测到该变化,则控制电子设备的屏幕从息屏状态切换为亮屏状态。但是,在该方案中用户可能并未注视该电子设备的屏幕,但电子设备的屏幕仍旧会亮屏,导致电子设备的无效亮屏,造成电子设备的功耗增加。第二、电子设备被触摸时亮屏,该方案是通过用户点击或双击屏幕,当屏幕息屏且检测到单机或双击操作时,则控制电子设备的屏幕从息屏状态切换为亮屏状态。但是,在该方案中用户需要额外的操作,不利于无感交互的实现。
26.针对上述技术问题,发明人经过长期的研究发现并提出了本技术实施例提供的电子设备的屏幕控制方法、装置、电子设备以及存储介质,通过在电子设备息屏时的姿态数据满足预设姿态数据时进行人眼注视检测,并在确定人眼注视点位于屏幕内时点亮屏幕,从而减少电子设备的无效亮屏,降低电子设备的功耗。其中,具体的电子设备的屏幕控制方法在后续的实施例中进行详细的说明。
27.请参阅图1,图1示出了本技术一实施例提供的电子设备的屏幕控制方法的流程示意图。该方法用于通过在电子设备息屏时的姿态数据满足预设姿态数据时进行人眼注视检测,并在确定人眼注视点位于屏幕内时点亮屏幕,从而减少电子设备的无效亮屏,降低电子设备的功耗。在具体的实施例中,该电子设备的屏幕控制方法应用于如图12所示的电子设备的屏幕控制装置200以及配置有电子设备的屏幕控制装置200的电子设备100(图13)。下面将以电子设备为例,说明本实施例的具体流程,当然,可以理解的,本实施例所应用的电子设备可以为智能手机、平板电脑、穿戴式电子设备等,在此不做限定。下面将针对图1所示的流程进行详细的阐述,所述电子设备的屏幕控制方法具体可以包括以下步骤:
28.步骤s110:当所述电子设备的屏幕处于息屏状态时,检测所述电子设备的姿态数据。
29.在本实施例中,可以对电子设备的屏幕是否处于息屏状态进行检测,其中,当检测到该电子设备的屏幕处于息屏状态时,则可以检测该电子设备的姿态数据。
30.在一些实施方式中,可以对电子设备的屏幕的亮度进行检测,当检测到该屏幕的亮度高于预设亮度时,则可以认为该电子设备的屏幕未处于息屏状态,当检测到该屏幕的亮度不高于预设亮度时,则可以认为该电子设备的屏幕处于息屏状态。作为一种方式,该预设亮度可以在电子设备出厂设置时配置完成,可以在使用过程中根据用户的喜好设置完成,也可以在使用过程中根据属性或环境自行设置完成等,在此不做限定。例如,可以根据电子设备的剩余电量进行预设亮度的设置,剩余亮度较高时的预设亮度可以设置为大于剩余亮度较低时的预设亮度。在本技术一实施例中,该预设亮度可以为0。
31.在一些实施方式中,可以对电子设备的屏幕的状态值进行检测。其中,该电子设备的屏幕的状态值可以包括第一状态值和第二状态值,在第一状态值下电子设备的屏幕处于息屏状态,在第二状态值下电子设备的屏幕处于亮屏状态。因此,当检测到电子设备的屏幕的状态值为第一状态值时,则可以确定电子设备的屏幕处于息屏状态,当检测到电子设备的屏幕的状态值为第二状态值时,则可以确定电子设备的屏幕处于亮屏状态。
32.在一些实施方式中,可以通过设置于该电子设备内的三轴传感器检测到参数中的x轴、y轴以及z轴的重力加速度和旋转角速度(共6个参数)进行动作检测,获得电子设备的姿态数据。
33.在一些实施方式中,可以通过设置于该电子设备内的姿态检测模块(三轴传感器)进行姿态数据的检测获取,如陀螺仪或加速度传感器等可进行姿态检测的传感器。具体地,以陀螺仪为例,根据所述陀螺仪的定轴性以及电子设备相对于陀螺仪转轴方向的已知的预设姿态,当电子设备的姿态与预设姿态之间出现差别,产生俯仰、偏航或横滚的某一方向的运动时,因为该陀螺仪的转轴保持方向不变,检测到电子设备相对于转轴的角度关系与预设姿态相对于转轴的角度关系发生变化,则可以确定电子设备的姿态变化,确定电子设备的当前姿态,作为电子设备的姿态数据。
34.步骤s120:当所述姿态数据满足预设姿态数据时,通过所述电子设备的摄像头采集人脸图像。
35.在一些实施例中,电子设备可以预先设置并存储有预设姿态数据,该预设姿态数据用于作为该电子设备的姿态数据的判断依据。因此,在本实施例中,在获得电子设备的姿态数据后,可以将电子设备的姿态数据与预设姿态数据进行对比,以判断该电子设备的姿
态数据是否满足预设姿态数据。其中,当该电子设备的姿态数据满足预设姿态数据时,则可以认为该电子设备由平放状态进入竖直或斜直状态,当该电子设备的姿态数据不满足预设姿态数据时,则可以认为该电子设备未由平放状态进入竖直或斜直状态。
36.在一些实施方式中,当确定该电子设备的姿态数据满足预设姿态数据时,则可以通过电子设备的摄像头采集人脸图像。其中,电子设备的摄像头可以为前置摄像头,则当确定该电子设备的姿态数据满足预设姿态数据时,可以通过电子设备的前置摄像头采集人脸图像。其中,电子设备的摄像头可以为旋转摄像头,则当确定该电子设备的姿态数据满足预设姿态数据时,可以通过电子设备的旋转摄像头旋转至朝向前方采集人脸图像。
37.在一些实施方式中,该摄像头可以为电子设备内置的常开装置(always on),其中,常开装置可以为一个低功耗的能够保持常开的图像采集装置和声音采集装置。
38.在一些实施方式中,可以控制摄像头实时进行人脸图像采集;可以控制摄像头按预设时间间隔进行人脸图像采集;可以控制摄像头按预设时间点进行人脸图像采集;可以控制摄像头可以基于操作指令进行人脸图像采集;可以控制摄像头按其他预设规则进行人脸图像采集等,在此不做限定。
39.步骤s130:通过神经网络模型处理所述人脸图像,获得人眼的注视点位置。
40.在本实施例中,可以预先获得神经网络模型,该神经网络模型可以用于进行注视点位置检测。在一实施方式中,在获取人脸图像后,可以将人脸图像输入神经网络模型,获得该神经网络模型输出的信息。
41.在一些实施方式中,神经网络模型可以由电子设备训练完成后存储在该电子设备,也可以由其他设备或者服务器训练完成后存储在该电子设备等,在此不做限定。其中,在神经网络模型存储在该电子设备本地的情况下,则在获取到人脸图像后,可以直接在电子设备本地调用该神经网络模型,例如,可以直接发送指令至神经网络模型,以指示该神经网络模型在目标存储区域读取该人脸图像,或者电子设备可以直接将该人脸图像输入存储在本地的神经网络模型,从而有效避免由于网络因素的影响降低人脸图像输入神经网络模型的速度,以提升神经网络模型获取人脸图像的速度,提升用户体验。
42.在一些实施方式中,神经网络模型可以由电子设备训练完成后存储在服务器,也可以由其他设备或者服务器训练完成后存储在服务器等,在此不做限定。其中,在神经网络模型存储在服务器的情况下,则可以获取到人脸图像后,可以通过网络发送指令至存储在服务器的神经网络模型,以指示该神经网络模型通过网络读取电子设备的摄像头采集的人脸图像,或者电子设备可以通过网络将人脸图像发送至存储在服务器的神经网络模型,从而通过将神经网络模型存储在服务器的方式,减少对电子设备的存储空间的占用,降低对电子设备正常运行的影响。
43.在本技术一实施例中,由于神经网络模型可以用于进行注视点位置检测。因此,当神经网络模型检测到人脸图像中包括眼睛图像时,则该神经网络模型输出的信息可以包括人眼的注视点位置,在此不再赘述。
44.步骤s140:当基于所述注视点位置确定所述注视点位于所述屏幕内时,控制所述屏幕从处于息屏状态切换为处于亮屏状态。
45.在本实施例中,在获得该人眼的注视点位置后,则可以基于该人眼的注视点位置判断该注视点是否位于屏幕内。其中,当基于该注视点位置确定该注视点位于屏幕内时,可
以认为用户期望查看电子设备的内容,则可以控制屏幕从处于息屏状态切换为处于亮屏状态。其中,当基于该注视点位于确定该注视单未位于屏幕内时,可以认为用户不期望查看电子设备的内容,则可以控制屏幕保持息屏状态。
46.在一些实施方式中,在获得注视点位置后,可以获取屏幕对应的显示区域。当注视点位置在显示区域内时,则可以确定注视点位于屏幕内,当注视点位于在显示区域外时,则可以确定注视点未位于屏幕内。
47.请参阅图2,图2示出了本技术实施例提供的第一种场景示意图。如图2所示,用户握持电子设备100,此时,电子设备100处于竖屏显示状态,且用户的注视点位置不在屏幕上,此时,可以保持电子设备的屏幕处于息屏状态。
48.请参阅图3,图3示出了本技术实施例提供的第二种场景示意图。如图3所示,用户握持电子设备100,此时,电子设备100处于横屏显示状态,且用户的注视点位置不在屏幕上,此时,可以保持电子设备的屏幕处于息屏状态。
49.请参阅图4,图4示出了本技术实施例提供的第三种场景示意图。如图4所示,用户握持电子设备100,此时,电子设备100处于竖屏显示状态,且用户的注视点位置在屏幕上,此时,可以控制电子设备的屏幕从处于息屏状态切换为处于亮屏状态。
50.请参阅图5,图5示出了本技术实施例提供的第四种场景示意图。如图5所示,用户握持电子设备100,此时,电子设备100处于横屏显示状态,且用户的注视点位置在屏幕上,此时,可以控制电子设备的屏幕从处于息屏状态切换为处于亮屏状态。
51.本技术一实施例提供的电子设备的屏幕控制方法,当电子设备的屏幕处于息屏状态时,检测电子设备的姿态数据,当该姿态数据满足预设姿态数据时,通过电子设备的摄像头采集人脸图像,通过神经网络模型处理该人脸图像,获得人眼的注视点位置,当基于注视点位置确定注视点位于屏幕内时,控制屏幕从息屏状态切换为亮屏状态。本技术通过在电子设备息屏时的姿态数据满足预设姿态数据时进行人眼注视检测,并在确定人眼注视点位于屏幕内时点亮屏幕,从而减少电子设备的无效亮屏,降低电子设备的功耗。
52.请参阅图6,图6示出了本技术一实施例提供的电子设备的屏幕控制方法的流程示意图。该方法应用于上述电子设备,在本实施例中,该息屏状态包括息屏且锁定状态,下面将针对图6所示的流程进行详细的阐述,所述电子设备的屏幕控制方法具体可以包括以下步骤:
53.步骤s210:当所述电子设备的屏幕处于息屏状态时,检测所述电子设备的姿态数据。
54.步骤s220:当所述姿态数据满足预设姿态数据时,通过所述电子设备的摄像头采集人脸图像。
55.步骤s230:通过神经网络模型处理所述人脸图像,获得人眼的注视点位置。
56.步骤s240:当基于所述注视点位置确定所述注视点位于所述屏幕内时,控制所述屏幕从处于息屏状态切换为处于亮屏状态。
57.其中,步骤s210

步骤s240的具体描述请参阅步骤s110

步骤s140,在此不再赘述。
58.步骤s250:从所述人脸图像中提取人脸特征信息。
59.在一些实施方式中,当电子设备的屏幕切换为亮屏状态后,则可以从采集到的人脸图像中提取人脸特征信息。
60.作为一种方式,当电子设备的屏幕切换为亮屏状态后,则可以判断该采集到的人脸图像是否为完整的人脸图像。其中,当确定采集到的人脸图像为完整的人脸图像时,则可以从人脸图像中提取人脸特征信息,当确定采集到的人脸图像不是完整的人脸图像时,则可以不对人脸图像进行人脸特征信息的提取,并重新采集人脸图像。
61.步骤s260:当所述人脸特征信息与预设人脸特征信息匹配时,控制所述屏幕解锁。
62.在一些实施方式中,电子设备可以预先设置并存储有预设人脸特征信息,该预设人脸特征信息用于作为该电子设备采集到的人脸图像的人脸特征信息的判断依据。因此,在本实施例中,在获得人脸特征信息后,可以将人脸特征信息与预设人脸特征信息进行比较,以判断该人脸特征信息是否与预设人脸特征信息匹配。其中,当该人脸特征信息与预设人脸特征信息匹配时,则可以认为该电子设备采集到的人脸图像对应的用户为电子设备对应的用户(真实用户、认证用户等),则可以控制屏幕解锁,以方便用户无感解锁,提升用户的交互体验。其中,当该人脸特征信息与预设人脸特征信息不匹配时,则可以认为该电子设备采集到的人脸图像对应的用户不是电子设备对应的用户,则可以控制屏幕保持锁定,以提升电子设备的信息安全。
63.本技术一实施例提供的电子设备的屏幕控制方法,相较于图1所示的电子设备的屏幕控制方法,本实施例还在电子设备的屏幕处于息屏且锁定状态下点亮后,从人脸图像中提取人脸特征信息,当人脸特征信息与预设人脸特征信息匹配时,控制屏幕解锁,从而在解锁场景下,减少用户需要手动唤醒屏幕的操作,有利于无感交互的实现。
64.请参阅图7,图7示出了本技术一实施例提供的电子设备的屏幕控制方法的流程示意图。该方法应用于上述电子设备,下面将针对图7所示的流程进行详细的阐述,所述电子设备的屏幕控制方法具体可以包括以下步骤:
65.步骤s310:当所述电子设备的屏幕处于息屏状态时,检测所述电子设备的姿态数据作为第一姿态数据。
66.在一些实施方式中,当电子设备的屏幕处于息屏状态时,则可以通过电子设备内置的姿态检测模型进行其姿态数据的检测,将检测到的电子设备的姿态数据作为第一姿态数据。
67.步骤s320:当所述电子设备的姿态数据发生变化时,检测所述电子设备变化后的姿态数据作为第二姿态数据。
68.在一些实施方式中,在电子设备的屏幕处于息屏状态的过程中,可以检测该电子设备的姿态数据是否发生变化,其中,当检测到该电子设备的姿态数据发生变化时,则可以通过电子设备内置的姿态检测模块检测其变化后的姿态数据,并将检测到的变化后的姿态数据作为第二姿态数据。
69.作为一种方式,电子设备的姿态数据发生变化可以包括:电子设备的偏转角度大于预设偏转角度,电子设备的移动距离大于预设移动距离,电子设备的偏转距离大于预设偏转距离等,在此不做限定。
70.步骤s330:获取所述第一姿态数据对应的第一偏转角度,其中,所述第一偏转角度为所述电子设备与水平面的角度。
71.在一些实施方式中,电子设备在获得第一姿态数据后,则可以获取该第一姿态数据对应的第一偏转角度。作为一种方式,该第一偏转角度可以为电子设备与水平面的角度,
也可以为电子设备与竖直面的角度,还可以为电子设备与其他固定参数物的角度等,在此不做限定。在本实施例中,以第一偏转角度为电子设备与水平面的角度为例进行说明。
72.步骤s340:获取所述第二姿态数据对应的第二偏转角度,其中,所述第二偏转角度为所述电子设备与水平面的角度。
73.在一些实施方式中,电子设备在获得第二姿态数据后,则可以获取该第二姿态数据对应的第二偏转角度。作为一种方式,该第二偏转角度可以为电子设备与水平面的角度,也可以为电子设备与竖直面的角度,还可以为电子设备与其他固定参数物的角度等,在此不做限定。在本实施例中,以第二偏转角度为电子设备与水平面的角度为例进行说明。
74.步骤s350:当所述第一偏转角度小于预设角度且所述第二偏转角度与所述第一偏转角度之间的差值大于预设差值时,确定所述第一姿态数据和所述第二姿态数据之间的关系满足所述预设关系。
75.在本实施例中,电子设备在获得第一偏转角度和第二偏转角度后,则可以对第一偏转角度,以及第一偏转角度和第二偏转角度之间的差值进行判断。其中,当确定该第一偏转角度小于预设角度且该第二偏转角度与第一偏转角度之间的差值大于预设差值时,则可以确定该第一姿态数据和第二姿态数据之间的关系满足预设关系。
76.在一些实施方式中,电子设备可以预先设置并存储有预设角度,该预设角度用于作为第一偏转角度的判断依据。因此,在本实施例中,在获得该第一偏转角度后,则可以将第一偏转角度与预设角度进行比较,以判断该第一偏转角度是否小于预设角度。其中,当该第一偏转角度小于预设角度时,则可以确定该电子设备处于放置状态(平放状态)。
77.在一些实施方式中,电子设备可以预先设置并存储有预设差值,该预设差值用于作为第二偏转角度和第一偏转角度之间的差值的判断依据。因此,在本实施例中,在获得第一偏转角度和第二偏转角度后,则可以计算第二偏转角度和第一偏转角度之间的差值,并判断该第二偏转角度和第一偏转角度之间的差值是否大于预设差值。其中,当该第一偏转角度小于预设角度且第二偏转角度和第一偏转角度之间的差值大于预设差值时,确定第一姿态数据和第二姿态数据之间的关系满足预设关系,则可以认为电子设备从放置状态切换为竖直状态或斜直状态,即,电子设备被拿起。
78.步骤s360:当所述第一姿态数据和所述第二姿态数据之间的关系满足预设关系时,确定所述姿态数据满足预设姿态数据。
79.在本实施例中,当第一姿态数据和第二姿态数据之间的关系满足预设关系时,即,确定电子设备从放置状态切换为竖直状态或斜直状态,可以认为姿态数据满足预设姿态数据。
80.步骤s370:当所述姿态数据满足预设姿态数据时,通过所述电子设备的摄像头采集人脸图像。
81.步骤s380:通过神经网络模型处理所述人脸图像,获得人眼的注视点位置。
82.步骤s390:当基于所述注视点位置确定所述注视点位于所述屏幕内时,控制所述屏幕从处于息屏状态切换为处于亮屏状态。
83.其中,步骤s370

步骤s390的具体描述请参阅步骤s120

步骤s140,在此不再赘述。
84.本技术一实施例提供的电子设备的屏幕控制方法,相较于图1所示的电子设备的屏幕控制方法,本实施例还在电子设备的屏幕息屏时,检测电子设备的姿态数据作为第一
姿态数据,当电子设备的姿态数据发生变化时,检测变化后的姿态数据作为第二姿态数据,获取第一姿态数据对应的第一偏转角度,获取第二姿态数据对应的第二偏转角度,当第一偏转角度小于预设角度且第二偏转角度与第一偏转角度之间的差值大于预设差值时,确定姿态数据满足预设姿态数据,即,确定电子设备从放置状态切换为拿起状态,此时,可以点亮电子设备的屏幕,从而减少电子设备的无效亮屏,降低电子设备的功耗。
85.请参阅图8,图8示出了本技术一实施例提供的电子设备的屏幕控制方法的流程示意图。该方法应用于上述电子设备,下面将针对图8所示的流程进行详细的阐述,所述电子设备的屏幕控制方法具体可以包括以下步骤:
86.步骤s410:当所述电子设备的屏幕处于息屏状态时,检测所述电子设备的姿态数据。
87.步骤s420:当所述姿态数据满足预设姿态数据时,通过所述电子设备的摄像头采集人脸图像。
88.步骤s430:通过神经网络模型处理所述人脸图像,获得人眼的注视点位置。
89.其中,步骤s410

步骤s430的具体描述请参阅步骤s110

步骤s130,在此不再赘述。
90.步骤s440:基于所述注视点位置,获取所述注视点位置与所述摄像头的距离。
91.在一些实施方式中,摄像头的位置可以是已知且固定的,因此,在获得注视点位置后,可以基于该注视点位置和摄像头的位置,获取注视点位置与摄像头的距离。
92.请参阅图9,图9示出了本技术的图8所示的电子设备的屏幕控制方法的步骤s440的流程示意图。下面将针对图9所示的流程进行详细的阐述,所述方法具体可以包括以下步骤:
93.步骤s441:获取所述注视点位置在目标坐标系下对应的坐标信息,其中,所述目标坐标系以所述摄像头的中心位置为原点建立。
94.作为一种可实施的方式,电子设备可以预先以摄像头的中心为原点建立坐标系,作为目标坐标系。例如,电子设备可以预先以摄像头的中心为原点、以电子设备的纵轴为x轴、以电子设备的横轴为y轴建立坐标系,作为目标坐标系。又例如,电子设备可以预先以摄像头的中心为原点、以电子设备的横轴为x轴、以电子设备的纵轴为y轴建立坐标系,作为目标坐标系。
95.在一些实施方式中,神经网络模型输出的注视点位置可以为注视点在目标坐标系下的坐标信息,因此,在获得神经网络模型输出的注视点位置时,则可以获取该注视点位置在该目标坐标系下的坐标信息。
96.步骤s442:基于所述坐标信息,获取所述注视点位置与所述摄像头的距离。
97.其中,目标坐标系在建立完成后,可以确定电子设备的屏幕在目标坐标系下的坐标范围以及确定屏幕上的各个位置在目标坐标系下的坐标信息。因此,在本实施例中,在获得注视点位置在目标坐标系下的坐标信息后,可以将注视点位置在目标坐标系下的坐标信息与坐标范围进行比较,以判断该注视点位置在目标坐标系下的坐标信息是否在坐标范围内。其中,当判断到该注视点位置在目标坐标系下的坐标信息在坐标范围内时,则可以确定该注视点位置在屏幕上,则可以将电子设备的屏幕从息屏状态切换为亮屏状态。其中,当判断到该注视点位置在目标坐标系下的坐标信息不在坐标范围内时,则可以确定该注视点位置不在屏幕上,则可以保持电子设备的屏幕处于息屏状态。
98.在一些实施方式中,由于目标坐标系是以摄像头的中心为原点建立的,所以摄像头的坐标信息可以默认为(0,0),因此,在获得注视点位置对应的坐标信息后,可以基于该坐标信息确定注视点位于与摄像头的距离。
99.步骤s450:当基于所述距离确定所述注视点位于所述屏幕内时,控制所述屏幕从处于息屏状态切换为处于亮屏状态。
100.在本实施例中,在获得该注视点位置与摄像头的距离后,则可以基于该距离判断该注视点是否位于屏幕内。其中,当基于该距离确定该注视点位于屏幕内时,则可以控制屏幕从息屏状态切换为亮屏状态,当基于该距离确定该注视点没有位于屏幕内时,则可以保持屏幕处于息屏状态。
101.本技术一实施例提供的电子设备的屏幕控制方法,相较于图1所示的电子设备的屏幕控制方法,本实施例还基于注视点位置,获取注视点位置与摄像头的距离,当基于该距离确定注视点位于屏幕内时,控制屏幕从息屏状态切换为亮屏状态,从而提升注视点确定的准确性以及屏幕点亮的准确性。
102.请参阅图10,图10示出了本技术一实施例提供的电子设备的屏幕控制的方法的流程示意图。该方法应用于上述电子设备,下面将针对图10所示的流程进行详细的阐述,所述电子设备的屏幕控制方法具体可以包括以下步骤:
103.步骤s510:当所述电子设备的屏幕处于息屏状态时,检测所述电子设备的姿态数据。
104.步骤s520:当所述姿态数据满足预设姿态数据时,通过所述电子设备的摄像头采集人脸图像。
105.步骤s530:通过神经网络模型处理所述人脸图像,获得人眼的注视点位置。
106.其中,步骤s510

步骤s530的具体描述请参阅步骤s110

步骤s130,在此不再赘述。
107.步骤s540:基于所述注视点位置和所述摄像头的位置,获取所述注视点位置与所述摄像头的位置的相对距离和相对方向。
108.在一些实施方式中,电子设备可以预先设置并存储有摄像头的位置,在神经网络模型输出的信息包括眼球的注视点位置时,则可以基于该注视点位置和摄像头的位置,获取该注视点位置与摄像头的位置的相对距离和相对方向。作为一种方式,电子设备可以预先设置并存储有摄像头的中心的坐标信息,在神经网络模型输出的信息包括眼球的注视点位置的坐标信息时,则可以通过换算单个屏幕像素代表的真实物理距离,来计算该注视点位置到摄像头的中心的距离,作为注视点位置与摄像头的位置的相对距离。作为一种方式,电子设备可以预先设置并存储有摄像头的中心的坐标信息,在神经网络模型输出的信息包括眼球的注视点位置的坐标信息时,可以根据摄像头的中心的坐标信息和注视点位置的坐标信息,确定该注视点位置与摄像头的中心的方向,作为注视点位置与摄像头的位置的相对方向。
109.步骤s550:当基于所述相对距离和所述相对方向确定所述注视点在所述屏幕内时,控制所述屏幕从处于息屏状态切换为处于亮屏状态。
110.其中,在获得注视点位置与摄像头的位置的相对距离和相对方向后,则可以基于该相对距离和相对方向,确定注视点是否位于屏幕内,并在确定注视点在屏幕内时,控制屏幕从息屏状态切换为亮屏状态。
111.例如,摄像头设置于屏幕的顶部,当注视点位置相对摄像头的位置的相对方向为从屏幕顶部到屏幕底部的方向,且相对距离为l1时。如果电子设备的屏幕的长度为l2,且l2>l1时,则可以确定注视点位于屏幕内。如果电子设备的屏幕的长度为l3,且l1>l3时,则可以确定注视点未位于屏幕内。
112.又例如,摄像头设置于屏幕的顶部,当注视点位置相对摄像头的位置的相对方向为从屏幕底部到屏幕顶部的方向,则可以确定该注视点未位于屏幕内。
113.本技术一实施例提供的电子设备的屏幕控制方法,相较于图1所示的电子设备的屏幕控制方法,本实施例还基于注视点位置和摄像头的位置,获取注视点位置与摄像头的位置的相对距离和相对方向,当基于该相对距离和相对方向确定注视点在屏幕内时,控制屏幕从处于息屏状态切换为处于亮屏状态,从而提升注视点确定的准确性以及屏幕点亮的准确性。
114.请参阅图11,图11示出了本技术一实施例提供的电子设备的屏幕控制的方法的流程示意图。该方法应用于上述电子设备,下面将针对图11所示的流程进行详细的阐述,所述电子设备的屏幕控制方法具体可以包括以下步骤:
115.步骤s610:获取训练数据集,其中,所述训练数据集包括多个训练图像以及与所述多个训练图像各自对应的注视点位置。
116.在本实施例中,可以获取训练数据集。该训练数据集包括多个训练图像和多个注视点位置,其中,多个训练图像和多个注视点位置一一对应,即,多个训练图像中的每个训练图像均对应多个注视点位置中的一个注视点位置。
117.在一些实施方式中,多个训练图像可以由电子设备的摄像头拍摄获得,可以由电子设备的本地存储获得,可以由电子设备从其他设备获得,也可以由电子设备从服务器获得等,在此不做限定。
118.其中,多个注视点位置可以由用户在训练图像上手动进行标注,也可以由电子设备在训练图像上自动进行标注,在此不做限定。
119.作为一种方式,可以在训练图像中加入用于标识注视点位置的标注框形成带有标注框的标注图像,也可以以xml格式文件的形式标注训练图像,在此不做限定。
120.步骤s620:基于所述多个训练图像和与所述多个训练图像各自对应的注视点位置,对预设模型进行训练获得神经网络模型。
121.在本实施例中,在获取训练数据集后,可以基于该训练数据集,对预设模型就行训练获得注视点检测模型。作为一种方式,在获取多个训练图像和与多个训练图像各自对应的注视点位置后,可以基于该多个训练图像与多个训练图像各自对应的注视点位置,对预设模型进行训练获得注视点检测模型。例如,在获取一一对应的多个训练图像和多个注视点位置后,可以将多个训练图像作为输入参数,将多个注视点位置作为输出参数,对预设模型进行训练获得神经网络模型。
122.另外,在训练获得神经网络模型后,还可以对该神经网络模型的准确性进行验证,并判断该神经网络模型基于输入数据的输出信息是否满足预设要求,当该神经网络模型基于输入数据的输出信息不满足预设要求时,可以重新采集训练数据集对预设模型进行训练,或者再获取多个训练数据集对已训练的神经网络模型进行校正,使得误差尽量接近0。作为一种方式,该预设模型可以为卷积神经网络。
123.步骤s630:当所述电子设备的屏幕处于息屏状态时,检测所述电子设备的姿态数据。
124.步骤s640:当所述姿态数据满足预设姿态数据时,通过所述电子设备的摄像头采集人脸图像。
125.步骤s650:通过神经网络模型处理所述人脸图像,获得人眼的注视点位置。
126.步骤s660:当基于所述注视点位置确定所述注视点位于所述屏幕内时,控制所述屏幕从处于息屏状态切换为处于亮屏状态。
127.其中,步骤s630

步骤s640的具体描述请参阅步骤s110

步骤s140,在此不再赘述。
128.本技术一实施例提供的电子设备的屏幕控制方法,相较于图1所示的电子设备的屏幕控制方法,本实施例还获取训练数据集,基于训练数据集中的多个训练图像和多个训练图像各自对应的注视点位置,对预设模型进行训练获得神经网络模型,从而提升通过模型检测到的注视点位置的准确性。
129.请参阅图12,图12示出了本技术一实施例提供的电子设备的屏幕控制装置的模块框图。该电子设备的屏幕控制装置200应用于上述电子设备,下面将针对图12所示的框图进行阐述,所述电子设备的屏幕控制装置200包括:姿态数据检测模块210、人脸图像采集模块220、注视点位置获得模块230以及屏幕控制模块240,其中:
130.姿态数据检测模块210,用于当所述电子设备的屏幕处于息屏状态时,检测所述电子设备的姿态数据。
131.进一步地,所述姿态数据检测模块210包括:第一姿态数据检测子模块、第二姿态数据检测子模块以及姿态数据确定子模块,其中:
132.第一姿态数据检测子模块,用于当所述电子设备的屏幕处于息屏状态时,检测所述电子设备的姿态数据作为第一姿态数据。
133.第二姿态数据检测子模块,用于当所述电子设备的姿态数据发生变化时,检测所述电子设备变化后的姿态数据作为第二姿态数据。
134.姿态数据确定子模块,用于当所述第一姿态数据和所述第二姿态数据之间的关系满足预设关系时,确定所述姿态数据满足预设姿态数据。
135.进一步地,所述姿态数据检测模块210包括:第一偏转角度获取子模块、第二偏转角度获取子模块以及偏转角度确定子模块,其中:
136.第一偏转角度获取子模块,用于获取所述第一姿态数据对应的第一偏转角度,其中,所述第一偏转角度为所述电子设备与水平面的角度。
137.第二偏转角度获取子模块,用于获取所述第二姿态数据对应的第二偏转角度,其中,所述第二偏转角度为所述电子设备与水平面的角度。
138.偏转角度确定子模块,用于当所述第一偏转角度小于预设角度且所述第二偏转角度与所述第一偏转角度之间的差值大于预设差值时,确定所述第一姿态数据和所述第二姿态数据之间的关系满足所述预设关系。
139.人脸图像采集模块220,用于当所述姿态数据满足预设姿态数据时,通过所述电子设备的摄像头采集人脸图像。
140.注视点位置获得模块230,用于通过神经网络模型处理所述人脸图像,获得人眼的注视点位置。
141.屏幕控制模块240,用于当基于所述注视点位置确定所述注视点位于所述屏幕内时,控制所述屏幕从处于息屏状态切换为处于亮屏状态。
142.进一步地,所述屏幕控制模块240包括:距离获取子模块和第一屏幕控制子模块,其中:
143.距离获取子模块,用于基于所述注视点位置,获取所述注视点位置与所述摄像头的距离。
144.进一步地,所述距离获取子模块包括:坐标信息获取单元和距离获取单元,其中:
145.坐标信息获取单元,用于获取所述注视点位置在目标坐标系下对应的坐标信息,其中,所述目标坐标系以所述摄像头的中心位置为原点建立。
146.距离获取单元,用于基于所述坐标信息,获取所述注视点位置与所述摄像头的距离。
147.第一屏幕控制子模块,用于当基于所述距离确定所述注视点位于所述屏幕内时,控制所述屏幕从处于息屏状态切换为处于亮屏状态。
148.进一步地,所述屏幕控制模块240包括:相对关系获取子模块和第二屏幕控制子模块,其中:
149.相对关系获取子模块,用于基于所述注视点位置和所述摄像头的位置,获取所述注视点位置与所述摄像头的位置的相对距离和相对方向。
150.第二屏幕控制子模块,用于当基于所述相对距离和所述相对方向确定所述注视点在所述屏幕内时,控制所述屏幕从处于息屏状态切换为处于亮屏状态。
151.进一步地,所述电子设备的屏幕控制装置200还包括:人脸特征信息提取模块和屏幕解锁模块,其中:
152.人脸特征信息提取模块,用于从所述人脸图像中提取人脸特征信息。
153.屏幕解锁模块,用于当所述人脸特征信息与预设人脸特征信息匹配时,控制所述屏幕解锁。
154.进一步地,所述电子设备的屏幕控制装置200还包括:训练数据集获取模块和模型训练模块,其中:
155.训练数据集获取模块,用于获取训练数据集,其中,所述训练数据集包括多个训练图像以及与所述多个训练图像各自对应的注视点位置。
156.模型训练模块,用于基于所述多个训练图像和与所述多个训练图像各自对应的注视点位置,对预设模型进行训练获得神经网络模型。
157.所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述装置和模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
158.在本技术所提供的几个实施例中,模块相互之间的耦合可以是电性,机械或其它形式的耦合。
159.另外,在本技术各个实施例中的各功能模块可以集成在一个处理模块中,也可以是各个模块单独物理存在,也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。
160.请参阅图13,其示出了本技术实施例提供的一种电子设备100的结构框图。该电子设备100可以是智能手机、平板电脑、电子书等能够运行应用程序的电子设备。本技术中的
电子设备100可以包括一个或多个如下部件:处理器110、存储器120以及一个或多个应用程序,其中一个或多个应用程序可以被存储在存储器120中并被配置为由一个或多个处理器110执行,一个或多个程序配置用于执行如前述方法实施例所描述的方法。
161.其中,处理器110可以包括一个或者多个处理核。处理器110利用各种接口和线路连接整个电子设备100内的各个部分,通过运行或执行存储在存储器120内的指令、程序、代码集或指令集,以及调用存储在存储器120内的数据,执行电子设备100的各种功能和处理数据。可选地,处理器110可以采用数字信号处理(digital signal processing,dsp)、现场可编程门阵列(field-programmable gate array,fpga)、可编程逻辑阵列(programmable logic array,pla)中的至少一种硬件形式来实现。处理器110可集成中央处理器(central processing unit,cpu)、图形处理器(graphics processing unit,gpu)和调制解调器等中的一种或几种的组合。其中,cpu主要处理操作系统、用户界面和应用程序等;gpu用于负责待显示内容的渲染和绘制;调制解调器用于处理无线通信。可以理解的是,上述调制解调器也可以不集成到处理器110中,单独通过一块通信芯片进行实现。
162.存储器120可以包括随机存储器(random access memory,ram),也可以包括只读存储器(read

only memory)。存储器120可用于存储指令、程序、代码、代码集或指令集。存储器120可包括存储程序区和存储数据区,其中,存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现下述各个方法实施例的指令等。存储数据区还可以存储电子设备100在使用中所创建的数据(比如电话本、音视频数据、聊天记录数据)等。
163.请参阅图14,其示出了本技术实施例提供的一种计算机可读存储介质的结构框图。该计算机可读介质300中存储有程序代码,所述程序代码可被处理器调用执行上述方法实施例中所描述的方法。
164.计算机可读存储介质300可以是诸如闪存、eeprom(电可擦除可编程只读存储器)、eprom、硬盘或者rom之类的电子存储器。可选地,计算机可读存储介质300包括非易失性计算机可读介质(non

transitory computer

readable storage medium)。计算机可读存储介质300具有执行上述方法中的任何方法步骤的程序代码310的存储空间。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码310可以例如以适当形式进行压缩。
165.综上所述,本技术实施例提供的电子设备的屏幕控制方法、装置、电子设备以及存储介质,当电子设备的屏幕处于息屏状态时,检测电子设备的姿态数据,当该姿态数据满足预设姿态数据时,通过电子设备的摄像头采集人脸图像,通过神经网络模型处理该人脸图像,获得人眼的注视点位置,当基于注视点位置确定注视点位于屏幕内时,控制屏幕从息屏状态切换为亮屏状态。本技术通过在电子设备息屏时的姿态数据满足预设姿态数据时进行人眼注视检测,并在确定人眼注视点位于屏幕内时点亮屏幕,从而减少电子设备的无效亮屏,降低电子设备的功耗。
166.最后应说明的是:以上实施例仅用以说明本技术的技术方案,而非对其限制;尽管参照前述实施例对本技术进行了详细的说明,本领域的普通技术人员当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不驱使相应技术方案的本质脱离本技术各实施例技术方案的精神和
范围。
再多了解一些

本文用于企业家、创业者技术爱好者查询,结果仅供参考。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献