一种终端控制方法、装置、终端及存储介质与流程

1.本技术涉及终端技术，尤其涉及一种终端控制方法、装置、终端及存储介质。


背景技术：

2.目前越来越多的终端都配置了全面屏或多面屏，大尺寸的显示区域使终端能够实现多任务的同时显示，但对于多任务交互场景在对每一个任务进行控制操作时，现有的控制过程较为复杂。


技术实现要素：

3.为解决上述技术问题，本技术实施例期望提供一种终端控制方法、装置、终端及存储介质。
4.本技术的技术方案是这样实现的：
5.第一方面，提供了一种终端控制方法，该方法包括：
6.控制图像采集单元采集用户面部图像，并确定所述面部图像中的人眼位置区域；
7.采用瞳孔空间形态的视线追踪策略对所述人眼位置区域内的人眼图像进行处理，确定人眼视线方向；
8.基于所述人眼视线方向，确定所述人眼视线方向与终端显示区域交汇的目标显示子区域；
9.基于所述人眼位置区域内的人眼图像，确定人眼运动信息；其中，所述人眼运动信息用于表征人眼状态的变化规律；
10.基于所述人眼运动信息，执行对所述目标显示子区域内目标任务的控制操作。
11.上述方案中，所述确定所述面部图像中的人眼位置区域，包括：从采集到的面部图像中提取面部特征信息，并利用所述面部特征信息确定人眼位置的初始区域；基于虹膜检测技术，从所述人眼位置的初始区域中搜索到虹膜外边界；将所述虹膜外边界围成的区域作为所述人眼位置区域。
12.上述方案中，所述采用瞳孔空间形态的视线追踪策略对所述人眼位置区域内的人眼图像进行处理，确定人眼视线方向；包括：对所述人眼图像中的瞳孔中心进行定位，得到瞳孔中心坐标；椭圆拟合瞳孔边缘点，配准瞳孔边缘特征点，得到瞳孔边缘点空间坐标；利用所述瞳孔边缘点空间坐标拟合瞳孔平面方程；基于所述瞳孔平面方程和所述瞳孔中心坐标，得到人眼视线方向。
13.上述方案中，所述利用所述瞳孔边缘点空间坐标拟合瞳孔平面方程，包括：采用最小二乘法对所述瞳孔边缘点空间坐标进行拟合，得到所述瞳孔平面方程。
14.上述方案中，所述基于所述瞳孔平面方程和所述瞳孔中心坐标，得到人眼视线方向，包括：基于所述瞳孔平面方程和所述瞳孔中心坐标，得到所述瞳孔中心的法线方向；将所述瞳孔中心的法线方向作为所述人眼视线方向。
15.上述方案中，所述基于所述人眼运动信息，执行对所述目标显示子区域内目标任
务的控制操作，包括：从所述至少一种控制条件中确定所述人眼运动信息所满足的目标控制条件；基于控制条件和控制操作的对应关系，确定所述目标控制条件对应的目标控制操作；控制所述目标任务执行所述目标控制操作。
16.上述方案中，所述至少一种控制条件包括：眨眼次数为预设时间段内眨眼n次；其中，n取正整数；眨眼动作为预设的眨眼动作。
17.第二方面，提供了一种终端控制装置，该装置包括：
18.控制单元，用于控制图像采集单元采集用户面部图像；
19.第一处理单元，用于确定所述面部图像中的人眼位置区域；采用瞳孔空间形态的视线追踪策略对所述人眼位置区域内的人眼图像进行处理，确定人眼视线方向；基于所述人眼视线方向，确定所述人眼视线方向与终端显示区域交汇的目标显示子区域；
20.第二处理单元，用于基于所述人眼位置区域内的人眼图像，确定人眼运动信息；其中，所述人眼运动信息用于表征人眼状态的变化规律；
21.所述控制单元，还用于基于所述人眼运动信息，执行对所述目标显示子区域内目标任务的控制操作。
22.第三方面，提供了一种终端，包括：处理器和配置为存储能够在处理器上运行的计算机程序的存储器，其中，所述处理器配置为运行所述计算机程序时，执行前述方法的步骤。
23.第四方面，提供了一种计算机可读存储介质，其上存储有计算机程序，其中，该计算机程序被处理器执行时实现前述方法的步骤。
24.本技术实施例提供了一种终端控制方法、装置、终端及存储介质，该方法包括：控制图像采集单元采集用户面部图像，并确定所述面部图像中的人眼位置区域；采用瞳孔空间形态的视线追踪策略对所述人眼位置区域内的人眼图像进行处理，确定人眼视线方向；基于所述人眼视线方向，确定所述人眼视线方向与终端显示区域交汇的目标显示子区域；基于所述人眼位置区域内的人眼图像，确定人眼运动信息；基于所述人眼运动信息，执行对所述目标显示子区域内目标任务的控制操作。这样，通过在终端的多任务交互场景中应用视线追踪技术，可以根据用户视线方向和人眼运动特征进行任务控制，实现多任务控制的多样性和便捷性，提高控制效率。
附图说明
25.图1为本技术实施例中终端控制方法的第一流程示意图；
26.图2为现有技术中终端显示屏的交互场景示意图；
27.图3为本技术实施例中人眼位置检测的流程示意图；
28.图4为本技术实施例中人眼视线方向检测的流程示意图；
29.图5为本技术实施例中终端显示屏的交互场景示意图；
30.图6为本技术实施例中终端控制方法的第二流程示意图；
31.图7为本技术实施例中终端控制装置的组成结构示意图；
32.图8为本技术实施例中终端的组成结构示意图。
具体实施方式
33.为了能够更加详尽地了解本技术实施例的特点与技术内容，下面结合附图对本技术实施例的实现进行详细阐述，所附附图仅供参考说明之用，并非用来限定本技术实施例。
34.本技术实施例提供了一种终端控制方法，图1为本技术实施例中终端控制方法的第一流程示意图，如图1所示，该方法具体可以包括：
35.步骤101：控制图像采集单元采集用户面部图像，并确定所述面部图像中的人眼位置区域；
36.步骤102：采用瞳孔空间形态的视线追踪策略对所述人眼位置区域内的人眼图像进行处理，确定人眼视线方向；
37.步骤103：基于所述人眼视线方向，确定所述人眼视线方向与终端显示区域交汇的目标显示子区域；
38.步骤104：基于所述人眼位置区域内的人眼图像，确定人眼运动信息；其中，所述人眼运动信息用于表征人眼状态的变化规律；
39.步骤105：基于所述人眼运动信息，执行对所述目标显示子区域内目标任务的控制操作。
40.在一些实施例中，步骤105之后该方法还包括：控制所述显示区域展示对所述目标任务的控制结果。
41.这里，步骤101至步骤105的执行主体可以为终端的处理器，终端可以为具有图像采集单元的固定终端或移动终端，比如，笔记本电脑、智能手机、平板电脑、投影仪、智能电视、或其他具有大尺寸显示屏的电子设备。
42.实际应用中，终端显示屏上可以显示至少两个任务操作界面，不同任务的操作界面位于不同的显示子区域。图2为现有技术中终端显示屏的交互场景示意图，如图2所示，对于多任务的显示场景，显示屏上显示了3个任务的操作界面，包括任务1、任务2和任务3，剩余空白显示子区域可以显示其他任务的操作界面，或者显示主界面中该区域的原本内容。实际应用中显示界面的ui设计可以根据实际需求灵活设计，本技术不做具体限定。
43.图2中使用现有技术在控制某一个任务进行返回、关闭等操作时，需要先选中该任务，然后再通过点击底部的任务操作按键来执行对该任务的操作，操作步骤繁复，不够便捷。因此，本发明对于多任务操作提供了一种基于视线追踪技术的控制方法，通过用户视线移动，便可视线对显示屏上某一任务的控制操作，无需用户任何手动操作。
44.在一些实施例中，所述确定所述面部图像中的人眼位置区域，包括：从采集到的面部图像中提取面部特征信息，并利用所述面部特征信息确定人眼位置的初始区域；基于虹膜检测技术，从所述人眼位置的初始区域中搜索到虹膜外边界；将所述虹膜外边界围成的区域作为所述人眼位置区域。
45.这里，面部特征信息包括基于人脸图像识别技术提取出人脸特征点。人脸特征点用于对眼睛、鼻子、嘴巴等进行定位，本技术实施例通过识别面部图像中眼睛的特征点来确定双眼边界，双眼边界围成的区域即为人眼位置的初始区域；进一步的基于虹膜检测技术从初始区域中搜索虹膜外边界。
46.在另一些实施例中，除了上述利用人脸图像识别技术确定人眼位置的初始区域之外，还可以设置在显示单元中某一固定区域内显示用户眼部图像，在采集脸部图像时，提醒
用户将眼部移动至该固定区域中，如此便不需要进行面部特征提取便可直接确定人眼位置区域。
47.进一步的，在检测到人眼位置的初始区域之后，利用虹膜检测技术进一步精确定位人眼虹膜所在的区域，将人眼虹膜区域作为人眼位置区域。
48.图3为本技术实施例中人眼位置检测的流程示意图，如图3所示，所述基于虹膜检测技术，从所述人眼位置的初始区域中搜索到虹膜外边界，包括：
49.步骤301：运用灰度投影法，投影到所述人眼位置的初始区域中瞳孔内的任意一点，将该点作为瞳孔的初始圆心位置；
50.瞳孔中心定位的准确与否直接瞳孔影响之后视线计算的准确性，通过对瞳孔roi区域分析，瞳孔、虹膜、眼睑灰度相差较大，由于瞳孔区域像素点灰度值普遍较低，因此，可以通过统计灰度值来初步定位瞳孔中心坐标。
51.步骤302：以所述初始圆心为中心在其周围找到m个初始边界点；其中，m取大于1的整数；
52.步骤303：对所述m个初始边界点采用轮廓追踪算法不断进行进化，直到追踪到瞳孔的边界；
53.实际应用中，轮廓追踪算法可以为snake算法，让m个初始边界点按照snake的运行机制不断进化，直到瞳孔的边界，即粗略定位虹膜的内边界。再用snake的形心作为瞳孔的圆心，用各蛇点到其形心的距离的平均值作为瞳孔的半径，然后再进一步修正即可准确定位瞳孔边界位置(即虹膜内边界位置)。
54.步骤304：利用瞳孔的边界确定瞳孔的最终圆心位置；
55.步骤305：将所述瞳孔的最终圆心位置作为人眼虹膜外边界的圆心，搜索人眼虹膜外边界。
56.精确定位瞳孔的边界之后，该瞳孔边界的圆心即为最终圆心位置，由于瞳孔边界和虹膜外边界为近似同心圆，因此，瞳孔的最终圆心位置可以作为人眼虹膜外边界的圆心，确定虹膜外边界的圆心后，以一个半径参数r进行搜索，确定虹膜外边界。
57.实际应用中，还可以将其它人眼位置检测技术应用到本技术实施例中来检测虹膜外边界，这里不做具体限定。
58.进一步的根据人眼位置区域内的人眼图像检测人眼视线方向，图4为本技术实施例中人眼视线方向检测的流程示意图，如图4所示，所述采用瞳孔空间形态的视线追踪策略对所述人眼位置区域内的人眼图像进行处理，确定人眼视线方向；包括：
59.步骤401：对所述人眼图像中的瞳孔中心进行定位，得到瞳孔中心坐标；
60.瞳孔中心定位的准确与否直接瞳孔影响之后视线计算的准确性，通过对瞳孔roi区域分析，瞳孔、虹膜、眼睑灰度相差较大，由于瞳孔区域像素点灰度值普遍交底，因此，可以通过统计灰度值来初步定位瞳孔中心坐标，再跟进灰度值较低的点的分布情况，剔除异常值点，最终得到瞳孔中心坐标。
61.步骤402：椭圆拟合瞳孔边缘点，配准瞳孔边缘特征点，得到瞳孔边缘点空间坐标；
62.由于提取的瞳孔边缘点可能包含异常值点，最小二乘法椭圆拟合会尽量适应包含局外点在内的所有点，不能找到适应于局内点的椭圆，为了处理这些异常值，可以采用随机样本一致性方法进行椭圆方程拟合，该方法能得到仅用局内点计算的结果，大大提高了鲁
棒性。
63.利用拟合得到的椭圆方程，均匀的计算出椭圆上的点作为瞳孔边缘特征点，采用brief算法得到特征描述子，结合ransac对瞳孔边缘特征点进行配准剔除误匹配点，得到配准后的左右瞳孔边缘点空间坐标。
64.步骤403：利用所述瞳孔边缘点空间坐标拟合瞳孔平面方程；
65.具体的，采用最小二乘法对所述瞳孔边缘点空间坐标进行拟合，得到所述瞳孔平面方程。
66.步骤404：基于所述瞳孔平面方程和所述瞳孔中心坐标，得到人眼视线方向。
67.具体的，基于所述瞳孔平面方程和所述瞳孔中心坐标，得到所述瞳孔中心的法线方向；将所述瞳孔中心的法线方向作为所述人眼视线方向。
68.使用最小二乘法对瞳孔边缘点(xp，yp，zp)的空间点坐标拟合，其拟合表达式为：
69.axp byp czp d＝0
70.确定平面方程系数(a，b，c，d)，得到瞳孔所在的平面方程，结合瞳孔中心坐标(xpo，ypo，zpo)，则通过瞳孔中心的法线表达式即人眼视线方向为：
[0071][0072]
图5为本技术实施例中终端显示屏的交互场景示意图，人眼视线方向在显示屏的落脚范围在任务2的操作界面内时，确定目标显示子区域为任务2的操作界面，进一步的用户可以通过眼睛运动发出对任务2的控制指令，使终端根据控制指令直接控制任务2执行相应的操作，无需用户执行繁琐的操作步骤。
[0073]
实际应用中，人眼视线方向可以包括左眼视线方向和右眼视线方向，即利用左眼瞳孔边缘点空间坐标拟合左眼瞳孔平面方程，利用右眼瞳孔边缘点空间坐标拟合右眼瞳孔平面方程；基于左眼瞳孔平面方程和左眼瞳孔中心坐标，得到左眼瞳孔中心的法线方向，基于右眼瞳孔平面方程和右眼瞳孔中心坐标，得到右眼瞳孔中心的法线方向；根据左眼瞳孔中心的法线方向和右眼瞳孔中心的法线方向，确定显示区域内的人眼视线区域；确定人眼视线区域落在显示区域内的目标显示子区域。
[0074]
实际应用中，当根据双眼的视线方向确定目标显示子区域时，由于使用双眼在观察某一物体时，双眼在物体上的视线落点相聚很近。因此，在进行左右眼视线追踪时左右眼视线在显示区域内的视线落点之间的距离较小，可以近似成一个点，或者一个较小的区域，确定该点或该区域落在的区域为目标显示子区域。
[0075]
采用上述技术方案，通过在终端的多任务交互场景中应用视线追踪技术，可以根据用户视线方向和人眼运动特征进行任务控制，实现多任务控制的多样性和便捷性，提高控制效率。
[0076]
图6为本技术实施例中终端控制方法的第二流程示意图，如图6所示，该方法具体可以包括：
[0077]
步骤601：控制图像采集单元采集用户面部图像，并确定所述面部图像中的人眼位置区域；
[0078]
这里，用户面部图像不仅用于人眼视线追踪，还用于分析人眼运动信息。实际应用中，在进行人眼视线追踪时，等时间间隔的连续采集用户面部图像，实时分析人眼视线在显
示区域内的视线落点区域。并根据连续的面部图像分析人眼运动信息。
[0079]
步骤602：采用瞳孔空间形态的视线追踪策略对所述人眼位置区域内的人眼图像进行处理，确定人眼视线方向；
[0080]
步骤603：基于所述人眼视线方向，确定所述人眼视线方向与终端显示区域交汇的目标显示子区域；
[0081]
步骤604：基于所述人眼位置区域内的人眼图像，确定人眼运动信息；其中，所述人眼运动信息用于表征人眼状态的变化规律；
[0082]
具体的，人眼状态包括睁眼状态和闭眼状态，人眼状态的变化规律可以睁眼状态和闭眼状态之间的切换规律。比如，人眼运动信息为眨眼次数或眨眼动作，一次眨眼是睁眼、闭眼、睁眼这一连串的动作。通过图像识别技术识别一段时间内不同时刻的眼部图像特征，根据不同时刻的眼部图像特征，确定一段时间内的眨眼次数或眨眼动作。
[0083]
步骤605：从所述至少一种控制条件中确定所述人眼运动信息所满足的目标控制条件；
[0084]
步骤606：基于控制条件和控制操作的对应关系，确定所述目标控制条件对应的目标控制操作；
[0085]
在一些实施例中，所述至少一种控制条件包括：眨眼次数为预设时间段内眨眼n次；其中，n取正整数；眨眼动作为预设的眨眼动作。
[0086]
这里，一次眨眼是睁眼、闭眼、睁眼这一连串的动作，判断眨眼次数时可以按照正常用眼时的眨眼规律作为判断眨眼次数的依据。眨眼动作可以是自主定义的动作，比如，由长眨眼动作和短眨眼动作组合而成的一系列动作，一种动作可以对应一种控制操作。长眨眼动作可以为闭眼时长大于第一时长阈值的眨眼动作，短眨眼动作可以为闭眼时长小于第二时长阈值的眨眼动作。
[0087]
在一些实施例中，控制操作具体可以包括：关闭目标任务，返回主操作界面，控制目标任务后台运行，关闭除目标任务之外的其他任务，删除目标任务，复制目标任务等。
[0088]
比如，1、三秒之内眨眼两次，对应关闭目标任务；2、三秒之内眨眼三次，对应返回主操作界面；3、三秒之内眨眼四次，对应关闭除目标任务之外的其他任务。
[0089]
步骤607：控制所述目标任务执行所述目标控制操作。
[0090]
采用上述技术方案，通过在终端的多任务交互场景中应用视线追踪技术，可以根据用户视线方向和人眼运动特征进行任务控制，实现多任务控制的多样性和便捷性，提高控制效率。
[0091]
本技术实施例中还提供了一种终端控制装置，如图7所示，该装置包括：
[0092]
控制单元701，用于控制图像采集单元采集用户面部图像；
[0093]
第一处理单元702，用于确定所述面部图像中的人眼位置区域；采用瞳孔空间形态的视线追踪策略对所述人眼位置区域内的人眼图像进行处理，确定人眼视线方向；基于所述人眼视线方向，确定所述人眼视线方向与终端显示区域交汇的目标显示子区域；
[0094]
第二处理单元703，用于基于所述人眼位置区域内的人眼图像，确定人眼运动信息；其中，所述人眼运动信息用于表征人眼状态的变化规律；
[0095]
所述控制单元701，还用于基于所述人眼运动信息，执行对所述目标显示子区域内目标任务的控制操作。
[0096]
在一些实施例中，第一处理单元702，具体用于从采集到的面部图像中提取面部特征信息，并利用所述面部特征信息确定人眼位置的初始区域；基于虹膜检测技术，从所述人眼位置的初始区域中搜索到虹膜外边界；将所述虹膜外边界围成的区域作为所述人眼位置区域。
[0097]
这里，面部特征信息包括基于人脸图像识别技术提取出人脸特征点。人脸特征点用于对眼睛、鼻子、嘴巴等进行定位，本技术实施例通过识别面部图像中眼睛的特征点来确定双眼边界，双眼边界围成的区域即为人眼位置的初始区域；进一步的基于虹膜检测技术从初始区域中搜索虹膜外边界。
[0098]
在一些实施例中，第一处理单元702，具体用于对所述人眼图像中的瞳孔中心进行定位，得到瞳孔中心坐标；椭圆拟合瞳孔边缘点，配准瞳孔边缘特征点，得到瞳孔边缘点空间坐标；利用所述瞳孔边缘点空间坐标拟合瞳孔平面方程；基于所述瞳孔平面方程和所述瞳孔中心坐标，得到人眼视线方向。
[0099]
在一些实施例中，第一处理单元702，具体用于采用最小二乘法对所述瞳孔边缘点空间坐标进行拟合，得到所述瞳孔平面方程。
[0100]
在一些实施例中，第一处理单元702，具体用于基于所述瞳孔平面方程和所述瞳孔中心坐标，得到所述瞳孔中心的法线方向；将所述瞳孔中心的法线方向作为所述人眼视线方向。
[0101]
在一些实施例中，控制单元701，具体用于从所述至少一种控制条件中确定所述人眼运动信息所满足的目标控制条件；基于控制条件和控制操作的对应关系，确定所述目标控制条件对应的目标控制操作；控制所述目标任务执行所述目标控制操作。
[0102]
在一些实施例中，所述至少一种控制条件包括：眨眼次数为预设时间段内眨眼n次；其中，n取正整数；眨眼动作为预设的眨眼动作。
[0103]
本技术实施例还提供了另一种终端，如图8所示，该终端包括：处理器801和配置为存储能够在处理器上运行的计算机程序的存储器802；处理器801运行存储器802中计算机程序时实现本技术实施例中方法的步骤。
[0104]
当然，实际应用时，如图8所示，该终端中的各个组件通过总线系统803耦合在一起。可理解，总线系统803用于实现这些组件之间的连接通信。总线系统803除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图8中将各种总线都标为总线系统803。
[0105]
本技术实施例还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一实施例所述的方法的步骤。
[0106]
在实际应用中，上述处理器可以为特定用途集成电路(asic，application specific integrated circuit)、数字信号处理装置(dspd，digital signal processing device)、可编程逻辑装置(pld，programmable logic device)、现场可编程门阵列(field－programmable gate array，fpga)、控制器、微控制器、微处理器中的至少一种。可以理解地，对于不同的装置，用于实现上述处理器功能的电子器件还可以为其它，本技术实施例不作具体限定。
[0107]
上述存储器可以是易失性存储器(volatile memory)，例如随机存取存储器(ram，random-access memory)；或者非易失性存储器(non-volatile memory)，例如只读存储器
(rom，read-only memory)，快闪存储器(flash memory)，硬盘(hdd，hard disk drive)或固态硬盘(ssd，solid-state drive)；或者上述种类的存储器的组合，并向处理器提供指令和数据。
[0108]
需要说明的是：“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
[0109]
本技术所提供的几个方法实施例中所揭露的方法，在不冲突的情况下可以任意组合，得到新的方法实施例。
[0110]
本技术所提供的几个产品实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的产品实施例。
[0111]
本技术所提供的几个方法、装置和终端实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的方法实施例、装置实施例或终端实施例。
[0112]
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。