交互方法、装置、电子设备及存储介质与流程

1.本技术属于通信技术领域，具体涉及一种交互方法、装置、电子设备及存储介质。


背景技术：

2.随着科学技术的发展，用户可以对电子设备进行触控以与其进行交互，例如，在即时通讯应用的交互逻辑中，如果需要将文本、图片、音视频等信息在用户之间进行传输和分享，需要用户在屏幕上通过手指进行大量的点击、划动等操作才能完成，如此，使得用户与电子设备之间的交互过程繁琐，操作复杂，影响用户使用电子设备的效率。


技术实现要素：

3.本技术实施例的目的是提供一种交互方法、装置、电子设备及存储介质，能够解决现有技术中存在的用户与电子设备之间的交互过程繁琐，操作复杂，用户使用电子设备效率低的问题。
4.第一方面，本技术实施例提供了一种交互方法，应用于电子设备，该交互方法可以包括：
5.获取n个图像，图像包括眼部区域和眉部区域，眼部区域包括第一眼和第二眼，眉部区域包括第一眉和第二眉，n为正整数；
6.根据n个图像中的每个图像，计算第一眼和第二眼的开合差值信息和第一眉和第二眉的摆动差值信息；
7.在开合差值信息满足第一预设条件，且摆动差值信息满足第二预设条件的情况下，根据n个图像，统计眨眼状态；
8.根据眨眼状态，执行目标操作。
9.第二方面，本技术实施例提供了一种交互装置，应用于电子设备，该交互装置可以包括：
10.获取模块，用于获取n个图像，图像包括眼部区域和眉部区域，眼部区域包括第一眼和第二眼，眉部区域包括第一眉和第二眉，n为正整数；
11.计算模块，用于根据n个图像中的每个图像，计算第一眼和第二眼的开合差值信息和第一眉和第二眉的摆动差值信息；
12.统计模块，用于在开合差值信息满足第一预设条件，且摆动差值信息满足第二预设条件的情况下，根据n个图像，统计眨眼状态；
13.执行模块，用于根据眨眼状态，执行目标操作。
14.第三方面，本技术实施例提供了一种电子设备，该电子设备包括处理器、存储器及存储在存储器上并可在处理器上运行的程序或指令，程序或指令被处理器执行时实现如第一方面所示的交互方法的步骤。
15.第四方面，本技术实施例提供了一种可读存储介质，可读存储介质上存储程序或指令，程序或指令被处理器执行时实现如第一方面所示的交互方法的步骤。
16.第五方面，本技术实施例提供了一种芯片，芯片包括处理器和显示接口，显示接口和处理器耦合，处理器用于运行程序或指令，实现如第一方面所示的交互方法的步骤。
17.第六方面，本技术实施例提供一种计算机程序产品，该程序产品被存储在存储介质中，该程序产品被至少一个处理器执行以实现如第一方面所示的交互方法的步骤。
18.在本技术实施例中，获取包括眼部区域和眉部区域n个图像，眼部区域包括第一眼和第二眼，眉部区域包括第一眉和第二眉；接着，根据n个图像中的每个图像，计算第一眼和第二眼的开合差值信息和第一眉和第二眉的摆动差值信息；然后，在开合差值信息满足第一预设条件，且摆动差值信息满足第二预设条件的情况下，根据n个图像，统计眨眼状态；并根据眨眼状态，执行目标操作。这里，通过眼部控制电子设备的操作，无需用户在电子设备的屏幕上通过手指进行大量的点击、划动等操作，如此，使得用户与电子设备之间的交互过程简单，操作便捷；以及，本技术实施例中根据与双眼相关的开合差值信息和双眉相关的摆动差值信息，确认用户是否处于通过眼部操作电子设备的状态，避免了用户正常状态下眨眼导致误操作电子设备的情况，实现了在保持眼部控制电子设备灵敏度的同时，能够提高确定用户处于通过眼部操作电子设备的状态的准确率，从而提升用户使用电子设备的效率。
附图说明
19.图1为本技术实施例提供的一种交互方法的流程图；
20.图2为本技术实施例提供的一种交互方法的电子设备的结构意图；
21.图3为本技术实施例提供的一种交互方法采集图像的角度示意图；
22.图4为本技术实施例提供的一种交互方法的眼部区域和眉部区域示意图；
23.图5为本技术实施例提供的一种交互方法的眼部区域示意图；
24.图6为本技术实施例提供的一种交互方法的第一距离示意图；
25.图7为本技术实施例提供的一种交互方法的第三距离示意图；
26.图8为本技术实施例提供的一种交互方法的眉曲线示意图；
27.图9为本技术实施例提供的一种交互装置的结构示意图；
28.图10为本技术实施例提供的一种电子设备的结构示意图；
29.图11为本技术实施例提供的一种电子设备的硬件结构示意图。
具体实施方式
30.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员获得的所有其他实施例，都属于本技术保护的范围。
31.本技术的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。
32.为了解决相关技术中的问题，本技术实施例提供了一种交互方法，通过与双眼相关的开合差值信息和双眉相关的摆动差值信息，确认用户是否处于通过眼部操作电子设备的状态，以及，若用户佩戴眼镜，则还可以根据开合差值信息、摆动差值信息和相邻图像中镜框的高度变化差值信息，确定用户是否处于通过眼部操作电子设备的状态，避免了用户正常状态下眨眼导致误操作电子设备的情况，实现了在保持眼部控制电子设备灵敏度的同时，能够提高确定用户处于通过眼部操作电子设备的状态的准确率。
33.另外，若电子设备与控制设备(如游戏手柄、键盘、鼠标)连接，则可以默认用户会通过控制设备操作电子设备，然后，如果用户有时将已与电子设备连接的控制设备放置在用户拿不到的位置或不想用控制设备操作电子设备等无法通过控制设备操作电子设备，就可以通过本技术实施例中提供的用眼部操作电子设备的交互方式，从而在减少误触发的同时进行功率优化，进而提升用户使用电子设备的效率。
34.需要说明的是，本技术实施例中的电子设备可以是手机、平板电脑、笔记本电脑等，也可以是可穿戴设备(具体地，头戴式设备)如虚拟现实(virtual reality，vr)眼镜(头盔)、增强现实(augmented reality，ar)眼镜(头盔)、混合现实(mixed reality，mr)眼镜(头盔)等具有获取图像和计算的设备，本技术实施例以头戴式设备为例进行说明，在此不对其电子设备进行限定。
35.基于此，下面结合附图1-图8，通过具体的实施例及其应用场景对本技术实施例提供的交互方法进行详细地说明。
36.首先，结合图1对本技术实施例提供的交互方法进行详细说明。
37.图1为本技术实施例提供的一种交互方法的流程图。
38.如图1所示，本技术实施例提供的交互方法可以应用于电子设备，该方法可以包括如下步骤：
39.步骤110，获取n个图像，图像包括眼部区域和眉部区域，眼部区域包括第一眼和第二眼，眉部区域包括第一眉和第二眉，n为正整数；步骤120，根据n个图像中的每个图像，计算第一眼和第二眼的开合差值信息和第一眉和第二眉的摆动差值信息；步骤130，在开合差值信息满足第一预设条件，且摆动差值信息满足第二预设条件的情况下，根据n个图像，统计眨眼状态；步骤140，根据眨眼状态，执行目标操作。
40.这样，通过眼部控制电子设备的操作，无需用户在电子设备的屏幕上通过手指进行大量的点击、划动等操作，如此，使得用户与电子设备之间的交互过程简单，操作便捷；以及，本技术实施例中根据与双眼相关的开合差值信息和双眉相关的摆动差值信息，确认用户是否处于通过眼部操作电子设备的状态，避免了用户正常状态下眨眼导致误操作电子设备的情况，实现了在保持眼部控制电子设备灵敏度的同时，能够提高确定用户处于通过眼部操作电子设备的状态的准确率，从而提升用户使用电子设备的效率。
41.下面对上述步骤进行详细说明，具体如下所示。
42.首先，涉及步骤110，在一种或者多种可能的实施例，可以通过电子设备的摄像模组拍摄n个图像。
43.示例性地，如图2所示，电子设备可以为头戴式设备，该头戴式设备可以包括如图2中的与双眼对应的显示模组，如显示模组001和显示模组002，以及至少两个摄像模组，如摄像模组003和摄像模组004。其中，显示模组用于显示内容，以便用于浏览，摄像模组用于采
集佩戴该头戴式设备的用户的眉部和眼部的图像。
44.具体地，显示模组001和显示模组002可以显示用户通过眼部操作设备后的界面内容。另外，如图3所示，摄像模组003可以采集包括用户的眉部、眉部以上预设范围内的面部区域和眼部的图像，摄像模组004可以采集用户的眼部、眼部以下的面部范围的图像，以保证摄像模组003和摄像模组004采集到更为完整的用户的眼部和眉部的图像，以及保证采集到更为清晰的眼部和眉部的图像。
45.需要说明的是，如图4所示，本技术实施例中的眼部区40域包括第一眼(如左眼)和第二眼(如右眼)，眼包括眼球以及眼球周围的区域，如眼球401、上眼睑402和下眼睑403。其中，上眼睑402和下眼睑403位于眼球前方，上眼睑402和下眼睑403之间的裂缝称为睑裂。具体地，参考如图5，眼球401可以包括瞳孔4011、虹膜4012和眼白4013。上眼睑404可以包括上眼睑沿4041和上眼睑沿以上的(部分)眼皮区域，下眼睑405可以包括下眼睑沿4042和下眼睑沿以下的(部分)眼袋区域。
46.如图4所示，本技术实施例中的眉部区域41包括与上述第一眼对应的第一眉(左眉)以及与第二眼对应的第二眉(右眉)，眉位于额头和眼部区域之间的横向呈弓形的弧形隆起，由丛生的短毛即眉毛构成，眉毛包括眉头411、眉峰412和眉梢413。
47.在另一种或者多种可能的实施例，电子设备还可以包括红外传感器，红外传感器用于采集用户的眼部和眉部的肌肉上下跳动状态、距离红外传感器的距离等，以便确定眼部区域和眉部区域，方便后期计算开合差值信息、摆动差值信息和高度变化差值信息等。
48.接着，涉及步骤120，本技术实施例中涉及的开合差值信息和摆动差值信息可以通过如下方式计算。
49.可以通过如下方式计算开合差值信息，在一种或者多种可能的实施例，第一眼包括第一上眼睑和第一下眼睑，第二眼包括第二上眼睑和第二下眼睑，基于此，该步骤120具体可以包括：
50.根据每个图像，获取在第i时刻第一上眼睑和第一下眼睑的第一距离，以及第二上眼睑和第二下眼睑的第二距离，第一距离为第一上眼睑和第一下眼睑之间最大的垂直距离，第二距离为第二上眼睑和第二下眼睑之间最大的垂直距离；
51.将第一距离与第二距离的差值作为在第i时刻第一眼和第二眼的开合差值信息，i为正整数，i与拍摄图像的时间对应。
52.示例性地，由于n个图像中每个图像的拍摄时间不同，每个图像对应一个拍摄时刻，所以，可以获取与该图像中第i时刻的第一上眼睑和第一下眼睑的第一距离。具体地，如图6所示，为了便于理解，这里，以第一眼即左眼的第一上眼睑中上眼睑沿的最高点到第一下眼睑中的下眼睑沿的最低点作为第一距离d
左眼i
为例进行说明，第二眼即右眼的第二距离d
右眼i
同理可得，如此，开合差值信息di＝d
左眼i-d
右眼i
。
53.以及，可以通过如下两种方式计算摆动差值信息，具体如下所示。在一种或者多种可能的实施例，第一眉包括第一眉峰，第二眉包括第二眉峰，第一眉与第一眼对应，第二眉与第二眼对应，基于此，该步骤120具体可以包括：
54.根据每个图像，获取在第i时刻第一眉峰与第一下眼睑的第三距离，以及第二眉峰和第二下眼睑的第四距离，第三距离为第一眉峰和第一下眼睑之间最大的垂直距离，第四距离为第二眉峰和第二下眼睑之间最大的垂直距离；
55.将第三距离和第四距离的差值作为在第i时刻第一眉和第二眉的摆动差值信息。
56.示例性地，如图7所示，仍以第一眉(左眉)和第一眼(左眼)为例进行说明，将第一眉的第一眉峰(即第一眉的最高点)到第一下眼睑的最低点距离确定为第三距离d
左眉i
，第二眉(右眉)和第二眼(右眼)对应的第四距离d
右眉i
同理可得，如此，摆动差值信息di＝d
左眉i-d
右眉i
。
57.在另一种或者多种可能的实施例，基于此，该步骤120具体可以包括：
58.对n个图像中相邻的第一图像中的第一眉和第二眉进行图像识别，得到第j时刻与第一眉对应的第一眉曲线和与第二眉对应的第二眉曲线，以及在第j 1时刻与第一眉对应的第三眉曲线和与第二眉对应的第三眉曲线，j为正整数，第j时刻与第j 1时刻与相邻的第一图像对应；
59.对比第一眉曲线和第三眉曲线，得到与第一眉对应的第一摆动曲率，以及对比第二眉曲线和第四眉曲线，得到与第二眉对应的第二摆动曲率；
60.将第一摆动曲率和第二摆动曲率确定为摆动差值信息。
61.示例性地，如图8所示，若n个图像中相邻的第一图像为第一图像1和第一图像2，则可以对第一图像1中的第一眉和第二眉与第一图像2中的第一眉和第二眉进行图像识别，得到第一眉曲线1(1)和1(2)，以及第二眉曲线2(1)和2(2)，并根据第一眉曲线1(1)和第二眉曲线2(1)，计算第一摆动曲率，以及根据第一眉曲线1(2)和第二眉曲线2(2)，计算第二摆动曲率。
62.再者，涉及步骤130，可以通过两种方式判断用户是否处于通过眼部操作电子设备的状态，具体如下进行详细说明。
63.在一种或者多种可能的实施例，若开合差值信息的值大于或者等于第一预设开合差值，且摆动差值信息的值大于或者等于第二预设开合差值，则确定开合差值信息满足第一预设条件，且摆动差值信息满足第二预设条件。
64.在另一种或者多种可能的实施例，本技术实施例提供的交互方法除了可以应用于用户裸眼即未佩戴眼镜的场景，也可以应用于佩戴眼镜即带有镜片的体外眼镜的场景，如此，除了可以根据上述开合差值信息和摆动差值信息，确定用户是否处于通过眼部操作电子设备的状态之外，若用户佩戴眼镜，则还可以根据开合差值信息、摆动差值信息和相邻图像中镜框的高度变化差值信息，确定用户是否处于通过眼部操作电子设备的状态，基于此，在该步骤130之前，该交互方法还可以包括：
65.在图像还包括眼镜区域，眼镜区域包括与第一眼对应的第一镜框和与第二眼对应的第二镜框的情况下，根据n个图像中相邻的第二图像，计算在第r时刻第一镜框和在第r 1时刻第一镜框的第一高度变化差值信息，以及在第r时刻第二镜框和在第r 1时刻第二镜框的第二高度变化差值信息，r为正整数，第r时刻和第r 1时刻与相邻的第二图像对应；
66.基于此，该步骤130具体可以包括：
67.在第一高度变化差值信息或者第二高度变化差值信息满足第三预设条件的情况下，根据n个图像，统计眨眼状态。
68.示例性地，如用户佩戴眼镜时，除了可以根据开合差值信息和摆动差值信息的方式，确定用户是否处于通过眼部操作电子设备的状态，还可以结合镜框的高度变化差值信息，确定用户是否处于通过眼部操作电子设备的状态。
69.需要说明的是，在执行步骤130之前，该交互方法还可以包括设置本技术实施例中的预设阈值(预设值)、预设条件等提前预设的步骤。即若电子设备中未包括n个图像中的用户对应的预设信息，则进入教程录制模式，在该模式下，播放或者显示提示消息，以提示用户做指定动作，如眨双眼、眨左眼和眨右眼，以便于电子设备记录以下信息：打开左、右眼睛状态下的眼睛打开距离(或高度)确定为开合差值信息的值、眉毛和眼镜框同理，这里，预设摆动差值信息的值可以取睁眼时，眉峰(即眉毛最高值)到下眼睑线的最低值即为h1，闭眼时，眉峰(即眉毛最高值)到下眼睑线的最低值即为h2，如此，预设摆动差值信息的值可以取(h1 h2)/2，眼镜框与此同理，在此不再赘述。
70.这里，基于上述两种确定用户是处于通过眼部操作电子设备的状态的情况下，本技术实施例中提供了如下两种计算眨眼状态的方式。
71.在一种或多种可能的实施例中，该步骤130具体可以包括：
72.从n个图像中提取第一预设时间段内的m个第三图像，m为大于1的正整数；
73.根据m个第三图像中每个第三图像计算第一上眼睑和第一下眼睑的第五距离、与每个第三图像对应的目标开合差值信息和第一眉的第一眉毛中心高度；
74.在m个第五距离中有预设次数的第五距离小于或等于预设距离、目标开合差值信息的值大于或等于预设开合差值信息的值、且第一眉毛中心高度小于或者等于预设眉毛中心高度的情况下，基于第一预设时间段和预设次数，得到眨眼状态。
75.示例性地，若2秒内，第五距离有3次低于4毫米，其中2次伴随着目标开合差值信息大于等于3毫米，这两次同时存在第一眉毛中心高度低于阈值2毫米，则判定预设次数为2次。
76.如此，避免了用户正常状态下眨眼导致误操作电子设备的情况，实现了在保持眼部控制电子设备灵敏度的同时，能够提高确定用户处于通过眼部操作电子设备的状态的准确率。
77.在另一种或多种可能的实施例中，还可以根据瞳孔和虹膜面积、眼白面积和遮盖瞳孔和虹膜的面积计算眨眼状态，基于此，该步骤130具体可以包括：
78.根据n个图像中提取第二预设时间段内的l个第四图像，l为大于1的正整数；
79.根据l个第四图像中每个第四图像，获取每个第四图像中第一眼的第一睑裂信息和第二眼的第二睑裂信息；
80.分别对比l个第四图像中相邻至少两个图像之间的第一睑裂信息和第二睑裂信息，得到l个第四图像中的眨眼次数；
81.根据第二预设时间段和眨眼次数，得到眨眼状态；
82.其中，第一睑裂信息包括第一瞳孔和虹膜面积、第一眼白面积和第一遮盖瞳孔和虹膜的面积，第二睑裂信息包括第二瞳孔和虹膜面积、第二眼白面积和第二遮盖瞳孔和虹膜的面积。
83.示例性地，s
p左眼1
为第一眼白面积、s
p左眼2
为第一遮盖瞳孔和虹膜的面积和s
p左眼3
为第一瞳孔和虹膜面积，此时，在s
p左眼2
/s
p左眼1
＝10：1或s
p左眼2
/s
p左眼3
＝15：1的情况下，表明左眼为睁眼的状态，同理，在s
p左眼2
/s
p左眼1
＝15：1或s
p左眼2
/s
p左眼3
＝30：1的情况下，表明左眼为闭眼的状态，相比之下，若s
p左眼2
/s
p左眼1
的值小于预设值，则表明左眼为睁眼的状态，s
p左眼2
/s
p左眼1
的值大于或者等于预设值，则表明左眼为闭眼的状态，右眼同理，在此不再赘述。
84.由此，基于上述两种确定用户不是处于通过眼部操作电子设备的状态的情况下，则不响应。
85.然后，涉及步骤140，在一种或多种可能的实施例中，该步骤140具体可以包括：
86.根据预设眨眼状态和预设操作的关联信息，执行与眨眼状态对应的目标操作；
87.其中，眨眼状态包括以下至少一种：第一眼的眨眼频率、第二眼的眨眼频率、第一眼和第二眼搭配的眨眼状态。
88.示例性地，单眼工作次数可以左眼、右眼分开，也可以合在一起，其中，若单眼的眨眼频率为1秒内眨眼1次，则目标操作为游戏单机；若为单眼的眨眼频率为1秒内眨眼2次，则目标操作为游戏双机；若同一次左、右眼顺序的1秒内眨眼1次，则为显示屏幕主题切换。同理，左眼1秒眨2次，与左右眼各眨1次，执行不同的目标操作。
89.此外，在另一些实施例中，若电子设备与控制设备(如手柄、键盘、鼠标)连接，则可以默认用户会通过控制设备操作电子设备，然后，如果用户有时将已与电子设备连接的控制设备放置在用户拿不到的位置或不想用控制设备操作电子设备等无法通过控制设备操作电子设备，就可以通过上述用眼部操作电子设备的交互方式，本技术实施例为了减少(功耗，)在步骤220之前，还可以包括：
90.在连接控制设备的情况下，接收控制设备发送的控制信号；
91.基于此，触发执行步骤220的条件的是：在第三预设时间段内未接收到控制设备发送的控制信号的情况下，根据n个图像中的每个图像，计算第一眼和第二眼的开合差值信息和第一眉和第二眉的摆动差值信息。
92.如此，若电子设备与控制设备(如游戏手柄、键盘、鼠标)连接，则可以默认用户会通过控制设备操作电子设备，然后，如果用户有时将已与电子设备连接的控制设备放置在用户拿不到的位置或不想用控制设备操作电子设备等无法通过控制设备操作电子设备，就可以通过本技术实施例中提供的用眼部操作电子设备的交互方式，从而在减少误触发的同时进行功率优化，进而提升用户使用电子设备的效率。
93.综上，本技术实施例提供了一种交互方法，通过与双眼相关的开合差值信息和双眉相关的摆动差值信息，确认用户是否处于通过眼部操作电子设备的状态，以及，若用户佩戴眼镜，则还可以根据开合差值信息、摆动差值信息和相邻图像中镜框的高度变化差值信息，确定用户是否处于通过眼部操作电子设备的状态，避免了用户正常状态下眨眼导致误操作电子设备的情况，实现了在保持眼部控制电子设备灵敏度的同时，能够提高确定用户处于通过眼部操作电子设备的状态的准确率。
94.另外，若电子设备与控制设备(如游戏手柄、键盘、鼠标)连接，则可以默认用户会通过控制设备操作电子设备，然后，如果用户有时将已与电子设备连接的控制设备放置在用户拿不到的位置或不想用控制设备操作电子设备等无法通过控制设备操作电子设备，就可以通过本技术实施例中提供的用眼部操作电子设备的交互方式，从而在减少误触发的同时进行功率优化，进而提升用户使用电子设备的效率。
95.本技术实施例提供的交互方法，执行主体可以为交互装置。本技术实施例中以交互装置执行交互方法为例，说明本技术实施例提供的显示的装置。
96.基于相同的发明构思，本技术还提供了一种交互装置。具体结合图9进行详细说明。
97.图9为本技术实施例提供的一种交互装置的结构示意图。
98.如图9所示，该交互装置90应用于电子设备，具体可以包括：
99.获取模块901，用于获取n个图像，图像包括眼部区域和眉部区域，眼部区域包括第一眼和第二眼，眉部区域包括第一眉和第二眉，n为正整数；
100.计算模块902，用于根据n个图像中的每个图像，计算第一眼和第二眼的开合差值信息和第一眉和第二眉的摆动差值信息；
101.统计模块904，用于在开合差值信息满足第一预设条件，且摆动差值信息满足第二预设条件的情况下，根据n个图像，统计眨眼状态；
102.执行模块904，用于根据眨眼状态，执行目标操作。
103.下面对该交互装置90进行详细说明，具体如下所示：
104.在一个或者多个可能的实施例中，计算模块902具体可以用于，在第一眼包括第一上眼睑和第一下眼睑，第二眼包括第二上眼睑和第二下眼睑的情况下，根据每个图像，获取在第i时刻第一上眼睑和第一下眼睑的第一距离，以及第二上眼睑和第二下眼睑的第二距离，第一距离为第一上眼睑和第一下眼睑之间最大的垂直距离，第二距离为第二上眼睑和第二下眼睑之间最大的垂直距离；
105.将第一距离与第二距离的差值作为在第i时刻第一眼和第二眼的开合差值信息，i为正整数，i与拍摄图像的时间对应。
106.在另一个或者多个可能的实施例中，计算模块902具体可以用于，在第一眉包括第一眉峰，第二眉包括第二眉峰，第一眉与第一眼对应，第二眉与第二眼对应的情况下，根据每个图像，获取在第i时刻第一眉峰与第一下眼睑的第三距离，以及第二眉峰和第二下眼睑的第四距离，第三距离为第一眉峰和第一下眼睑之间最大的垂直距离，第四距离为第二眉峰和第二下眼睑之间最大的垂直距离；
107.将第三距离和第四距离的差值作为在第i时刻第一眉和第二眉的摆动差值信息。
108.在又一个或者多个可能的实施例中，计算模块902具体可以用于，根据每个图像，获取在第i时刻第一眉峰与第一下眼睑的第三距离，以及第二眉峰和第二下眼睑的第四距离，第三距离为第一眉峰和第一下眼睑之间最大的垂直距离，第四距离为第二眉峰和第二下眼睑之间最大的垂直距离；
109.将第三距离和第四距离的差值作为在第i时刻第一眉和第二眉的摆动差值信息。
110.在再一个或者多个可能的实施例中，计算模块902具体可以用于，对n个图像中相邻的第一图像中的第一眉和第二眉进行图像识别，得到第j时刻与第一眉对应的第一眉曲线和与第二眉对应的第二眉曲线，以及在第j 1时刻与第一眉对应的第三眉曲线和与第二眉对应的第三眉曲线，j为正整数，第j时刻与第j 1时刻与相邻的第一图像对应；
111.对比第一眉曲线和第三眉曲线，得到与第一眉对应的第一摆动曲率，以及对比第二眉曲线和第四眉曲线，得到与第二眉对应的第二摆动曲率；
112.将第一摆动曲率和第二摆动曲率确定为摆动差值信息。
113.在再一个或者多个可能的实施例中，本技术实施例中的计算模块902还可以用于，图像还包括眼镜区域，眼镜区域包括与第一眼对应的第一镜框和与第二眼对应的第二镜框，根据n个图像中相邻的第二图像，计算在第rr时刻第一镜框和在第r 1时刻第一镜框的第一高度变化差值信息，以及在第r时刻第二镜框和在第r 1时刻第二镜框的第二高度变化
差值信息，r为正整数，第r时刻和第r 1时刻与相邻的第二图像对应；
114.统计模块904具体可以用于，在第一高度变化差值信息或者第二高度变化差值信息满足第三预设条件的情况下，根据n个图像，统计眨眼状态。
115.在再一个或者多个可能的实施例中，统计模块904还可以用于，在第一眼包括第一上眼睑和第一下眼睑的情况下，从n个图像中提取第一预设时间段内的m个第三图像，m为大于1的正整数；
116.根据m个第三图像中每个第三图像计算第一上眼睑和第一下眼睑的第五距离、与每个第三图像对应的目标开合差值信息和第一眉的第一眉毛中心高度；
117.在m个第五距离中有预设次数的第五距离小于或等于预设距离、目标开合差值信息的值大于或等于预设开合差值信息的值、且第一眉毛中心高度小于或者等于预设眉毛中心高度的情况下，基于第一预设时间段和预设次数，得到眨眼状态。
118.在再一个或者多个可能的实施例中，统计模块904还可以用于，根据n个图像中提取第二预设时间段内的l个第四图像，l为大于1的正整数；
119.根据l个第四图像中每个第四图像，获取每个第四图像中第一眼的第一睑裂信息和第二眼的第二睑裂信息；
120.分别对比l个第四图像中相邻至少两个图像之间的第一睑裂信息和第二睑裂信息，得到l个第四图像中的眨眼次数；
121.根据第二预设时间段和眨眼次数，得到眨眼状态；
122.其中，第一睑裂信息包括第一瞳孔和虹膜面积、第一眼白面积和第一遮盖瞳孔和虹膜的面积，第二睑裂信息包括第二瞳孔和虹膜面积、第二眼白面积和第二遮盖瞳孔和虹膜的面积。
123.在再一个或者多个可能的实施例中，本技术实施例中的交互装置90还可以包括接收模块；其中，
124.接收模块，用于在连接控制设备的情况下，接收控制设备发送的控制信号；
125.计算模块902具体可以用于，在第三预设时间段内未接收到控制设备发送的控制信号的情况下，根据n个图像中的每个图像，计算第一眼和第二眼的开合差值信息和第一眉和第二眉的摆动差值信息。
126.在再一个或者多个可能的实施例中，执行模块904具体可以用于，根据预设眨眼状态和预设操作的关联信息，执行与眨眼状态对应的目标操作。
127.本技术实施例中的交互装置可以是电子设备，也可以是电子设备中的部件，例如集成电路或芯片。该电子设备可以是终端，也可以为除终端之外的其他设备。示例性的，电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、移动上网装置(mobile internet device，mid)、增强现实(augmented reality，ar)/虚拟现实(virtual reality，vr)设备、机器人、可穿戴设备、超级移动个人计算机(ultra-mobile personal computer，umpc)、上网本或者个人数字助理(personal digital assistant，pda)等，还可以为服务器、网络附属存储器(network attached storage，nas)、个人计算机(personal computer，pc)、电视机(television，tv)、柜员机或者自助机等，本技术实施例不作具体限定。
128.本技术实施例中的交互装置可以为具有操作系统的装置。该操作系统可以为安卓
(android)操作系统，可以为ios操作系统，还可以为其他可能的操作系统，本技术实施例不作具体限定。
129.本技术实施例提供的交互装置能够实现图1至图8的方法实施例实现的各个过程，达到相同的技术效果，为避免重复，这里不再赘述。
130.基于此，本技术实施例提供的交互装置，通过与双眼相关的开合差值信息和双眉相关的摆动差值信息，确认用户是否处于通过眼部操作电子设备的状态，以及，若用户佩戴眼镜，则还可以根据开合差值信息、摆动差值信息和相邻图像中镜框的高度变化差值信息，确定用户是否处于通过眼部操作电子设备的状态，避免了用户正常状态下眨眼导致误操作电子设备的情况，实现了在保持眼部控制电子设备灵敏度的同时，能够提高确定用户处于通过眼部操作电子设备的状态的准确率。
131.另外，若电子设备与控制设备(如游戏手柄、键盘、鼠标)连接，则可以默认用户会通过控制设备操作电子设备，然后，如果用户有时将已与电子设备连接的控制设备放置在用户拿不到的位置或不想用控制设备操作电子设备等无法通过控制设备操作电子设备，就可以通过本技术实施例中提供的用眼部操作电子设备的交互方式，从而在减少误触发的同时进行功率优化，进而提升用户使用电子设备的效率。
132.可选的，如图10所示，本技术实施例还提供一种电子设备100，包括处理器1001和存储器1002，存储器1002上存储有可在处理器1001上运行的程序或指令，该程序或指令被处理器1001执行时实现上述交互方法实施例的各个步骤，且能达到相同的技术效果，为避免重复，这里不再赘述。
133.需要说明的是，本技术实施例中的电子设备包括上述的移动电子设备和非移动电子设备。
134.图11为本技术实施例提供的一种电子设备的硬件结构示意图。
135.该电子设备1100包括但不限于：射频单元1101、网络模块1102、音频输出单元1103、输入单元1104、传感器1105、显示单元1106、用户输入单元1107、接口单元1108、存储器1109、处理器1110等部件。
136.本领域技术人员可以理解，电子设备1100还可以包括给各个部件供电的电源(比如电池)，电源可以通过电源管理系统与处理器1110逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。图11中示出的电子设备结构并不构成对电子设备的限定，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置，在此不再赘述。
137.其中，在本技术实施例中，处理器1110，用于获取n个图像，图像包括眼部区域和眉部区域，眼部区域包括第一眼和第二眼，眉部区域包括第一眉和第二眉，n为正整数。处理器1110还用于，根据n个图像中的每个图像，计算第一眼和第二眼的开合差值信息和第一眉和第二眉的摆动差值信息。处理器1110还用于，在开合差值信息满足第一预设条件，且摆动差值信息满足第二预设条件的情况下，根据n个图像，统计眨眼状态。处理器1110还用于，根据眨眼状态，执行目标操作。
138.在一个或者多个可能的实施例中，处理器1110具体可以用于，在第一眼包括第一上眼睑和第一下眼睑，第二眼包括第二上眼睑和第二下眼睑的情况下，根据每个图像，获取在第i时刻第一上眼睑和第一下眼睑的第一距离，以及第二上眼睑和第二下眼睑的第二距
离，第一距离为第一上眼睑和第一下眼睑之间最大的垂直距离，第二距离为第二上眼睑和第二下眼睑之间最大的垂直距离；
139.将第一距离与第二距离的差值作为在第i时刻第一眼和第二眼的开合差值信息，i为正整数，i与拍摄图像的时间对应。
140.在另一个或者多个可能的实施例中，处理器1110具体可以用于，在第一眉包括第一眉峰，第二眉包括第二眉峰，第一眉与第一眼对应，第二眉与第二眼对应的情况下，根据每个图像，获取在第i时刻第一眉峰与第一下眼睑的第三距离，以及第二眉峰和第二下眼睑的第四距离，第三距离为第一眉峰和第一下眼睑之间最大的垂直距离，第四距离为第二眉峰和第二下眼睑之间最大的垂直距离；
141.将第三距离和第四距离的差值作为在第i时刻第一眉和第二眉的摆动差值信息。
142.在又一个或者多个可能的实施例中，处理器1110具体可以用于，根据每个图像，获取在第i时刻第一眉峰与第一下眼睑的第三距离，以及第二眉峰和第二下眼睑的第四距离，第三距离为第一眉峰和第一下眼睑之间最大的垂直距离，第四距离为第二眉峰和第二下眼睑之间最大的垂直距离；
143.将第三距离和第四距离的差值作为在第i时刻第一眉和第二眉的摆动差值信息。
144.在再一个或者多个可能的实施例中，处理器1110具体可以用于，对n个图像中相邻的第一图像中的第一眉和第二眉进行图像识别，得到第j时刻与第一眉对应的第一眉曲线和与第二眉对应的第二眉曲线，以及在第j 1时刻与第一眉对应的第三眉曲线和与第二眉对应的第三眉曲线，j为正整数，第j时刻与第j 1时刻与相邻的第一图像对应；
145.对比第一眉曲线和第三眉曲线，得到与第一眉对应的第一摆动曲率，以及对比第二眉曲线和第四眉曲线，得到与第二眉对应的第二摆动曲率；
146.将第一摆动曲率和第二摆动曲率确定为摆动差值信息。
147.在再一个或者多个可能的实施例中，本技术实施例中的处理器1110还可以用于，图像还包括眼镜区域，眼镜区域包括与第一眼对应的第一镜框和与第二眼对应的第二镜框，根据n个图像中相邻的第二图像，计算在第rr时刻第一镜框和在第r 1时刻第一镜框的第一高度变化差值信息，以及在第r时刻第二镜框和在第r 1时刻第二镜框的第二高度变化差值信息，r为正整数，第r时刻和第r 1时刻与相邻的第二图像对应；
148.处理器1110具体可以用于，在第一高度变化差值信息或者第二高度变化差值信息满足第三预设条件的情况下，根据n个图像，统计眨眼状态。
149.在再一个或者多个可能的实施例中，处理器1110还可以用于，在第一眼包括第一上眼睑和第一下眼睑的情况下，从n个图像中提取第一预设时间段内的m个第三图像，m为大于1的正整数；
150.根据m个第三图像中每个第三图像计算第一上眼睑和第一下眼睑的第五距离、与每个第三图像对应的目标开合差值信息和第一眉的第一眉毛中心高度；
151.在m个第五距离中有预设次数的第五距离小于或等于预设距离、目标开合差值信息的值大于或等于预设开合差值信息的值、且第一眉毛中心高度小于或者等于预设眉毛中心高度的情况下，基于第一预设时间段和预设次数，得到眨眼状态。
152.在再一个或者多个可能的实施例中，处理器1110还可以用于，根据n个图像中提取第二预设时间段内的l个第四图像，l为大于1的正整数；
153.根据l个第四图像中每个第四图像，获取每个第四图像中第一眼的第一睑裂信息和第二眼的第二睑裂信息；
154.分别对比l个第四图像中相邻至少两个图像之间的第一睑裂信息和第二睑裂信息，得到l个第四图像中的眨眼次数；
155.根据第二预设时间段和眨眼次数，得到眨眼状态；
156.其中，第一睑裂信息包括第一瞳孔和虹膜面积、第一眼白面积和第一遮盖瞳孔和虹膜的面积，第二睑裂信息包括第二瞳孔和虹膜面积、第二眼白面积和第二遮盖瞳孔和虹膜的面积。
157.在再一个或者多个可能的实施例中，本技术实施例中的网络模块1102，用于在连接控制设备的情况下，接收控制设备发送的控制信号；
158.处理器1110具体可以用于，在第三预设时间段内未接收到控制设备发送的控制信号的情况下，根据n个图像中的每个图像，计算第一眼和第二眼的开合差值信息和第一眉和第二眉的摆动差值信息。
159.在再一个或者多个可能的实施例中，处理器1110具体可以用于，根据预设眨眼状态和预设操作的关联信息，执行与眨眼状态对应的目标操作。
160.如此，通过与双眼相关的开合差值信息和双眉相关的摆动差值信息，确认用户是否处于通过眼部操作电子设备的状态，以及，若用户佩戴眼镜，则还可以根据开合差值信息、摆动差值信息和相邻图像中镜框的高度变化差值信息，确定用户是否处于通过眼部操作电子设备的状态，避免了用户正常状态下眨眼导致误操作电子设备的情况，实现了在保持眼部控制电子设备灵敏度的同时，能够提高确定用户处于通过眼部操作电子设备的状态的准确率。
161.另外，若电子设备与控制设备(如游戏手柄、键盘、鼠标)连接，则可以默认用户会通过控制设备操作电子设备，然后，如果用户有时将已与电子设备连接的控制设备放置在用户拿不到的位置或不想用控制设备操作电子设备等无法通过控制设备操作电子设备，就可以通过本技术实施例中提供的用眼部操作电子设备的交互方式，从而在减少误触发的同时进行功率优化，进而提升用户使用电子设备的效率。
162.应理解的是，输入单元1104可以包括图形处理器(graphics processing unit，gpu)11041和麦克风11042，图形处理器11041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图像或视频的图像数据进行处理。显示单元1106可包括显示面板，可以采用液晶显示器、有机发光二极管等形式来配置显示面板。用户输入单元1107包括触控面板11071以及其他输入设备11072中的至少一种。触控面板11071，也称为触摸屏。触控面板11071可包括触摸检测装置和触摸显示器两个部分。其他输入设备11072可以包括但不限于物理键盘、功能键(比如音量显示按键、开关按键等)、轨迹球、鼠标、操作杆，在此不再赘述。
163.存储器1109可用于存储软件程序以及各种数据，存储器1109可主要包括存储程序或指令的第一存储区和存储数据的第二存储区，其中，第一存储区可存储操作系统、至少一个功能所需的应用程序或指令(比如声音播放功能、图像播放功能等)等。此外，存储器1109可以包括易失性存储器或非易失性存储器，或者，存储器1109可以包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(read-only memory，rom)、可编程只
读存储器(programmable rom，prom)、可擦除可编程只读存储器(erasable prom，eprom)、电可擦除可编程只读存储器(electrically eprom，eeprom)或闪存。易失性存储器可以是随机存取存储器(random access memory，ram)，静态随机存取存储器(static ram，sram)、动态随机存取存储器(dynamic ram，dram)、同步动态随机存取存储器(synchronous dram，sdram)、双倍数据速率同步动态随机存取存储器(double data rate sdram，ddrsdram)、增强型同步动态随机存取存储器(enhanced sdram，esdram)、同步连接动态随机存取存储器(synch link dram，sldram)和直接内存总线随机存取存储器(direct rambus ram，drram)。本技术实施例中的存储器1109包括但不限于这些和任意其它适合类型的存储器。
164.处理器1110可包括一个或多个处理单元；可选的，处理器1110集成应用处理器和调制解调处理器，其中，应用处理器主要处理涉及操作系统、用户界面和应用程序等的操作，调制解调处理器主要处理无线显示信号，如基带处理器。可以理解的是，上述调制解调处理器也可以不集成到处理器1110中。
165.本技术实施例还提供一种可读存储介质，可读存储介质上存储有程序或指令，该程序或指令被处理器执行时实现上述交互方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
166.其中，处理器为上述实施例中的电子设备中的处理器。其中，可读存储介质，包括计算机可读存储介质，如计算机只读存储器rom、随机存取存储器ram、磁碟或者光盘等。
167.另外，本技术实施例另提供了一种芯片，芯片包括处理器和显示接口，显示接口和处理器耦合，处理器用于运行程序或指令，实现上述交互方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
168.应理解，本技术实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。
169.本技术实施例提供一种计算机程序产品，该程序产品被存储在存储介质中，该程序产品被至少一个处理器执行以实现如上述交互方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
170.需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
171.此外，需要指出的是，本技术实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能，还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能，例如，可以按不同于所描述的次序来执行所描述的方法，并且还可以添加、省去、或组合各种步骤。另外，参照某些示例所描述的特征可在其他示例中被组合。
172.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服
务器，或者网络设备等)执行本技术各个实施例的方法。
173.上面结合附图对本技术的实施例进行了描述，但是本技术并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本技术的启示下，在不脱离本技术宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本技术的保护之内。