基于面部表情的解锁方法、装置、计算机设备和存储介质与流程

1.本技术涉及人工智能技术领域，特别是涉及一种基于面部表情的解锁方法、装置、计算机设备和存储介质。


背景技术：

2.随着智能设备的普及以及信息安全的不断发展，用户对信息安全的要求也越来越高，因此安全锁的应用也越来越受到广大用户喜爱，如设备开机密码锁、应用登录安全锁以及支付密码锁等等。
3.常用的安全锁解锁方案中，通常是输入对应的密码进行解锁，或者录入用户的指纹进行解锁，或者是采集人脸图像进行人脸识别来解锁。对于人脸识别的方式解锁而言，第三方可以通过照片或人脸模型来进行解锁，从而造成信息安全隐患。


技术实现要素：

4.基于此，有必要针对上述技术问题，提供一种能够提高信息安全的基于面部表情的解锁方法、装置、计算机设备和存储介质。
5.一种基于面部表情的解锁方法，所述方法包括：
6.显示表情解锁页面；
7.在所述表情解锁页面展示解锁节点序列；
8.在所述表情解锁页面的面部预览区展示实时采集的面部图像；
9.在所述解锁节点序列中待处理的解锁节点处，基于相应所述面部图像中的面部表情产生解锁状态标识；
10.当所述解锁节点序列中每个解锁节点处均产生解锁状态标识、且每个所述面部图像中的面部表情与对应的目标表情匹配时，解锁成功。
11.在一个实施例中，所述面部图像中包括面部和手部；所述方法还包括：
12.在进行面部表情识别的过程中，对所述面部图像中的手部进行手势识别；
13.所述当每次完成面部表情识别时，在所述解锁进度区的相应解锁节点处产生解锁状态标识包括：
14.当每次完成面部表情识别和手势识别时，在所述解锁进度区的相应解锁节点处产生解锁状态标识。
15.在一个实施例中，所述方法还包括：
16.当所述至少两张面部图像中的面部表情与对应的目标表情均匹配时，确定所述至少两张面部图像之间的采集时间间隔；或者，
17.确定所述待处理的解锁节点与上一已处理的解锁节点之间的解锁时间间隔；
18.当所述采集时间间隔或所述解锁时间间隔满足对应的时间间隔条件时，执行所述在所述待处理的解锁节点处产生解锁状态标识的步骤。
19.在一个实施例中，所述面部表情识别的步骤还包括：
20.从所述面部图像中提取眉部特征点和眼睑特征点；
21.确定所述眉部特征点与所述眼睑特征点之间的第五距离；
22.根据所述第五距离与预设距离的大小关系确定眉部姿态。
23.一种基于面部表情的解锁装置，所述装置包括：
24.显示模块，用于显示表情解锁页面；
25.第一展示模块，用于在所述表情解锁页面展示解锁节点序列；
26.第二展示模块，用于在所述表情解锁页面的面部预览区展示实时采集的面部图像；
27.产生模块，用于在所述解锁节点序列中待处理的解锁节点处，基于相应所述面部图像中的面部表情产生解锁状态标识；
28.解锁模块，用于当所述解锁节点序列中每个解锁节点处均产生解锁状态标识、且每个所述面部图像中的面部表情与对应的目标表情匹配时，解锁成功。
29.在一个实施例中，所述解锁节点序列展示于所述表情解锁页面的解锁进度区。所述产生模块，还用于按照所述解锁节点序列中解锁节点的顺序，依次对所述解锁节点序列中待处理的解锁节点对应的所述面部图像进行面部表情识别；当每次完成面部表情识别时，在所述解锁进度区的相应解锁节点处产生解锁状态标识。
30.在一个实施例中，所述装置还包括：生成模块、叠加模块和确定模块；其中：
31.所述生成模块，用于当每次完成面部表情识别时，生成与所述面部表情对应的表情模型图；
32.所述叠加模块，用于在所述面部预览区的相应面部图像上叠加显示所述表情模型图；
33.所述确定模块，用于当所述表情模型图与相应解锁节点的表情图一致时，确定所述面部图像中的面部表情与对应的目标表情匹配。
34.在一个实施例中，所述面部图像中包括面部和手部。所述装置还包括：识别模块；其中：
35.所述识别模块，用于在进行面部表情识别的过程中，对所述面部图像中的手部进行手势识别；
36.所述产生模块，还用于当每次完成面部表情识别和手势识别时，在所述解锁进度区的相应解锁节点处产生解锁状态标识。
37.在一个实施例中，所述每个解锁节点对应至少两个不同的目标表情。所述产生模块，还用于对待处理的解锁节点对应的至少两张面部图像进行面部表情识别；当所述至少两张面部图像中的面部表情与对应的目标表情均匹配时，在所述待处理的解锁节点处产生解锁状态标识。
38.在一个实施例中，所述确定模块，还用于当所述至少两张面部图像中的面部表情与对应的目标表情均匹配时，确定所述至少两张面部图像之间的采集时间间隔；或者，确定所述待处理的解锁节点与上一已处理的解锁节点之间的解锁时间间隔；
39.所述产生模块，还用于当所述采集时间间隔或所述解锁时间间隔满足对应的时间间隔条件时，在所述待处理的解锁节点处产生解锁状态标识。
40.在一个实施例中，所述识别模块，还用于从所述面部图像中提取眼部特征点；在所
述眼部特征点中，确定上眼皮特征点与下眼皮特征点之间的第一距离，以及确定左眼角特征点与右眼角特征点之间的第二距离；根据所述第一距离与所述第二距离之间的比值与至少一个预设区间之间的关系确定眼部姿态。
41.在一个实施例中，所述识别模块，还用于从所述面部图像中提取唇部特征点；在所述唇部特征点中，根据唇部中心特征点与唇角特征点之间的高度差值确定唇部姿态；或者，在所述唇部特征点中，根据上嘴唇特征点与下嘴唇特征点之间的第三距离确定唇部姿态；或者，在所述唇部特征点中，根据所述第三距离与第四距离之间的比值与至少一个预设区间之间的关系确定唇部姿态；其中，所述第四距离为左唇角特征点与右唇角特征点之间的距离。
42.在一个实施例中，所述识别模块，还用于从所述面部图像中提取眉部特征点和眼睑特征点；确定所述眉部特征点与所述眼睑特征点之间的第五距离；根据所述第五距离与预设距离的大小关系确定眉部姿态。
43.在一个实施例中，所述面部预览区中展示有面部采集框。所述装置还包括：检测模块和提示模块；其中：
44.所述检测模块，用于检测所述面部图像中的面部关键点是否位于所述面部采集框内；
45.所述产生模块，还用于若所述面部图像中的面部关键点位于所述面部采集框内，则按照所述解锁节点序列中解锁节点的顺序，在每个解锁节点处基于相应所述面部图像中的面部表情产生解锁状态标识；
46.所述提示模块，用于若所述面部图像中的面部关键点未位于所述面部采集框内，则发出调整采集方位的提示信息。
47.在一个实施例中，所述面部图像为采集待测对象所得的图像。所述识别模块，还用于按照所述解锁节点序列中解锁节点的顺序，对与每个解锁节点对应的面部图像进行人脸识别，得到人脸识别结果；
48.所述解锁模块，还用于当每个解锁节点处均产生解锁状态标识、且每个所述面部图像中的面部表情与对应的目标表情匹配、且根据所述人脸识别结果确定所述待测对象与目标对象一致时，解锁成功。
49.在一个实施例中，所述装置还包括：取消模块；其中：
50.所述提示模块，还用于当所述解锁节点序列中每个解锁节点处均产生解锁状态标识、但每个所述面部图像中的面部表情与对应的目标表情不匹配时，发出解锁失败的提示信息；
51.所述取消模块，用于取消展示所述解锁状态标识，返回执行所述在所述解锁节点序列中待处理的解锁节点处，基于相应所述面部图像中的面部表情产生解锁状态标识的步骤。
52.在一个实施例中，所述装置还包括：获取模块、暂停模块和告警模块；其中：
53.所述获取模块，用于当解锁失败时，获取解锁失败的累计次数；
54.所述暂停模块，用于当所述累计次数达到预设次数时，暂停解锁过程；
55.所述告警模块，用于获取预留通信号，并向所述预留通信号发送告警信息。
56.在一个实施例中，所述装置还包括：录入模块和组合模块；其中：
57.所述第二展示模块，用于展示表情录入页面；
58.所述录入模块，用于通过所述表情录入页面依次录入与所述表情录入页面中表情标识对应的表情图；
59.所述录入模块，用于进入表情组合页面；
60.所述组合模块，用于响应于在所述表情组合页面触发的组合操作，将所述表情标识进行组合，获得所述表情解锁序列。
61.在一个实施例中，所述表情解锁页面中包含表情提示区。所述第二展示模块，还用于在对所述解锁节点序列中待处理的解锁节点进行解锁的过程中，响应于在所述表情提示区触发的表情提示操作，在所述表情提示区展示与所述待处理的解锁节点对应的提示图像。
62.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
63.显示表情解锁页面；
64.在所述表情解锁页面展示解锁节点序列；
65.在所述表情解锁页面的面部预览区展示实时采集的面部图像；
66.在所述解锁节点序列中待处理的解锁节点处，基于相应所述面部图像中的面部表情产生解锁状态标识；
67.当所述解锁节点序列中每个解锁节点处均产生解锁状态标识、且每个所述面部图像中的面部表情与对应的目标表情匹配时，解锁成功。
68.一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
69.显示表情解锁页面；
70.在所述表情解锁页面展示解锁节点序列；
71.在所述表情解锁页面的面部预览区展示实时采集的面部图像；
72.在所述解锁节点序列中待处理的解锁节点处，基于相应所述面部图像中的面部表情产生解锁状态标识；
73.当所述解锁节点序列中每个解锁节点处均产生解锁状态标识、且每个所述面部图像中的面部表情与对应的目标表情匹配时，解锁成功。
74.上述基于面部表情的解锁方法、装置、计算机设备和存储介质，在表情解锁页面配置了多个解锁节点组成的解锁节点序列，在对每个解锁节点进行解锁时，需要对实时采集的面部图像进行表情识别，而且每个解锁节点均对应特定的目标表情，只有当所有解锁节点对应的面部图像中的面部表情与相应解锁节点对应的目标表情相匹配时，才完成整个解锁过程，从而可以有效地避免因盗用图像或人脸模型实现解锁，有效地提高了信息安全性。
附图说明
75.图1为一个实施例中基于面部表情的解锁方法的应用环境图；
76.图2为一个实施例中基于面部表情的解锁方法的流程示意图；
77.图3为一个实施例中表情解锁页面的示意图；
78.图4为一个实施例中通过触发人脸检测控件进入表情解锁页面的示意图；
79.图5为一个实施例中提示调整采集方位的示意图；
80.图6为一个实施例中对面部图像进行识别，并将识别所得的表情模型图叠加在面部表情上的示意图；
81.图7为一个实施例中面部特征点的示意图；
82.图8为一个实施例中结合表情和人脸进行解锁步骤的流程示意图；
83.图9为一个实施例中结合表情和手势进行解锁步骤的流程示意图；
84.图10为一个实施例中通过至少两个面部表情对每一个解锁节点进行解锁步骤的流程示意图；
85.图11为一个实施例中录入表情图步骤的流程示意图；
86.图12为一个实施例中通过人脸录入控件进入表情录入页面的示意图；
87.图13为一个实施例中表情识别后，进行表情图录入的示意图；
88.图14为一个实施例中对表情标识进行组合和排序的示意图；
89.图15为一个实施例中表情组合与表情识别的示意图；
90.图16为另一个实施例中基于面部表情的解锁方法的流程示意图；
91.图17为一个实施例中基于面部表情的解锁装置的结构框图；
92.图18为一个实施例中计算机设备的内部结构图。
具体实施方式
93.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。
94.人工智能(artificial intelligence，ai)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
95.人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
96.计算机视觉技术(computer vision，cv)计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、ocr、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3d技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。
97.随着人工智能技术研究和进步，人工智能技术在多个领域展开研究和应用，例如
常见的智能家居、智能穿戴设备、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、机器人、智能医疗、智能客服等，相信随着技术的发展，人工智能技术将在更多的领域得到应用，并发挥越来越重要的价值。
98.本技术实施例提供的方案涉及人工智能的计算机视觉技术等技术，具体通过如下实施例进行说明：
99.本技术提供的基于面部表情的解锁方法，可以应用于如图1所示的应用环境中。在该应用环境中，包括终端102和服务器104。终端102可以通过内置的摄像头或外置摄像头实时采集待测对象的面部图像，然后对该面部图像的面部表情进行识别，在识别完成时，在对应解锁节点出产生解锁状态标识以提示该解锁节点的解锁状态，当解锁节点序列中每个解锁节点处均产生了解锁状态标识、且每个面部图像中的面部表情与对应的目标表情匹配时，则对整个解锁节点序列解锁成功。
100.其中，待测对象可以指待测用户或其它待测对象(如动物)，在后续实施例中，以待测对象为待测用户为例进行说明。解锁节点序列可以视为多位密码的安全锁，每个解锁节点对应一位密码，该位密码通过面部表情来进行解码。解锁状态包括：未进行解锁操作的状态和已进行解锁操作的状态。该已进行解锁操作的状态包括：已进行解锁操作、且对该解锁节点成功解锁的状态，已进行解锁操作、但对该解锁节点未成功解锁的状态。
101.此外，终端102还可以预先录入目标对象的表情图，不同解锁节点可以录入不同的表情图(即对应不同的目标表情)，或者某两个或三个不同解锁节点可以录入相同的表情图(即某两个或三个不同解锁节点对应相同的目标表情)。其中，每个解锁节点对应一位密码，通过对应的面部表情对该解锁节点进行解锁(也即解码)。终端102预先录入目标对象的表情图可以保存于本地，也可以保存于服务器104，在解锁过程中，通过服务器104将从待测对象的面部图像识别的面部表情与保存的表情图进行比对，以判断待测对象的面部表情与目标对象的目标表情是否一致。
102.其中，终端102可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等；此外，还可以是门禁设备、闸门等，但并不局限于此。
103.服务器104可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群，可以是提供云服务器、云数据库、云存储和内容分发网络(content delivery network，cdn)等基础云计算服务的云服务器。
104.终端102与服务器104之间可以通过蓝牙、usb(universal serial bus，通用串行总线)或者网络等通讯连接方式进行连接，本技术在此不做限制。
105.在一个实施例中，如图2所示，提供了一种基于面部表情的解锁方法，以该方法应用于图1中的终端102为例进行说明，包括以下步骤：
106.s202，显示表情解锁页面。
107.其中，表情解锁页面可以指采用面部表情进行解锁的页面，或者是对待测对象的面部表情进行验证的页面。如对终端进行解锁以进入用户操作界面的表情解锁页面，或者进入应用程序的资金管理页面或其它具有隐私信息的页面(如社交应用中的聊天记录页面)时进行解锁的表情解锁页面，又或者是支付场景中进行刷面部表情以进行支付的表情解锁页面。
108.例如，如图2所示，该表情解锁页面中包含了面部预览区、解锁进度区和表情提示
区。其中，该面部预览区用于展示实时采集的面部图像；该解锁进度区用来展示解锁节点序列，当对某个解锁节点进行了解锁操作时，在该解锁节点的位置处显示已进行解锁操作的解锁状态标识。该表情提示区可以用于展示对应解锁节点的提示图像，如对第1个解锁节点进行解锁，则该表情提示区可以展示与第1个解锁节点相关联的提示图像。举例来说，若第1个解锁节点对应的预先录入的表情为微笑表情，提示图像可以是蓝天；若第1个解锁节点对应的预先录入的表情为张嘴表情，提示图像可以是向日葵。
109.在一个实施例中，终端可以在检测到解锁指令、或检测到进入具有隐私信息的页面的操作指令、或检测到进入资金管理页面的操作指令、或检测到支付指令时，显示表情解锁页面。此外，当获取到在面部管理页面上触发的面部识别指令时，进入该表情解锁页面。其中，面部可以指人的脸部，或其它对象的面部。
110.例如，待测对象欲进入终端的操作页面的场景，终端会在接收到解锁指令时，进入表情解锁页面。或者，待测对象欲采用在线支付的场景，终端在检测到支付指令时，进入表情解锁页面。或者，如图4所示，当待测对象在面部管理页面上点击或触摸人脸识别控件时，则进入表情解锁页面。
111.s204，在表情解锁页面展示解锁节点序列。
112.其中，解锁节点序列可以指需要进行解锁的节点(即解锁节点)所构成的节点序列。该解锁节点序列中的解锁节点可以是具有先后顺序的节点，换句话说，在解锁时按照先后顺序依次对解锁节点序列中的各解锁节点进行解锁。该解锁节点序列可以对应一个安全锁，或对应一串密码，通过对应的面部表情对解锁节点序列中的各解锁节点进行解锁。
113.在一个实施例中，在显示表情解锁页面时，在解锁进度区中展示解锁节点序列。其中，在该解锁进度区中，解锁节点序列中的各解锁节点之间可以显示指向符，如箭头或“>”符号，如图4所示。
114.s206，在表情解锁页面的面部预览区展示实时采集的面部图像。
115.其中，面部可以泛指待测对象的脸部、下巴部位、唇部、眼部、鼻子部位、眉部、额头部位和耳部等。该面部预览区可以显示由面部采集框，以通过该面部采集框截取面部图像中的面部图块，可以避免对整个面部图像进行识别而导致计算量高的问题。
116.在一个实施例中，终端通过内置的摄像头或与终端连接的外置摄像头实时采集待测对象，得到待测对象的面部图像，然后将实时采集的面部图像展示于表情解锁页面的面部预览区。其中，该面部图像可以只包含该待测对象的面部，也可以包含该待测对象的面部和手部。
117.在一个实施例中，s206之后，该方法还可以包括：终端检测面部图像中的面部关键点是否位于面部采集框内；若是，则执行s208；若否，则发出调整采集方位的提示信息。
118.其中，面部关键点可以是待测对象的耳部、下巴部位和额头部位等。面部图像中的耳部、下巴部位和额头部位处于面部采集框内，则可以表明整个面部都在面部采集框内。
119.例如，如图5所示，当检测面部图像中的面部关键点未位于面部采集框(如图5中的黑色矩形线框)内时，在面部采集框附近显示“请调整采集方位”的提示信息，以使面部图像中的整个面部都位于面部采集框内。
120.s208，在解锁节点序列中待处理的解锁节点处，基于相应面部图像中的面部表情产生解锁状态标识。
121.其中，待处理的解锁节点可以指解锁节点序列中未进行解锁操作的节点。在本实施例中，该待处理的解锁节点还可以指解锁节点序列中未进行解锁操作、且当前需要进行解锁操作的节点。
122.该解锁状态标识可以用来表示待处理的解锁节点已成功完成解锁，或者表示待处理的解锁节点已进行解锁操作、但并不确定是否成功完成解锁。根据解锁状态标识的上述两种含义，可以将s208划分为以下两种场景：
123.场景1，解锁状态标识表示待处理的解锁节点已进行解锁操作、但并不确定是否成功完成解锁。
124.在一个实施例中，解锁节点序列展示于表情解锁页面的解锁进度区。s206具体可以包括：终端按照解锁节点序列中解锁节点的顺序，依次对解锁节点序列中待处理的解锁节点对应的面部图像进行面部表情识别；当每次完成面部表情识别时，在解锁进度区的相应解锁节点处产生解锁状态标识。其中，该解锁状态标识可用于表示该当前待处理的解锁节点已进行解锁操作。该解锁状态标识包括：已进行解锁操作、且对该解锁节点成功解锁的状态标识，或已进行解锁操作、但对该解锁节点未成功解锁的状态标识。
125.对于解锁节点序列中某一个待处理的解锁节点的解锁步骤，其步骤可以包括：终端在对解锁节点序列中当前待处理的解锁节点进行解锁时，对当前采集的面部图像进行面部表情识别，将识别的面部表情与该待处理的解锁节点对应的目标表情进行对比，当获得对比结果后，在当前待处理的解锁节点处产生解锁状态标识。在产生解锁状态标识之后，该当前待处理的解锁节点转变为已处理的解锁节点，然后接着对剩余待处理的解锁节点进行解锁。
126.例如，如图6所示，在左边的图中，解锁节点序列中的各解锁节点(即节点1-6)均未进行解锁操作。当检测到面部图像中的整个面部均位于面部采集框内时，首先对解锁节点序列中的第1个解锁节点进行解锁，解锁的过程包括：对展示于面部预览区的面部图像进行面部表情识别，即对面部采集框内的面部图块进行面部表情识别，得到面部表情的识别结果；其中，该面部表情为张嘴眯左眼的表情。在得到面部表情的识别结果之后，将识别的面部表情与第1个解锁节点对应的目标表情进行对比，当获得对比结果后，在第1个解锁节点的位置处产生解锁状态标识，表示已对第1个解锁节点进行了解锁操作。依此类推，对解锁节点序列中的其它解锁节点进行解锁。
127.在一个实施例中，终端当每次完成面部表情识别时，生成与面部表情对应的表情模型图；在面部预览区的相应面部图像上叠加显示表情模型图，然后将表情模型图与相应解锁节点的表情图进行对比，在获得对比结果后，在待处理的解锁节点处产生解锁状态标识，以提示该待处理的解锁节点对应的面部图像已完成识别。其中，表情模型图可以参考图6中的黑色圆点。
128.场景2，解锁状态标识表示待处理的解锁节点已成功完成解锁。
129.在一个实施例中，终端当每次完成面部表情识别时，生成与面部表情对应的表情模型图；在面部预览区的相应面部图像上叠加显示表情模型图；当表情模型图与相应解锁节点的表情图一致时，确定面部图像中的面部表情与对应的目标表情匹配，然后在解锁节点序列中待处理的解锁节点处产生解锁状态标识。
130.其中，该表情模型图可以指根据识别的面部表情所生成的图形，可用来表示对该
待测对象进行识别所得的面部表情，此外，该表情模型图还可用来表示该待处理的解锁节点对应的面部图像已进行面部表情识别。
131.表情模型图与相应解锁节点的表情图一致时，说明面部图像中的面部表情与该待处理的解锁节点预先录入的表情图相匹配，此时该待处理的解锁节点可以成功解锁。
132.例如，如图6所示，当对第1个解锁节点进行解锁时，对面部图像中的面部表情进行识别，在识别完面部图像中的面部关键点时，生成与该张嘴眯左眼的面部表情匹配的表情模型图，然后叠加在该面部图像中的面部表情上。然后，将该表情模型图与第1个解锁节点对应的预先录入的表情图进行比对，若一致，则在第1个解锁节点的位置处产生解锁状态标识。
133.在对每个解锁节点进行解锁的过程中，可以通过提示图像来提示当前需要解锁的解锁节点对应的表情是什么。
134.在一个实施例中，表情解锁页面中包含表情提示区；该方法还包括：在对解锁节点序列中待处理的解锁节点进行解锁的过程中，响应于在表情提示区触发的表情提示操作，在表情提示区展示与待处理的解锁节点对应的提示图像。从而，用户可以在忘记该解锁解对应的面部表情是什么时，可以通过提示图像联想到对应的面部表情。需要说明的是，对于录入目标表情的目标对象而言，该提示图像可以用于联想到喜怒哀乐的图像，对于其他用户，可能无法清楚该提示图像的具体含义，如利用向日葵图像联想到张嘴。
135.如图5所示，当对第1个解锁节点进行解锁时，若待测对象忘记是什么面部表情时，可以通过向日葵图像来确定该第1个解锁节点对应的是什么面部表情，然后做出该面部表情以解锁第1个解锁节点。
136.s210，当解锁节点序列中每个解锁节点处均产生解锁状态标识、且每个面部图像中的面部表情与对应的目标表情匹配时，解锁成功。
137.其中，目标表情可以指预先录入的表情图中的表情，如对设置了6个解锁节点的安全锁，每个解锁节点预先录入一个或多个表情图，该表情图中的表情即为目标表情。
138.当识别的面部表情与相应待处理的解锁节点对应的表情图匹配时，表示该面部表情与对应的目标表情匹配；反过来，当识别的面部表情与对应的目标表情匹配，说明该面部表情与相应待处理的解锁节点对应的表情图匹配。
139.此外，当产生的表情模型图与相应待处理的解锁节点对应的表情图匹配时，表示该表情模型图与对应的目标表情匹配；反过来，当产生的表情模型图与对应的目标表情匹配，说明该表情模型图与相应待处理的解锁节点对应的表情图匹配。
140.在一个实施例中，终端在解锁每个解锁节点的过程中，记录每个解锁节点在完成解锁时对应的时间间隔，然后计算总时间间隔。当解锁节点序列中每个解锁节点处均产生解锁状态标识、且每个面部图像中的面部表情与对应的目标表情匹配、且总时间间隔小于预设时间间隔时，解锁成功。
141.当解锁节点序列中每个解锁节点处均产生解锁状态标识、但存在一个或多个面部图像中的面部表情与对应的目标表情不匹配时，终端解锁失败。此时，可以重新进行解锁，即返回执行s204至s210，直至解锁成功或解锁失败的累计次数达到预设次数时，暂停解锁。
142.在一个实施例中，当解锁节点序列中每个解锁节点处均产生解锁状态标识、但至少一个面部图像中的面部表情与对应的目标表情不匹配时，终端发出解锁失败的提示信
息；取消展示解锁状态标识，返回执行s204至s210。
143.在一个实施例中，当解锁失败时，获取解锁失败的累计次数；当累计次数达到预设次数时，暂停解锁过程；获取预留通信号，并向预留通信号发送告警信息。
144.其中，上述的累计次数可以指本轮解锁失败或预设时段内解锁失败的总次数，该预设时段可根据实际情况进行设置，在本实施例中并不做具体限定。上述的预留通信号可以指：目标对象(如录入表情图的用户)在终端的应用账户中预留的用于接收告警信息或紧急联系的通信标识，如预留的手机号、邮箱账号或其它即时通信账号等。需要说明的是，解锁失败的累计次数指的是连续解锁失败的总次数，若其中有一次解锁成功，则解锁失败的累计次数置为零。
145.例如，以预留通信号为预留手机号为例，若5分钟内解锁失败的累计次数达到预设次数5，则暂停解锁过程，并向预留手机号发送告警信息，以向预留手机号对应的目标用户进行告警，以告知该目标用户重置密码，以避免他人恶意解锁，或者告知该目标用户重新获取密码。
146.示例性的，对面部图像进行人脸识别可得到如图7所示的面部特征点的识别结果，为了下文方便说明，采用数字标记识别得到的各个面部特征点，例如图7中所示的1～17表示脸部边缘特征点，18～22以及23～27对应表示用户的左眉部特征点和右眉部特征点，28～36表示用户的鼻子特征点，37～42表示用户的左眼特征点，43～48表示用户的右眼特征点，49～68表示用户的嘴唇特征点。需要指出的是，以上仅为示例，在可选实施例中可以在以上脸部特征点中仅识别部分或更多的特征点，或采用其他方式标记各个特征点，均属于本发明实施例的范畴。
147.面部特征点识别技术按照其采用的准则的不同，通常根据所识别的特征的不同分为两类：
148.(1)基于局部特征的方法
149.在一个实施例中，基于局部特征的方法可以利用脸部的局部几何特征，如一些脸部器官(眼、鼻、嘴等)的相对位置和相对距离来描述脸部。其特征分量通常包括特征点间的欧氏距离、曲率和角度等，可以实现对脸部显著特征的一个高效描述。
150.例如，使用积分投影法定位脸部特征点，以特征点间欧氏距离作为特征分量识别出多维的面部特征点向量用于分类。特征分量主要包括：眉毛与眼睛中心的垂直距离：眉毛弧度的多个描述数据；鼻宽及鼻的垂直位置；鼻孔位置以及脸宽等，通过上述面部特征点的识别，在识别过程中可以取得100％正确识别率。
151.在本发明可选实施例中，基于局部特征的方法还可以是关于面部特征点一般特点的经验描述。例如，面部图像有一些明显的基本特征，如面部区域通常包括眼部、鼻子部位和唇部等面部特征点，其亮度一般低于周边区域；双眼大致对称，鼻、嘴分布在对称轴上等。
152.(2)基于整体的方法
153.这里，基于整体的方法则是把面部图像作为一个整体，对其进行某种变换处理识别特征，该方法考虑了脸部的整体属性，也保留了脸部件之间的拓扑关系和各部件本身的信息。
154.由于面部图像的维数通常非常高，且面部图像在高维空间中的分布很不紧凑，因而不利于分类，并且在计算上的复杂度也非常大。可采用子空间分析的方法，根据一定的目
标来寻找一个线性或非线性的空间变换，把原始高维数据压缩到一个低维子空间，使数据在此子空间内的分布更加紧凑，降低计算的复杂度。
155.此外，也可在面部图像上放置一组矩形网格节点，每个节点的特征用该节点处的多尺度小波特征描述，各节点之间的连接关系用几何距离表示，从而构成基于二维拓扑图的脸部表述。在脸部识别过程中，根据两幅图像中各节点和连接之间的相似性进行识别。
156.基于整体的方法除了上述的子空间分析法和弹性图匹配法，还有基于神经网络的方法等，在本发明实施例中，对基于整体方法的类型不做限制。
157.上述实施例中，在表情解锁页面配置了多个解锁节点组成的解锁节点序列，在对每个解锁节点进行解锁时，需要对实时采集的面部图像进行表情识别，而且每个解锁节点均对应特定的目标表情，只有当所有解锁节点对应的面部图像中的面部表情与相应解锁节点对应的目标表情相匹配时，才完成整个解锁过程，从而可以有效地避免因盗用图像或人脸模型实现解锁，有效地提高了信息安全性。
158.在一个实施例中，除了通过面部表情进行解锁之外，还可以结合面部表情和人脸识别的方式进行解锁。如图8所示，该方法还可以包括：
159.s802，按照解锁节点序列中解锁节点的顺序，依次对解锁节点序列中待处理的解锁节点对应的面部图像进行面部表情识别。
160.其中，面部表情可以由面部上的不同部位进行相应动作或处于相应姿态所呈现出来的表情，如图5和图6所示的张嘴眯左眼的表情。
161.在一个实施例中，面部表情识别的步骤包括：终端从面部图像中提取眼部特征点；在眼部特征点中，确定上眼皮特征点与下眼皮特征点之间的第一距离，以及确定左眼角特征点与右眼角特征点之间的第二距离；根据第一距离与第二距离之间的比值与至少一个预设区间之间的关系确定眼部姿态。
162.其中，左眼角特征点和右眼角特征点分别指同一眼部的左边眼角特征点和右边眼角特征点，例如，对于左眼，左眼角特征点指的是左眼的左边眼角特征点，右眼角特征点指的是左眼的右边眼角特征点。
163.举例来说，如图7所示，终端根据人脸识别技术获取到的面部特征点，计算上眼皮特征点38与下眼皮特征点42之间的第一距离，以及计算左眼角特征点37与右眼角特征点40之间的第二距离，当第一距离与第二距离之间的比值为0时，判定待测对象眯左眼。当第一距离与第二距离之间的比值小于0.2时，判定待测对象左眨眼。当第一距离与第二距离之间的比值大于0.2且小于0.6时，判定待测对象瞪左眼。
164.对于唇部姿态，可以采用以下方式进行识别：
165.方式1，根据唇部特征点的高度识别唇部姿态。
166.在一个实施例中，面部表情识别的步骤还包括：终端从面部图像中提取唇部特征点；在唇部特征点中，根据唇部中心特征点与唇角特征点之间的高度差值确定唇部姿态。
167.例如，如图7所示，终端确定唇部中心特征点63的高度以及唇角特征点49(或55)的高度，然后计算唇部中心特征点63与唇角特征点49(或55)之间的高度差值，若高度差值为正(即唇部中心特征点63的高度高于唇角特征点49的高度)，则判断唇部姿态为微笑。
168.方式2，根据上下嘴唇特征点之间的距离识别唇部姿态。
169.在一个实施例中，在唇部特征点中，终端根据上嘴唇特征点与下嘴唇特征点之间
的第三距离确定唇部姿态。
170.例如，根据人脸识别技术获取到的面部特征点，将上嘴唇特征点与下嘴唇特征点之间的第三距离与距离阈值进行比较，当第三距离达到距离阈值时，确定唇部姿态位张嘴。如图7所示，将上嘴唇特征点63与下嘴唇特征点67之间的第三距离与距离阈值进行比较，若大于或等于距离阈值，则标识待测对象在张嘴。
171.在另一个实施例中，终端计算左唇角特征点与右唇角特征点之间的第四距离，当第三距离大于或等于第四距离时，确定唇部姿态位为张嘴。
172.方式3，根据上下嘴唇之间距离与左右唇角特征点之间距离的比值识别唇部姿态。
173.在一个实施例中，在唇部特征点中，根据第三距离与第四距离之间的比值与至少一个预设区间之间的关系确定唇部姿态；其中，第四距离为左唇角特征点与右唇角特征点之间的距离。
174.例如，如图7所示，终端确定上嘴唇特征点63与下嘴唇特征点67之间的第三距离，以及确定左唇角特征点49与右唇角特征点55之间的第四距离，第三距离与第四距离之间的比值与至少一个预设区间之间的关系确定唇部姿态。例如，当第三距离与第四距离之间的比值处于第一预设区间时，确定唇部姿态位为张嘴；此外，当第三距离与第四距离之间的比值处于第二预设区间时，确定唇部姿态位为闭嘴。其中，第一预设区间的值均大于第二预设区间的值。
175.在一个实施例中，面部表情识别的步骤还包括：从面部图像中提取眉部特征点和眼睑特征点；确定眉部特征点与眼睑特征点之间的第五距离；根据第五距离与预设距离的大小关系确定眉部姿态。
176.例如，如图7所示，计算眉部特征点与眼睑特征点38之间的距离，当该距离大于预设距离时，确定待测对象在挑眉。
177.s804，按照解锁节点序列中解锁节点的顺序，对与每个解锁节点对应的面部图像进行人脸识别，得到人脸识别结果。
178.人脸识别的过程，可以参考上述实施例的s210。
179.s806，当每个解锁节点处均产生解锁状态标识、且每个面部图像中的面部表情与对应的目标表情匹配、且根据人脸识别结果确定待测对象与目标对象一致时，解锁成功。
180.在采用面部表情进行解锁时，还可进行人脸识别，以判断该人脸是否与预先录入的目标对象的人脸匹配，若匹配，表示待测对象与目标对象是同一个对象。其中，面部图像为采集待测对象所得的图像。
181.当每个解锁节点处均产生解锁状态标识、且每个面部图像中的面部表情与对应的目标表情匹配、且根据人脸识别结果确定待测对象与目标对象不一致时，则解锁失败。根据人脸识别结果确定待测对象与目标对象不一致时，说明当前检测的待测对象与目标对象不是同一个对象，此时解锁失败。
182.上述实施例中，将面部表情与人脸相结合进行解锁，可以进一步提高解锁节点序列的安全性，提高了信息安全。
183.在一个实施例中，除了通过面部表情进行解锁之外，还可以结合面部表情和手势一起进行解锁，如图9所示，该方法还可以包括：
184.s902，按照解锁节点序列中解锁节点的顺序，依次对解锁节点序列中待处理的解
锁节点对应的面部图像进行面部表情识别。
185.其中，面部表情可以由面部上的不同部位进行相应动作或处于相应姿态所呈现出来的表情，如图5和图6所示的张嘴眯左眼的表情。
186.面部表情的识别可以参考上述实施例的s802。
187.s904，在进行面部表情识别的过程中，对面部图像中的手部进行手势识别。
188.在一个实施例中，终端通过神经网络模型，对面部图像进行卷积处理，从而提取出面部图像中的手势特征，根据该手势特征确定具体的手势。
189.其中，该神经网络模型可以是用于提取手势特征的网络模型，具体可以是二维卷积神经网络模型。二维网络模型可以是机器学习模型的其中一个网络分支。
190.s906，当每次完成面部表情识别和手势识别时，在解锁进度区的相应解锁节点处产生解锁状态标识。
191.在一个实施例中，终端还可以在每次完成面部表情识别之后，判断该面部表情与对应的目标表情是否一致；此外，终端还可以在每次完成手势识别之后，判断该手势与对应的目标手势是否一致，若该面部表情与对应的目标表情一致、且该手势与对应的目标手势一致，则在解锁进度区的相应解锁节点处产生解锁状态标识。
192.s908，当每个解锁节点处均产生解锁状态标识、且每个面部图像中的面部表情与对应的目标表情匹配、且每个识别的手势与对应的目标手势一致时，解锁成功。
193.上述实施例中，将面部表情与手势相结合进行解锁，可以进一步提高解锁节点序列的安全性，提高了信息安全。
194.在一个实施例中，每个解锁节点可以通过至少两个面部表情进行解锁，每个解锁节点对应至少两个不同的目标表情；如图10所示，s208具体可以包括：
195.s1002，对待处理的解锁节点对应的至少两张面部图像进行面部表情识别。
196.其中，在对待处理的解锁节点进行解锁时，可以对该待处理的解锁节点对应的至少两张面部图像进行面部表情识别。
197.例如，在对解锁节点1进行解锁时，先采集到面部图像1，然后对该面部图像1进行面部表情识别，得到面部表情1；然后对采集到的面部图像1进行面部表情识别，得到面部表情2。
198.面部表情识别的过程可以参考上述实施例中的s802。
199.s1004，当至少两张面部图像中的面部表情与对应的目标表情均匹配时，在待处理的解锁节点处产生解锁状态标识。
200.至少两张面部图像中的面部表情之间，可以相同也可以不同。
201.在一个实施例中，当至少两张面部图像中的面部表情与对应的目标表情均匹配时，终端确定至少两张面部图像之间的采集时间间隔；或者，确定待处理的解锁节点与上一已处理的解锁节点之间的解锁时间间隔；当采集时间间隔或解锁时间间隔满足对应的时间间隔条件时，执行s1004。以避免在对同一个解锁节点进行解锁，或者对不同解锁节点进行解锁时，耗费过多时间，可以提高解锁效率，此外也可以避免他人通过多次尝试不同面部表情对某个解锁节点进行解锁。
202.s1006，当每个解锁节点处均产生解锁状态标识、且每个面部图像中的面部表情与对应的目标表情匹配时，解锁成功。
203.上述实施例中，每个解锁节点采用至少两个面部表情进行解锁，可以进一步提高解锁节点序列的安全性，提高了信息安全。
204.在一个实施例中，可以为每个解锁节点预先录入特定的表情图，录入表情图的步骤可以包括：
205.s1102，展示表情录入页面。
206.其中，该表情录入页面可以包含表情标识，此外也可以不包含表情标识。该表情标识用于表示对应的表情类型，不同的表情标识对应不同的表情类型。
207.在一个实施例中，终端在获取到在表情管理页面上触发的表情录入指令时，将页面切换至包含表情标识的表情录入页面。如图12所示，当检测到在表情管理页面的人脸录入控件上进行点击或触摸的操作时，进入展示包含表情标识的表情录入页面。其中，表情录入页面的上半部分用于展示采集的表情图，下班部分用于展示表情标识。
208.s1104，通过表情录入页面依次录入与表情录入页面中表情标识对应的表情图。
209.在一个实施例中，当该表情录入页面中包含表情标识时，终端按照表情标识的排列顺序依次采集目标对象的表情图，然后依次录入所采集的表情图。如图12所示，在表情录入页面中，首先对第一个表情标识进行表情图录入，然后依次对后续表情标识进行表情录入。
210.在一个实施例中，当该表情录入页面中不包含表情标识时，终端对采集的表情图进行识别，得到目标表情；根据该目标表情在表情录入页面的表情标识预览区展示对应的表情标识。如图13所示，对张嘴的面部图像进行识别，得到张嘴的面部表情，然后根据该张嘴的面部表情生成表情标识，在表情录入页面的表情标识预览区进行展示。
211.s1106，进入表情组合页面。
212.其中，表情组合页面可以是用来将表情标识进行组合的页面。
213.s1108，响应于在表情组合页面触发的组合操作，将表情标识进行组合，获得表情解锁序列。
214.在一个实施例中，在该表情组合页面中，终端可以选择将表情录入页面中的表情标识进行排序，根据排序后的表情标识构建表情解锁序列；或者，终端对表情录入页面中的表情标识先进行组合，然后进行排序，根据组合和排序后的额表情标识构建表情解锁序列。
215.例如，如图14所示，目标对象可以将表情组合页面中的表情标识进行两两组合，得到对应的表情组合。如图14右边的表情组合页面所示，第一行中，将普通表情与左瞪眼表情进行组合。
216.上述实施例中，按照表情标识预先录入对应的表情图，然后将表情标识进行组合和排序，从而生成表情解锁序列，以便在解锁时，根据对应的面部表情对表情解锁节点进行解锁，而且，在对每个解锁节点进行解锁时，需要将当前识别的面部表情与预先录入的对应表情图进行对比，只有在两者匹配的情况下，才可以完成对该解锁节点的解锁，从而可以有效提高解锁节点的安全性。
217.作为一个示例，以人脸图像为例进行阐述。如图15和图16所示，在本实施例中，主要通过人脸识别 组合表情 表情序列 提示图像以进行提示的方式实现智能密码锁的功能，可以很好地实现用户的隐私性，对表情进行组合可以增加表情识别的破解难度，使用表情序列可以增加解锁的复杂性，使用提示图像可以帮助用户记忆密码组合，同时避免密码
泄露。其中，该表情序列对应上述的解锁节点序列。
218.在本实施例中，可以让用户自定义不同表情的组合，设置表情序列，添加提示图像及图片(或动画)提示，得组合出一套密码锁，可以满足用户自己的加解密需要，增加个人隐私保护。对于密码锁的定义与解密，具体的实现步骤包括：
219.s1，通过表情识别器进行人脸特征点的识别，得到对应的面部表情。
220.s2，重新定义和实现表情触发的逻辑。
221.1)眨眼，根据人脸识别技术获取到的人脸特征点，将上下眼皮的中心特征点之间的距离除以左右眼角的特征点之间的距离，得到两者之间的比值；当两者之间的比值小于设定的距离阈值时，则判断为眨眼。如图7所示，左眼上眼皮中心特征点38到左眼下眼皮中心特征点42之间的距离，除以左右眼角特征点37和40之间的距离，若得到的比值小于0.2时，则判断用户眨左眼。
222.2)瞪眼，根据人脸识别技术获取到的人脸特征点，将上下眼皮的中心特征点之间的距离除以左右眼角的特征点之间的距离，得到两者之间的比值；当得到两者之间的比值大于设定的比例阈值时，则判断为瞪眼。如图7，左眼上眼皮中心特征点38到左眼下眼皮中心特征点42之间的距离，除以左右眼角特征点37和40之间的距离，若得到的比值小于0.6，则判断为眨左眼。
223.3)嘟嘴，根据人脸识别技术获取到的人脸特征点，设置一个嘟嘴的比例阈值，将嘴唇上下的特征点之间的距离与嘴唇左右特征点之间的距离进行相除，当所得的商值达到设置嘟嘴的比例阈值时，判断为嘟嘴。如图7，嘴唇上下中心特征点67和63之间的距离和嘴唇左右特征点49和55之间的距离相除，若得到的商值大于1.0，则判断为嘟嘴。
224.4)微笑，根据人脸识别技术获取到的人脸特征点，当嘴唇的中心特征点低于嘴唇左右特征点的高度时，判断为微笑。如图7所示，当嘴唇的中心特征点63的位置低于嘴唇左右特征点49和55的位置时，则判断为微笑。
225.5)生气，根据人脸识别技术获取到的人脸特征点，当嘴唇的中心特征点高于嘴唇左右特征点的高度时，判断为生气。如图，当嘴唇的中心特征点63的位置高于嘴唇左右特征点49和55的位置时，则判断为生气。
226.6)张嘴，根据人脸识别技术获取到的人脸特征点，将上下嘴唇的单位距离计算加权平均，设置一个张嘴的距离阈值。当上下嘴唇的特征点之间的距离大于该距离阈值，则判断为张嘴。如图7所示，当上嘴唇中心特征点63与下嘴唇终端特征点67之间的距离大于嘴唇左右特征点49和55之间距离的0.2倍时，则判断为张嘴。
227.7)挑眉，根据人脸识别技术获取到的人脸特征点，设置一个挑眉的距离阈值，当眉毛特征点到上眼睑特征点之间的距离大于该距离阈值，则判断为挑眉。
228.8)点头，根据人脸识别技术获取到的人脸特征点，算出上一帧人脸图像中的头部上下旋转的角度，以及当前帧人脸图像中头部上下旋转的角度，计算两者之间的角度差值，当角度差值超过10度时，则判断为点头。
229.s3，对表情进行组合
230.用户可以根据需要将以上表情两两组合，如眨左眼 张嘴设置成一个表情组合，眨右眼 嘟嘴也可以设置成一个表情组合。
231.s4，对不同表情组合进行排序
232.用户可以将已经设置好的表情组合按照一定顺序排列，根据排序后的表情组合构建成一个密码组，如：表情组合1(眨眼 点头)：表情组合2(眨左眼 张嘴)：表情组合3(眨眼 嘟嘴)：表情组合4(微笑)：表情组合5(挑眉)：表情组合6(瞪眼)。
233.s5，设置提示图像和动画
234.每个表情组合，可以设置一个能帮助记忆且不会泄露表情的提示图像或动画，帮助记忆。例如，设置蓝天来记忆微笑，设置下雨记忆生气，设置手掌记忆点头等，该联想方案根据用户自己的偏好设置。尽量避免提示太多明显，以防泄露密码组合。
235.s6，设置超限保护器
236.每种表情组合设置验证时间如5s，设置总的识别错误次数，如识别错误操作五次，密码锁会被锁住，一定时间内无法打开，并且向固定的邮箱和手机号发送预警信息。
237.s7，进行解锁
238.先进行人脸识别，然后进行表情识别，当出现某个解锁节点不知道对应的表情时，展示提示图像。当单个面部表情识别完成后，然后对表情组合进行识别，以确定对应解锁节点所对应的表情组合是否正确。当每个表情组合正确识别之后，对整个表情序列进行识别，以确定各表情组合的顺序是否正确。最后进行超时或失败累计次数的判断，若超时或失败累计次数达到5次时，暂停解锁，并且向固定的邮箱和手机号发送预警信息。
239.通过本实施例的方案，能够帮助用户灵活设置密码组合，用于门禁、文件加密、进入智能终端操作页面和支付等需求，技术难度低，私密性强，便于操作和记忆。
240.应该理解的是，虽然图2、8-11的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2、8-11中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
241.在一个实施例中，如图17所示，提供了一种基于面部表情的解锁装置，该装置可以采用软件模块或硬件模块，或者是二者的结合成为计算机设备的一部分，该装置具体包括：显示模块1702、第一展示模块1704、第二展示模块1706、产生模块1708和解锁模块1710，其中：
242.显示模块1702，用于显示表情解锁页面；
243.第一展示模块1704，用于在表情解锁页面展示解锁节点序列；
244.第二展示模块1706，用于在表情解锁页面的面部预览区展示实时采集的面部图像；
245.产生模块1708，用于在解锁节点序列中待处理的解锁节点处，基于相应面部图像中的面部表情产生解锁状态标识；
246.解锁模块1710，用于当解锁节点序列中每个解锁节点处均产生解锁状态标识、且每个面部图像中的面部表情与对应的目标表情匹配时，解锁成功。
247.上述实施例中，在表情解锁页面配置了多个解锁节点组成的解锁节点序列，在对每个解锁节点进行解锁时，需要对实时采集的面部图像进行表情识别，而且每个解锁节点
均对应特定的目标表情，只有当所有解锁节点对应的面部图像中的面部表情与相应解锁节点对应的目标表情相匹配时，才完成整个解锁过程，从而可以有效地避免因盗用图像或人脸模型实现解锁，有效地提高了信息安全性。
248.在一个实施例中，解锁节点序列展示于表情解锁页面的解锁进度区。产生模块，还用于按照解锁节点序列中解锁节点的顺序，依次对解锁节点序列中待处理的解锁节点对应的面部图像进行面部表情识别；当每次完成面部表情识别时，在解锁进度区的相应解锁节点处产生解锁状态标识。
249.在一个实施例中，装置还包括：生成模块、叠加模块和确定模块；其中：
250.生成模块，用于当每次完成面部表情识别时，生成与面部表情对应的表情模型图；
251.叠加模块，用于在面部预览区的相应面部图像上叠加显示表情模型图；
252.确定模块，用于当表情模型图与相应解锁节点的表情图一致时，确定面部图像中的面部表情与对应的目标表情匹配。
253.在一个实施例中，面部图像中包括面部和手部。装置还包括：识别模块；其中：
254.识别模块，用于在进行面部表情识别的过程中，对面部图像中的手部进行手势识别；
255.产生模块，还用于当每次完成面部表情识别和手势识别时，在解锁进度区的相应解锁节点处产生解锁状态标识。
256.上述实施例中，将面部表情与手势相结合进行解锁，可以进一步提高解锁节点序列的安全性，提高了信息安全。
257.在一个实施例中，每个解锁节点对应至少两个不同的目标表情。产生模块，还用于对待处理的解锁节点对应的至少两张面部图像进行面部表情识别；当至少两张面部图像中的面部表情与对应的目标表情均匹配时，在待处理的解锁节点处产生解锁状态标识。
258.在一个实施例中，确定模块，还用于当至少两张面部图像中的面部表情与对应的目标表情均匹配时，确定至少两张面部图像之间的采集时间间隔；或者，确定待处理的解锁节点与上一已处理的解锁节点之间的解锁时间间隔；
259.产生模块，还用于当采集时间间隔或解锁时间间隔满足对应的时间间隔条件时，在待处理的解锁节点处产生解锁状态标识。
260.上述实施例中，每个解锁节点采用至少两个面部表情进行解锁，可以进一步提高解锁节点序列的安全性，提高了信息安全。
261.在一个实施例中，识别模块，还用于从面部图像中提取眼部特征点；在眼部特征点中，确定上眼皮特征点与下眼皮特征点之间的第一距离，以及确定左眼角特征点与右眼角特征点之间的第二距离；根据第一距离与第二距离之间的比值与至少一个预设区间之间的关系确定眼部姿态。
262.在一个实施例中，识别模块，还用于从面部图像中提取唇部特征点；在唇部特征点中，根据唇部中心特征点与唇角特征点之间的高度差值确定唇部姿态；或者，在唇部特征点中，根据上嘴唇特征点与下嘴唇特征点之间的第三距离确定唇部姿态；或者，在唇部特征点中，根据第三距离与第四距离之间的比值与至少一个预设区间之间的关系确定唇部姿态；其中，第四距离为左唇角特征点与右唇角特征点之间的距离。
263.在一个实施例中，识别模块，还用于从面部图像中提取眉部特征点和眼睑特征点；
确定眉部特征点与眼睑特征点之间的第五距离；根据第五距离与预设距离的大小关系确定眉部姿态。
264.在一个实施例中，面部预览区中展示有面部采集框。装置还包括：检测模块和提示模块；其中：
265.检测模块，用于检测面部图像中的面部关键点是否位于面部采集框内；
266.产生模块，还用于若面部图像中的面部关键点位于面部采集框内，则按照解锁节点序列中解锁节点的顺序，在每个解锁节点处基于相应面部图像中的面部表情产生解锁状态标识；
267.提示模块，用于若面部图像中的面部关键点未位于面部采集框内，则发出调整采集方位的提示信息。
268.在一个实施例中，面部图像为采集待测对象所得的图像。识别模块，还用于按照解锁节点序列中解锁节点的顺序，对与每个解锁节点对应的面部图像进行人脸识别，得到人脸识别结果；
269.解锁模块，还用于当每个解锁节点处均产生解锁状态标识、且每个面部图像中的面部表情与对应的目标表情匹配、且根据人脸识别结果确定待测对象与目标对象一致时，解锁成功。
270.上述实施例中，将面部表情与人脸相结合进行解锁，可以进一步提高解锁节点序列的安全性，提高了信息安全。
271.在一个实施例中，装置还包括：取消模块；其中：
272.提示模块，还用于当解锁节点序列中每个解锁节点处均产生解锁状态标识、但每个面部图像中的面部表情与对应的目标表情不匹配时，发出解锁失败的提示信息；
273.取消模块，用于取消展示解锁状态标识，返回执行在解锁节点序列中待处理的解锁节点处，基于相应面部图像中的面部表情产生解锁状态标识的步骤。
274.在一个实施例中，装置还包括：获取模块、暂停模块和告警模块；其中：
275.获取模块，用于当解锁失败时，获取解锁失败的累计次数；
276.暂停模块，用于当累计次数达到预设次数时，暂停解锁过程；
277.告警模块，用于获取预留通信号，并向预留通信号发送告警信息。
278.在一个实施例中，装置还包括：录入模块和组合模块；其中：
279.第二展示模块，用于展示表情录入页面；
280.录入模块，用于通过表情录入页面依次录入与表情录入页面中表情标识对应的表情图；
281.录入模块，用于进入表情组合页面；
282.组合模块，用于响应于在表情组合页面触发的组合操作，将表情标识进行组合，获得表情解锁序列。
283.在一个实施例中，表情解锁页面中包含表情提示区。第二展示模块，还用于在对解锁节点序列中待处理的解锁节点进行解锁的过程中，响应于在表情提示区触发的表情提示操作，在表情提示区展示与待处理的解锁节点对应的提示图像。
284.上述实施例中，按照表情标识预先录入对应的表情图，然后将表情标识进行组合和排序，从而生成表情解锁序列，以便在解锁时，根据对应的面部表情对表情解锁节点进行
解锁，而且，在对每个解锁节点进行解锁时，需要将当前识别的面部表情与预先录入的对应表情图进行对比，只有在两者匹配的情况下，才可以完成对该解锁节点的解锁，从而可以有效提高解锁节点的安全性。
285.关于基于面部表情的解锁装置的具体限定可以参见上文中对于基于面部表情的解锁方法的限定，在此不再赘述。上述基于面部表情的解锁装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
286.在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图18所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过wifi、运营商网络、nfc(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种基于面部表情的解锁方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
287.本领域技术人员可以理解，图18中示出的结构，仅仅是与本技术方案相关的部分结构的框图，并不构成对本技术方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
288.在一个实施例中，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。
289.在一个实施例中，提供了一种计算机可读存储介质，存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
290.在一个实施例中，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各方法实施例中的步骤。
291.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(read-only memory，rom)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(random access memory，ram)或外部高速缓冲存储器。作为说明而非局限，ram可以是多种形式，比如静态随机存取存储器(static random access memory，sram)或动态随机存取存储器(dynamic random access memory，dram)等。
292.以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例
中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
293.以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术专利的保护范围应以所附权利要求为准。