一种打哈欠检测方法、装置及电子设备与流程

1.本发明涉及深度学习技术领域，尤其涉及一种打哈欠检测方法、装置及电子设备。


背景技术：

2.目前，打哈欠检测的方案为，通过人脸检测及人脸关键点检测算法对人脸嘴部区域进行定位，并根据人脸关键点模型对嘴部区域的检测结果做关键点分析，基于分析得到的关键点确定嘴部开合度，根据嘴部开合度和开合度阈值判别嘴部是否属于张嘴、闭嘴的形态。
3.上述方案中，开合度阈值固定，导致部分角度下的检测准确度差。


技术实现要素：

4.本发明旨在从一定程度上解决相关技术中的技术问题。
5.为此，本发明的第一个目的在于提出一种打哈欠检测方法，该方法通过获取嘴部区域图像的嘴部关键点，确定嘴部高宽比值；并确定待处理图像的拍摄角度；根据拍摄角度的比值阈值、嘴部高宽比值确定待处理图像的打哈欠检测结果，降低误判率，提高打哈欠检测的准确度。
6.本发明的第二个目的在于提出一种打哈欠检测装置。
7.本发明的第三个目的在于提出一种电子设备。
8.本发明的第四个目的在于提出一种非临时性计算机可读存储介质。
9.本发明的第五个目的在于提出一种计算机程序产品。
10.为达到上述目的，本发明第一方面实施例提出了一种打哈欠检测方法，该方法包括以下步骤：确定待处理图像，以及所述待处理图像中的嘴部区域图像；对所述嘴部区域图像进行检测，获取所述嘴部区域图像的检测结果，其中，所述检测结果包括：所述嘴部区域图像中的至少一个嘴部关键点；根据所述至少一个嘴部关键点，确定嘴部高宽比值；确定所述待处理图像的拍摄角度；根据所述拍摄角度查询比值阈值列表，以获取与所述拍摄角度对应的比值阈值；根据所述嘴部高宽比值以及所述比值阈值，确定所述待处理图像的打哈欠检测结果。
11.根据本发明实施例的打哈欠检测方法，先确定待处理图像，以及待处理图像中的嘴部区域图像；对嘴部区域图像进行检测，获取嘴部区域图像的检测结果，其中，检测结果包括：嘴部区域图像中的至少一个嘴部关键点；根据至少一个嘴部关键点，确定嘴部高宽比值；确定待处理图像的拍摄角度；根据拍摄角度查询比值阈值列表，以获取与拍摄角度对应的比值阈值；根据嘴部高宽比值以及比值阈值，确定待处理图像的打哈欠检测结果。由此，该方法通过获取嘴部区域图像的嘴部关键点，确定嘴部高宽比值；并确定待处理图像的拍摄角度；根据拍摄角度的比值阈值、嘴部高宽比值确定待处理图像的打哈欠检测结果，降低误判率，提高打哈欠检测的准确度。
12.另外，本发明第一方面实施例提出的打哈欠检测方法还可以具有如下附加的技术
特征：
13.根据本发明的一个实施例，所述确定待处理图像，以及所述待处理图像中的嘴部区域图像，包括：确定待处理图像；对所述待处理图像进行人脸检测，以获取所述待处理图像中的人脸区域图像；对所述人脸区域图像进行人脸关键点检测，以获取所述人脸区域图像中的至少一个人脸关键点；根据所述至少一个人脸关键点中的嘴部关键点以及所述待处理图像，确定所述待处理图像中的嘴部区域图像。
14.根据本发明的一个实施例，所述根据所述至少一个人脸关键点中的嘴部关键点以及所述待处理图像，确定所述待处理图像中的嘴部区域图像，包括：根据所述至少一个人脸关键点中的嘴部关键点，确定所述待处理图像中嘴部区域的位置信息；按照所述位置信息对所述待处理图像进行裁剪处理，得到所述嘴部区域图像。
15.根据本发明的一个实施例，所述根据所述至少一个嘴部关键点，确定所述嘴部高宽比值，包括：根据所述至少一个嘴部关键点中的嘴角关键点，确定嘴部宽度；根据所述至少一个嘴部关键点中的唇尖关键点，确定嘴部高度；将所述嘴部宽度与所述嘴部高度的比值，确定为所述嘴部高宽比值。
16.根据本发明的一个实施例，所述确定所述待处理图像的拍摄角度，包括：将所述至少一个嘴部关键点输入预设的拍摄角度预测模型，以获取所述拍摄角度预测模型输出的所述拍摄角度。
17.根据本发明的一个实施例，在根据所述拍摄角度查询比值阈值列表，以获取与所述拍摄角度对应的比值阈值之前，还包括：获取大于预设数量的状态为张嘴状态的样本嘴部区域图像、所述样本嘴部区域图像对应的拍摄角度、以及所述样本嘴部区域图像对应的样本嘴部高宽比值；针对每个拍摄角度，获取所述拍摄角度对应的至少一个样本嘴部区域图像，以及所述样本嘴部区域图像对应的样本嘴部高宽比值；对至少一个所述样本嘴部高宽比值进行加和求平均处理，得到处理后的嘴部高宽比值；根据所述处理后的嘴部高宽比值，确定所述拍摄角度对应的比值阈值。
18.根据本发明的一个实施例，所述根据所述嘴部高宽比值以及与所述比值阈值，确定所述待处理图像的打哈欠检测结果，包括：在所述嘴部高宽比值大于或者等于所述比值阈值时，确定所述打哈欠检测结果为所述待处理图像中人脸存在打哈欠行为；在所述嘴部高宽比值小于所述比值阈值时，确定所述打哈欠检测结果为所述待处理图像中人脸不存在打哈欠行为。
19.根据本发明的一个实施例，所述嘴部区域图像的检测结果还包括：嘴部状态，所述根据所述嘴部高宽比值以及与所述比值阈值，确定所述待处理图像的打哈欠检测结果，包括：在所述嘴部高宽比值大于或者等于所述比值阈值，且所述嘴部状态为张嘴状态时，确定所述打哈欠检测结果为所述待处理图像中人脸存在打哈欠行为；在所述嘴部高宽比值小于所述比值阈值时，或者，在所述嘴部状态为非张嘴状态时，确定所述打哈欠检测结果为所述待处理图像中人脸不存在打哈欠行为。
20.为达到上述目的，本发明第二方面实施例提出了一种打哈欠检测装置，该装置包括：第一确定模块，用于确定待处理图像，以及所述待处理图像中的嘴部区域图像；第一获取模块，用于对所述嘴部区域图像进行检测，获取所述嘴部区域图像的检测结果，其中，所述检测结果包括：所述嘴部区域图像中的至少一个嘴部关键点；第二确定模块，用于根据所
述至少一个嘴部关键点，确定嘴部高宽比值；第三确定模块，用于所述确定待处理图像的拍摄角度；第二获取模块，用于根据所述拍摄角度查询比值阈值列表，以获取与所述拍摄角度对应的比值阈值；第四确定模块，用于根据所述嘴部高宽比值以及所述比值阈值，确定所述待处理图像的打哈欠检测结果。
21.根据本发明实施例的打哈欠检测装置，通过第一确定模块确定待处理图像，以及待处理图像中的嘴部区域图像；第一获取模块对嘴部区域图像进行检测，获取嘴部区域图像的检测结果，其中，检测结果包括：嘴部区域图像中的至少一个嘴部关键点；第二确定模块，用于根据至少一个嘴部关键点，确定嘴部高宽比值；第三确定模块，用于所述确定待处理图像的拍摄角度；第二获取模块，用于根据拍摄角度查询比值阈值列表，以获取与拍摄角度对应的比值阈值；第四确定模块，用于根据嘴部高宽比值以及比值阈值，确定待处理图像的打哈欠检测结果。由此，该装置通过获取嘴部区域图像的嘴部关键点，确定嘴部高宽比值；并确定待处理图像的拍摄角度；根据拍摄角度的比值阈值、嘴部高宽比值确定待处理图像的打哈欠检测结果，降低误判率，提高打哈欠检测的准确度。
22.另外，本发明第二方面实施例提出的打哈欠检测装置还可以具有如下附加的技术特征：
23.根据本发明的一个实施例，所述第一确定模块包括：第一确定单元、第一获取单元、第二获取单元和第二确定单元；所述第一确定单元，用于确定待处理图像；所述第一获取单元，用于对所述待处理图像进行人脸检测，以获取所述待处理图像中的人脸区域图像；所述第二获取单元，用于对所述人脸区域图像进行人脸关键点检测，以获取所述人脸区域图像中的至少一个人脸关键点；所述第二确定单元，用于根据所述至少一个人脸关键点中的嘴部关键点以及所述待处理图像，确定所述待处理图像中的嘴部区域图像。
24.根据本发明的一个实施例，所述第二确定单元具体用于，根据所述至少一个人脸关键点中的嘴部关键点，确定所述待处理图像中嘴部区域的位置信息；按照所述位置信息对所述待处理图像进行裁剪处理，得到所述嘴部区域图像。
25.根据本发明的一个实施例，所述第二确定模块具体用于，根据所述至少一个嘴部关键点中的嘴角关键点，确定嘴部宽度；根据所述至少一个嘴部关键点中的唇尖关键点，确定嘴部高度；将所述嘴部宽度与所述嘴部高度的比值，确定为所述嘴部高宽比值。
26.根据本发明的一个实施例，所述第三确定模块具体用于，将所述至少一个嘴部关键点输入预设的拍摄角度预测模型，以获取所述拍摄角度预测模型输出的所述拍摄角度。
27.根据本发明的一个实施例，所述方法还包括：第三获取模块、第四获取模块、处理模块和第五确定模块；所述第三获取模块，用于获取大于预设数量的状态为张嘴状态的样本嘴部区域图像、所述样本嘴部区域图像对应的拍摄角度、以及所述样本嘴部区域图像对应的样本嘴部高宽比值；所述第四获取模块，用于针对每个拍摄角度，获取所述拍摄角度对应的至少一个样本嘴部区域图像，以及所述样本嘴部区域图像对应的样本嘴部高宽比值；所述处理模块，用于对至少一个所述样本嘴部高宽比值进行加和求平均处理，得到处理后的嘴部高宽比值；所述第五确定模块，用于根据所述处理后的嘴部高宽比值，确定所述拍摄角度对应的比值阈值。
28.根据本发明的一个实施例，所述第四确定模块具体用于，在所述嘴部高宽比值大于或者等于所述比值阈值时，确定所述打哈欠检测结果为所述待处理图像中人脸存在打哈
欠行为；在所述嘴部高宽比值小于所述比值阈值时，确定所述打哈欠检测结果为所述待处理图像中人脸不存在打哈欠行为。
29.根据本发明的一个实施例，所述嘴部区域图像的检测结果还包括：嘴部状态，所述第四确定模块具体用于，在所述嘴部高宽比值大于或者等于所述比值阈值，且所述嘴部状态为张嘴状态时，确定所述打哈欠检测结果为所述待处理图像中人脸存在打哈欠行为；在所述嘴部高宽比值小于所述比值阈值时，或者，在所述嘴部状态为非张嘴状态时，确定所述打哈欠检测结果为所述待处理图像中人脸不存在打哈欠行为。
30.为达到上述目的，本发明第三方面实施例提出了一种电子设备，该电子设备包括：处理器和存储器；其中，所述处理器通过读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序，以用于实现第一方面实施例的打哈欠检测方法。
31.为达到上述目的，本发明第四方面实施例提出了一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现第一方面实施例的打哈欠检测方法。
32.为达到上述目的，本发明第五方面实施例提出了一种计算机程序产品，当计算机程序产品中的指令处理器执行时，执行上述的第一方面实施例的打哈欠检测方法。
33.本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
34.本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
35.图1是根据本发明实施例的打哈欠检测方法的流程图；
36.图2是根据本发明一个实施例的打哈欠检测方法的流程图；
37.图3是根据本发明另一个实施例的打哈欠检测方法的流程图；
38.图4是根据本发明实施例的打哈欠检测装置的示意图；
39.图5是根据本发明实施例的一种电子设备的结构框图。
具体实施方式
40.下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
41.下面参考附图描述本发明实施例的一种打哈欠检测方法、装置及电子设备。
42.图1是根据本发明实施例的打哈欠检测方法的流程图。
43.需要说明的是，本发明实施例的执行主体为打哈欠检测装置，该装置可被配置于电子设备中，以使该电子设备可以执行打哈欠检测的功能。
44.其中，电子设备可以为任一具有计算能力的设备，例如可以为个人电脑(personal computer，简称pc)、移动终端、服务器等，移动终端例如可以为车载设备、手机、平板电脑、个人数字助理、穿戴式设备等具有各种操作系统、触摸屏和/或显示屏的硬件设备。
45.如图1所示，本发明实施例的打哈欠检测方法，包括以下步骤：
46.s101，确定待处理图像，以及待处理图像中的嘴部区域图像。
47.例如，待处理的图像可以通过摄像头获取。嘴部区域图像可以通过待处理图像中的人脸区域图像进行人脸关键点检测，根据人脸关键点中的嘴部关键点确定嘴部区域的位置信息，按照位置信息对待处理图像进行裁剪，得到嘴部区域图像，从而缩小范围，便于对嘴部关键点的重新定位，提高打哈欠检测的准确度。
48.s102，对嘴部区域图像进行检测，获取嘴部区域图像的检测结果，其中，检测结果包括：嘴部区域图像中的至少一个嘴部关键点。
49.例如，利用多任务卷积神经网络模型对嘴部区域图像进行检测，获取模型输出的多个检测结果，即至少一个嘴部关键点的坐标信息和嘴部状态。
50.可以理解的是，多任务卷积神经网络模型包括选取网络(proposal network，p-net)、优化网络(refine network，r-net)、输出网络(output network，o-net)，在使用这些网络之前，先对嘴部区域图像进行预处理，将嘴部区域图像中的图片缩放到不同尺寸，形成一个“图像金字塔”，对每个尺寸的图片进行计算，以便在不同的尺寸下检测嘴部区域图像，然后将不同尺寸的嘴部区域图像输入选取网络，获取选取网络输出的候选嘴部区域图像，再将候选嘴部区域图像输入下一个优化网络，获取优化网络输出的精确的候选嘴部区域图像，最后将精确的候选嘴部区域图像输入输出网络，获取输出网络输出的至少一个嘴部关键点。
51.其中，至少一个嘴部关键点可以包括嘴角关键点和唇尖关键点。
52.s103，根据至少一个嘴部关键点，确定嘴部高宽比值。
53.在该步骤中，根据至少一个嘴部关键点中的嘴角关键点，确定嘴部宽度；根据至少一个嘴部关键点中的唇尖关键点，确定嘴部高度；将嘴部宽度与嘴部高度的比值，确定为嘴部高宽比值。
54.其中，嘴角关键点可以包括左嘴角关键点和右嘴角关键点，嘴部宽度可以根据左嘴角关键点和右嘴角关键点的坐标，计算出嘴部宽度。
55.其中，唇尖关键点可以包括上唇尖关键点和下唇尖关键点，根据上唇尖关键点和下唇尖关键点的坐标，计算出嘴部高度。
56.步骤104，确定待处理图像的拍摄角度。
57.在该步骤中，打哈欠检测装置可以将至少一个嘴部关键点输入预设的拍摄角度预测模型，以获取拍摄角度预测模型输出的拍摄角度。
58.其中，拍摄角度预测模型可以为标准的3d人脸模型，3d人脸模型根据输入的至少一个嘴部关键点计算得到拍摄角度。
59.在该步骤中，根据拍摄角度预测模型获取拍摄角度，不同的拍摄角度对应不同的比值阈值，利用至少一个嘴部关键点中的嘴角关键点和唇尖关键点，确定嘴部高宽比值，从多个比值阈值中选择拍摄角度对应的比值阈值，将该比值阈值与嘴部高宽比值进行比对，确定打哈欠检测结果，进而减少嘴部区域状态的误判率。
60.s105，根据拍摄角度查询比值阈值列表，以获取与拍摄角度对应的比值阈值。
61.在一些实施例中，在该步骤之前，打哈欠检测装置可以从其他设备上获取比值阈值列表。其他设备获取列表的方式为统计该设备用户打哈欠时的嘴部高宽比，对多个嘴部高宽比进行加和平均处理，形成比值阈值列表。
62.在一些实施例中，在该步骤之前，打哈欠检测装置可以首先获取大于预设数量的状态为张嘴状态的样本嘴部区域图像、样本嘴部区域图像对应的拍摄角度、以及样本嘴部区域图像对应的样本嘴部高宽比值；针对每个拍摄角度，获取拍摄角度对应的至少一个样本嘴部区域图像，以及样本嘴部区域图像对应的样本嘴部高宽比值；对至少一个样本嘴部高宽比值进行加和求平均处理，得到处理后的嘴部高宽比值；根据处理后的嘴部高宽比值，确定拍摄角度对应的比值阈值。
63.其中，在一种示例中，可以直接将处理后的嘴部高宽比值，作为拍摄角度对应的比值阈值。
64.在另一种示例中，可以将处理后的嘴部高宽比值加上指定数值，作为拍摄角度对应的比值阈值，直接将处理后的嘴部高宽比值作为拍摄角度对应的比值阈值，可能有部分稍微低于比值阈值的嘴部高宽比值，不被认为是打哈欠行为，将处理后的嘴部高宽比值加上指定数值，作为拍摄角度对应的比值阈值，能够进一步提高打哈欠检测的准确度。
65.s106，根据嘴部高宽比值以及比值阈值，确定待处理图像的打哈欠检测结果。
66.在该步骤中，打哈欠检测装置可以在嘴部高宽比值大于或者等于比值阈值时，确定打哈欠检测结果为待处理图像中人脸存在打哈欠行为；在嘴部高宽比值小于比值阈值时，确定打哈欠检测结果为待处理图像中人脸不存在打哈欠行为。
67.由此，本发明实施例的打哈欠检测方法，通过获取嘴部区域图像的嘴部关键点，确定嘴部高宽比值；并确定待处理图像的拍摄角度；根据拍摄角度的比值阈值、嘴部高宽比值确定待处理图像的打哈欠检测结果，降低误判率，提高打哈欠检测的准确度。
68.图2是根据本发明一个实施例的打哈欠检测方法的流程图。
69.如图2所示，本发明实施例的打哈欠检测方法，包括以下步骤：
70.s201，确定待处理图像。
71.其中，待处理图像可以从摄像头中获取。其中，待处理图像可以为包括人脸的图像和不包括人脸图像。
72.s202，对待处理图像进行人脸检测，以获取待处理图像中的人脸区域图像。
73.在该步骤中，将待处理图像输入人脸检测模型，标定出人脸的位置和大小，获取人脸检测模型输出的人脸区域图像。
74.其中，若对待处理图像进行人脸检测，未获取到人脸区域图像，则停止对该待处理图像的后续处理。
75.s203，对人脸区域图像进行人脸关键点检测，以获取人脸区域图像中的至少一个人脸关键点。
76.在该步骤中，根据人脸区域图像检测人脸关键点，例如眼睛、鼻尖、嘴角点、眉毛以及人脸各部件轮廓点等，获取人脸的特征点集合，从而确定至少一个人脸关键点，能够提高关键点的精确度，进而提高检测结果的准确度。
77.s204，根据至少一个人脸关键点中的嘴部关键点以及待处理图像，确定待处理图像中的嘴部区域图像。
78.在该步骤中，根据至少一个人脸关键点中的嘴部关键点，确定待处理图像中嘴部区域的位置信息；按照位置信息对待处理图像进行裁剪处理，得到嘴部区域图像。
79.在该步骤中，根据嘴部关键点能够确定待处理图像中嘴部区域的位置信息，进而
得到更准确的嘴部区域图像，从而降低误判率，提高检测结果的准确度。
80.s205，对嘴部区域图像进行检测，获取嘴部区域图像的检测结果，其中，检测结果包括：嘴部区域图像中的至少一个嘴部关键点。
81.s206，根据至少一个嘴部关键点，确定嘴部高宽比值。
82.s207，确定待处理图像的拍摄角度。
83.s208，根据拍摄角度查询比值阈值列表，以获取与拍摄角度对应的比值阈值。
84.s209，根据嘴部高宽比值以及比值阈值，确定待处理图像的打哈欠检测结果。
85.需要说明的是，步骤s205-步骤s209的执行过程可参见上述步骤s102-步骤s106的内容，具体这里不再赘述。
86.由此，可通过获取嘴部区域图像的嘴部关键点，确定嘴部高宽比值；并确定待处理图像的拍摄角度；根据拍摄角度的比值阈值、嘴部高宽比值确定待处理图像的打哈欠检测结果，降低误判率，提高打哈欠检测的准确度。
87.图3是根据本发明另一个打哈欠检测方法的流程图。
88.如图3所示，本发明实施例的打哈欠检测方法，包括：
89.s301，确定待处理图像，以及待处理图像中的嘴部区域图像。
90.其中，待处理图像可以为包括人脸的图像和不包括人脸的图像。其中，不包括人脸的图像，例如风景图像、路况图像等。
91.s302，对嘴部区域图像进行检测，获取嘴部区域图像的检测结果，其中，检测结果包括：嘴部区域图像中的至少一个嘴部关键点。
92.在该步骤中，可以将嘴部区域图像输入卷积神经网络，获取卷积神经网络输出的检测结果，检测结果包括至少一个嘴部关键点和嘴部状态，嘴部关键点可用于计算嘴部高宽比值，将嘴部高宽比值和比值阈值作比较，并结合嘴部状态，检测打哈欠行为，提高检测结果的准确度。
93.s303，根据至少一个嘴部关键点，确定嘴部高宽比值。
94.s304，确定待处理图像的拍摄角度。
95.s305，根据拍摄角度查询比值阈值列表，以获取与拍摄角度对应的比值阈值。
96.s306，在嘴部高宽比值大于或者等于比值阈值，且嘴部状态为张嘴状态时，确定打哈欠检测结果为待处理图像中人脸存在打哈欠行为。
97.在该步骤中，根据嘴部高宽比值和嘴部状态综合判断打哈欠行为，也就是说，在同时满足嘴部高宽比值大于或者等于比值阈值，且嘴部状态为张嘴状态时，确定人脸存在打哈欠行为，从而减少误判的可能性，提高打哈欠检测的准确度。
98.s307，在嘴部高宽比值小于比值阈值时，或者，在嘴部状态为非张嘴状态时，确定打哈欠检测结果为待处理图像中人脸不存在打哈欠行为。
99.其中，非张嘴状态可以包括正常嘴状态和其他状态。例如，正常嘴可以为闭嘴状态或微张嘴状态。其他状态可以为嘴部发生了异常状态，比如遮挡等情况。
100.需要说明的是，步骤s301-步骤s305的内容参见上述步骤s101-步骤s105，具体这里不再赘述。
101.综上所述，根据本发明实施例的打哈欠检测方法，先确定待处理图像，以及待处理图像中的嘴部区域图像；对嘴部区域图像进行检测，获取嘴部区域图像的检测结果，其中，
检测结果包括：嘴部区域图像中的至少一个嘴部关键点；根据至少一个嘴部关键点，确定嘴部高宽比值；并确定待处理图像的拍摄角度；根据拍摄角度查询比值阈值列表，以获取与拍摄角度对应的比值阈值；在嘴部高宽比值大于或者等于比值阈值，且嘴部状态为张嘴状态时，确定打哈欠检测结果为待处理图像中人脸存在打哈欠行为；在嘴部高宽比值小于比值阈值时，或者，在嘴部状态为非张嘴状态时，确定打哈欠检测结果为待处理图像中人脸不存在打哈欠行为，从而降低误判率，提高打哈欠检测的准确度。
102.图4是根据本发明实施例提出的打哈欠检测装置的示意图。
103.如图4所示，本发明实施例的打哈欠检测装置400，包括：第一确定模块401、第一获取模块402、第二确定模块403、第三确定模块404、第二获取模块405和第三确定模块406。
104.其中，第一确定模块401，用于确定待处理图像，以及所述待处理图像中的嘴部区域图像；
105.第一获取模块402，用于对所述嘴部区域图像进行检测，获取所述嘴部区域图像的检测结果，其中，所述检测结果包括：所述嘴部区域图像中的至少一个嘴部关键点；
106.第二确定模块403，用于根据所述至少一个嘴部关键点，确定所述嘴部高宽比值；
107.第三确定模块404，用于所述确定待处理图像的拍摄角度；
108.第二获取模块405，用于根据所述拍摄角度查询比值阈值列表，以获取与所述拍摄角度对应的比值阈值；
109.第四确定模块406，用于根据所述嘴部高宽比值以及所述比值阈值，确定所述待处理图像的打哈欠检测结果。
110.根据本发明的一个实施例，所述第一确定模块401包括：第一确定单元、第一获取单元、第二获取单元和第二确定单元；所述第一确定单元，用于确定待处理图像；所述第一获取单元，用于对所述待处理图像进行人脸检测，以获取所述待处理图像中的人脸区域图像；所述第二获取单元，用于对所述人脸区域图像进行人脸关键点检测，以获取所述人脸区域图像中的至少一个人脸关键点；所述第二确定单元，用于根据所述至少一个人脸关键点中的嘴部关键点以及所述待处理图像，确定所述待处理图像中的嘴部区域图像。
111.根据本发明的一个实施例，所述第二确定单元具体用于，根据所述至少一个人脸关键点中的嘴部关键点，确定所述待处理图像中嘴部区域的位置信息；按照所述位置信息对所述待处理图像进行裁剪处理，得到所述嘴部区域图像。
112.根据本发明的一个实施例，所述第二确定模块403具体用于，根据所述至少一个嘴部关键点中的嘴角关键点，确定嘴部宽度；根据所述至少一个嘴部关键点中的唇尖关键点，确定嘴部高度；将所述嘴部宽度与所述嘴部高度的比值，确定为所述嘴部高宽比值。
113.根据本发明的一个实施例，所述第三确定模块404具体用于，将所述至少一个嘴部关键点输入预设的拍摄角度预测模型，以获取所述拍摄角度预测模型输出的所述拍摄角度。
114.根据本发明的一个实施例，上述打哈欠检测装置还包括：第三获取模块、第四获取模块、处理模块和第五确定模块；所述第三获取模块，用于获取大于预设数量的状态为张嘴状态的样本嘴部区域图像、所述样本嘴部区域图像对应的拍摄角度、以及所述样本嘴部区域图像对应的样本嘴部高宽比值；所述第四获取模块，用于针对每个拍摄角度，获取所述拍摄角度对应的至少一个样本嘴部区域图像，以及所述样本嘴部区域图像对应的样本嘴部高
宽比值；所述处理模块，用于对至少一个所述样本嘴部高宽比值进行加和求平均处理，得到处理后的嘴部高宽比值；所述第五确定模块，用于根据所述处理后的嘴部高宽比值，确定所述拍摄角度对应的比值阈值。
115.根据本发明的一个实施例，所述第四确定模块406具体用于，在所述嘴部高宽比值大于或者等于所述比值阈值时，确定所述打哈欠检测结果为所述待处理图像中人脸存在打哈欠行为；在所述嘴部高宽比值小于所述比值阈值时，确定所述打哈欠检测结果为所述待处理图像中人脸不存在打哈欠行为。
116.根据本发明的一个实施例，所述嘴部区域图像的检测结果还包括：嘴部状态，所述第四确定模块406具体用于，在所述嘴部高宽比值大于或者等于所述比值阈值，且所述嘴部状态为张嘴状态时，确定所述打哈欠检测结果为所述待处理图像中人脸存在打哈欠行为；在所述嘴部高宽比值小于所述比值阈值时，或者，在所述嘴部状态为非张嘴状态时，确定所述打哈欠检测结果为所述待处理图像中人脸不存在打哈欠行为。
117.需要说明的是，本发明实施例的打哈欠检测装置中未披露的细节，请参考本发明的打哈欠检测方法中所披露的细节，具体这里不再赘述。
118.根据本发明实施例的打哈欠检测装置，通过第一确定模块确定待处理图像，以及待处理图像中的嘴部区域图像；第一获取模块对嘴部区域图像进行检测，获取嘴部区域图像的检测结果，其中，检测结果包括：嘴部区域图像中的至少一个嘴部关键点；第二确定模块，根据至少一个嘴部关键点，确定嘴部高宽比值；第三确定模块，用于确定待处理图像的拍摄角度；第二获取模块，用于根据拍摄角度查询比值阈值列表，以获取与拍摄角度对应的比值阈值；第四确定模块，用于根据嘴部高宽比值以及比值阈值，确定待处理图像的打哈欠检测结果。由此，该装置通过获取嘴部区域图像的嘴部关键点，确定嘴部高宽比值；并确定待处理图像的拍摄角度；根据拍摄角度的比值阈值、嘴部高宽比值确定待处理图像的打哈欠检测结果，降低误判率，提高打哈欠检测的准确度。
119.基于上述实施例，本发明还提出了一种电子设备。
120.本发明实施例的电子设备包括：处理器和存储器；其中，处理器通过读取存储器中存储的可执行程序代码来运行与可执行程序代码对应的程序，以用于实现上述的打哈欠检测方法。
121.基于上述实施例，本发明还提出一种非临时性计算机可读存储介质。
122.本发明实施例的非临时性计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述的打哈欠检测方法。
123.基于上述实施例，本发明还提出了一种计算机程序产品。
124.本发明实施例的计算机程序产品，当计算机程序产品中的指令由处理器执行时，执行上述的打哈欠检测方法。
125.图5为本发明实施例提供的一种电子设备的结构框图。图5示出的电子设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
126.如图5所示，电子设备包括处理器11，其可以根据存储在只读存储器(rom，read only memory)12中的程序或者从存储器16加载到随机访问存储器(ram，random access memory)13中的程序而执行各种适当的动作和处理。在ram 13中，还存储有电子设备10操作所需的各种程序和数据。处理器11、rom 12以及ram 13通过总线14彼此相连。输入/输出(i/
o，input/output)接口15也连接至总线14。
127.以下部件连接至i/o接口15：包括硬盘等的存储器16；以及包括诸如lan(局域网，local area network)卡、调制解调器等的网络接口卡的通信部分17，通信部分17经由诸如因特网的网络执行通信处理；驱动器18也根据需要连接至i/o接口15。
128.特别地，根据本发明的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明的实施例包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分17从网络上被下载和安装。在该计算机程序被处理器11执行时，执行本发明的方法中限定的上述功能。
129.在示例性实施例中，还提供了一种包括指令的存储介质，例如包括指令的存储器16，上述指令可由电子设备10的处理器11执行以完成上述方法。可选地，存储介质可以是非临时性计算机可读存储介质，例如，所述非临时性计算机可读存储介质可以是rom、随机存取存储器(ram)、cd-rom、磁带、软盘和光数据存储设备等。
130.在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
131.此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
132.流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
133.在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(ram)，只读存储器(rom)，可擦除可编辑只读存储器(eprom或闪速存储器)，光纤装置，以及便携式光盘只读存储器(cdrom)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的
介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
134.应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(pga)，现场可编程门阵列(fpga)等。
135.本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
136.此外，在本发明各个实施例中的各功能单元可以集成在一个模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
137.上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。