一种基于人脸睡眠检测自动待机的方法与流程

1.本发明涉及人脸识别技术领域，尤其涉及一种基于人脸睡眠检测自动待机的方法。


背景技术：

2.随着近年来随着设备智能化的不断普及，通过摄像头的采集视频后，进行图像分析日益普遍。越来越多的设备如电视也已内置摄像头。利用深度学习来进行人脸标定，包含了活体检测、人脸实时关键点检测、人像识别等多个功能。借助基于mtcnn算法的人脸检测人工智能库，mtcnn算法是一种基于深度学习的人脸检测和人脸标定方法，它可以同时完成人脸检测和人脸标定的任务。综合应用与算法的处理可以精确定位面部的关键区域位置，包括眼睛、嘴巴，脸部轮廓等。人脸作为人体状态的一种直观体现，可以观测出人体所处状态。以交通工具驾驶员疲劳检测为代表的人眼识别，分析出人处于疲劳状态，目前已有较多的使用。但使用人脸识别技术判断进入睡眠状态的功能还较少。人在使用娱乐设备的过程中，神经得到放松长时间后容易进入睡眠，使得进入睡眠待机有了具体需求。
3.为解决睡眠自动待机的问题，现有技术“一种检测用户在睡眠状态下自动关闭电视的方法及系统”(cn201410302055.8)公开了：“移动终端根据所述眨眼动作信息和运动信息判断用户是否处于睡眠状态，在用户处于睡眠状态时移动终端发送关机指令控制电视机关闭。实施例中，所述穿戴设备为智能眼镜。用户观看电视时带上该智能眼镜，即可实时检测用户是否因瞌睡或睡眠而闭眼、头部是否停止运动。”1.该专利需要使用者佩戴智能眼镜设备和使用移动终端来控制电视，用于实现的三套设备依赖度和成本高，绝大部分使用者在观看电视的场景中不会繁琐的使用三套设备。2.该专利对于睡眠的检测要使用佩戴设备的红外传感器判断眨眼，用运动传感器判断移动，是用专业传感器来检测状态。


技术实现要素：

4.本发明的目的就在于为了解决判断人进入睡眠状态的问题而提供一种基于人脸睡眠检测自动待机的方法，本发明通过人脸识别方式来识别人眼的闭合和人脸的位置坐标不移动，即通过人脸识别技术判断使用者进入睡眠状态，从而达到自动关闭设备的目的。同时实现过程简洁，投入成本低廉，更方便使用者在无意识过程中触发功能。
5.本发明通过以下技术方案来实现上述目的：
6.一种基于人脸睡眠检测自动待机的方法，包括以下步骤：
7.步骤1，将摄像头采集视频送入后台应用，分析视频获取定位头部和眼部的坐标位置；
8.步骤2，将人脸的特征点设置为相对边框的矩形位置，对应人脸的左，右，上，下矩形坐标，表示当前人脸所处的位置；
9.步骤3，判断人脸静止后获取眼部特征坐标，将左眼和右眼的眼部特征点划分为：眼长点，对应两个眼角间的距离；眼高点，对应为眼皮上下两点垂直的距离，选取多个眼高
点并取平均值；
10.步骤4，当前长高比和最大睁眼长高比进行对比后，达到预设定闭眼阈值对比判断为闭眼，持续固定时长，依次判断持续闭眼后表示为睡眠。
11.进一步方案为，所述步骤2中，若人脸保持静止时且有轻微的晃动，采用一定的晃动容错值，对比前后两帧的人脸坐标，在晃动容错值内，表示判断为一次静止，依次判断多次表示人脸静止未动。
12.进一步方案为，所述步骤3中，通过眼高和眼长比的大小，判断人眼睁开和闭合的情况，并记录长高比值最大为睁眼状态。
13.进一步方案为，所述步骤4中，当判断为睡眠后，关闭设备实现停止的功能。
14.本发明的有益效果在于：
15.本发明只需要一套独立设备支持摄像头，大大减少了解决问题的投入成本；用户使用也无需刻意佩戴设备，用户体验也便捷和舒适；也避免了忘记佩戴可穿戴设备而不能使用的设计缺陷。
16.本发明使用的是普通的摄像头通过人脸识别进行图像分析，更加简化检测方式；当使用者由清醒状态，持续保持静止并闭眼一段时间进入睡眠后，可以自动关闭设备；不需要借助可穿戴设备，避免每次使用都要佩戴的麻烦或者忘记佩戴而不能使用的缺陷。
附图说明
17.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要实用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
18.图1为本发明人脸识别坐标图。
19.图2为本发明眼部坐标图。
20.图3为本发明人脸睡眠检测的流程架构。
具体实施方式
21.为使本发明的目的、技术方案和优点更加清楚，下面将对本发明的技术方案进行详细的描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施方式，都属于本发明所保护的范围。
22.在任一实施例中，如图1-3所示，本发明的一种基于人脸睡眠检测自动待机的方法，包括以下步骤：
23.首先将摄像头采集视频送入后台应用，分析视频获取定位头部和眼部的坐标位置；
24.然后将人脸的特征点设置为相对边框的矩形位置，对应人脸的左，右，上，下矩形坐标，表示当前人脸所处的位置；由于人脸保持静止也有轻微的晃动，采用一定的晃动容错值。对比前后两帧的人脸坐标，在晃动容错值内，表示判断为一次静止；依次判断多次表示人脸静止未动。
25.判断人脸静止后获取眼部特征坐标，将左眼和右眼的眼部特征点划分为：眼长点，对应两个眼角间的距离；眼高点，对应为眼皮上下两点垂直的距离，为避免误差选取多个眼高点，并取平均值；通过眼高和眼长比的大小，判断人眼睁开和闭合的情况；为了避免人眼眨动错误计算，记录长高比值最大为睁眼状态。
26.当前长高比和最大睁眼长高比进行对比后，达到预设定闭眼阈值对比判断为闭眼，持续固定时长，依次判断持续闭眼后表示为睡眠。
27.当判断为睡眠后，关闭设备实现停止的功能。
28.在一个具体实施例中，如图1-3所示，本发明的一种基于人脸睡眠检测自动待机的方法，具体结合在androidtv上实施例子来详细描述本发明的技术方案：
29.首先使用androidtv平台并接入usb摄像头，在后台服务线程调用android系统camera类，通过onpreviewframe(byte[]data，camera camera)方法获得预览的nv21格式的数据，对应的图像内容为data。
[0030]
将内容送入已训练好的基于mtcnn算法的人脸检测人工智能库；根据人脸特征点检测模型，分别精准定位眼部、脸部位置。
[0031]
然后将人脸的特征点设置为pleft、pright、ptop以及pbottom四个矩形位置对应人脸的左，右，上，下矩形坐标，分别用“new”代替现在的坐标，用“old”代替上一次检测的坐标。由于人脸保持静止也有轻微的晃动，用threshold表示允许的抖动范围，实际运用中这个值设为5；将获得的四个坐标通过计算公式(|pleft_new-pleft_old|＞threshold)||(|pright_new-pright_old|＞threshold)||(|ptop_new-ptop_old|＞threshold)||(|pbottom_new-pbottom_old|＞threshold)；
[0032]
当结果为真，表示判断为一次静止；依次判断10次表示人脸静止未动；如果出现一次非静止，则重新开始人脸静止计数。
[0033]
判断静止后获取眼部特征坐标，将左眼和右眼的眼部特征点均设置为p1、p2、p3、p4、p5、p6、p7以及p8八个坐标，其中p1为每个眼部眼角左端的坐标，p2为每个眼部眼角右端的坐标，p3和p4分别为每个眼部眼皮外沿左起1/4位置的上下两个点的坐标，p5和p6分别为每个眼部眼皮外沿左起1/2位置的上下两个点的坐标，p7和p8分别为每个眼部眼皮外沿左起3/4位置的上下两个点的坐标，将获得的六个坐标通过计算公式(|p4-p3| |p6-p5| |p8-p7|)/(3*|p2-p1|)分别获取左眼和右眼眼部的长高比值leftear和rightear，为了避免人眼眨动错误计算，记录长高比值最大为睁眼状态。
[0034]
如果出现一次人脸非静止，则重新记录长高比。
[0035]
当前长高比和最大睁眼长高比进行对比后达到预设定闭眼阈值对比(thresholdear)，即leftear_new/leftmaxear＜thresholdear判断为闭眼；阈值需要根据具体的算法调节，这里选择使用0.5作为闭眼阈值。
[0036]
根据用户体验不同分别可以由用户动态设置，持续5分钟，10分钟或30分钟时长，或5-30分钟之间的任意时间点；超过此时长，判断持续闭眼后表示为睡眠。
[0037]
当判断为使用者为睡眠后，调用androidtv系统关闭设备接口，实现电视自动待机的功能。
[0038]
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵
盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合，为了避免不必要的重复，本发明对各种可能的组合方式不再另行说明。此外，本发明的各种不同的实施方式之间也可以进行任意组合，只要其不违背本发明的思想，其同样应当视为本发明所公开的内容。