一种对儿童使用屏幕终端进行智能管控的方法及系统与流程

1.本发明涉及智能家庭终端的技术领域，特别涉及一种对儿童使用屏幕终端进行智能管控的方法及系统。


背景技术：

2.近年来，由于坐姿不正而导致的近视、驼背的儿童人数正在逐渐增加，坐姿不规范是造成儿童视力下降的主要原因之一，对儿童身体的健康发育十分有害。很多儿童没有正确的坐姿意识，需要大人随时随刻进行提醒。特别是在坐姿不规范的情况下长时间使用屏幕终端更加会造成儿童视力的下降，因此，亟待一种对儿童使用屏幕终端进行智能管控的方法。
3.在现有对屏幕终端进行管理的方法中，一般需要人为使用应用软件或者语音操控中控设备去管理电视等屏幕终端设备，不能起到对儿童的监管作用，即无法监督儿童使用电器的时间，使用时姿势状态等情况，家长如果想查看儿童使用屏幕终端设备的情况，则需要远程控制家中摄像头，如果需要对屏幕终端进行管理，还需要打开相对应的设备管理使用应用软件手动进行设备管理操作，故存在使用麻烦，不够智能等问题。


技术实现要素：

4.本发明的目的就是解决背景技术中提到的上述问题，提出一种对儿童使用屏幕终端进行智能管控的方法及系统。
5.为实现上述目的，本发明首先提出了一种对儿童使用屏幕终端进行智能管控的方法，包括：对目标区域进行图像采集得到目标图像；对所述目标图像进行人脸检测；当检测到人脸时，以预设人脸特征模型对所述人脸进行特征值提取；将提取到的特征值与预先训练好的人脸数据集进行匹配，当所述特征值与所述人脸数据集中第一人脸数据集数据相匹配时，获取所述目标图像中的人体骨骼位置信息；对所述人体骨骼位置信息进行双目校正得到人体骨骼关系信息以及人体距离信息；根据所述人体骨骼关系信息、人体距离信息判断坐姿状态和或距离状态是否异常，当坐姿状态或距离状态异常时，生成提醒信息以进行提醒，当坐姿状态或距离状态异常且超出设定阈值时，输出相应控制信号对屏幕终端设备进行控制从而实现对儿童使用屏幕终端进行智能管控。
6.可选的，当坐姿状态或距离状态异常且超出设定阈值时，对屏幕终端设备进行相应控制具体包括：当坐姿状态或距离状态异常次数超出第一设定阈值时，降低屏幕终端的音量；当坐姿状态或距离状态异常次数超出第二设定阈值时，对屏幕终端进行红外关机；当坐姿状态或距离状态异常次数超出第三设定阈值时，切断屏幕终端电源。
7.可选的，还包括：获取与第一人脸数据集数据相匹配人脸模板的年龄区间，当所述人脸模板位于第一年龄区间时，控制屏幕终端始终保持关闭模式；当所述人脸模板位于第二年龄区间时，在检测到儿童为第一坐姿、第一距离条件下，控制屏幕终端开启第一设定时间间隔；当所述人脸模板位于第三年龄区间时，在检测到儿童为第二坐姿、第二距离条件
下，控制屏幕终端开启第二设定时间间隔。
8.可选的，还包括：当日期为非考试日，屏幕终端在开启状态下，每隔第三设定时间间隔，保持时长为第四设定时间间隔的关闭。
9.可选的，所述对人体骨骼位置信息进行双目立体校正得到人体骨骼关系信息以及人体距离信息具体包括：获取人体关键部分的世界坐标信息；根据所述世界坐标信息得到视差信息；通过双目测距获取人体距离信息；根据所述视差信息、所述人体距离信息得到人体骨骼关系信息。
10.可选的，所述根据视差信息、人体距离信息得到人体骨骼关系信息包括：|右肩膀纵坐标－左肩膀纵坐标|*(人体实际距离－人体标准测算距离)*(比例校正系数)。
11.可选的，通过鼻尖的左右目世界坐标得到的第一人体骨骼关系信息，当所述第一人体骨骼关系信息大于第一视差设定阈值，提醒儿童进行人体水平矫正。
12.可选的，所述第一人脸数据集为年龄为4～16岁的人脸数据集合，所述第二人脸数据集为年龄为16岁以上的人脸数据集合。
13.可选的，红外控制设备接收相应控制信号，并根据相应控制信号进行降低音量或红外关机或直接切断电源从而实现对儿童使用屏幕终端进行智能管控。
14.本发明实施例还提供了一种对儿童使用屏幕终端进行智能管控的系统，包括：图像采集模块，所述图像采集模块被配置为对目标区域进行图像采集得到目标图像；人脸检测模块，所述人脸检测模块被配置为对所述目标图像进行人脸检测；特征值提取模块，所述特征值提取模块被配置为当检测到人脸时，以预设人脸特征模型对所述人脸进行特征值提取，得到人脸模板；人脸匹配模块，所述人脸匹配模块被配置为将所述人脸模板与预先训练好的人脸数据集进行人脸匹配；人体骨骼位置信息获取模块，所述人体骨骼位置信息获取模块被配置为当所述人脸模板与所述人脸数据集中第一人脸数据集数据相匹配时，获取所述目标图像中的人体骨骼位置信息；双目校正模块，所述双目校正模块被配置为对所述人体骨骼位置信息进行双目校正得到人体骨骼关系信息以及人体距离信息；智能管控模块，所述智能管控模块被配置为根据所述人体骨骼关系信息、人体距离信息判断坐姿状态和或距离状态是否异常，当坐姿状态或距离状态异常时，生成提醒信息以进行提醒，当坐姿状态或距离状态异常且超出设定阈值时，输出相应控制信号对屏幕终端设备进行控制从而实现对儿童使用屏幕终端进行智能管控。
15.本发明的有益效果：
16.本发明实施例提供的一种对儿童使用屏幕终端进行智能管控的方法及系统，在儿童使用屏幕终端时，自动智能识别该儿童的年龄，根据儿童年龄的不同，对儿童坐姿、距离等方面进行实时智能监督，并对屏幕终端的开启、关闭的时间进行智能管控，从而引导儿童健康的使用屏幕终端设备。相比于的现有技术方案，本发明实施例无需人为操作就能实现对屏幕终端设备进行管理，减少了手动进行设备管理的麻烦，还实现了对儿童使用屏幕终端进行分年龄段的特定管控，增加了智能化程度，且具有可以在多场景下使用的优点。
17.本发明的特征及优点将通过实施例结合附图进行详细说明。
附图说明
18.图1为本发明实施例提供的对儿童使用屏幕终端进行智能管控的方法的流程框图
之一；
19.图2为本发明实施例提供的对儿童使用屏幕终端进行智能管控的方法的流程框图之二；
20.图3为本发明实施例提供的对儿童使用屏幕终端进行智能管控的方法的流程框图之三；
21.图4为本发明实施例提供的对儿童使用屏幕终端进行智能管控的方法的流程框图之四；
22.图5为本发明实施例提供的对儿童使用屏幕终端进行智能管控的方法的流程框图之五；
23.图6为本发明实施例提供的对儿童使用屏幕终端进行智能管控系统的系统框图。
具体实施方式
24.为了便于本领域技术人员的理解，下面将结合具体实施例对本发明作进一步详细描述。
25.请参考图1，本发明实施例提供了一种对儿童使用屏幕终端进行智能管控的方法，包括下列步骤：
26.步骤s10，对目标区域进行图像采集得到目标图像。
27.在本实施例中，图像采集是通过一个或多个摄像头来记录距离屏幕终端一定范围内的图像，从而生成目标图像信息，其中所述摄像头可以采用集成于屏幕终端的方式，也可以采用外置于屏幕的方式。摄像头与处理单元相连，并将采集到目标图像发送至所述处理单元进行后续一系列的处理，具体的，摄像头可以通过有线或无线的方式与所述处理单元相连来进行相应的数据传输。所述处理单元可以为集成在屏幕终端中的处理器，也可以为物联网中控设备中的处理器，所述物联网中控设备包括但不限于：天猫精灵、小度、小米智能设备。
28.步骤s20，对所述目标图像进行人脸检测。
29.其中人脸检测的目的是将获取到的目标图像中任意一帧图像，采用人脸检测算法对目标图像进行搜索来确定目标图像中是否存在人脸，因为目标图像中可能包含有不是人脸的物体，如屋内家具以及人的其他部位(如腿、肩膀和手臂)。
30.可通过处理单元内置的人脸检测算法对目标图像中任意一帧图像进行人脸检测，如果该帧中存在人脸，则进行后续的人脸特征提取等步骤。其中人脸检测算法可以利用opencv自带的分类器实现，opencv是一个开源的跨品台计算机视觉库，可以运行在linux、windows、android等操作系统上，可以被用来进行图像处理和计算机视觉应用的开发。
31.在本实施例中，采用基于yolo的人脸检测算法进行人脸检测，通过将目标图像进行切割，切分成为49个图像块，再对每个图像块进行分别测算以确定人脸位置，此外因为所述基于yolo的人脸检测算法将目标图像切分成为49个图像块，在后续特征提取阶段，可以对眼睑等关键部分进行细化检测，从而提升人脸特征提取以及人脸匹配的准确度。
32.在其他实施例中，使用方向梯度直方图来检测人脸位置，先将目标图像灰度化，接着计算图像中像素的梯度，通过将图像转变成方向梯度直方图形式，就可以检测并获得人脸位置。
33.步骤s30，当检测到人脸时，以预设人脸特征模型对人脸进行特征值提取。
34.在本实施例中，通过基于yolo的darknet深度学习框架对脸上皱纹、眼角、眼袋等年龄差别区分部位进行权重剪枝，从而实现了人脸特征值的提取。
35.在其他实施例中，通过预先训练好的人脸特征模型对人脸图像进行特征值提取，得到人脸模板，预先训练好的人脸特征模型可以通过调用opencv中facerecognizer类自带的人脸识别算法，例如eigenfaces算法或fisherfaces算法得到，为人脸识别算法提供了一种通用的接口。
36.步骤s40，将提取到的特征值与预先训练好的人脸数据集进行匹配，当所述特征值与所述人脸数据集中第一人脸数据集数据相匹配时，获取所述目标图像中的人体骨骼位置信息。
37.可采用特征回归方法对人脸数据集中所有的人脸特征值进行训练，训练结果将人脸数据集按人脸属性分为第一人脸数据集和第二人脸数据集，再通过人脸属性识别的方法进行匹配，在本实施例中第一人脸数据集为年龄为4～16岁的人脸数据集合，所述第二人脸数据集为年龄为16岁以上的人脸数据集合。
38.在其他实施例中，第一人脸数据集为年龄4～12岁的人脸数据集合，第二人脸数据集为12岁以上人脸数据集合。
39.本实施例采用年龄为4～16岁的人脸数据集合可以避免部分儿童因为人脸较为成熟，实际年龄小于外貌年龄，从而被智能管控系统排除在外情况的发生。
40.在对于需要将儿童按照更加小的年龄区间进行分别，从而进行更加细致化、差异化控制的应用场景，先对人脸数据集中所有的人脸特征值进行训练分为若干个不同区间的人脸数据集，再对每个不同年龄段的儿童进行区别测算。
41.具体的，可采用人脸识别的方法可通过计算目标人脸与人脸库中每个人的权值向量之间的欧式距离，更加准确的识别不同年龄段的儿童。
42.通过将目标图像中人脸的特征值与第一人脸数据集进行匹配，可以判定获取的目标图像中人脸主体属于第一人脸数据集所代表的年龄区间。
43.在本实施例中，为年龄为4～16岁的儿童，属于本发明一种对儿童使用屏幕终端进行智能化管控的主体。
44.不匹配时，目标图像中人脸主体可能为16岁以上的成年人或是未满4岁的幼儿，该主体不属于本发明使用屏幕进行智能化管控的范围。
45.当目标图像中人脸主体属于第一人脸数据集所代表的年龄区间时，获取目标图像中的人体骨骼位置信息，所述人体骨骼位置信息人体各个关键部位的世界坐标。
46.步骤s50，对所述人体骨骼位置信息进行双目校正得到人体骨骼关系信息以及人体距离信息。
47.请参考图5，对所述人体骨骼位置信息进行双目校正得到人体骨骼关系信息以及人体距离信息具体包括如下几个步骤：
48.步骤s510，获取人体关键部分的世界坐标信息，例如肩膀、眼睛、鼻尖等部位的世界坐标，在本实施例中，获取鼻尖的世界坐标。
49.步骤s520，根据所述世界坐标信息得到视差信息，通过根据获取的世界坐标信息来对人体的关键部分的视差进行测算，在本实施例中，通过鼻尖的左右目世界坐标进行测
算得出视差，鼻尖位于人体位置中心，鼻尖只会在横坐标中存在视差，若纵坐标也出现较大视差，那么人体不为水平或设备摆放非水平。在其他实施例中，可选用任意多个骨骼位置的，世界坐标信息得到视差信息，例如选用左右肩的世界坐标信息得到视差信息，具体公式为|右肩膀纵坐标－左肩膀纵坐标|。
50.步骤s530，通过双目测距获取人体距离信息；其中计算公式为人体距离信息＝人体实际距离－人体标准测算距离。
51.在现有技术中，因为人体在不同距离下，在视觉识别中，缩放比和世界坐标差会变化，故坐姿测算都需要在固定距离下。本发明实施例通过双目测距可以准确测算距离以便进行距离比例运算，可以在任意距离下(极限视距内)进行骨骼测算，从而求得更加准确的坐姿结果。
52.步骤s540，根据所述视差信息、所述人体距离信息得到人体骨骼关系信息，在本实施例中，通过鼻尖的左右目世界坐标得到的第一人体骨骼关系信息，当所述第一人体骨骼关系信息大于第一视差设定阈值，提醒儿童进行人体水平矫正。
53.在其他实施例中，采用左肩和右肩作为人体各个关键部位中的一个例子，来得到人体骨骼关系信息，具体的计算公式为：|右肩膀纵坐标－左肩膀纵坐标|*(人体实际距离－人体标准测算距离)*(比例校正系数)，其中比例校正系数可通过人体实际距离与人体标准测算距离之间的关系预先设定。
54.步骤s60，根据所述人体骨骼关系信息、人体距离信息判断坐姿状态和或距离状态是否异常，当坐姿状态或距离状态异常时，生成提醒信息以进行提醒，当坐姿状态或距离状态异常且超出设定阈值时，输出相应控制信号对屏幕终端设备进行控制从而实现对儿童使用屏幕终端进行智能管控。
55.具体的，可根据人体左右肩处的骨骼位置坐标得到左右肩关系信息，再根据左右肩关系信息得到左右肩倾斜角度，具体计算公式如下：肩关系信息得到左右肩倾斜角度，具体计算公式如下：最后根据左右肩倾斜角度来判断人体坐姿状态，当左右肩倾斜角度超出肩倾斜角度设定阈值时，判定当前坐姿状态为异常并生成提醒信息以进行提醒，当坐姿状态异常次数或坐姿状态异常时间超出某一设定阈值时，输出相应控制信号对屏幕终端设备进行控制从而实现对儿童使用屏幕终端进行智能管控。
56.同理，可根据双目测距得到的人体距离信息与距离设定设定阈值进行比较，当人体距离信息小于设定设定阈值时，判定当前距离状态为异常并生成提醒信息以进行提醒，当距离状态异常的次数或距离状态异常的时间超出设定阈值时，输出相应控制信号对屏幕终端设备进行控制从而实现对儿童使用屏幕终端进行智能管控。
57.请参考图3，在发明实施例中，坐姿状态或距离状态异常且超出设定阈值时，对屏幕终端设备进行相应控制具体包括如下几个步骤：
58.步骤s610，当坐姿状态或距离状态异常次数超出第一设定阈值时，降低屏幕终端的音量；
59.步骤s620，当坐姿状态或距离状态异常次数超出第二设定阈值时，对屏幕终端进行红外关机；
60.步骤s630，当坐姿状态或距离状态异常次数超出第三设定阈值时，切断屏幕终端
电源。
61.请参考图4，在其他实施例中，坐姿状态或距离状态异常且超出设定阈值时，对屏幕终端设备进行相应控制包括如下步骤：
62.步骤s611，当坐姿状态或距离状态异常时间超出第一设定阈值时，降低屏幕终端的音量；
63.步骤s621，当坐姿状态或距离状态异常时间超出第二设定阈值时，对屏幕终端进行红外关机；
64.步骤s631，当坐姿状态或距离状态异常时间超出第三设定阈值时，切断屏幕终端电源。故上述第一、第二、第三设定阈值为可进行人为设定的次数或时间长度。
65.在对屏幕终端进行相应控制方面，可采用mqtt协议在内的多种协议，从数据处理器向相关控制屏幕终端控制设备发送控制信号，所述屏幕控制设备包括但不限于学习型红外控制器。
66.本发明实施例还具有根据不同年龄的儿童进行区分监管的功能，先采用上述提到的人脸识别技术将儿童按照更加小的年龄区间进行分别，得到若干个年龄区间，再获取被监管儿童的人脸模版所在的年龄区间，再根据被监管儿童的人脸模版所在的年龄区间，进行有针对性的区分监管，具体步骤请参考图5：
67.步骤s710，获取与第一人脸数据集数据相匹配人脸模板的年龄区间；
68.步骤s720，当监管儿童的人脸模版板位于第一年龄区间时，控制屏幕终端始终保持关闭模式；
69.步骤s730，当监管儿童的人脸模版位于第二年龄区间时，在检测到儿童为第一坐姿、第一距离条件下，控制屏幕终端开启第一设定时间间隔；
70.步骤s740，当监管儿童的人脸模版位于第三年龄区间时，在检测到儿童为第二坐姿、第二距离条件下，控制屏幕终端开启第二设定时间间隔。
71.此外，当检测到当日期为非考试日时且屏幕终端在开启状态下，每隔第三设定时间间隔，保持时长为第四设定时间间隔的关闭。
72.具体的，可通过获取被监管儿童的人脸模版所在的年龄区间，再根据日历时间推算被监管儿童是否在重点考试时间，根据其年龄区间设定不同的监管等级，例如，等级0：考试时间：不得使用任何娱乐性屏幕终端(以下由电视代替)，等级1：最高监管模式，每天仅可以观看半小时电视，左右肩需保持水平、距离电视3米。等级2：次高监管模式，每天可以观看45分钟电视，左右肩保持3
°
，距离电视2.5米。等级3：弱监管等级，可以每天观看任意次电视，但距离电视2.5米且每隔45分钟需要休息10分钟。
73.本发明实施例在儿童使用屏幕终端时，自动智能识别该儿童的年龄，根据儿童年龄的不同，对儿童坐姿、距离等方面进行实时智能监督，并对屏幕终端的开启、关闭的时间进行智能管控，从而引导儿童健康的使用屏幕终端设备。相比于的现有技术方案，本发明实施例无需人为操作就能实现对屏幕终端设备进行管理，减少了手动进行设备管理的麻烦，还实现了对儿童使用屏幕终端进行分年龄段的特定管控，增加了智能化程度，且具有可以在多场景下使用的优点。
74.此外，基于对儿童使用屏幕终端进行智能管控的方法，本发明实施例还提供了一种对儿童使用屏幕终端进行智能管控的系统，如图6所示，该系统包括：
75.图像采集模块100，所述图像采集模块被配置为对目标区域进行图像采集得到目标图像；
76.人脸检测模块200，所述人脸检测模块被配置为对所述目标图像进行人脸检测；
77.特征值提取模块300，所述特征值提取模块被配置为当检测到人脸时，以预设人脸特征模型对所述人脸进行特征值提取，得到人脸模板；
78.人脸匹配模块400，所述人脸匹配模块被配置为将所述人脸模板与预先训练好的人脸数据集进行人脸匹配；
79.骨骼位置获取模块500，所述骨骼位置获取模块被配置为当所述人脸模板与所述人脸数据集中第一人脸数据集数据相匹配时，获取所述目标图像中的人体骨骼位置信息；
80.双目校正模块600，所述双目校正模块被配置为对所述人体骨骼位置信息进行双目校正得到人体骨骼关系信息以及人体距离信息；
81.智能管控模块700，所述智能管控模块被配置为根据所述人体骨骼关系信息、人体距离信息判断坐姿状态和或距离状态是否异常，当坐姿状态或距离状态异常时，生成提醒信息以进行提醒，当坐姿状态或距离状态异常且超出设定阈值时，输出相应控制信号对屏幕终端设备进行控制从而实现对儿童使用屏幕终端进行智能管控。
82.综上所述，本发明实施例提出了一种对儿童使用屏幕终端进行智能管控的系统，该系统可以实现为一种程序的形式，在计算机设备上运行。计算机设备的存储器中可存储组成该对儿童使用屏幕终端进行智能管控的系统的各个程序模块，比如，图6所示的图像采集模块100、人脸检测模块200、特征值提取模块300、人脸匹配模块400、骨骼位置获取模块500、双目校正模块600、智能管控模块700。各个程序模块构成的程序使得处理器执行本说明书中描述的本技术各个实施例的一种对儿童使用屏幕终端进行智能管控的方法中的步骤。
83.上述实施例是对本发明的说明，不是对本发明的限定，任何对本发明简单变换后的方案均属于本发明的保护范围。以上所述仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。