一种基于物联网的智能家居控制方法及系统与流程

1.本发明属于智能家居控制技术领域，具体涉及一种基于物联网的智能家居控制方法及系统。


背景技术：

2.随着技术不断的进步，越来越多的智能家居设备走进了人类的视野中，例如智能灯具、智能电饭煲、智能洗衣机和智能电视等正在逐渐取代传统的家居设备。其中通过手势结合图像处理技术对智能家电进行控制作为控制智能家电的重要手段之一，具有控制方便，提高智能家电智能化程度的特点，但是目前的手势控制容易产生误动作，用户不经意的举手、拿手机等手势动作，均能触发基于手势的调控，使得智能设备产生误响应，导致用户体验降低。


技术实现要素：

3.有鉴于此，本发明提供了一种提高手势识别精度、便捷调控智能设备的基于物联网的智能家居控制方法及系统，来解决上述存在的技术问题，具体采用以下方案来实现。
4.第一方面，本发明提供了一种基于物联网的智能家居控制方法，其特征在于，包括以下步骤：
5.获取用户人脸图像，根据所述人脸图像判断用户头部正对终端控制器时，获取用户第一触发手势，采集用户第一触发手势对应的手势轨迹信息；
6.将所述手势轨迹信息对应的手势图像进行灰度化处理得到灰度图像，选取预设手势的肤色进行分割图像处理得到预设灰度图像；
7.从灰度图像中获取相邻的多帧图像进行差分运算并与预设灰度图像进行匹配，根据匹配结果检测并提取所述第一触发手势的运动目标区域；
8.判断运动目标区域与用户头部的第一距离是否在预设距离内；
9.若否，生成控制所述终端控制器的开启指令，获取多个用户第二触发手势和所述用户人脸组成的表情图像，去除表情图像中的第二触发手势中对应的手势未覆盖所述人脸的表情图像得到目标表情图像，将所述目标表情图像与预设表情图像库进行匹配的表情相似度超过预设表情相似度时，控制所述终端控制器开启；
10.当所述第二触发手势与所述用户头部的第二距离未超过所述预设距离时，控制所述终端控制器与多个智能设备建立握手通信；
11.获取所述目标表情图像中的目标手势所占人脸的五官信息，根据所述五官信息和所述目标表情图像的灰度值控制所述终端控制器调控与所述用户存在第二距离的智能设备。
12.作为上述技术方案的进一步改进，所述判断所述手势轨迹信息中各手势与用户头部的第一距离是否在预设距离内，包括：
13.以用户头部为参考原点建立坐标系；
14.根据所述坐标系确定用户的手势轨迹信息并计算各手势与头部的距离。
15.作为上述技术方案的进一步改进，当所述手势轨迹信息中各手势与用户头部的第一距离是在预设距离内时，获取所述终端控制器中存储的多个智能设备的功率参数；
16.控制所述功率参数中的最小值对应的智能设备待机，并控制所述功率参数中的最大值对应的智能设备关机。
17.作为上述技术方案的进一步改进，所述获取所述目标表情图像中的目标手势所占人脸的五官信息，包括：
18.对目标表情图像中的人脸进行检测；
19.获取被所述目标手势遮挡的人脸区域并记录五官信息。
20.作为上述技术方案的进一步改进，灰度化处理包括根据rgb和yuv颜色空间的变化关系建立灰度值y与r、g、b三个分量对应公式：y＝0.3b 0.59g 0.11r。
21.作为上述技术方案的进一步改进，将所述目标表情图像与预设表情图像库进行匹配的表情相似度超过预设表情相似度时，控制所述终端控制器开启，包括：
22.获取目标表情图像中相邻的至少两张图像；
23.计算两张图像的表情变化的时间差值，判断所述时间差值是否超过预设时间；
24.若是，在预设时间后唤醒所述终端控制器；
25.若否，控制所述终端控制器开启。
26.第二方面，本发明还提供了一种基于物联网的智能家居控制系统，包括：
27.获取模块，用于获取用户人脸图像，根据所述人脸图像判断用户头部正对终端控制器时，获取用户第一触发手势，采集用户第一触发手势对应的手势轨迹信息；
28.检测模块，用于将所述手势轨迹信息对应的手势图像进行灰度化处理得到灰度图像，选取预设手势的肤色进行分割图像处理得到预设灰度图像，从灰度图像中获取相邻的多帧图像进行差分运算并与预设灰度图像进行匹配，根据匹配结果检测并提取所述第一触发手势的运动目标区域；
29.判断模块，用于判断所述手势轨迹信息中各手势与用户头部的第一距离是否在预设距离内；
30.筛选模块，用于判断所述手势轨迹信息中各手势与用户头部的第一距离不在预设距离内，生成控制所述终端控制器的开启指令，获取多个用户第二触发手势和所述用户人脸组成的表情图像，去除表情图像中获取所述第二触发手势中的手势未覆盖所述人脸的表情图像得到目标表情图像，将所述目标表情图像与预设表情图像库进行匹配的表情相似度超过预设表情相似度时，控制所述终端控制器开启；
31.控制模块，用于当所述第二触发手势与所述用户头部的第二距离未超过所述预设距离时，控制所述终端控制器与多个智能设备建立握手通信；获取所述目标表情图像中的目标手势所占人脸的五官信息，根据所述所述目标表情图像的表情相似度变化值控制所述终端控制器调控与所述五官信息对应智能设备。
32.作为上述技术方案的进一步改进，所述基于物联网的智能家居控制系统还包括：
33.显示模块，用于显示所述终端控制器存储的智能设备对应的功率参数和每个智能设备的工作状态。
34.本发明提供了一种基于物联网的智能家居控制方法及系统，通过获取用户人脸图
像，根据人脸图像判断用户头部正对终端控制器时，获取用户第一触发手势，采集用户第一触发手势对应的手势轨迹信息，将手势轨迹信息对应的手势图像进行灰度化处理得到灰度图像，可以区分手部皮肤与人脸皮肤的差异和减少外界环境干扰。从灰度图像中获取相邻的多帧图像进行差分运算并与预设灰度图像进行匹配，根据匹配结果检测并提取所述第一触发手势的运动目标区域，避免了手势的随意性且与用户头部的相对位置关系和对手势精准定位，便于实现将人脸与手势同时进行图像捕捉，提高图像识别的精度。判断运动目标区域与用户头部的第一距离不在预设距离内，生成控制终端控制器的开启指令，获取多个用户第二触发手势和用户人脸组成的表情图像，去除表情图像中获取第二触发手势中的手势未覆盖人脸的表情图像得到目标表情图像，获取目标表情图像中的目标手势所占人脸的五官信息，将手势和人脸图像融合可以得到用户的目标表情图像，从目标表情图像中可以准确判断出用户根据表情相似度变化值需要调控的智能设备，无需直接触控智能设备，同时也减小了手势的误识别操作，提高了对用户表情情绪的准确识别并给出相应的场景氛围，简化了手势调控，简单易操作，一定程度上也提高了用户体验。
附图说明
35.为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
36.图1为本发明实施例提供的基于物联网的智能家居控制方法的流程图；
37.图2为本发明实施例提供的基于物联网的智能家居控制系统的结构框图。
38.主要元件符号说明如下：
39.10
‑‑
获取模块；20
‑
判断模块；30
‑
筛选模块；40
‑
控制模块；50
‑
显示模块；60
‑
检测模块。
具体实施方式
40.下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
41.需要说明的是，当元件被称为“固定于”另一个元件，它可以直接在另一个元件上或者也可以存在居中的元件。当一个元件被认为是“连接”另一个元件，它可以是直接连接到另一个元件或者可能同时存在居中元件。相反，当元件被称作“直接在”另一元件“上”时，不存在中间元件。本文所使用的术语“垂直的”、“水平的”、“左”、“右”以及类似的表述只是为了说明的目的。
42.在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
43.参阅图1，本发明提供了一种基于物联网的智能家居控制方法，包括以下步骤：
44.本发明提供了一种基于物联网的智能家居控制方法，其特征在于，包括以下步骤：
45.s1：获取用户人脸图像，根据所述人脸图像判断用户头部正对终端控制器时，获取用户第一触发手势，采集用户第一触发手势对应的手势轨迹信息；
46.s2：将所述手势轨迹信息对应的手势图像进行灰度化处理得到灰度图像，选取预设手势的肤色进行分割图像处理得到预设灰度图像；
47.s3：从灰度图像中获取相邻的多帧图像进行差分运算并与预设灰度图像进行匹配，根据匹配结果检测并提取所述第一触发手势的运动目标区域；
48.s4：判断运动目标区域与用户头部的第一距离是否在预设距离内；
49.s5：若否，生成控制所述终端控制器的开启指令，获取多个用户第二触发手势和所述用户人脸组成的表情图像，去除表情图像中的第二触发手势中对应的手势未覆盖所述人脸的表情图像得到目标表情图像，将所述目标表情图像与预设表情图像库进行匹配的表情相似度超过预设表情相似度时，控制所述终端控制器开启；
50.s6：当所述第二触发手势与所述用户头部的第二距离未超过所述预设距离时，控制所述终端控制器与多个智能设备建立握手通信；
51.s7：获取所述目标表情图像中的目标手势所占人脸的五官信息，根据所述目标表情图像的表情相似度变化值控制所述终端控制器调控与所述所述五官信息对应的智能设备。
52.本实施例中，终端控制器可以是设置在室内的进门位置，可以通过蓝牙或其他无线连接多个智能设备，终端控制器上设置有图像捕捉模块。用户进入室内时需要在终端控制器的对其人脸进行识别以验证身份，根据预先设定好的人脸与身份信息进行绑定，以开启该终端控制器，之后图像捕捉模块采集用户的两只手组成的手势，第一触发手势可以是用户双手从垂直于水平面到分开，或者是手指之间比划的字母或动作，手势轨迹信息包括两只手从图像捕捉模块开启时的初始位置在10秒内运动的轨迹，手势轨迹信息可以是双手紧贴或者张开等。例如，双手从张开到贴合可以表示关闭，双手从贴合到张开可以表示开启。以用户头部为参考点，用户左手和右手初始位置可以是位于头部两侧，但运动后可以是位于一侧。当两只手相对于用户头部位于左侧时表示需要作减小的操作，当两只手相对于用户头部位于右侧时表示需要作增大的操作，通过捕捉的人脸图像进行图像分析并按照一定比例得到手势相对于用户头部的距离，预设距离可以根据实际情况设定。
53.需要说明的是，当手势轨迹信息中各手势与用户头部的第一距离是在预设距离内时，表示用户的两只手是分开的，即终端控制器生成开启指令，并获取多个第二触发手势和用户人脸组成的表情图像，表情图像包括用户手势遮挡五官或者靠近五官的区域，如捂嘴、挡一只眼睛等，对于每个五官特征分别表示需要操作的智能设备，如嘴巴对应电饭锅、眼睛对应电视机、耳朵对应音箱等，可以根据手势遮盖五官的面积确定设备的功率值，若手势刚好全部遮盖了眼睛，表示需要使用大功率设备如电视机，若只遮住一只眼睛可以是电脑等。
54.灰度化处理包括根据rgb和yuv颜色空间的变化关系建立灰度值y与r、g、b三个分量对应公式：y＝0.3b 0.59g 0.11r。手势轨迹信息是捕捉到人脸图像后触发对手势进行采集的，手势具有随意性，可以是连续的或间断的，将手势图像进行灰度化可以减少环境光或摄像头拍摄或对焦较难等采集的图像进行畸变校正，同时也可以进行图像分析得到手的皮
肤夜色、纹理等，便于后续将人脸皮肤与手势皮肤进行区分，也可以排出室内其他用户手势干扰，也可以降低手势的误识别而减少误操作。同样的，通过对图像灰度化进行图像分割可以精准地对图像中的每个特征进行分析从而适当调整图像捕捉的焦距。灰度值通常为0
‑
255，将灰度图像中相邻的多帧图像进行差分运算，将多帧图像与预设灰度图像进行匹配，匹配结果为是可以检测并提取第一触发手势的运动目标区域，用户手势可以是靠近头部或远离头部，也可以是摆着各种动作，如“耶”或“棒”等，可以通过空间坐标映射得到第一触发手势的运动目标区域，运动目标区域可以是圆形，矩形等，也可以是无规则的，运动目标区域可以是用户双手合十，也可以是双手张开，运动目标区域与用户头部的距离发生变化，预设距离可以设定30cm或者50cm等，在预设距离内手势变化可以间接表示用户此时心理状态，以便于更好地控制职能设备营造合适的场景，缓解疲劳或增加欢快气氛等。未覆盖五官的手势需要去除即该表情图像无效，根据当前的目标表情图像，终端控制器根据用户与其之间的距离选择最优路径启动对应的智能设备，可以以语音播报或屏幕显示的形式告知给用户，这样提高了对表情图像生成操作指令的准确性，一定程度上也提高了用户体验。
55.此外，目标表情图像可以是用户捂嘴、遮眼睛、揪耳朵等，根据五官对应不同的智能设备，如眼睛与电视机对应、嘴巴与电饭锅对应、一只手遮眼睛和另一只手摸头对应电脑，双手托下巴可以对应空调等，根据表情相似度可以精准地判定用户需要调控的智能设备，根据表情相似度变化值调控，如表情相似度变化值为正数可以对其进行正调控，而表情相似度变化值为负数可以对其进行负调控。目标表情图像与预设表情图像的表情相似度超过预设阈值时，控制终端控制器开启，预设表情相似度可以设定为50％，这样可以精准判定用户的表情，用户的第二触发手势是用于控制终端控制器与智能设备建立握手通信的条件，即第二触发手势与用户头部距离未超过预设距离表示用户需要控制智能家居，反之，关闭相应的智能家居，可以方便由于语音识别不精准如方言、口吃等，一定程度上提高了对智能家居的智能控制的灵活性。
56.可选地，所述判断所述手势轨迹信息中各手势与用户头部的第一距离是否在预设距离内，包括：
57.以用户头部为参考原点建立坐标系；
58.预设时间内，根据所述坐标系确定用户的手势轨迹信息并计算各手势与头部的距离。
59.本实施例中，将用户头部拍摄的图像投影至预先存储好的坐标系中，以头部所在圆面的中心点为参考原点建立二维坐标系，以水平面为横轴和垂直于水平面方向为纵轴，可以确定手势在坐标系中的位置，终端控制器的图像捕捉模块可以调节焦距，在未触发终端控制器开启时，焦距较大，在启动后焦距较小，但捕捉的图像大小不变，可以对用户手势进行精准定位，便于
60.可选地，所述获取多个用户第二触发手势和所述用户人脸组成的表情图像，包括：
61.当所述终端控制器开启时，所述第二触发手势与所述用户头部的距离发生变化，控制所述终端控制器与多个智能设备建立连接。
62.本实施例中，当终端控制器开启时，检测到出发手势和用户头部的距离发生变化，可以是手势靠近头部，终端控制器开始与多个智能设备建立通信连接，这样可以作为唤醒终端控制器与智能设备的握手连接，节省了电能，也更智能化。
63.可选地，当所述手势轨迹信息中各手势与用户头部的第一距离是在预设距离内时，获取所述终端控制器中存储的多个智能设备的功率参数；
64.控制所述功率参数中的最小值对应的智能设备待机，并控制所述功率参数中的最大值对应的智能设备关机。
65.本实施例中，第一距离指的是水平方向或者垂直地面方向上手势与用户头部的距离，用户一只手拿着手机观看或者打电话时，另一只手摆出动作时，可以判断该手势轨迹信息中的手势与用户头部的第一距离是在预设距离内，只有当用户两手同时摆出手势或者依次出现手势并计算两只手到用户头部的距离满足要求，终端控制器与室内多个智能设备建立连接并获取智能设备的功率参数即额定功率值，选取功率参数中最小值对应的智能设备即功耗低的设备进入待机状态即准备开启，而控制功率参数最大值对应的智能设备关机即关闭功耗高的设备，可以对不同功耗性能设备进行灵活控制，降低电能消耗，同时可以降低手势操作的误判。
66.可选地，所述获取所述目标表情图像中的目标手势所占人脸的五官信息，包括：
67.对目标表情图像中的人脸进行检测；
68.获取被所述目标手势遮挡的人脸区域并记录五官信息。
69.本实施例中，将捕捉到的目标表情图像进行检测，即进行扫描分析出人脸五官和手势，提取出人脸被手势遮挡的人脸区域并记录该人脸区域的五官是眼睛、嘴巴还是耳朵等，通过手势与人脸的特征提取可以精准得出用户需要对该五官满足的需求，可以排除由语音发出指令而出现信号干扰的问题，对有效人脸区域进行识别，一定程度上也可以获取用户当前的表情情绪、并可以提供相应的场景氛围，如调解灯光亮度、音响大小等。
70.可选地，将所述目标表情图像与预设表情图像库进行匹配的表情相似度超过预设表情相似度时，控制所述终端控制器开启，包括：
71.获取目标表情图像中相邻的至少两张图像；
72.计算两张图像的表情变化的时间差值，判断所述时间差值是否超过预设时间；
73.若是，在预设时间后唤醒所述终端控制器；
74.若否，控制所述终端控制器开启。本实施例中，预设时间可以设定30秒，手势和人脸被捕捉到一张图像的时间也是预先设定好，这样可以计算两张图像的表情变化，判断时间差值可以确定用户是否需要调控或者开闭智能设备，将智能设备与表情图像进行关联并结合表情变化的时间差值从而得到用户感兴趣的智能设备或者需要的场景，同时也通过终端控制器与智能设备建立通信连接，也可以更好地降低电能损耗，操作便捷。
75.参阅图2，本发明还提供了一种基于物联网的智能家居控制系统，包括：
76.获取模块10，用于获取用户人脸图像，根据所述人脸图像判断用户头部正对终端控制器时，获取用户第一触发手势，采集用户第一触发手势对应的手势轨迹信息；
77.检测模块60，用于将所述手势轨迹信息对应的手势图像进行灰度化处理得到灰度图像，选取预设手势的肤色进行分割图像处理得到预设灰度图像，从灰度图像中获取相邻的多帧图像进行差分运算并与预设灰度图像进行匹配，根据匹配结果检测并提取所述第一触发手势的运动目标区域；
78.判断模块20，用于判断所述手势轨迹信息中各手势与用户头部的第一距离是否在预设距离内；
79.筛选模块30，用于判断所述手势轨迹信息中各手势与用户头部的第一距离不在预设距离内，生成控制所述终端控制器的开启指令，获取多个用户第二触发手势和所述用户人脸组成的表情图像，去除表情图像中获取所述第二触发手势中的手势未覆盖所述人脸的表情图像得到目标表情图像；
80.控制模块40，用于获取所述目标表情图像中的目标手势所占人脸的五官信息，根据所述五官信息控制所述终端控制器调控与所述用户存在第二距离的智能设备。
81.本实施例中，所述基于物联网的智能家居控制系统还包括显示模块50，显示模块50用于显示所述终端控制器存储的智能设备对应的功率参数和每个智能设备的工作状态。用户正对着终端控制器，终端控制器的图像捕捉模块识别到人脸图像并验证通过，图像捕捉模块开始获取用户的第一触发手势，并记录用户的第一触发手势对应的手机轨迹信息，手势轨迹信息主要包括两只手相互靠近或远离的即在图像上呈现重叠或者分开的。将用户头部作为参考原点建立二维坐标系即对用户人脸进行标定，终端控制器可以设定一个或多个图像捕捉模块即摄像头，并能根据摄像的图像判断用户与终端控制器的距离，便于对用户的手势进行准确识别并快速判定用户当前需要开启的智能设备的类型和智能调控，降低了繁琐按键或者语音信息输入等，更智能化操作智能设备，也减少了手势的误操作。
82.本发明提供了一种基于物联网的智能家居控制方法及系统，通过获取用户人脸图像，根据人脸图像判断用户头部正对终端控制器时，获取用户第一触发手势，采集用户第一触发手势对应的手势轨迹信息，判断手势轨迹信息中各手势与用户头部的第一距离不在预设距离内，生成控制终端控制器的开启指令，获取多个用户第二触发手势和用户人脸组成的表情图像，去除表情图像中获取第二触发手势中的手势未覆盖人脸的表情图像得到目标表情图像，获取目标表情图像中的目标手势所占人脸的五官信息，根据五官信息控制终端控制器调控与所述用户存在第二距离的智能设备，将手势和人脸图像融合可以得到用户的目标表情图像，从目标表情图像中可以准确判断出用户需要调控的智能设备，无需直接触控智能设备，提高了对用户表情情绪的准确识别并给出相应的场景氛围，简化了手势调控，简单易操作，一定程度上也提高了用户体验。
83.在这里示出和描述的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制，因此，示例性实施例的其他示例可以具有不同的值。
84.应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
85.以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。