基于用户行为识别的灯光控制系统及其控制方法与流程

1.本发明涉及智能控制技术领域，尤其涉及一种基于用户行为识别的灯光控制系统及其控制方法。


背景技术：

2.现有技术中图像的识别处理技术发展迅速，如cn202110200636.0、cn202110223353.8等专利申请中涉及的图像处理，前者是基于dssd_inception_v3_coco模型实现图像内载信息的识别，实现图像的全程自主处理，提高图像处理效率；后者是利用无人机主体的内部安装有无线数据传输模块，且无人机主体的上方安装有控制器，通过设置升降组件可以带动摄像机进行升降调节，使用方便。然而现有技术都是仅仅针对图像的智能处理识别，并不涉及用户行为的识别，尤其是在智能家居控制等场景中，不仅仅需要对用户进行人脸识别，还需要对用户的行为进行识别，从而为用户提供符合用户行为习惯、更加人性化的自动化控制服务。


技术实现要素：

3.为了解决上述技术问题，本发明的目的在于：提供一种基于用户行为识别的灯光控制系统及其控制方法。
4.本发明所采用的第一技术方案是：
5.一种基于用户行为识别的灯光控制系统，包括：
6.图像采集模块，所述图像采集模块用于采集用户的第一图像信息；
7.图像处理模块，所述图像采集模块的输出端与所述图像处理模块的输入端连接，所述图像处理模块用于对所述第一图像信息进行识别处理，得到用户的行为特征信息；
8.主控模块，所述图像处理模块的输出端与所述主控模块的第一输入端连接，所述主控模块用于接收所述行为特征信息，并生成相应的灯光驱动信号；
9.驱动模块，所述主控模块的第一输出端与所述驱动模块的输入端连接，所述驱动模块用于接收所述灯光驱动信号并进行灯光控制。
10.进一步地，在本发明的一个实施例中，所述图像采集模块为红外夜视摄像机。
11.进一步地，在本发明的一个实施例中，所述图像处理模块包括：
12.opencv单元，所述opencv单元用于调用opencv库对所述第一图像信息进行图像处理，得到包含人体轮廓的第二图像信息；
13.深度学习单元，所述深度学习单元用于调用深度神经网络对所述第二图像信息进行姿态识别，得到人体姿态信息；
14.筛选单元，所述筛选单元用于对所述人体姿态信息进行筛选，得到用户的行为特征信息；
15.所述图像采集模块的输出端依次通过所述opencv单元、所述深度学习单元以及所述筛选单元连接至所述主控模块的第一输入端。
16.进一步地，在本发明的一个实施例中，所述灯光控制系统还包括光照传感器，所述光照传感器的输出端与所述主控模块的第二输入端连接，所述光照传感器用于采集环境的光照强度信息。
17.进一步地，在本发明的一个实施例中，所述灯光控制系统还包括温湿度传感器，所述温湿度传感器的输出端与所述主控模块的第三输入端连接，所述温湿度传感器用于采集环境的温湿度信息。
18.进一步地，在本发明的一个实施例中，所述灯光控制系统还包括通信模块，所述通信模块与所述主控模块连接，所述通信模块用于与onenet云平台以及用户终端进行通信。
19.进一步地，在本发明的一个实施例中，所述基于用户行为识别的灯光控制系统还包括语音提示模块，所述语音提示模块的输入端与所述主控模块的第二输出端连接。
20.本发明所采用的第二技术方案是：
21.一种基于用户行为识别的灯光控制系统的控制方法，用于通过上述基于用户行为识别的灯光控制系统执行，包括以下步骤：
22.通过图像采集模块采集用户的第一图像信息；
23.通过图像处理模块对所述第一图像信息进行识别处理，得到用户的行为特征信息；
24.通过主控模块根据所述行为特征信息和预设的第一映射关系得到相应的灯光期望状态，并根据所述灯光期望状态生成灯光控制信号；
25.通过驱动模块根据所述灯光驱动信号进行灯光控制。
26.进一步地，在本发明的一个实施例中，所述对所述第一图像信息进行识别处理，得到用户的行为特征信息这一步骤，其具体包括：
27.通过opencv库对所述第一图像信息进行图像处理，得到包含人体轮廓的第二图像信息；
28.通过预先训练好的深度神经网络对所述第二图像信息进行姿态识别，得到人体姿态信息；
29.对所述人体姿态信息进行筛选，得到用户的行为特征信息。
30.本发明的有益效果是：本发明一种基于用户行为识别的灯光控制系统及其控制方法，通过图像采集模块采集用户的第一图像信息，通过图像处理模块对第一图像信息进行识别处理得到用户的行为特征信息，再由主控模块根据该行为特征信息生成相应的灯光驱动信号，通过驱动模块进行灯光控制。本发明相较于传统的智能家居控制系统而言，可以对用户的行为进行识别和分析，根据用户的行为特征进行自动化的灯光控制，在保证灯光控制的准确性的同时，提高了用户的体验感，适用于各种智能控制场景。
附图说明
31.图1为本发明实施例提供的一种基于用户行为识别的灯光控制系统的结构示意图；
32.图2为本发明实施例提供的基于用户行为识别的灯光控制系统的控制方法的步骤流程图。
具体实施方式
33.下面结合附图和具体实施例对本发明做进一步的详细说明。对于以下实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。
34.在本发明的描述中，多个的含义是两个以上，如果有描述到第一、第二只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。此外，除非另有定义，本文所使用的所有的技术和科学术语与本技术领域的技术人员通常理解的含义相同。本文说明书中所使用的术语只是为了描述具体的实施例，而不是为了限制本发明。
35.参照图1，本发明实施例提供了一种基于用户行为识别的灯光控制系统，包括：
36.图像采集模块，图像采集模块用于采集用户的第一图像信息；
37.图像处理模块，图像采集模块的输出端与图像处理模块的输入端连接，图像处理模块用于对第一图像信息进行识别处理，得到用户的行为特征信息；
38.主控模块，图像处理模块的输出端与主控模块的第一输入端连接，主控模块用于接收行为特征信息，并生成相应的灯光驱动信号；
39.驱动模块，主控模块的第一输出端与驱动模块的输入端连接，驱动模块用于接收灯光驱动信号并进行灯光控制。
40.本发明实施例通过图像采集模块采集用户的第一图像信息，通过图像处理模块对第一图像信息进行识别处理得到用户的行为特征信息，再由主控模块根据该行为特征信息生成相应的灯光驱动信号，通过驱动模块进行灯光控制。本发明相较于传统的智能家居控制系统而言，可以对用户的行为进行识别和分析，根据用户的行为特征进行自动化的灯光控制，在保证灯光控制的准确性的同时，提高了用户的体验感，适用于各种智能控制场景。
41.进一步作为可选的实施方式，图像采集模块为红外夜视摄像机。
42.具体地，本发明实施例的图像采集模块采用红外夜视摄像机，这样在晚上也可以用对用户进行行为捕捉与识别，进一步提高了用户的体验感。
43.参照图1，进一步作为可选的实施方式，图像处理模块包括：
44.opencv单元，opencv单元用于调用opencv库对第一图像信息进行图像处理，得到包含人体轮廓的第二图像信息；
45.深度学习单元，深度学习单元用于调用深度神经网络对第二图像信息进行姿态识别，得到人体姿态信息；
46.筛选单元，筛选单元用于对人体姿态信息进行筛选，得到用户的行为特征信息；
47.图像采集模块的输出端依次通过opencv单元、深度学习单元以及筛选单元连接至主控模块的第一输入端。
48.具体地，图像处理模块可通过c 或python语言编写识别程序，然后与图像采集模块(即摄像头)进行连接，通过运行程序让摄像头能够对周边物体进行识别，包括对人的姿势及动作的识别。具体可先调用opencv库对第一图像信息进行提取处理，得到人体轮廓；然后通过训练好的深度神经网络对人体轮廓包含的姿态特征进行识别，得到人体姿态信息；人体姿态信息中包括一些与灯光控制无关的姿态信息，例如正常的行走姿态，需要对这些无关的姿态信息进行过滤，筛选出用户的行为特征信息。
49.可以理解的是，上述功能可以在树莓派上进行实现，在通过树莓派连接摄像头和物联网onenet云平台进行数据交互，实现一系列的智能识别，通过深度学习可以针对复杂的人体行为进行识别处理，通过串口通讯实现与其它系统(如主控模块)进行数据交互。
50.参照图1，进一步作为可选的实施方式，灯光控制系统还包括光照传感器，光照传感器的输出端与主控模块的第二输入端连接，光照传感器用于采集环境的光照强度信息。
51.具体地，光照传感器用于采集用户所在环境的光照强度信息，主控模块可根据用户的行为特征信息和采集到的光照强度信息进行灯光控制，例如，在夜晚用户发生起床行为时，需要增大灯光亮度为用户进行照明，而当光线充足的白天用户发生起床行为时则不必。
52.参照图1，进一步作为可选的实施方式，灯光控制系统还包括温湿度传感器，温湿度传感器的输出端与主控模块的第三输入端连接，温湿度传感器用于采集环境的温湿度信息。
53.具体地，温湿度传感器用于采集用户所在环境的温湿度信息，主控模块可根据用户的行为特征信息和采集到的温湿度信息进行灯光控制，例如，在温度较低时用户发生看书行为，需要提供暖色光为用户进行照明，在湿度较高时用户发生外出行为，可提供紫外线光照，防止细菌繁殖。
54.参照图1，进一步作为可选的实施方式，灯光控制系统还包括通信模块，通信模块与主控模块连接，通信模块用于与onenet云平台以及用户终端进行通信。
55.具体地，通信模块可采用路由器，提供一个局域网功能，通过mtk7628an与banana pi r64实现软路由开发，同时banana pi r64可以装载手机的sim卡，通过sim卡来提供网络，也可以装载多个sim卡，用于在某张sim卡网络失效或拥堵时实现自动切换。
56.可选地，本发明实施例的主控模块采用嵌入式系统，该嵌入式系统通过接收图像处理模块传输过来的数据，通过stm32(包括bear pi与stm32f103zet)开发实现相关功能控制，如采集光照传感器、温湿度传感器的数据进行灯光控制。还可以通过app开发实现在用户终端对嵌入式系统的控制，app开发可以采用kotlin或java进行开发。嵌入式系统采用串口数据通信，onenet云平台、用户终端以及嵌入式系统之间均可以实现数据交互。
57.参照图1，进一步作为可选的实施方式，基于用户行为识别的灯光控制系统还包括语音提示模块，语音提示模块的输入端与主控模块的第二输出端连接。
58.具体地，语音提示模块用于在无法识别用户行为时发出语音提示，或者在室内温湿度超出预设的阈值范围时发出语音提示，进一步提高了用户的体验感。
59.以上是对本发明实施例的系统结构进行了说明，可以认识到，本发明相较于传统的智能家居控制系统而言，可以对用户的行为进行识别和分析，根据用户的行为特征进行自动化的灯光控制，在保证灯光控制的准确性的同时，提高了用户的体验感，适用于各种智能控制场景。本发明可以对不同环境不同情况做出不同响应，比如用户躺上床后可以将灯光调至暖光，用户躺下睡着后会自动关闭灯光，当用户夜晚起床时开启走廊灯进行照明；兼有手势识别功能及集成路由的功能，可对光传感器进行辅助，对公共场所进行灯光以及路由进行智能调控分配，达到智能节能美观实用的目的；附带微型摄像头，在公共场所还可以充当摄像监控功能对可疑人物进行识别报警，通过开发手机app对该灯进行控制并根据使用者习惯进行快捷设置方便查看当日预估人流量。本发明可广泛应用于汽车人机交互、智
能家居、高档会所、别墅、餐厅及体育馆等大型公共场所以及消防通道和电梯等小型公共空间中的智能led灯光控制。
60.参照图2，本发明实施例提供了一种基于用户行为识别的灯光控制系统的控制方法，用于通过上述基于用户行为识别的灯光控制系统执行，包括以下步骤：
61.s101、通过图像采集模块采集用户的第一图像信息；
62.s102、通过图像处理模块对第一图像信息进行识别处理，得到用户的行为特征信息；
63.s103、通过主控模块根据行为特征信息和预设的第一映射关系得到相应的灯光期望状态，并根据灯光期望状态生成灯光控制信号；
64.s104、通过驱动模块根据灯光驱动信号进行灯光控制。
65.具体地，第一映射关系为行为特征信息与灯光期望状态的映射关系，可预先设置好第一映射关系并生成控制逻辑存储于主控模块中，当接收到相应的行为特征信息时，得到相应的灯光期望状态，然后根据当前灯光状态生成控制信号进行调整。
66.进一步作为可选的实施方式，对第一图像信息进行识别处理，得到用户的行为特征信息这一步骤s102，其具体包括：
67.s1021、通过opencv库对第一图像信息进行图像处理，得到包含人体轮廓的第二图像信息；
68.s1022、通过预先训练好的深度神经网络对第二图像信息进行姿态识别，得到人体姿态信息；
69.s1023、对人体姿态信息进行筛选，得到用户的行为特征信息。
70.具体地，opencv是一个基于bsd许可(开源)发行的跨平台计算机视觉和机器学习软件库，可以运行在linux、windows、android和mac os操作系统上，本发明实施例通过调用opencv对第一图像信息进行提取处理，得到包含人体轮廓的第二图像信息；再通过预先训练好的深度神经网络识别人体轮廓中的用户姿态，从而可以确定人体姿态信息；对人体姿态信息进行筛选，过滤掉无关的姿态信息，即可得到用户的行为特征信息。
71.可选地，利用开发语言开源库，如python利用numpy库，c 利用opencv2库，然后基于基础矩阵算法以及数组算法，通过读取图像采集模块录入的图像，利用矩阵算法将图像分成若干模块进行分析，同时引入可读取数据文件，比如物的类型等数据模型文件，采用计算机比对进行识别，并利用opencv读取图像采集模块采集的图像对相应的人或物识别轮廓并分析。
72.本发明实施例相较于传统的智能家居控制系统而言，可以对用户的行为进行识别和分析，根据用户的行为特征进行自动化的灯光控制，在保证灯光控制的准确性的同时，提高了用户的体验感，适用于各种智能控制场景。
73.应当认识到，本发明的实施例可以由计算机硬件、硬件和软件的组合、或者通过存储在非暂时性计算机可读存储器中的计算机指令来实现或实施。上述方法可以使用标准编程技术—包括配置有计算机程序的非暂时性计算机可读存储介质在计算机程序中实现，其中如此配置的存储介质使得计算机以特定和预定义的方式操作——根据在具体实施例中描述的方法和附图。每个程序可以以高级过程或面向对象的编程语言来实现以与计算机系统通信。然而，若需要，该程序可以以汇编或机器语言实现。在任何情况下，该语言可以是编
译或解释的语言。此外，为此目的该程序能够在编程的专用集成电路上运行。
74.此外，可按任何合适的顺序来执行本文描述的过程的操作，除非本文另外指示或以其他方式明显地与上下文矛盾。本文描述的过程(或变型和/或其组合)可在配置有可执行指令的一个或多个计算机系统的控制下执行，并且可作为共同地在一个或多个处理器上执行的代码(例如，可执行指令、一个或多个计算机程序或一个或多个应用)、由硬件或其组合来实现。上述计算机程序包括可由一个或多个处理器执行的多个指令。
75.进一步，上述方法可以在可操作地连接至合适的任何类型的计算平台中实现，包括但不限于个人电脑、迷你计算机、主框架、工作站、网络或分布式计算环境、单独的或集成的计算机平台、或者与带电粒子工具或其它成像装置通信等等。本发明的各方面可以以存储在非暂时性存储介质或设备上的机器可读代码来实现，无论是可移动的还是集成至计算平台，如硬盘、光学读取和/或写入存储介质、ram、rom等，使得其可由可编程计算机读取，当存储介质或设备由计算机读取时可用于配置和操作计算机以执行在此所描述的过程。此外，机器可读代码，或其部分可以通过有线或无线网络传输。当此类媒体包括结合微处理器或其他数据处理器实现上文所描述步骤的指令或程序时，本文所描述的发明包括这些和其他不同类型的非暂时性计算机可读存储介质。当根据本发明所描述的方法和技术编程时，本发明还包括计算机本身。
76.计算机程序能够应用于输入数据以执行本文所描述的功能，从而转换输入数据以生成存储至非易失性存储器的输出数据。输出信息还可以应用于一个或多个输出设备如显示器。在本发明优选的实施例中，转换的数据表示物理和有形的对象，包括显示器上产生的物理和有形对象的特定视觉描绘。
77.以上所述，只是本发明的较佳实施例而已，本发明并不局限于上述实施方式，只要其以相同的手段达到本发明的技术效果，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。在本发明的保护范围内其技术方案和/或实施方式可以有各种不同的修改和变化。