一种基于DSSD神经网络的智能家居环境控制实时识别系统及其控制方法与流程

一种基于dssd神经网络的智能家居环境控制实时识别系统及其控制方法
技术领域
1.本发明涉及人机交互领域，尤其是涉及一种基于dssd神经网络的能够实现实时智能家居环境及设备控制的人工智能人机交互系统及其控制方法。


背景技术：

2.当前对于智能家居环境及设备控制的国内技术研究典型的应用方案主要有以下几种：
3.1)、微软研究院利用kinect开发的手语翻译项目，整个项目的核心是通过kinect追踪手势从而识别命令控制智能设备；
4.2)、俄罗斯4名工程师发明了一款操作手套，名为“smartec”，装有复杂的柔性传感器、触摸传感器、陀螺仪、加速度计、指南针以及太阳能电池，通过传感器判定操作命令并传送；
5.3)、“小爱”、“小度”等人工智能助手，结合语音识别技术控制智能家居设备。
6.以上这些技术各有优势但或多或少存在依赖外部设备的问题，例如smartec设备，价格没有优势且携带不便。同时，大部分方案都是针对于单一或多个设备功能的控制，对功能组合所能达到的环境结果，并没有做出突破，在智能化上还有巨大的提升空间。
7.因此，亟需对现有智能家居进行改进，以满足成本、携带、智能性、综合调节等方面的需求，以及适应复杂控制场景的能力。


技术实现要素：

8.针对现有方法的以上缺陷或改进需求，本发明的目的就是为了解决上述问题，提供一种基于dssd神经网络的、利用普通摄像头的、不依靠外部设备的智能家居环境控制实时识别系统，它具有识别率高、智能化强、成本低廉的优点。
9.本发明提供了一种基于dssd神经网络的智能家居环境控制实时识别系统的控制方法，包括如下步骤：
10.步骤1、建立环境以及对应设备状态的训练数据集合；
11.步骤2、建立基于dssd网络的控制模型及对其参数进行调整和修改，并通过训练数据集合进行模型训练；
12.所述步骤2具体包括：(1)安装linux系统，以及安装caffe
‑
ssd深度学习平台；(2)修改标签字典pascalvoc_common.py；(3)运行tf_convert_data.py程序，将步骤1中准备好的格式数据集转换为转换成tfrecords；(4)运行train_ssd_network.py文件，开始训练dssd网络，直到网络训练收敛；其间可修改网络参数得到识别效果最好的最终网络模型；
13.步骤3、识别人员行为；
14.步骤4、基于人员行为控制智能设备创造理想的智能家居环境。
15.其中，所述步骤1包括：采用摄像设备采集不同成像角度、不同智能设备使用环境、
不同场景，不同人员的若干图片；采用labelimg对人员行为、状态进行标注标签并存入到xml格式的标签文件中，同时建立对应标签的设备使用参数存入xml格式标签文件中。所述摄像设备包括监控摄像头、电脑摄像头、电视摄像头。
16.进一步的，所述步骤3包括：(1)匹配场景摄像设备开始拍摄和传输视频流；(2)识别系统开始识别人员行为状态；(3)识别系统载入视频流依照设置的参数进行抽帧并运行控制模型以识别人员行为；所述步骤4包括提取识别结果中的人员行为、人员信息，控制模型还通过大数据分析该人员信息的历史行为信息、习惯、喜好获得该人员信息的控制策略作为二次输入，控制模型根据人员行为和控制策略综合决策获得并输出一控制方案，所述系统根据该控制方案开始对应进行智能设备的自动控制。
17.进一步的，在dssd网络模型中，利用k
‑
means算法及手肘法对先验框的宽高比进行选取。并且，所述人员信息根据人脸识别获得，所述控制策略中的控制元素包括当前目标智能设备以及关联的其他智能设备。
18.本发明还提供了一种计算机控制系统，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述存储器执行所述程序时实现上述方法。
19.本发明还提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行上述步骤。
20.本发明所述的方案与现有的技术相比，具有如下的有益效果是：
21.1)、本发明只采用普通摄像设备进行识别，无需专业设备和特殊设备，极大降低了设备成本；在dssd网络模型的基础上，对dssd进行了改进：利用k
‑
means算法及手肘法对先验框的宽高比进行选取，进一步提高了检测精度；
22.2)、采用迁移学习算法，并对不同基础网络(alexnet、vgg16、resnet101)对dssd网络模型影响进行研究，解决数据量小所带来的检测精度低的问题,可以有效降低、节约投入使用的时间成本，并为后续增量学习创造有利基础；
23.3)、本发明还通过大数据分析，结合历史行为获得智能化方案，真正将设备智能直接提升到环境智能的更高层面，创造贴合人员行为习惯的智能服务方式。
24.本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
附图说明
25.附图用来提供对本发明技术方案的进一步理解，并且构成说明书的一部分，与本技术的实施例一起用于解释本发明的技术方案，并不构成对本发明技术方案的限制。
26.图1是本发明一实施例所提供的训练过程的流程示意图；
27.图2是本发明一实施例所提供的识别过程的流程示意图。
具体实施方式
28.为使本发明的目的、技术方案和优点更加清楚明白，下文中将结合附图对本发明的实施例进行详细说明。应当理解，此处所描述的具体实施例仅仅用于解释本发明，并不用于限定本发明。需要说明的是，在不冲突的情况下，本技术中的实施例及实施例中的特征可
以相互任意组合。
29.本发明关注到：家居环境中目前出于监控、安防的目的已广泛部署了家用摄像头，并且，随着家庭网络的升级，家庭热点也已完全足够支撑高清图像的传输，这给智能控制提供了成本低廉且性能优越的硬件基础，使得能够通过摄像画面实现用户控制命令的下达。进一步的，再借助dssd神经网络，对视频中的人员行为进行识别，从而规避了背景分割的弊端，提升了检测的准确率。此外，相较于图像分析中的特征检测算法，ssd网络能自学习人员行为、状态的多尺度特征，可以通过样本的学习，逐步提高检测的准确率并针对当前行为对应的智能设备状态形成智能家居环境控制的记忆、学习，最终通过识别人员行为，直接为当前人员创造符合其习惯和要求的家庭环境，智能化大大提高。
30.因此，本发明在复用硬件的基础上，进一步采用深度学习的方法，利用dssd神经网络能快速和精确识别目标的优势，对人员目标进行实时的检测。同时，借助大数据分析、用户习惯记录等多维度提高设备控制的智能性。
31.具体地，本发明提供了一种基于dssd神经网络的智能家居环境控制实时识别系统以及其中运行的控制方法，结合图1
‑
2所示，包括如下步骤：
32.步骤1、建立环境以及对应设备状态的训练数据集合；
33.所述步骤采用普通摄像设备采集不同成像角度、不同智能设备使用环境、不同场景，不同人员的若干图片。采用labelimg对人员行为、状态进行标注标签并存入到xml格式的标签文件中，同时建立对应标签的设备使用参数存入xml格式(例如voc
‑
xml)标签文件中。
34.所述普通摄像头包括监控摄像头、电脑摄像头、电视摄像头等。
35.步骤2、建立基于dssd网络的控制模型及对其参数进行调整和修改，并通过训练数据集合进行模型训练；
36.步骤2具体包括：(1)安装linux系统，以及安装caffe
‑
ssd深度学习平台(支持dssd)；(2)修改标签字典pascalvoc_common.py；(3)运行tf_convert_data.py程序，将步骤1中准备好的xml格式数据集转换为转换成tfrecords；(4)运行train_ssd_network.py文件，开始训练dssd网络，直到网络训练收敛；其间可修改网络参数得到识别效果最好的最终网络模型；
37.步骤3、识别人员行为，具体包括：(1)匹配场景摄像设备开始拍摄和传输视频流；(2)系统开始识别人员行为状态；(3)系统载入视频流依照设置的参数进行抽帧并输入到上述训练完成的控制模型中以识别人员行为；
38.步骤4、基于人员行为控制智能设备创造理想的智能家居环境。
39.所述步骤4包括提取识别结果中的人员行为、人员信息，控制模型还通过大数据分析该人员信息的历史行为信息、习惯、喜好等获得该人员信息的控制策略作为二次输入，根据人员行为和控制策略综合决策获得并输出一控制方案，根据该控制方案开始对应进行智能设备的自动控制。
40.进一步的，模型训练采用迁移学习算法，本发明还对对不同基础网络(alexnet、vgg16、resnet101)对dssd网络模型影响进行了研究。
41.在dssd网络模型中，利用k
‑
means算法及手肘法对先验框的宽高比进行选取，进一步提高检测精度；所述人员信息根据人脸识别获得。
42.所述控制策略中的控制元素包括当前目标智能设备以及关联的其他智能设备。
43.本发明的技术方案中，利用普通摄像头集训练图片，节约了设备成本；而且由于dssd设计了反卷积模块融合了各个特征提取层的语义信息，所以在检测精度以及目标检测能力上有更出色的表现。本发明能够通过普通摄像设备实现人员行为识别并控制智能家居设备，实现了家居环境的人工智能管理。
44.相较于其他技术，具有成本低廉、识别率更高、实时性更好；智能家居搭配出来的环境，由于考虑了历史行为模式，更具备智能性，更加符合人员在使用智能家居设备的实际需求。
45.虽然本发明所揭露的实施方式如上，但所述的内容仅为便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属领域内的技术人员，在不脱离本发明所揭露的精神和原则的前提下，可以在实施的形式及细节上进行任何的修改与变化、等同替换等，这些都属于本发明的保护范围。因此，本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。