基于多模态识别的智能家居控制方法、系统和存储介质与流程

1.本发明涉及智能家居控制领域，具体为基于多模态识别的智能家居控制方法、系统和存储介质。


背景技术：

2.随着5g物联网时代的到来，嵌入式设备在人们的日常家居生活中得到广泛的应用。为了满足人们美好生活的需求，经济发展和科技进步使得人们的消费观念和生活理念发生改变。为此，智能家居中人机交互体验技术提高为用户带来高质量的生活体验。
3.从目前家庭场景中，智能家居人机交互主要依靠遥控器或者手机进行红外遥控，通过按键或触摸进行操作；还有利用语音、视觉控制智能家居设备，实现非接触式控制。然而，上述的控制方式都存在局限性：智能家居设备控制信息来源单一、准确率不高等问题，无法为用户提供更舒适便利的家居体验。


技术实现要素：

4.为了克服上述背景技术中智能家居设备控制信息存在来源单一和准确率不高等问题，无法为用户提供更舒适便利的家居体验的缺点，本发明的目的在于提供一种基于多模态识别的智能家居控制方法。
5.为了达到以上目的，本发明采用如下的技术方案：
6.本发明的第一方面，提供一种基于多模态识别的智能家居控制方法，包括如下步骤：
7.获取家庭场景中的日常家庭信息集，根据所述日常家庭信息集构建神经网络模型；
8.获取家庭场景中的实时家庭信息，将所述实时家庭信息输入所述神经网络模型中进行预测，获得预测结果；
9.根据用户习惯构建智能家居控制策略，将所述智能家居控制策略编写成推理脚本；
10.获取家庭场景中的实时环境信息，通过推理脚本对所述预测结果和实时环境信息进行多模态融合识别，获得推理结果，根据所述推理结果对智能家居设备进行控制。
11.在一些可能的实施方式中，所述家庭信息包括图像信息和音频信息，根据所述图像信息集训练yolo目标检测神经网络模型；根据所述音频信息集训练dnn深度神经网络声学模型。
12.在一些可能的实施方式中，所述环境信息包括温度、坐标、湿度和光照强度。
13.在一些可能的实施方式中，所述推理脚本为prolog语言脚本。
14.本发明的第二方面，提供一种基于多模态识别的智能家居控制系统，包括
15.模型训练模块：获取家庭场景中的日常家庭信息集，根据所述日常家庭信息集构建神经网络模型；
16.模型预测模块：获取家庭场景中的实时家庭信息，将所述实时家庭信息输入所述神经网络模型中进行预测，获得预测结果；
17.脚本编写模块：根据用户习惯构建智能家居控制策略，将所述智能家居控制策略编写成推理脚本；
18.推理控制模块：获取家庭场景中的实时环境信息，通过推理脚本对所述预测结果和实时环境信息进行多模态融合识别，获得推理结果，根据所述推理结果对智能家居设备进行控制。
19.在一些可能的实施方式中，所述家庭信息包括图像信息和音频信息，根据所述图像信息集训练yolo目标检测神经网络模型；根据所述音频信息集训练dnn深度神经网络声学模型。
20.在一些可能的实施方式中，所述环境信息包括温度、坐标、湿度和光照强度。
21.在一些可能的实施方式中，所述推理脚本为prolog语言脚本。
22.本发明的第三方面，提供一种计算机存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述的基于多模态识别的智能家居控制方法的步骤。
23.本发明的有益效果在于：
24.本发明提供的一种基于多模态识别的智能家居控制方法，通过神经网络模型对实时家庭信息进行适应性预测，可以获知家庭场景中的最优预测结果，通过智能家居控制策略编写成推理脚本对最优预测结果和实时环境信息进行推理，从而获得准确率高的智能家居设备控制信息，实现自动控制智能家居设备之间相互协同配合发挥功能，提高用户与智能家居设备的人机交互体验。
附图说明
25.图1为本发明实施例基于多模态识别的智能家居控制方法的整体步骤流程图；
26.图2为本发明实施例的硬件结构示意图；
27.图3为本发明实施例的基于多模态识别的智能家居控制系统结构示意图。
具体实施方式
28.下面结合附图对本发明的较佳实施例进行详细阐述，以使本发明的优点和特征能更易于被本领域技术人员理解，从而对本发明的保护范围做出更为清楚明确的界定。
29.技术问题：从目前家庭场景中，智能家居人机交互主要依靠遥控器或者手机进行红外遥控，通过按键或触摸进行操作；还有利用语音、视觉控制智能家居设备，实现非接触式控制。然而，上述的控制方式都存在局限性：智能家居设备控制信息来源单一、准确率不高等问题，无法为用户提供更舒适便利的家居体验。
30.为了解决上述问题，我们利用多模态信息融合方式实现家庭内智能家居设备自动化控制，使其具备ai语音、视觉识别等功能。本发明提供实施例1，本实施例1提供一种基于多模态识别的智能家居控制方法，具体包括如下步骤：
31.s1:获取家庭场景中的日常家庭信息集，根据所述日常家庭信息集构建神经网络模型。其中，所述家庭信息包括图像信息和音频信息(包括视频或照片和录音等)等。s1具体
如下：通过机器人获取家庭场景中的日常图像信息集和日常音频信息集，其中，所述机器人用于实现家庭场景内图像信息采集和音频信息采集等功能。
32.根据日常图像信息集构建yolo目标检测神经网络模型，yolo目标检测神经网络模型主要分为三个模块：主干特征提网络(backbone)模块，用于对输入的图像信息特征提取；加强特征网络(neck)模块，实现对不同尺度特征图融合提取特征；预测网络(head)模块,预测目标锚框位置。通过设置不同卷积层、池化层、激活函数等搭建yolo目标检测模型，利用图像数据不断的迭代训练模型，最终获得用于家庭的yolo目标检测神经网络模型。
33.根据日常音频信息集训练dnn深度神经网络声学模型，dnn深度神经网络声学模型是有多层隐层的多层感知机，结构包括输入层、隐层和输出层。利用采集到的音频信息进行训练模型，同时可进行加噪训练，使得dnn模型在复杂环境下识别性能提高，最终获得用于家庭的dnn深度神经网络声学模型。
34.将yolo目标检测神经网络模型和dnn深度神经网络声学模型部署在家庭信息箱中，机器人和家庭信息箱通讯连接。
35.s2:获取家庭场景中的实时家庭信息，将所述实时家庭信息输入所述神经网络模型中进行预测，获得预测结果。s2具体如下：上述机器人在客厅巡视，将t时刻采集到的图像信息和音频信息分别发送到yolo目标检测神经网络模型中和dnn深度神经网络声学模型中进行预测。预测过程具体如下：例如，例如某天下午16时，识别目标为用户和沙发，当用户的坐标未发生变化，用户的中心坐标为(x1,y1)，则说明用户处于停止移动状态，沙发的的坐标不会发生变化，则沙发处于位置固定状态，沙发的中心坐标形式为(x2,y2)，说明沙发处于静止状态，计算用户的中心坐标和沙发的中心坐标的距离为l，当用户和沙发的距离l1在某阀值区间，例如,l1小于20cm，则说明用户处于坐在沙发上的状态；
36.经过transformer语言模型识别判断声源信息是否为人的声音，若不是，则判断声源的类型，例如，判断声源为电视音频，由于沙发和电视机的位置相对固定，即预测结果为用户坐在沙发上看电视。
37.dnn深度神经网络声学模型，通过多层感知机构成，将采集的家庭音频数据标注后输入网络，经过dnn深度神经网络声学模型迭代训练，获得适应家庭内音频声学识别信息。将训练好的声学模型部署到及家庭信息箱内，用于对家庭内音频识别。
38.基于transformer的语音模型中，引入自注意力机制受人类只关注于重要事物的启发，只对输入序列中重要信息进行学习，将声学信息、发音信息和语音模型集成到神经网络中形成单对单语音识别模型，通过声学信息集和发音信息集训练模型transformer语音模型部署到家庭信息箱内，用于对家庭内语音识别。
39.s3:根据用户习惯构建智能家居控制策略，将所述智能家居控制策略编写成推理脚本；推理脚本需要用户自行根据自身居住习惯，按照脚本编写规则用户自行设定温度范围、湿度范围、光照范围和用户位置坐标等环境传感器范围等。prolog语言根据事实、规则、查询和结果的形式逻辑推理，得出最终控制结果，将编辑好的脚本上传至家庭信息箱内并添加脚本名称。
40.s4:获取家庭场景中的实时环境信息，通过推理脚本对所述预测结果和实时环境信息进行多模态融合识别，获得推理结果，根据所述推理结果对智能家居设备进行控制。其中，所述环境信息包括温度、湿度和光照强度等。s3具体如下：例如某天下午16时，通过温度
传感器获取到客厅内16时的温度为a1，通过湿度传感器获取到客厅内16时的湿度为b1，通过光照传感器获取到客厅内16时的光照强度为c1；通过智能家居控制策略的推理脚本对上述预测结果(用户坐在沙发上看电视)、16时的温度为a1、16时的湿度为b1和16时的光照强度为c1进行融合识别，得到推理结果。根据推理结果来对灯光、窗帘和空调等家居设备进行控制，调整室内温度、湿度和光照强度符合用户习惯，同时满足推理脚本设置的阀值，例如，温度阈值区间为20℃-25℃，湿度阈值区间为30％-60％，光照强度阈值区间100lx-300lx。然后使用户在健康舒适的环境下坐在沙发上观看电视。
41.参见附图2所示，上述机器人和家庭信息箱通讯连接，家庭信息箱和路由器连接，路由器和若干个无线ap(access point，无线接入点)连接，每个无线ap连接有一个传感器，传感器部署在家庭场景中。
42.本发明提供的一种基于多模态识别的智能家居控制方法，通过神经网络模型对实时家庭信息进行适应性预测，可以获知家庭场景中的最优预测结果，通过智能家居控制策略编写成推理脚本对最优预测结果和实时环境信息进行推理，从而获得准确率高的智能家居设备控制信息，实现自动控制智能家居设备之间相互协同配合发挥功能，提高用户与智能家居设备的人机交互体验。
43.实施例2
44.s2:获取家庭场景中的实时家庭信息，将所述实时家庭信息输入所述神经网络模型中进行预测，获得预测结果。s2具体如下：上述机器人在客厅巡视，将t时刻采集到的图像信息和音频信息分别发送到yolo目标检测神经网络模型中和dnn深度神经网络声学模型中进行预测。预测过程具体如下：例如，例如某天下午16时，识别目标为用户，当用户的坐标未发生变化，则说明用户在客厅中处于停止移动状态，电视机的坐标固定，则说明电视机处于静止状态，经过transformer语言模型识别判断声源信息是否为人的声音，若未识别人的声音则判断声源的类型为电视音频，例如，判断声源为电视音频时；即预测结果为用户在客厅中，电视机在播放。
45.s4:获取家庭场景中的实时环境信息，通过推理脚本对所述预测结果和实时环境信息进行多模态融合识别，获得推理结果，根据所述推理结果对智能家居设备进行控制。其中，所述环境信息包括温度、湿度和光照强度等。s3具体如下：例如某天下午16时，通过温度传感器获取到客厅内16时的温度为a2，通过湿度传感器获取到客厅内16时的湿度为b2，通过光照传感器获取到客厅内16时的光照强度为c2，通过电视机上的红外传感器对用户的真实位置进行二次定位，红外传感器具有发射和接收两端，红外传感器定位工作原理是红外发射管发射的红外光被物体遮挡，导致红外接收管无法接收红外光，从而触发动作信号，通过捕捉电视旁的红外传感器的红外光是否被遮挡判断用户的真实位置，此时，经yolo目标检测神经网络模型预测的用户的中心坐标为(x3,y3)，电视机的中心坐标为(x4,y4)，计算用户的中心坐标和电视机的中心坐标的距离为l2，当用户和沙发的距离l2在某阀值区间，例如,若l2小于200cm，则说明用户在电视机旁看电视。
46.然后通过智能家居控制策略的推理脚本对上述预测结果(用户在客厅中，电视机在播放)、用户的中心坐标和电视机的中心坐标的距离l2，电视机旁的红外传感器的红外光被遮挡，16时的温度为a2、16时的湿度为b2和16时的光照强度为c2进行融合识别，得到推理结果。根据推理结果来对灯光、窗帘和空调等家居设备进行控制，调整室内温度、湿度和光
照强度符合用户习惯，同时满足推理脚本设置的阀值，例如，温度阈值区间为20℃-25℃，湿度阈值区间为30％-60％，光照强度阈值区间100lx-300lx。然后使用户在健康舒适的环境下在电视机旁观看电视。
47.本发明还提供一种基于多模态识别的智能家居控制系统，所述智能家居控制系统执行时实现上述基于多模态识别的智能家居控制方法，参见附图3所示，具体包括
48.模型训练模块：获取家庭场景中的日常家庭信息集，根据所述日常家庭信息集构建神经网络模型；所述家庭信息包括图像信息和音频信息等(包括视频或照片和录音等)，根据所述图像信息集训练yolo目标检测神经网络模型；根据所述音频信息集训练dnn深度神经网络声学模型。
49.模型预测模块：获取家庭场景中的实时家庭信息，将所述实时家庭信息输入所述神经网络模型中进行预测，获得预测结果；所述环境信息包括温度、坐标、湿度和光照强度等。
50.脚本编写模块：根据用户习惯构建智能家居控制策略，将所述智能家居控制策略编写成推理脚本；所述推理脚本为prolog语言脚本。
51.推理控制模块：获取家庭场景中的实时环境信息，通过推理脚本对所述预测结果和实时环境信息进行多模态融合识别，获得推理结果，根据所述推理结果对智能家居设备进行控制。
52.本发明还提供一种计算机存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述的基于多模态识别的智能家居控制方法的步骤。
53.存储介质存储有能够实现上述所有方法的程序指令，其中，该程序指令可以以软件产品的形式存储在上述存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施方式所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质，或者是计算机、服务器、手机、平板等终端设备。
54.其中，处理器还可以称为cpu(central processing unit，中央处理单元)。处理器可能是一种集成电路芯片，具有信号的处理能力。处理器可以是：
55.dsp(digital signal processor，数字信号处理器，数字信号处理器是由大规模或超大规模集成电路芯片组成的用来完成某种信号处理任务的处理器。它是为适应高速实时信号处理任务的需要而逐渐发展起来的。随着集成电路技术和数字信号处理算法的发展，数字信号处理器的实现方法也在不断变化，处理功能不断提高和扩大。)
56.asic(application specific integrated circuit，专用集成电路，即专用集成电路，是指应特定用户要求和特定电子系统的需要而设计、制造的集成电路。
57.fpga(现场可编程门阵列，field programmable gate array)是在pal(programmable array logic，可编程阵列逻辑)、gal(generic array logic，通用阵列逻辑)等可编程器件的基础上进一步发展的产物。它是作为专用集成电路(asic)领域中的一种半定制电路而出现的，既解决了定制电路的不足，又克服了原有可编程器件门电路数有限的缺点。
58.通用处理器，所述通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
59.以上实施方式只为说明本发明的技术构思及特点，其目的在于让熟悉此项技术的人了解本发明的内容并加以实施，并不能以此限制本发明的保护范围，凡根据本发明精神实质所做的等效变化或修饰，都应涵盖在本发明的保护范围内。