智能家居控制系统的学习方法及控制方法与流程

1.本技术涉及家用电器技术领域，尤其涉及智能家居控制系统的学习方法及控制方法。


背景技术：

2.随着科技的发展，一些智能家居的控制系统可以语音交互或图像识别的方式，对用户和用户所处的家居环境进行理解，并对用户的意图进行识别，下发相应的控制指令到对应的家居设备，对家庭环境中的家居设备的进行控制。
3.目前，智能家居的控制系统检测用户意图准确度较低，容易产生误判，使得智能家居的智能化程度较低，用户体验有待改善。


技术实现要素：

4.本技术旨在至少解决现有技术中存在的技术问题之一。为此，本技术提出一种智能家居控制系统的学习方法，以提高智能家居用户意图识别的准确度。
5.本技术还提出一种智能家居控制系统的控制方法，准确识别用户意图，实现智能控制，提升用户体验。
6.根据本技术第一方面实施例的智能家居控制系统的学习方法，包括：
7.获取家居设备的场景图像和运行状态，所述场景图像包括第一用户和所述家居设备，所述场景图像通过智能家居控制系统的视觉传感器采集；
8.对所述场景图像进行行为识别，获得所述第一用户的第一行为特征，所述第一行为特征与所述运行状态相关联；
9.基于所述运行状态，确定所述运行状态对应的所述第一用户的第一意图特征；
10.将所述第一行为特征作为样本，所述第一意图特征作为样本标签，更新或建立所述智能家居控制系统的意图识别模型。
11.根据本技术实施例的智能家居控制系统的学习方法，通过家居设备的场景图像和运行状态，确定意图识别模块训练更新所使用的样本和样本标签，提升意图识别模块的识别准确度，使得智能家居控制系统能为用户提供准确友好的智能服务，提升用户的使用体验。
12.根据本技术的一个实施例，在所述对所述场景图像进行行为识别，获得所述第一用户的第一行为特征之后，所述更新或建立智能家居控制系统的意图识别模型之前，所述方法还包括：
13.基于所述第一行为特征，输出提示信息；
14.接收所述第一用户基于所述提示信息的第一输入；
15.响应于所述第一输入，将所述第一行为特征作为样本，所述第一意图特征作为样本标签。
16.根据本技术的一个实施例，所述基于所述第一行为特征，输出提示信息，包括：
17.在所述第一行为特征的发生频率超过目标频率的情况下，输出所述提示信息；
18.和/或，在所述第一行为特征的持续时长超过目标时长的情况下，输出所述提示信息。
19.根据本技术的一个实施例，在所述接收所述第一用户基于所述提示信息的第一输入之后，所述方法还包括：
20.响应于所述第一输入，基于所述第一意图特征和所述运行状态，获得所述第一用户的第一设备联动信息，所述第一设备联动信息用于辅助所述家居设备的控制。
21.根据本技术的一个实施例，在所述对所述场景图像进行行为识别，获得所述第一用户的第一行为特征之后，所述更新或建立智能家居控制系统的意图识别模型之前，所述方法还包括：
22.在所述第一行为特征与对应的第一意图特征的发生频率超过第一频率的情况下，将所述第一行为特征作为样本，所述第一意图特征作为样本标签。
23.根据本技术的一个实施例，在所述获取家居设备的场景图像和运行状态之后，在所述对所述场景图像进行行为识别，获得所述第一用户的第一行为特征之前，所述方法还包括：
24.获取所述场景图像中用户的身份信息；
25.基于所述身份信息，在所述场景图像包括所述第一用户的情况下，对所述场景图像进行行为识别，获得所述第一用户的第一行为特征。
26.根据本技术第二方面实施例的智能家居控制系统的控制方法，包括：
27.获取家居设备的目标场景图像，所述目标场景图像包括所述家居设备和目标用户；
28.对所述目标场景图像进行行为识别，获得所述目标用户的目标行为特征；
29.将所述目标行为特征输入至智能家居控制系统的意图识别模型，获得所述意图识别模型输出的所述目标用户的目标意图特征；
30.基于所述目标意图特征，输出目标控制指令，所述目标控制指令用于控制所述家居设备动作；
31.其中，所述目标场景图像通过所述智能家居控制系统的视觉传感器采集，所述意图识别模型基于上述的智能家居控制系统的学习方法进行训练得到。
32.根据本技术实施例的智能家居控制系统的控制方法，通过学习了用户行为习惯的意图识别模型识别目标用户的目标意图特征，触发家居联动机制，使得智能家居控制系统能为用户提供准确友好的智能服务，提升用户的使用体验。
33.根据本技术的一个实施例，所述基于所述目标意图特征，输出目标控制指令，包括：
34.基于所述目标意图特征，确定所述目标意图特征对应的目标运行状态；
35.基于所述目标运行状态，输出目标控制指令。
36.根据本技术的一个实施例，所述基于所述目标意图特征，确定所述目标意图特征对应的目标运行状态，包括：
37.基于所述目标意图特征，从第一设备联动信息中确定所述目标运行状态，
38.所述第一设备联动信息基于上述智能家居控制系统的学习方法确定。
39.根据本技术的一个实施例，所述基于所述目标意图特征，确定所述目标意图特征对应的目标运行状态，包括：
40.在所述目标用户为第二用户的情况下，获取所述第二用户对应的第二设备联动信息；
41.基于所述目标意图特征，从所述第二设备联动信息中确定所述目标运行状态，所述第二设备联动信息基于第二输入确定。
42.根据本技术第三方面实施例的智能家居控制系统，包括：
43.获取模块，用于获取家居设备的场景图像和运行状态，所述场景图像包括第一用户和所述家居设备，所述场景图像通过智能家居控制系统的视觉传感器采集；
44.第一处理模块，用于对所述场景图像进行行为识别，获得所述第一用户的第一行为特征，所述第一行为特征与所述运行状态相关联；
45.第二处理模块，用于基于所述运行状态，确定所述运行状态对应的所述第一用户的第一意图特征；
46.第三处理模块，用于将所述第一行为特征作为样本，所述第一意图特征作为样本标签，更新所述智能家居控制系统的意图识别模型。
47.根据本技术的一个实施例，所述获取模块，还用于获取家居设备的目标场景图像，所述目标场景图像包括所述家居设备和目标用户；
48.所述第一处理模块，还用于对所述目标场景图像进行行为识别，获得所述目标用户的目标行为特征；
49.所述第三处理模块，还用于将所述目标行为特征输入至所述意图识别模型，获得所述意图识别模型输出的所述目标用户的目标意图特征；
50.所述智能家居控制系统，还包括：
51.输出模块，用于基于所述目标意图特征，输出目标控制指令，所述目标控制指令用于控制所述家居设备动作；
52.其中，所述目标场景图像通过所述智能家居控制系统的视觉传感器采集。
53.根据本技术第四方面实施例的智能家居系统，包括：
54.多个家居设备；
55.智能家居控制系统，所述智能家居控制系统包括视觉传感器，所述视觉传感器用于采集所述多个家居设备的场景图像，所述智能家居控制系统用于基于上述智能家居控制系统的学习方法进行学习训练或基于上述智能家居控制系统的控制方法控制所述多个家居设备动作。
56.根据本技术第五方面实施例的电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述任一种所述智能家居控制系统的学习方法或控制方法的步骤。
57.根据本技术第六方面实施例的非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述智能家居控制系统的学习方法或控制方法的步骤。
58.根据本技术第七方面实施例的计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述智能家居控制系统的学习方法或控制方法的步
骤。
59.本技术实施例中的上述一个或多个技术方案，至少具有如下技术效果之一：
60.通过家居设备的场景图像和运行状态，确定意图识别模块训练更新所使用的样本和样本标签，提升意图识别模块的识别准确度。
61.进一步的，通过学习了用户行为习惯的意图识别模型识别目标用户的目标意图特征，触发家居联动机制，使得智能家居控制系统能为用户提供准确友好的智能服务，提升用户的使用体验。
62.更进一步的，智能家居控制系统会通过提示信息询问用户，在用户同意的情况下学习用户持续、频繁的动作序列，学习用户想要保存的行为习惯，使得意图识别模型的更新学习更加智能化人性化。
63.再进一步的，智能家居控制系统还可以通过与手机等终端联网辅助不会或不方便操作家居设备的用户，实现智能化人性化的家居设备的控制。
64.本技术的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本技术的实践了解到。
附图说明
65.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
66.图1是本技术实施例提供的智能家居控制系统的学习方法的流程示意图；
67.图2是本技术实施例提供的智能家居控制系统的控制方法的流程示意图；
68.图3是本技术实施例提供的智能家居控制系统的控制流程图；
69.图4是本技术实施例提供的智能家居控制系统的结构示意图；
70.图5是本技术实施例提供的电子设备的结构示意图。
具体实施方式
71.下面结合附图和实施例对本技术的实施方式作进一步详细描述。以下实施例用于说明本技术，但不能用来限制本技术的范围。
72.在本技术实施例的描述中，需要说明的是，术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本技术实施例和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本技术实施例的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
73.在本技术实施例的描述中，需要说明的是，除非另有明确的规定和限定，术语“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本技术实施例中的具体含义。
74.在本技术实施例中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。
75.在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本技术实施例的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
76.智能家居指通过物联网技术连接的家居设备，家居设备包括家中的音视频设备、照明系统、窗帘控制、空调控制、安防系统、数字影院系统、影音服务器、影柜系统及网络家电等家居电器及家电设备。
77.智能家居控制系统是以智能家居系统为平台，家居电器及家电设备为主要控制对象，利用综合布线技术、网络通信技术、安全防范技术、自动控制技术、音视频技术将家居生活有关的设施进行高效集成，构建高效的住宅设施与家庭日程事务的控制管理系统。
78.智能家居控制系统是智能家居系统核心，是智能家居控制功能实现的基础。
79.下面结合图1描述本技术实施例的智能家居控制系统的学习方法，该方法的执行主体可以是智能家居控制系统的控制器，或者云端，或者边缘服务器。
80.如图1所示，本技术实施例的智能家居控制系统的学习方法包括步骤110至步骤140。
81.步骤110、获取家居设备的场景图像和运行状态。
82.其中，家居设备指智能家居系统中的家居电器及家电设备，家居设备的场景图像是通过安装在家中的视觉传感器获取的包括家居设备的图像。
83.可以理解的是，家居设备的场景图像中包括家居设备，相应的也包括使用家居设备的第一用户。
84.视觉传感器是智能家居控制系统视觉信息的直接来源，包括图形传感器、光投射器及其他辅助设备，图像传感器可以为激光扫描器、线阵和面阵ccd摄像机、tv摄像机和数字摄像机等设备。
85.在该实施例中，视觉传感器用于获取足够智能家居控制系统实现视觉处理的图像，也即获取的家居设备的场景图像是视觉传感器采集家居设备所在场景的图像序列。
86.需要说明的是，场景图像包括第一用户和家居设备，采集家居设备的场景图像的视觉传感器的数量可以为一个或多个，视觉传感器可以为安装在某一家居设备上的视觉传感器，也可以为安装在某一特定位置，可以拍摄到第一用户和家居设备的独立的视觉传感器。
87.例如，针对冰箱这一家居设备，视觉传感器可以安装在冰箱上，也可以安装于冰箱
所处位置的墙壁上。
88.在该实施例中，智能家居控制系统是和智能家居系统中的所有家居设备联网的，可以获取到家居设备的运行状态。
89.其中，家居设备的运行状态包括但不限于家居设备的开关状态和运行参数。
90.例如，针对冰箱这一家居设备，其运行状态可以包括开门、关门、冷藏室设置温度和冷冻室设置温度等。
91.再例如，针对饮水这一家居设备，其运行状态可以包括取水、进水、加热温度和制冷温度等。
92.步骤120、对场景图像进行行为识别，获得第一用户的第一行为特征。
93.在家居设备的场景图像内包括家居设备和第一用户，通过对场景图像进行行为识别，可以获得第一用户在家居设备的场景图像中动作的第一行为特征。
94.行为特征是用于表征人体动作的特征向量，第一行为特征包括第一用户在家居设备的场景图像中使用家居设备的行为特征以及其他活动的行为特征。
95.可以理解的是，第一用户使用家居设备时，家居设备实时的运行状态会发生改变，家居设备的场景图像中识别得到第一行为特征与家居设备的运行状态相关联。
96.在该实施例中，可以通过人物交互行为识别方法构建人物交互模型，对家居设备的场景图像进行行为识别，确定出表征第一用户动作的第一行为特征。
97.在实际执行中，可以通过使用人物交互网络识别行为特征。
98.人物交互网络基于动作传递机制，通过物体-身体部位图捕获身体部位与周围物体的关系，通过人体-身体部位图推断人体与身体部位的关系，并组合身体部位上下文信息以确定动作，得到行为特征。
99.步骤130、基于运行状态，确定运行状态对应的第一用户的第一意图特征。
100.第一用户使用某一家居设备时，该家居设备的运行状态会发生改变，该家居设备的运行状态表征了第一用户对该家居设备的使用意图。
101.在本步骤中，根据家居设备的运行状态，确定出第一用户在使用家居设备时的第一意图特征。
102.在该实施例中，第一意图特征是根据家居设备的运行状态进行分析得到的，第一用户已经完成使用家居设备的动作特征向量。
103.第一行为特征与家居设备的运行状态相关联，第一意图特征基于家居设备的运行状态确定，第一用户做出第一行为特征对应的动作，完成实现第一意图特征所对应的目的。
104.例如，空调上安装有视觉传感器，获取电视的场景图像。
105.通过对场景图像的行为识别得到“第一用户走到沙发坐下，并用手触摸遥控板”的第一行为特征，此时，电视打开，空调开启制热。
106.根据电视和空调的运行状态，确定第一用户的第一意图特征为“控制电视开启，控制空调制热”。
107.可以理解的是，第一用户的第一意图特征对应第一用户在执行第一行为特征对应的动作时，想要控制家居设备对应实现的功能。
108.行为特征表示已经执行或正在执行的动作，意图特征表示用户感兴趣的行为，也即用户还没有执行的动作。
109.在该实施例中，根据家居设备的运行状态所确定的第一意图特征，是根据已完成的动作引起运行状态改变而反推得到的意图特征，是能够准确反映第一用户的真实意图的意图特征。
110.步骤140、将第一行为特征作为样本，第一意图特征作为样本标签，更新或建立智能家居控制系统的意图识别模型。
111.智能家居控制系统的意图识别模型是基于用户的行为特征，对用户的意图进行分析，输出对应的意图特征的识别模型。
112.可以理解的是，意图识别模型所输出的意图特征可以用于智能家居控制系统对智能家居系统的家居设备的控制中。
113.在该实施例中，根据家居设备的场景图像识别出第一用户的第一行为特征，以及根据家居设备的运行状态确定出第一用户的第一意图特征后，将第一用户的第一行为特征和第一行为特征对应动作发生时的第一意图特征分别作为意图识别模型的样本和样本标签，建立意图识别模型，并对意图识别模型进行更新和训练。
114.可以理解的是，智能家居控制系统在出厂时所搭载的意图识别模型对于用户意图的识别是基于初始参数设置进行识别的，通过将第一用户的第一行为特征和第一意图特征分别作为意图识别模型的样本和样本标签，训练更新意图识别模型或是建立全新参数的意图识别模型，使得意图识别模型的意图识别更加准确，提升智能家居控制系统的智能化水平。
115.例如，通过第一行为特征和第一意图特征对智能家居控制系统的意图识别模型进行更新训练后，意图识别模型在输入“第一用户走到沙发坐下，并用手触摸遥控板”的行为特征时，直接输出“控制电视开启，控制空调制热”的意图特征，智能家居控制系统根据该意图特征输出控制指令给电视和空调，对应控制电视开启，控制空调制热。
116.相关技术中，关于用户的行为意图识别方法大多是通过对用户和所处的场景进行理解，例如用户坐在电视机前或用户站在电视机前的场景表达的是同一种看电视的意图，用户拿着书或者书在用户的身边都表达的是同一种看书的意图，当检测到相关行为后还需要用户手动确认，意图识别的准确度低、对用户不友好且容易出现意图误判。
117.在本技术实施例中，结合行为分析得到的第一行为特征和家居设备的运行状态分析得到的第一意图特征，对智能家居控制系统的意图识别模型进行更新训练，使得智能家居控制系统能够准确感知第一用户的行为意图，提供智能服务，打造友好且智能的家居环境。
118.可以理解的是，智能家居控制系统的使用过程中，随着时间推移，行为特征对应的意图特征可能逐渐地发生变化，本技术实施例的智能家居控制系统的意图识别模型是在不断更新的，场景理解能力和行为理解能力不断提升，智能家居控制系统的控制会随着用户的使用而越来越符合用户习惯，无需如相关技术中的智能家居控制系统通过手动设置执行条件和执行动作来实现进行家居设备的场景联动。
119.根据本技术实施例提供的智能家居控制系统的学习方法，通过家居设备的场景图像和运行状态，确定意图识别模块训练更新所使用的样本和样本标签，提升意图识别模块的识别准确度，使得智能家居控制系统能为用户提供准确友好的智能服务，提升用户的使用体验。
120.在一些实施例中，在对场景图像进行行为识别，获得第一用户的第一行为特征之后，更新或建立智能家居控制系统的意图识别模型之前，智能家居控制系统的学习方法还包括：
121.基于第一行为特征，输出提示信息；接收第一用户基于提示信息的第一输入；响应于第一输入，将第一行为特征作为样本，第一意图特征作为样本标签。
122.在该实施例中，基于第一用户的第一行为特征，输出提示信息，该提示信息是用于提示用户是否将当前的第一行为特征和第一意图特征分别作为样本和样本标签，去训练更新智能家居控制系统的意图识别模型。
123.也就是说，智能家居控制系统会通过提示信息询问用户是否执行当前第一行为特征和第一意图特征所代表的行为习惯的学习，用户同意后，再进行意图识别模型的学习更新，更加人性化智能化。
124.在该实施例中，输出提示信息可以表现为向第一用户的终端设备发送提示信息，也可以表现对通过智能家居控制系统或家居设备的语音模块语音播报出提示信息。
125.当然，在其他实施例中，输出提示信息也可以表现为其他形式，具体可根据实际需要决定，本技术实施例对此不作限定。
126.相应的，第一输入是表示第一用户同意执行当前的第一行为特征和第一意图特征的学习的输入，第一用户根据提示信息输入的第一输入也可以表现为如下至少一种方式：
127.其一，第一输入可以表现为触控输入，包括但不限于点击输入、滑动输入和按压输入等。
128.在该实施例中，向第一用户的终端发送提示信息后，第一输入可以表现为，接收第一用户在终端显示屏的显示区域的触控操作。
129.当然，在其他实施例中，第一输入也可以表现为实体按键输入，具体可根据实际需要决定，本技术实施例对此不作限定。
130.其二，第一输入可以表现为语音输入。
131.在该实施例中，当通过语音模块播报提示信息时，智能家居控制系统可以在接收到第一用户的语音如“同意”，触发对当前的第一行为特征和第一意图特征的学习。
132.在一些实施例中，基于第一行为特征，输出提示信息的判断标准为：在第一行为特征的发生频率超过目标频率的情况下，输出提示信息；和/或，在第一行为特征的持续时长超过目标时长的情况下，输出提示信息。
133.第一行为特征的发生频率超过目标频率指的是，第一用户对某一家居设备执行的频繁的行为动作序列，使得该家居设备的运行状态发生相应的变化，此时第一行为特征可能属于第一用户的行为习惯。
134.第一行为特征的发生频率指第一行为特征对应的动作在某一时段内所发生的频率。
135.例如，第一行为特征为“第一用户走到沙发坐下，并用手触摸遥控板”，在一周的时间内，第一行为特征的动作发生10次，超过了预先设定的目标频率，此时输出提示信息，提示用户是否执行当前的第一行为特征和第一意图特征的学习。
136.第一行为特征的持续时长超过目标时长指的是，第一用户对某一家居设备执行的持续的行为动作序列，使得该家居设备的运行状态发生相应的变化，此时第一行为特征可
能属于第一用户的行为习惯。
137.其中，第一行为特征的持续时长指第一行为特征对应的动作所保持的时长。
138.例如，第一行为特征为“第一用户走到饮水机前，并在饮水机前停留，手触摸饮水机的控制面板”，当第一用户在饮水机前停留且手触摸饮水机的控制面板的动作持续时长超过了20秒，超过了预先设定的目标时长，此时输出提示信息，提示用户是否执行当前的第一行为特征和第一意图特征的学习。
139.可以理解的是，目标频率和目标时长可以根据不同用户及不同家居设备的使用需求进行设置。
140.例如，第一用户经常性在拿起水杯的时候，会走近饮水机旁，打开饮水机加热开关，“拿起水杯，走近饮水机，打开饮水机”的第一行为特征发生频率或持续时长超过了预设值，该第一行为特征就属于第一用户的行为习惯。
141.在本技术实施例中，基于第一行为特征的发生频率和持续时长，检测第一用户当前的行为是否是属于持续、频繁的行为动作序列，输出提示信息，可以使得智能家居控制系统在用户同意的情况下学习用户持续、频繁的动作序列，也即学习用户想要保存的行为习惯，使得意图识别模型的更新学习更加智能化人性化。
142.在一些实施例中，对家居设备的场景图像进行行为识别之后，根据第一用户的第一行为特征与对应的第一意图特征的发生频率，判断是否将第一行为特征作为样本以及第一意图特征作为样本标签，去更新或建立意图识别模型。
143.第一用户对某一家居设备执行某一动作时，识别得到第一行为特征，并根据家居设备的运行状态确定第一意图特征，当第一行为特征与对应的第一意图特征的发生频率超过第一频率时，表明第一用户对该家居设备执行该动作时，频繁地表征了相同的使用意图，此时第一行为特征与对应的第一意图特征可能属于第一用户的行为习惯。
144.在该实施例中，当第一用户的第一行为特征与对应的第一意图特征的发生频率超过第一频率时，直接将第一行为特征作为样本以及第一意图特征作为样本标签，更新或建立意图识别模型，使得智能家居控制系统自动学习用户的行为习惯，使得意图识别模型的更新学习更加智能化。
145.在一些实施例中，在接收第一用户基于提示信息的第一输入之后，方法还包括：响应于第一输入，基于第一意图特征和运行状态，获得第一用户的第一设备联动信息。
146.第一设备联动信息用于辅助家居设备的控制，第一设备联动信息表征的是第一意图特征以及第一意图特征对应的家居设备的运行状态的映射关系。
147.可以理解的是，第一输入是表明第一用户的同意学习当前的行为习惯的输入，在接收到第一输入后，智能家居控制系统还可以将第一用户的第一意图特征以及家居设备的运行状态的映射关系保存下来，作为第一设备联动信息存储于智能家居控制系统中。
148.当智能家居控制系统在下一次识别的时候，识别到了对应的第一意图特征，可以根据保存的第一设备联动信息触发家居设备联动机制，提供智能化服务。
149.例如，第一用户输入第一输入确认“拿起水杯，走近饮水机”的第一行为特征和“从饮水机取80摄氏度的热水”的第一意图特征为行为习惯时，智能家居控制系统当识别到“拿起水杯，走近饮水机”的行为特征时，确定对应的意图特征为“从饮水机取80摄氏度的热水”，智能家居控制系统触发家居设备联动机制，控制饮水机开始加热至80摄氏度，准确判
断用户意图，为用户提供智能化服务。
150.可以理解的是，随着智能家居控制系统不断更新训练意图识别模型，并且不断的保存用户的行为习惯，当智能家居控制系统再次检测到相应的行为特征时，能够准确识别用户意图并且根据用户的行为习惯触发家居联动机制，智能家居控制系统的场景理解能力和行为理解能力不断提升。
151.在一些实施例中，在获取家居设备的场景图像和运行状态后，智能家居控制系统对场景图像中出现的用户进行识别，获取场景图像中用户的身份信息，根据场景图像中用户的身份信息，确定场景图像包括第一用户时，再对该场景图像中第一用户的行为进行行为识别，获得第一用户对应的第一行为特征。
152.其中，第一用户是指可以使用家居设备并使得智能家居控制系统进入意图识别模型的更新或建立的用户。
153.在该实施例中，第一用户的身份信息是可以在智能家居控制系统或智能家居系统的多个家居设备中进行设置的。
154.在实际执行中，可以通过人脸识别技术确定家居设备的场景图像中的用户是否为第一用户。
155.需要说明的是，只有在家居设备的场景图像出现第一用户时，才对第一用户相应的第一行为特征和第一意图特征进行分析，确定是否建立或更新对应的意图识别模式。
156.例如，第一用户为家庭中的成人，对家居设备的场景图像中的人物进行筛选，对应符合要求的成人家庭成员，智能家居控制系统基于第一行为特征和第一意图特征进入意图识别模式的学习流程，对于不符合要求的老人小孩家庭成员或非家庭成员，不进入学习流程。
157.下面对结合图2对本技术实施例提供的智能家居控制系统的控制方法进行描述，下文描述的智能家居控制系统的意图识别模型是根据上文描述的智能家居控制系统的学习方法进行学习更新得到的。
158.如图2所示，本技术实施例的智能家居控制系统的控制方法包括步骤210至步骤240，该方法的执行主体可以是智能家居控制系统的控制器，或者云端，或者边缘服务器。
159.步骤210、获取家居设备的目标场景图像。
160.家居设备的目标场景图像是通过安装在家中的视觉传感器实时获取的包括家居设备和目标用户的图像。
161.可以理解的是，目标用户是出现在目标场景图像中，可能去使用目标场景图像中的家居设备的用户。
162.在该实施例中，视觉传感器实时采集家居设备的目标场景图像，获取到足够智能家居控制系统实现行为分析的视觉处理的图像序列。
163.采集家居设备的目标场景图像的视觉传感器的数量可以为一个或多个，视觉传感器可以为安装在某一家居设备上的视觉传感器，也可以为安装在某一特定位置，可以拍摄到目标用户和家居设备的独立的视觉传感器。
164.例如，针对冰箱这一家居设备，视觉传感器可以安装在冰箱上，也可以安装于冰箱所处位置的墙壁上，用于获取冰箱所处位置一定范围内的目标场景图像，对于表示冰箱所处位置一定范围内场景内出现的用户均可以作为目标用户，对其行为特征进行分析。
165.步骤220、对目标场景图像进行行为识别，获得目标用户的目标行为特征。
166.在家居设备的目标场景图像内包括家居设备和目标用户，通过对目标场景图像进行行为识别，可以获得目标用户在家居设备的目标场景图像中动作的目标行为特征。
167.行为特征是用于表征人体动作的特征向量，目标行为特征包括目标用户在家居设备的目标场景图像中所执行的动作的行为特征。
168.需要理解的是，在本技术实施例中，目标行为特征是目标用户操作家居设备前执行的动作序列，目标行为特征所对应的动作不会使家居设备实时的运行状态发生改变。
169.例如，空调上安装有视觉传感器，获取电视的目标场景图像。
170.通过对目标场景图像的行为识别得到“目标用户走到沙发坐下”的目标行为特征，此时，目标用户并没有触控电视遥控板或者空调遥控板。
171.在该实施例中，可以通过人物交互行为识别方法构建人物交互模型，对家居设备的目标场景图像进行行为识别，确定出表征目标用户动作的目标行为特征。
172.在实际执行中，可以通过使用人物交互网络识别行为特征。
173.人物交互网络基于动作传递机制，通过物体-身体部位图捕获身体部位与周围物体的关系，通过人体-身体部位图推断人体与身体部位的关系，并组合身体部位上下文信息以确定动作，得到行为特征。
174.步骤230、将目标行为特征输入至智能家居控制系统的意图识别模型，获得意图识别模型输出的目标用户的目标意图特征。
175.智能家居控制系统的意图识别模型是基于用户的行为特征，对用户的意图进行分析，输出对应的意图特征的识别模型。
176.在该实施例中，意图识别模型的是根据上述的智能家居控制系统的学习方法进行训练更新的，该意图识别模型的训练的样本是真实发生的，样本标签是准确无误的，使得意图识别模型的意图识别更加准确。
177.智能家居控制系统进行行为分析得到目标行为特征后，智能家居控制系统的意图识别模型对目标行为特征进行意图识别，意图识别模型输出目标行为特征所对应的目标意图特征，其中，目标意图特征表征的是目标用户将要进行的可能的感兴趣的行为。
178.例如，将“目标用户走到沙发坐下”的目标行为特征输入到智能家居控制系统的意图识别模型，意图识别模型对其进行意图识别，得到“控制电视开启，控制空调制热”的目标意图特征。
179.可以理解的是，在意图识别模型的更新训练中，以行为特征“目标用户走到沙发坐下”的样本进行训练时，对应的样本标签为意图特征“控制电视开启，控制空调制热”。
180.步骤240、基于目标意图特征，输出目标控制指令。
181.其中，目标控制指令用于控制家居设备动作，智能家居的控制系统输出目标控制指令至对应的家居设备，触发家居设备联动机制，为用户提供智能化服务。
182.可以理解的是，目标意图特征表征的是目标用户将要进行的可能的感兴趣的行为，也即目标用户即将对家居设备执行动作。
183.基于目标意图特征，向相应的家居设备输出目标控制指令，以使家居设备启动或执行其他动作，为用户提供智能化体验。
184.例如，目标用户对应的目标行为特征为“拿起水杯，走近饮水机”，意图识别模型对
目标行为特征进行意图识别，输出“从饮水机取80摄氏度的热水”的目标意图特征。
185.智能家居控制系统根据“从饮水机取80摄氏度的热水”的目标意图特征，向饮水机发送对应的目标控制指令，饮水机接收目标控制指令开始加热，以使用户能够直接从饮水机取80摄氏度的热水，无需在饮水机前等待饮水机加热。
186.可以理解的是，意图识别模块通过上述的学习方法进行学习更新后，可以准确识别用户持续、频繁的行为特征对应的意图特征，在之后的运行过程中识别到对应的行为特征时，识别准确的意图特征，并输出目标控制指令，触发家居联动机制，为用户提供智能化人性化的服务。
187.根据本技术实施例提供的智能家居控制系统的控制方法，通过学习了用户行为习惯的意图识别模型识别目标用户的目标意图特征，触发家居联动机制，使得智能家居控制系统能为用户提供准确友好的智能服务，提升用户的使用体验。
188.在一些实施例中，步骤240包括：基于目标意图特征，确定目标意图特征对应的目标运行状态；基于目标运行状态，输出目标控制指令。
189.目标意图特征表征的是目标用户将要进行的可能的感兴趣行为，也即目标用户即将对家居设备执行的动作。
190.目标运行状态与目标意图特征对应，目标运行状态表征的是目标用户对某一家居设备执行完感兴趣行为相应的动作后，该家居设备对应的运行状态。
191.例如，目标用户对应的目标行为特征为“拿起水杯，走近饮水机”，意图识别模型对目标行为特征进行意图识别，输出“从饮水机取80摄氏度的热水”的目标意图特征。
192.智能家居控制系统根据“从饮水机取80摄氏度的热水”的目标意图特征，确定饮水机的目标运行状态为“加热至80摄氏度”，根据目标运行状态向饮水机发送相应的目标控制指令，饮水机接收目标控制指令开始加热至80摄氏度。
193.再例如，目标用户对应的目标行为特征为“走到沙发坐下”，意图识别模型对目标行为特征进行意图识别，输出“电视开启，空调制热”的目标意图特征。
194.智能家居控制系统根据“电视开启，空调制热”的目标意图特征，确定电视对应的目标运行状态为“打开”，空调对应的目标运行状态为“打开并制热”，分别向电视和空调发送对应的目标控制指令，使得电视开启和空调制热。
195.在一些实施例中，基于目标意图特征，确定目标意图特征对应的目标运行状态，包括：基于目标意图特征，从第一设备联动信息中确定目标运行状态。
196.在该实施例中，第一设备联动信息是上述智能家居控制系统的学习方法中在接收到目标用户的第一输入后，保存的目标用户的行为习惯。
197.第一设备联动信息表征了目标用户的意图特征与对应的家居设备的运行状态的映射关系，可以从第一设备联动信息中确定出目标意图特征对应的目标运行状态。
198.在该实施例中，意图识别模型更新训练的过程中，保存了不同用户对应的行为特征、意图特征以及家居设备的运行状态的相关参数，智能家居控制系统中所保存的第一设备联动信息是经过用户确认保存的行为习惯，基于第一设备联动信息确定的目标运行状态能够为不同用户提供智能化个性化的服务。
199.在实际执行中，可以通过用户人脸信息录入，使得智能家居控制系统的视觉传感器能够识别出不同用户的身份，从而调用意图识别模型的对应参数，准确识别用户的意图
特征，再从用户对应的第一设备联动信息确定目标运行状态，为用户提供智能化个性化的服务。
200.如图3所示，下面介绍一个具体的实施例。
201.步骤一、通过视觉传感器实时获取家居设备的场景图像，获取家居设备场景中用户连续的动作序列，对其进行人脸检测，确定用户身份，并利用人物交互网络建立的行为识别模型对实时获取的图像进行行为动作分析，获得该用户的行为特征。
202.步骤二、在进行步骤一的同时，监测该用户在此行为过程中家居设备的运行状态，当检测到该用户持续、频繁的保持了这个行为和对应的家居设备使用习惯，则准备进入自学习模式。
203.步骤三、智能家居控制系统进入自学习模式前，会在该用户的手机终端或语音模块询问该用户是否执行行为习惯的学习，若该用户选择是，智能家居控制系统进入自我学习。
204.步骤四、智能家居控制系统根据该用户的行为特征以及家居设备的运行状态对应的意图特征对意图识别模型进行更新训练，并将家居设备的运行状态和对应的意图特征存储为设备联动信息。
205.步骤五、智能家居控制系统学习并保存该用户的行为习惯，当识别到感兴趣的行为时，也即识别出意图特征后，触发家居联动机制，将这些设备联动信息转化为家居设备的控制指令传输至家居设备的控制模块。
206.在一些实施例中，基于目标意图特征，确定目标意图特征对应的目标运行状态，包括：在目标用户为第二用户的情况下，获取第二用户对应的第二设备联动信息；基于目标意图特征，从第二设备联动信息中确定目标运行状态，第二设备联动信息基于第二输入确定。
207.在该实施例中，可以通过视觉传感器进行人脸识别，确定目标用户的身份为第二用户，智能家居控制系统识别出第二用户，直接获取第二用户对应的第二设备联动信息，再从第二设备联动信息中确定当前的目标意图特征对应的目标运行状态。
208.其中，第二用户指需要辅助使用家居设备的用户，例如，第二用户可以为老人或儿童等用户。
209.可以理解的是，第二设备联动信息也是表征的意图特征以及家居设备的运行状态的映射关系。
210.第二用户对应的第二设备联动信息由第二输入确定，第二输入可以是其他用户通过终端输入的，其他用户可以通过终端选择数据库所包括范围内的行为特征和意图特征，并设定相应的家居设备的运行状态。
211.需要说明的是，输入第二输入的其他用户可以是在智能家居控制系统中具有设备联动信息设定权限的用户。
212.其他用户可通过手机终端选择智能家居控制系统数据库所属范围内的行为特征和意图特征，同时添加对应家居设备的运行状态的设定，在智能家居控制系统中设置存储第二设备联动信息。
213.如图3所示，当通过人脸识别，识别出用户为第二用户时，通过其他用户可通过手机终端的辅助模式，添加针对该第二用户的第二设备联动信息。
214.以第二用户为老人为例。
215.其他用户为老人预先设置的第二设备联动信息为“在沙发坐下”的行为特征对应“看电视”的意图特征，对应“电视打开并配置设定电视调到固定电视节目”的运行状态。
216.当视觉传感器检测到老人“在沙发坐下”的行为特征时，开始辅助老人看电视，意图识别模型识别出老人想要“看电视”的意图特征，智能家居控制系统对应输出控制指令，使得电视打开并调到固定电视节目。
217.在该实施例中，智能家居控制系统通过与手机等终端联网，设置设备联动信息，辅助不会或不方便操作家居设备的用户，实现智能化人性化的家居设备的控制。
218.可以理解的是，随着智能家居控制系统不断更新训练意图识别模型，当检测到相应的行为特征时，能够准确识别用户意图，并根据自学习模式下的用户的行为习惯或者是辅助模式下的设置的设备联动信息，触发家居联动机制，智能家居控制系统的场景理解能力和行为理解能力不断提升。
219.下面对本技术实施例提供的智能家居控制系统进行描述，下文描述的智能家居控制系统与上文描述的智能家居控制系统的学习方法和控制方法可相互对应参照。
220.如图4所示，本技术实施例提供的智能家居控制系统包括：
221.获取模块410，用于获取家居设备的场景图像和运行状态，场景图像包括第一用户和家居设备；
222.第一处理模块420，用于对场景图像进行行为识别，获得第一用户的第一行为特征，第一行为特征与运行状态相关联；
223.第二处理模块430，用于基于运行状态，确定运行状态对应的第一用户的第一意图特征；
224.第三处理模块440，用于将第一行为特征作为样本，第一意图特征作为样本标签，更新或建立智能家居控制系统的意图识别模型。
225.根据本技术实施例提供的智能家居控制系统，通过家居设备的场景图像和运行状态，确定意图识别模块训练更新所使用的样本和样本标签，提升意图识别模块的识别准确度，使得智能家居控制系统能为用户提供准确友好的智能服务，提升用户的使用体验。
226.在一些实施例中，第三处理模块440还用于基于第一行为特征，输出提示信息；接收第一用户基于提示信息的第一输入；响应于第一输入，将第一行为特征作为样本，第一意图特征作为样本标签。
227.在一些实施例中，第三处理模块440还用于在第一行为特征的发生频率超过目标频率的情况下，输出提示信息；和/或，在第一行为特征的持续时长超过目标时长的情况下，输出提示信息。
228.在一些实施例中，第三处理模块440还用于响应于第一输入，基于第一意图特征和运行状态，获得第一用户的第一设备联动信息，第一设备联动信息用于辅助家居设备的控制。
229.在一些实施例中，第三处理模块440还用于在第一行为特征与对应的第一意图特征的发生频率超过第一频率的情况下，将第一行为特征作为样本，第一意图特征作为样本标签。
230.在一些实施例中，第一处理模块420还用于获取场景图像中用户的身份信息；
231.基于身份信息，在场景图像包括第一用户的情况下，对场景图像进行行为识别，获
得第一用户的第一行为特征。
232.本技术实施例提供的智能家居控制系统，获取模块410还用于获取家居设备的目标场景图像，目标场景图像包括家居设备和目标用户；
233.第一处理模块420还用于对目标场景图像进行行为识别，获得目标用户的目标行为特征；
234.第三处理模块440还用于将目标行为特征输入至智能家居控制系统的意图识别模型，获得意图识别模型输出的目标用户的目标意图特征；
235.还包括输出模块450，用于基于目标意图特征，输出目标控制指令，目标控制指令用于控制家居设备动作。
236.根据本技术实施例提供的智能家居控制系统，通过学习了用户行为习惯的意图识别模型识别目标用户的目标意图特征，触发家居联动机制，使得智能家居控制系统能为用户提供准确友好的智能服务，提升用户的使用体验。
237.在一些实施例中，输出模块450用于基于目标意图特征，确定目标意图特征对应的目标运行状态；基于目标运行状态，输出目标控制指令。
238.在一些实施例中，输出模块450用于基于目标意图特征，从第一设备联动信息中确定目标运行状态。
239.在一些实施例中，输出模块450用于在目标用户为第二用户的情况下，获取第二用户对应的第二设备联动信息；
240.基于目标意图特征，从第二设备联动信息中确定目标运行状态，第二设备联动信息基于第二输入确定。
241.本技术实施例还提供一种智能家居系统，包括多个家居设备和上述的智能家居控制系统。
242.智能家居控制系统包括有视觉传感器，可以采集多个家居设备的场景图像，以使智能家居控制系统控制多个家居设备动作。
243.图5示例了一种电子设备的实体结构示意图，如图5所示，该电子设备可以包括：处理器(processor)510、通信接口(communications interface)520、存储器(memory)530和通信总线540，其中，处理器510，通信接口520，存储器530通过通信总线540完成相互间的通信。处理器510可以调用存储器530中的逻辑指令，以执行智能家居控制系统的学习方法，该方法包括：获取家居设备的场景图像和运行状态，场景图像包括第一用户和家居设备，场景图像通过智能家居控制系统的视觉传感器采集；对场景图像进行行为识别，获得第一用户的第一行为特征，第一行为特征与运行状态相关联；基于运行状态，确定运行状态对应的第一用户的第一意图特征；将第一行为特征作为样本，第一意图特征作为样本标签，更新或建立智能家居控制系统的意图识别模型；
244.和/或，以执行智能家居控制系统的控制方法，该方法包括：获取家居设备的目标场景图像，目标场景图像包括家居设备和目标用户；对目标场景图像进行行为识别，获得目标用户的目标行为特征；将目标行为特征输入至智能家居控制系统的意图识别模型，获得意图识别模型输出的目标用户的目标意图特征；基于目标意图特征，输出目标控制指令，目标控制指令用于控制家居设备动作；其中，目标场景图像通过智能家居控制系统的视觉传感器采集，意图识别模型基于上述的智能家居控制系统的学习方法进行训练得到。
245.此外，上述的存储器530中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
246.进一步地，本技术还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法实施例所提供的智能家居控制系统的学习方法，该方法包括：获取家居设备的场景图像和运行状态，场景图像包括第一用户和家居设备，场景图像通过智能家居控制系统的视觉传感器采集；对场景图像进行行为识别，获得第一用户的第一行为特征，第一行为特征与运行状态相关联；基于运行状态，确定运行状态对应的第一用户的第一意图特征；将第一行为特征作为样本，第一意图特征作为样本标签，更新或建立智能家居控制系统的意图识别模型；
247.和/或，执行上述各方法实施例所提供的智能家居控制系统的控制方法，该方法包括：获取家居设备的目标场景图像，目标场景图像包括家居设备和目标用户；对目标场景图像进行行为识别，获得目标用户的目标行为特征；将目标行为特征输入至智能家居控制系统的意图识别模型，获得意图识别模型输出的目标用户的目标意图特征；基于目标意图特征，输出目标控制指令，目标控制指令用于控制家居设备动作；其中，目标场景图像通过智能家居控制系统的视觉传感器采集，意图识别模型基于上述的智能家居控制系统的学习方法进行训练得到。
248.另一方面，本技术实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的智能家居控制系统的学习方法，该方法包括：获取家居设备的场景图像和运行状态，场景图像包括第一用户和家居设备，场景图像通过智能家居控制系统的视觉传感器采集；对场景图像进行行为识别，获得第一用户的第一行为特征，第一行为特征与运行状态相关联；基于运行状态，确定运行状态对应的第一用户的第一意图特征；将第一行为特征作为样本，第一意图特征作为样本标签，更新或建立智能家居控制系统的意图识别模型；
249.和/或，执行上述各方法实施例所提供的智能家居控制系统的控制方法，该方法包括：获取家居设备的目标场景图像，目标场景图像包括家居设备和目标用户；对目标场景图像进行行为识别，获得目标用户的目标行为特征；将目标行为特征输入至智能家居控制系统的意图识别模型，获得意图识别模型输出的目标用户的目标意图特征；基于目标意图特征，输出目标控制指令，目标控制指令用于控制家居设备动作；其中，目标场景图像通过智能家居控制系统的视觉传感器采集，意图识别模型基于上述的智能家居控制系统的学习方法进行训练得到。
250.以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单
元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
251.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
252.最后应说明的是：以上实施例仅用以说明本技术的技术方案，而非对其限制；尽管参照前述实施例对本技术进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本技术各实施例技术方案的精神和范围。
253.以上实施方式仅用于说明本技术，而非对本技术的限制。尽管参照实施例对本技术进行了详细说明，本领域的普通技术人员应当理解，对本技术的技术方案进行各种组合、修改或者等同替换，都不脱离本技术技术方案的精神和范围，均应涵盖在本技术的权利要求范围中。