设备控制方法、装置、设备及存储介质与流程

1.本技术涉及智能设备技术领域，尤其涉及一种设备控制方法、装置、设备及存储介质。


背景技术：

2.随着科技的不断进步，人们对于家庭电器的控制要求也越来越高，既要求控制方便，又要求对自身的个人信息具有高度的保密性。
3.目前市面上智能控制比较常见的方式有app控制，语音识别，和手势控制。app控制和遥控差不多，相对于遥控没有便携多少；语音控制则需要唤醒词来防止误控，对一部分人来说会觉得有点尴尬。而市面上的手势识别设备，绝大部分都是图像识别，这对于用户的个人隐私安全存在隐患。


技术实现要素：

4.本技术提供了一种设备控制方法、装置、设备及存储介质，用以解决通过图像识别进行手势识别，容易泄露用户隐私的问题。
5.第一方面，本技术实施例提供了一种设备控制方法，包括：
6.获取回波信号信息，其中，所述回波信号信息由微波雷达接收模块采集得到；
7.根据所述回波信号信息，识别人体轮廓信息；
8.根据所述人体轮廓信息，识别动作信息；
9.获取所述动作信息对应的智能设备和控制指令；
10.控制所述智能设备执行所述控制指令对应的操作。
11.可选地，所述人体轮廓信息为由人体关键部位连接形成的人体骨架，所述人体关键部位包括头、颈、肩膀、腰、膝盖、脚、手肘中的至少一个以及手。
12.可选地，所述根据所述人体轮廓信息，识别动作信息之前，所述方法还包括：
13.根据所述人体轮廓信息，获得手的位置信息和控制区域的位置信息；
14.根据所述手的位置信息和所述控制区域的位置信息，确定所述手位于所述控制区域内部。
15.可选地，所述根据所述人体轮廓信息，获得手的位置信息和控制区域的位置信息，包括：
16.根据所述人体轮廓信息，获得手的位置信息和胸的位置信息；
17.根据所述胸的位置信息，获得所述控制区域的位置信息，其中，所述控制区域的高度大于或等于所述胸的高度。
18.可选地，所述根据所述人体轮廓信息，识别动作信息，包括：
19.提取所述人体轮廓信息中人体姿态的特征，并根据所述人体姿态的特征，确定所述动作信息。
20.可选地，所述提取所述人体轮廓信息中人体姿态的特征，并根据所述人体姿态的
特征，确定所述动作信息，包括：
21.将所述人体轮廓信息输入至预先训练的卷积神经网络模型；
22.通过所述卷积神经网络模型中的n个卷积层，依次提取所述人体轮廓信息的n个卷积层的特征，并对所述n个卷积层的特征进行融合，得到所述人体姿态的特征，根据所述人体姿态的特征确定所述动作信息，其中，n大于1。
23.可选地，所述获取回波信号信息，包括：
24.周期性获取所述回波信号信息；
25.所述根据所述回波信号信息，识别人体轮廓信息，包括：
26.根据预设时长内获取的至少两个所述回波信号信息，识别至少两个所述人体轮廓信息；
27.所述根据所述人体轮廓信息，识别动作信息，包括：
28.根据至少两个所述人体轮廓信息，获得人体位置信息变化数据；
29.根据所述人体位置信息变化数据，识别所述动作信息。
30.可选地，所述获取所述动作信息对应的智能设备和控制指令，包括：
31.按照所述动作信息和各个智能设备的第一映射关系，获取所述动作信息对应的智能设备；
32.按照所述动作信息和各个控制指令的第二映射关系，获取所述动作信息对应的控制指令。
33.第二方面，本技术实施例提供了一种设备控制装置，包括：
34.第一获取模块，用于获取回波信号信息，其中，所述回波信号信息由微波雷达接收模块采集得到；
35.第一识别模块，用于根据所述回波信号信息，识别人体轮廓信息；
36.第二识别模块，用于根据所述人体轮廓信息，识别动作信息；
37.第二获取模块，用于获取所述动作信息对应的智能设备和控制指令；
38.处理模块，用于控制所述智能设备执行所述控制指令对应的操作。
39.可选地，所述人体轮廓信息为由人体关键部位连接形成的人体骨架，所述人体关键部位包括头、颈、肩膀、腰、膝盖、脚、手肘中的至少一个以及手。
40.可选地，设备控制装置还包括第三获取模块和分析模块；
41.所述第三获取模块，用于根据所述人体轮廓信息，获得手的位置信息和控制区域的位置信息；
42.所述分析模块，用于根据所述手的位置信息和所述控制区域的位置信息，确定所述手位于所述控制区域内部。
43.可选地，所述第三获取模块包括第一获取单元和第二获取单元；
44.所述第一获取单元，用于根据所述人体轮廓信息，获得手的位置信息和胸的位置信息；
45.所述第二获取单元，用于根据所述胸的位置信息，获得所述控制区域的位置信息，其中，所述控制区域的高度大于或等于所述胸的高度。
46.可选地，所述第二识别模块用于提取所述人体轮廓信息中人体姿态的特征，并根据所述人体姿态的特征，确定所述动作信息。
47.可选地，所述第二识别模块包括输入单元和处理单元；
48.所述输入单元，用于将所述人体轮廓信息输入至预先训练的卷积神经网络模型；
49.所述处理单元，用于通过所述卷积神经网络模型中的n个卷积层，依次提取所述人体轮廓信息的n个卷积层的特征，并对所述n个卷积层的特征进行融合，得到所述人体姿态的特征，根据所述人体姿态的特征确定所述动作信息，其中，n大于1。
50.可选地，所述第一获取模块，用于周期性获取所述回波信号信息；
51.所述第一识别模块，用于根据预设时长内获取的至少两个所述回波信号信息，识别至少两个所述人体轮廓信息；
52.所述第二识别模块，包括第三获取单元和识别单元；
53.所述第三获取单元，用于根据至少两个所述人体轮廓信息，获得人体位置信息变化数据；
54.所述识别单元，用于根据所述人体位置信息变化数据，识别所述动作信息。
55.可选地，所述第二获取模块包括第四获取单元和第五获取单元；
56.所述第四获取单元，用于按照所述动作信息和各个智能设备的第一映射关系，获取所述动作信息对应的智能设备；
57.所述第五获取单元，用于按照所述动作信息和各个控制指令的第二映射关系，获取所述动作信息对应的控制指令。
58.第三方面，本技术实施例提供了一种电子设备，包括：处理器、存储器和通信总线，其中，处理器和存储器通过通信总线完成相互间的通信；
59.所述存储器，用于存储计算机程序；
60.所述处理器，用于执行所述存储器中所存储的程序，实现第一方面所述的设备控制方法。
61.第四方面，本技术实施例提供了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现第一方面所述的设备控制方法。
62.本技术实施例提供的上述技术方案与现有技术相比具有如下优点：本技术实施例提供的该方法，获取回波信号信息，其中，回波信号信息由微波雷达接收模块采集得到，根据回波信号信息，识别人体轮廓信息，根据人体轮廓信息，识别动作信息，获取动作信息对应的智能设备和控制指令，控制智能设备执行控制指令对应的操作。相对于现有技术中通过图像识别进行手势识别，拍摄用户图像，容易泄露用户隐私，本技术实施例不需要获取用户图像，根据回波信号信息，能够识别人体轮廓信息，进而根据人体轮廓信息，识别动作信息，能够避免泄露用户图像，进而保护用户隐私，解决了通过图像识别进行手势识别，容易泄露用户隐私的问题。
附图说明
63.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
64.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
65.图1为本技术实施例中设备控制方法的流程示意图；
66.图2为本技术一个具体实施例中人体轮廓信息的示意图；
67.图3为本技术一个具体实施例中设备控制方法的流程示意图；
68.图4为本技术一个具体实施例中设备控制方法的流程示意图；
69.图5为本技术实施例中设备控制装置的结构示意图；
70.图6为本技术实施例中电子设备的结构示意图。
具体实施方式
71.为使本技术实施例的目的、技术方案和优点更加清楚，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本技术的一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本技术保护的范围。
72.本技术实施例中，提供了一种设备控制方法，该方法可以应用于服务器，当然，也可以应用于其他电子设备，例如终端(手机、平板电脑等)。本技术实施例中，以将该方法应用于服务器为例进行说明。
73.本技术实施例中，如图1所示，设备控制方法的流程主要包括：
74.步骤101，获取回波信号信息，其中，回波信号信息由微波雷达接收模块采集得到。
75.其中，回波信号信息包括回波信号的幅值和接收到回波信号的时刻。
76.构建微波雷达天线阵列，微波雷达天线阵列中的发射模块发射微波雷达信号，微波雷达信号接触到人体表面后反射，形成回波信号。微波雷达天线阵列的接收模块接收反射的回波信号，并将回波信号信息发送至服务器。
77.一个具体实施例中，获取回波信号信息，包括：周期性获取回波信号信息，例如，每隔1秒获取回波信号信息。
78.服务器可以实时获取微波雷达天线阵列发送的回波信号信息，也可以周期性获取微波雷达天线阵列发送的回波信号信息。周期性获取回波信号信息，能够减少服务器接收的数据量，进而减少服务器处理的数据量，减小服务器运行压力。
79.步骤102，根据回波信号信息，识别人体轮廓信息。
80.其中，人体轮廓信息可以是人体轮廓的位置信息，也可以是由人体关键部位连接形成的人体骨架，人体关键部位包括头、颈、肩膀、腰、膝盖、脚、手肘中的至少一个以及手。位置信息，可以是二维坐标，也可以是三维坐标。
81.一个具体实施例中，如图2所示，人体轮廓信息为由头、颈、肩膀、腰、膝盖、脚、手肘和手连接形成的人体骨架。
82.人体轮廓信息为由人体关键部位连接形成的人体骨架，只需要根据回波信号信息，识别人体关键部位的位置信息，能够减少人体轮廓信息中包含的数据量，进而减少根据人体轮廓信息，识别动作信息的运算压力，能够提升根据人体轮廓信息识别动作信息的运算速度。
83.一个具体实施例中，根据回波信号信息，识别人体轮廓信息，包括：根据预设时长内获取的至少两个回波信号信息，识别至少两个人体轮廓信息。其中，预设时长可以是经验值，也可以是用户设定的数值。例如：预设时长可以是3秒。
84.动作信息可以是手势信息，也可以是人体其他部位的动作信息。本技术以手势信息为例进行说明，但并不限制动作信息仅为手势信息。手势信息可以是由一个人体轮廓信息获得的静止手势，如握拳、手掌张开等，也可以由至少两个人体轮廓信息获得的手的运动轨迹，如手掌向左运动、手掌向右运动等。
85.步骤103，根据人体轮廓信息，识别动作信息。
86.一个具体实施例中，如图3所示，根据人体轮廓信息，识别动作信息之前，设备控制方法还包括：
87.步骤301，根据人体轮廓信息，获得手的位置信息和控制区域的位置信息。
88.具体地，根据人体轮廓信息，获得手的位置信息和控制区域的位置信息，包括：根据人体轮廓信息，获得手的位置信息、腰的位置信息和肩膀的位置信息；根据腰的位置信息和肩膀的位置信息，获得控制区域的位置信息，其中，控制区域的高度大于腰的高度且小于肩膀的高度。
89.例如：根据人体轮廓信息，获得手的高度为1.2米，腰的高度为1米，肩膀的高度为1.4米，控制区域的高度大于1米且小于1.4米，手在控制区域内部；又比如，根据人体轮廓信息，获得手的高度为0.8米，腰的高度为1米，肩膀的高度为1.4米，控制区域的高度大于1米且小于1.4米，手不在控制区域内部。
90.用户平时走动时，手的高度一般小于腰的高度，将控制区域的高度设置为大于腰的高度且小于肩膀的高度，能够防止用户日常走动时手的运动造成智能设备的误控制。
91.也可以根据人体轮廓信息，获得手的位置信息和胸的位置信息，根据胸的位置信息，获得控制区域的位置信息，其中，控制区域的高度大于或等于胸的高度。
92.通过将控制区域的高度设置为大于或等于胸的高度，通过人体轮廓信息，获得头的位置信息和脚的位置信息，根据头的位置信息和脚的位置信息获得用户身高，将用户身高乘以预设比例，获得胸的高度，当手的高度大于胸的高度时，这时的手势才是控制手势，需要识别手势信息，而手的高度小于或等于胸的高度时，这时的手势为非控制手势，不需要识别手势信息。控制区域还有其他设置方式，本技术并不对控制区域的设置方式作出限制，只要能够实现防止用户日常手的运动造成智能设备的误控制即可。
93.步骤302，根据手的位置信息和控制区域的位置信息，确定手位于控制区域内部。
94.确定手在控制区域内部时，这时的手势才是控制手势，需要识别手势信息，而手不在控制区域内部时，这时的手势为非控制手势，不需要识别手势信息，能够防止用户日常手的运动造成智能设备的误控制，先确定手势为控制手势也能够减少识别手势信息运算的数据量。
95.一个具体实施例中，根据人体轮廓信息，识别动作信息，包括：提取人体轮廓信息中人体姿态的特征，并根据人体姿态的特征，确定动作信息。
96.具体地，提取人体轮廓信息中人体姿态的特征，并根据人体姿态的特征，确定动作信息，包括：将人体轮廓信息输入至预先训练的卷积神经网络模型；通过卷积神经网络模型中的n个卷积层，依次提取人体轮廓信息的n个卷积层的特征，并对n个卷积层的特征进行融合，得到人体姿态的特征，根据人体姿态的特征确定动作信息，其中，n大于1。
97.根据人体姿态的特征，确定动作信息，具体为：计算所述人体姿态的特征属于各个动作信息的概率，将概率最大的动作信息作为目标动作信息。
98.通过预先训练的卷积神经网络模型确定动作信息，能够使确定的动作信息更加准确。
99.一个具体实施例中，根据人体轮廓信息，识别动作信息，包括：根据至少两个人体轮廓信息，获得人体位置信息变化数据；根据人体位置信息变化数据，识别动作信息。例如，由至少两个人体轮廓信息获得的人体位置信息变化数据为手掌张开从第一位置移动到第二位置，第一位置的横坐标小于第二位置的横坐标，则动作信息为手掌向右运动。
100.步骤104，获取动作信息对应的智能设备和控制指令。
101.一个具体实施例中，获取动作信息对应的智能设备和控制指令，包括：按照动作信息和各个智能设备的第一映射关系，获取动作信息对应的智能设备；按照动作信息和各个控制指令的第二映射关系，获取动作信息对应的控制指令。
102.动作信息和各个智能设备的第一映射关系，可以是伸出一根手指表示是电视，伸出两根手指表示是空调，伸出三根手指表示是洗衣机。动作信息和各个控制指令的第二映射关系，可以是手掌张开向右表示向前翻页，手掌张开向左表示向后翻页，握拳表示确定，握拳向右表示调高一档，握拳向左表示调低一档，手掌前后推两次表示弹出菜单。
103.获取动作信息对应的智能设备和控制指令中的动作信息，可以是至少两个动作信息，通过至少一个动作信息确定智能设备，通过另外的至少一个动作信息确定控制指令。
104.一个具体实施例中，可以是智慧屏上显示出包括各个智能设备图标的页面，通过手势信息选定智能设备图标后，显示出智能设备对应的各个控制指令以及控制指令对应的手势信息示意图，通过手势信息确定控制指令。
105.步骤105，控制智能设备执行控制指令对应的操作。
106.一个具体实施例中，如图4所示，设备控制方法的流程主要包括：
107.步骤401，获取回波信号信息。
108.步骤402，根据回波信号信息，识别人体轮廓信息，人体轮廓信息为由人体关键部位连接形成的人体骨架。
109.其中，人体关键部位包括头、颈、肩膀、腰、膝盖、脚、手肘中的至少一个以及手。
110.步骤403，根据人体轮廓信息，获得手的高度和胸的高度。
111.步骤404，判断手的高度是否大于胸的高度，若是，执行步骤405，否则，执行步骤406。
112.步骤405，确定手势为控制手势，在智慧屏上构建家庭电器的菜单，将人体轮廓信息输入至预先训练的卷积神经网络模型，获得卷积神经网络模型输出的手势信息。
113.步骤406，确定手势为非控制手势。
114.步骤407，获取手势信息对应的智能设备和控制指令。
115.步骤408，控制智能设备执行控制指令对应的操作。
116.综上，本技术实施例提供的该方法，获取回波信号信息，其中，回波信号信息由微波雷达接收模块采集得到，根据回波信号信息，识别人体轮廓信息，根据人体轮廓信息，识别动作信息，获取动作信息对应的智能设备和控制指令，控制智能设备执行控制指令对应的操作。相对于现有技术中通过图像识别进行手势识别，拍摄用户图像，容易泄露用户隐私，本技术实施例不需要获取用户图像，根据回波信号信息，能够识别人体轮廓信息，进而根据人体轮廓信息，识别动作信息，能够避免泄露用户图像，进而保护用户隐私，解决了通
过图像识别进行手势识别，容易泄露用户隐私的问题。
117.基于同一构思，本技术实施例中提供了一种设备控制装置，该装置的具体实施可参见方法实施例部分的描述，重复之处不再赘述，如图5所示，该装置主要包括：
118.第一获取模块501，用于获取回波信号信息，其中，所述回波信号信息由微波雷达接收模块采集得到；
119.第一识别模块502，用于根据所述回波信号信息，识别人体轮廓信息；
120.第二识别模块503，用于根据所述人体轮廓信息，识别动作信息；
121.第二获取模块504，用于获取所述动作信息对应的智能设备和控制指令；
122.处理模块505，用于控制所述智能设备执行所述控制指令对应的操作。
123.可选地，所述人体轮廓信息为由人体关键部位连接形成的人体骨架，所述人体关键部位包括头、颈、肩膀、腰、膝盖、脚、手肘中的至少一个以及手。
124.可选地，设备控制装置还包括第三获取模块和分析模块；
125.所述第三获取模块，用于根据所述人体轮廓信息，获得手的位置信息和控制区域的位置信息；
126.所述分析模块，用于根据所述手的位置信息和所述控制区域的位置信息，确定所述手位于所述控制区域内部。
127.可选地，所述第三获取模块包括第一获取单元和第二获取单元；
128.所述第一获取单元，用于根据所述人体轮廓信息，获得手的位置信息和胸的位置信息；
129.所述第二获取单元，用于根据所述胸的位置信息，获得所述控制区域的位置信息，其中，所述控制区域的高度大于或等于所述胸的高度。
130.可选地，所述第二识别模块用于提取所述人体轮廓信息中人体姿态的特征，并根据所述人体姿态的特征，确定所述动作信息。
131.可选地，所述第二识别模块包括输入单元和处理单元；
132.所述输入单元，用于将所述人体轮廓信息输入至预先训练的卷积神经网络模型；
133.所述处理单元，用于通过所述卷积神经网络模型中的n个卷积层，依次提取所述人体轮廓信息的n个卷积层的特征，并对所述n个卷积层的特征进行融合，得到所述人体姿态的特征，根据所述人体姿态的特征确定所述动作信息，其中，n大于1。
134.可选地，所述第一获取模块，用于周期性获取所述回波信号信息；
135.所述第一识别模块，用于根据预设时长内获取的至少两个所述回波信号信息，识别至少两个所述人体轮廓信息；
136.所述第二识别模块，包括第三获取单元和识别单元；
137.所述第三获取单元，用于根据至少两个所述人体轮廓信息，获得人体位置信息变化数据；
138.所述识别单元，用于根据所述人体位置信息变化数据，识别所述动作信息。
139.可选地，所述第二获取模块包括第四获取单元和第五获取单元；
140.所述第四获取单元，用于按照所述动作信息和各个智能设备的第一映射关系，获取所述动作信息对应的智能设备；
141.所述第五获取单元，用于按照所述动作信息和各个控制指令的第二映射关系，获
取所述动作信息对应的控制指令。
142.基于同一构思，本技术实施例中还提供了一种电子设备，如图6所示，该电子设备主要包括：处理器601、存储器602和通信总线603，其中，处理器601和存储器602通过通信总线603完成相互间的通信。其中，存储器602中存储有可被处理器601执行的程序，处理器601执行存储器602中存储的程序，实现如下步骤：
143.获取回波信号信息，其中，回波信号信息由微波雷达接收模块采集得到；根据回波信号信息，识别人体轮廓信息；根据人体轮廓信息，识别动作信息；获取动作信息对应的智能设备和控制指令；控制智能设备执行控制指令对应的操作。
144.上述电子设备中提到的通信总线603可以是外设部件互连标准(peripheral component interconnect，简称pci)总线或扩展工业标准结构(extended industry standard architecture，简称eisa)总线等。该通信总线603可以分为地址总线、数据总线、控制总线等。为便于表示，图6中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
145.存储器602可以包括随机存取存储器(random access memory，简称ram)，也可以包括非易失性存储器(non
‑
volatile memory)，例如至少一个磁盘存储器。可选地，存储器还可以是至少一个位于远离前述处理器601的存储装置。
146.上述的处理器601可以是通用处理器，包括中央处理器(central processing unit，简称cpu)、网络处理器(network processor，简称np)等，还可以是数字信号处理器(digital signal processing，简称dsp)、专用集成电路(application specific integrated circuit，简称asic)、现场可编程门阵列(field
‑
programmable gate array，简称fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
147.在本技术的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，当该计算机程序在计算机上运行时，使得计算机执行上述实施例中所描述的设备控制方法。
148.在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行该计算机指令时，全部或部分地产生按照本技术实施例所述的流程或功能。该计算机可以是通用计算机、专用计算机、计算机网络或者其他可编程装置。该计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，计算机指令从一个网站站点、计算机、服务器或者数据中心通过有线(例如同轴电缆、光纤、数字用户线(dsl))或无线(例如红外、微波等)方式向另外一个网站站点、计算机、服务器或数据中心进行传输。该计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。该可用介质可以是磁性介质(例如软盘、硬盘、磁带等)、光介质(例如dvd)或者半导体介质(例如固态硬盘)等。
149.需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些
要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
150.以上所述仅是本发明的具体实施方式，使本领域技术人员能够理解或实现本发明。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。