一种智能机器人语音智能控制装置及方法与流程

1.本发明涉及数据处理技术领域，特别涉及一种智能机器人语音智能控制装置及方法。


背景技术：

2.目前，智能机器人多应用于家居场景中，例如：音乐机器人和清洁机器人等。智能机器人均可语音控制，但是，一般的，智能机器人接收到语音指令后直接进行响应，可能会与家中的其他用户的用户状态和家居设备的工作状态产生冲突，例如：智能机器人在客厅接收到播放动感音乐的指令，而卧室内的其他用户正在休息，如果响应指令，会影响其他用户休息，另外，客厅中的电视正在播放电影，若响应，可能会造成噪音过大，降低用户体验，同时，也不够人性化和智能化。
3.因此，亟需一种解决办法。


技术实现要素：

4.本发明目的之一在于提供了一种智能机器人语音智能控制装置及方法，基于预设的家中状态库，对语音控制指令的可允许性进行验证，当验证通过后再控制智能机器人响应语音控制指令，避免与家中的其他用户的用户状态和家居设备的工作状态产生冲突，提升用户体验，同时，也更加人性化和智能化。
5.本发明实施例提供的一种智能机器人语音智能控制装置，包括：
6.获取模块，用于获取家中的第一用户输入的语音控制指令；
7.验证模块，用于基于预设的家中状态库，对语音控制指令的可允许性进行验证；
8.控制模块，用于若验证通过，控制智能机器人响应语音控制指令；
9.其中，家中状态库包括：家中其他的第二用户的用户状态和家中多个家居设备的工作状态。
10.优选的，获取模块获取家中的第一用户输入的语音控制指令，包括：
11.持续获取智能机器人周边环境的环境三维信息；
12.基于环境三维信息，构建环境三维模型；
13.从环境三维模型中确定对应于第一用户的人体三维模型最近预设的时间内的移动轨迹和面部朝向变化；
14.基于移动轨迹和面部朝向变化，确定第一用户是否想要进行语音输入；
15.若是，获取第一用户输入的语音信息；
16.基于语音信息，确定语音控制指令。
17.优选的，获取模块基于移动轨迹和面部朝向变化，确定第一用户是否想要进行语音输入，包括：
18.在移动轨迹上每隔预设的间隔距离设置一个轨迹点；
19.依次遍历轨迹点；
20.每次遍历时，基于预设的验证规则，对遍历到的轨迹点进行验证；
21.遍历轨迹点结束时，若全部轨迹点均验证通过，确定第一用户想要进行语音输入；
22.否则，确定第一用户不想要进行语音输入；
23.其中，验证规则包括：
24.获取智能机器人在家中的第一位置点；
25.构建由移动轨迹的轨迹起点向遍历到的轨迹点的第一直线方向；
26.构建由移动轨迹的轨迹起点向智能机器人在家中的第一位置点的第二直线方向；
27.计算第一直线方向与第二直线方向之间的第一方向夹角；
28.若第一方向夹角小于等于预设的第一方向夹角阈值，遍历到的轨迹点验证通过；
29.否则，从面部朝向变化确定第一用户位于遍历到的轨迹点时的脸部位置和脸部朝向；
30.构建由脸部位置向智能机器人在家中的第一位置点的第三直线方向；
31.计算第三直线方向与脸部朝向之间的第二方向夹角；
32.若第二方向夹角小于等于预设的第二方向夹角阈值，遍历到的轨迹点验证通过；
33.否则，遍历到的轨迹点验证不通过。
34.优选的，获取模块基于语音信息，确定语音控制指令，包括：
35.对语音信息进行语义提取，获得多个第一语义；
36.获取预设的指令判定库，指令判定库包括：多组一一对应的第二语义和控制指令；
37.将第一语义与任一第二语义进行匹配；
38.若匹配符合，将匹配符合的第二语义对应的控制指令作为语音控制指令。
39.优选的，验证模块基于预设的家中状态库，对语音控制指令的可允许性进行验证，包括：
40.获取智能机器人若响应语音控制指令后的未来工作状态；
41.依次遍历第二用户和家居设备；
42.每次遍历时，将遍历到的第二用户或家居设备作为判定目标；
43.将判定目标的用户状态或工作状态作为目标状态；
44.获取判定目标在家中的第二位置点；
45.获取预设的房屋结构图；
46.从房屋结构图中确定智能机器人的第一位置点与判定目标在家中的第二位置点之间的位置关系；
47.获取未来工作状态对应的预设的至少一个冲突判定条件；
48.若目标状态和位置关系满足任一冲突判定条件，语音控制指令的可允许性验证未通过；
49.否则，继续遍历第二用户和家居设备。
50.本发明实施例提供的一种智能机器人语音智能控制方法，包括：
51.步骤1：获取家中的第一用户输入的语音控制指令；
52.步骤2：基于预设的家中状态库，对语音控制指令的可允许性进行验证；
53.步骤3：若验证通过，控制智能机器人响应语音控制指令；
54.其中，家中状态库包括：家中其他的第二用户的用户状态和家中多个家居设备的
工作状态。
55.优选的，步骤1：获取家中的第一用户输入的语音控制指令，包括：
56.持续获取智能机器人周边环境的环境三维信息；
57.基于环境三维信息，构建环境三维模型；
58.从环境三维模型中确定对应于第一用户的人体三维模型最近预设的时间内的移动轨迹和面部朝向变化；
59.基于移动轨迹和面部朝向变化，确定第一用户是否想要进行语音输入；
60.若是，获取第一用户输入的语音信息；
61.基于语音信息，确定语音控制指令。
62.优选的，基于移动轨迹和面部朝向变化，确定第一用户是否想要进行语音输入，包括：
63.在移动轨迹上每隔预设的间隔距离设置一个轨迹点；
64.依次遍历轨迹点；
65.每次遍历时，基于预设的验证规则，对遍历到的轨迹点进行验证；
66.遍历轨迹点结束时，若全部轨迹点均验证通过，确定第一用户想要进行语音输入；
67.否则，确定第一用户不想要进行语音输入；
68.其中，验证规则包括：
69.获取智能机器人在家中的第一位置点；
70.构建由移动轨迹的轨迹起点向遍历到的轨迹点的第一直线方向；
71.构建由移动轨迹的轨迹起点向智能机器人在家中的第一位置点的第二直线方向；
72.计算第一直线方向与第二直线方向之间的第一方向夹角；
73.若第一方向夹角小于等于预设的第一方向夹角阈值，遍历到的轨迹点验证通过；
74.否则，从面部朝向变化确定第一用户位于遍历到的轨迹点时的脸部位置和脸部朝向；
75.构建由脸部位置向智能机器人在家中的第一位置点的第三直线方向；
76.计算第三直线方向与脸部朝向之间的第二方向夹角；
77.若第二方向夹角小于等于预设的第二方向夹角阈值，遍历到的轨迹点验证通过；
78.否则，遍历到的轨迹点验证不通过。
79.优选的，基于语音信息，确定语音控制指令，包括：
80.对语音信息进行语义提取，获得多个第一语义；
81.获取预设的指令判定库，指令判定库包括：多组一一对应的第二语义和控制指令；
82.将第一语义与任一第二语义进行匹配；
83.若匹配符合，将匹配符合的第二语义对应的控制指令作为语音控制指令。
84.优选的，步骤2：基于预设的家中状态库，对语音控制指令的可允许性进行验证，包括：
85.获取智能机器人若响应语音控制指令后的未来工作状态；
86.依次遍历第二用户和家居设备；
87.每次遍历时，将遍历到的第二用户或家居设备作为判定目标；
88.将判定目标的用户状态或工作状态作为目标状态；
89.获取判定目标在家中的第二位置点；
90.获取预设的房屋结构图；
91.从房屋结构图中确定智能机器人的第一位置点与判定目标在家中的第二位置点之间的位置关系；
92.获取未来工作状态对应的预设的至少一个冲突判定条件；
93.若目标状态和位置关系满足任一冲突判定条件，语音控制指令的可允许性验证未通过；
94.否则，继续遍历第二用户和家居设备。
95.本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
96.下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
97.附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
98.图1为本发明实施例中一种智能机器人语音智能控制装置的示意图；
99.图2为本发明实施例确定第一用户是否想要进行语音输入的过程示意图；
100.图3为本发明实施例中一种智能机器人语音智能控制方法的示意图。
具体实施方式
101.以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
102.本发明实施例提供了一种智能机器人语音智能控制装置，如图1所示，包括：
103.获取模块1，用于获取家中的第一用户输入的语音控制指令；
104.验证模块2，用于基于预设的家中状态库，对语音控制指令的可允许性进行验证；
105.控制模块3，用于若验证通过，控制智能机器人响应语音控制指令；
106.其中，家中状态库包括：家中其他的第二用户的用户状态和家中多个家居设备的工作状态。
107.上述技术方案的工作原理及有益效果为：
108.第一用户输入语音控制指令，例如：播放动感音乐。引入预设的家中状态库，家中状态库实时更新存储有家中其他的第二用户的用户状态和家中多个家居设备的工作状态，第二用户的用户状态可以为，例如：午休和看书等，可以通过第二用户佩戴的智能穿戴设备获取(例如：用户通过智能手环设置自己当前的状态)等，家居设备的工作状态可以为，例如：播放电影等，可以与家居设备进行通信对接获取，实现物联网。基于预设的家中状态库，对语音控制指令的可允许性进行验证时，确定智能机器人若响应语音控制指令，是否会与预设的家中状态库中的家中其他的第二用户的用户状态和家中多个家居设备的工作状态产生冲突(例如：智能机器人若播放动感音乐，与第二用户正在卧室睡觉的状态冲突)，若均不产生冲突，则可允许性验证通过，否则，可允许性验证不通过。若可允许性验证通过，控制
智能机器人响应语音控制指令即可，例如：开始播放动感音乐。
109.本技术基于预设的家中状态库，对语音控制指令的可允许性进行验证，当验证通过后再控制智能机器人响应语音控制指令，避免与家中的其他用户的用户状态和家居设备的工作状态产生冲突，提升用户体验，同时，也更加人性化和智能化。
110.在一个实施例中，获取模块1获取家中的第一用户输入的语音控制指令，包括：
111.持续获取智能机器人周边环境的环境三维信息；
112.基于环境三维信息，构建环境三维模型；
113.从环境三维模型中确定对应于第一用户的人体三维模型最近预设的时间内的移动轨迹和面部朝向变化；
114.基于移动轨迹和面部朝向变化，确定第一用户是否想要进行语音输入；
115.若是，获取第一用户输入的语音信息；
116.基于语音信息，确定语音控制指令。
117.上述技术方案的工作原理及有益效果为：
118.一般的，语音指令获取通常有两种方式：第一种，设置唤醒词，当用户说出唤醒词(例如：嗨，机器人)时，触发开启语音接收装置，准备接收语音指令；第二种，持续获取环境内的语音信息，进行语义识别，当语义识别为指令语义时，将指令语义转换成语音控制指令。但是，这两种语音指令获取方式都会出现语音控制指令误输入的情况，前者例如：幼童模仿成人说出唤醒词，多次对智能机器人进行误唤醒，幼童也会模仿成人说出控制指令，多次误输入语音控制指令，后者例如：用户对家中的其他播放设备说出语音控制指令，被智能机器人识别到，造成误输入。因此，亟需进行解决。
119.本技术先确定第一用户是否想要进行语音输入，若是，再触发开启语音接收装置，接收第一用户输入的语音信息，基于语音信息，确定语音控制指令，可有效避免上述两种语音指令获取方式可能会出现的语音控制指令误输入的情况发生。
120.另外，在确定第一用户是否想要进行语音输入时，持续获取智能机器人周边环境的环境三维信息，基于环境三维信息，构建环境三维模型，从环境三维模型中确定对应于第一用户的人体三维模型最近预设的时间内的移动轨迹和面部朝向变化，基于移动轨迹和面部朝向变化，确定第一用户是否想要进行语音输入(一般的，当第一用户想要进行语义输入时，移动轨迹会反应第一用户在有意靠近智能机器人，面部朝向变化也会反应用户想要对着智能机器人说出控制语音)。提升第一用户是否想要进行语音输入的确定精准性和确定效率。
121.其次，周边环境可以为以智能机器人的位置为圆心，半径长为3.5米的圆形范围内。环境三维信息持续获取，保证构建的环境三维模型的实时动态性。环境三维信息可以通过智能机器人上的毫米波雷达传感器获取。
122.在一个实施例中，如图2所示，获取模块1基于移动轨迹和面部朝向变化，确定第一用户是否想要进行语音输入，包括：
123.在移动轨迹a上每隔预设的间隔距离设置一个轨迹点b；
124.依次遍历轨迹点b；
125.每次遍历时，基于预设的验证规则，对遍历到的轨迹点b进行验证；
126.遍历轨迹点结束时，若全部轨迹点b均验证通过，确定第一用户想要进行语音输
入；
127.否则，确定第一用户不想要进行语音输入；
128.其中，验证规则包括：
129.获取智能机器人c在家中的第一位置点d；
130.构建由移动轨迹a的轨迹起点e向遍历到的轨迹点b的第一直线方向f；
131.构建由移动轨迹a的轨迹起点e向智能机器人c在家中的第一位置点d的第二直线方向g；
132.计算第一直线方向f与第二直线方向g之间的第一方向夹角；
133.若第一方向夹角小于等于预设的第一方向夹角阈值，遍历到的轨迹点b验证通过；
134.否则，从面部朝向变化确定第一用户位于遍历到的轨迹点b时的脸部位置和脸部朝向h；
135.构建由脸部位置向智能机器人c在家中的第一位置点d的第三直线方向i；
136.计算第三直线方向i与脸部朝向h之间的第二方向夹角；
137.若第二方向夹角小于等于预设的第二方向夹角阈值，遍历到的轨迹点b验证通过；
138.否则，遍历到的轨迹点b验证不通过。
139.上述技术方案的工作原理及有益效果为：
140.面部朝向变化中有第一用户位于哪个位置点时的脸部位置和脸部朝向，因此，可以从面部朝向变化确定第一用户位于遍历到的轨迹点b时的脸部位置和脸部朝向h。另外，由于是二维示意图，图中的脸部位置与轨迹点b重合。
141.预设的第一方向夹角阈值可以为30度。预设的第二方向夹角阈值可以为35度。第一方向夹角小于等于预设的第一方向夹角阈值时，可以说明第一直线方向f与第二直线方向g之间偏差不大，反应第一用户抵达遍历到的轨迹点b时，整体移动方向是符合靠近智能机器人的方向的，否则，若第二方向夹角小于等于预设的第二方向夹角阈值，说明第三直线方向i与脸部朝向h之间偏差不大，说明第一用户抵达遍历到的轨迹点b时，面部朝向是符合想要对着智能机器人说出控制语音的朝向的。若全部轨迹点b验证通过，说明第一用户一定是想要进行语音输入。
142.一般的，用户家中房间内的移动轨迹一定是不规则的，例如：客厅内摆放沙发、电视柜和茶几等，用户走向智能机器人时，需要绕行等。因此，可以从用户的整体移动方向与用户直线前往智能机器人的路线方向的偏差以及用户面部朝向是符合想要对着智能机器人说出控制语音的朝向入手，确定用户是否想要进行语音输入，极大程度上提升确定的精准性和适用性。另外，实现意图预测，可以提前判断用户是否想要进行语音输入，若是，提前开启语音接收装置，无需等到用户走到智能机器人跟前，提升用户体验，同时，也更加智能化。
143.在一个实施例中，获取模块1基于语音信息，确定语音控制指令，包括：
144.对语音信息进行语义提取，获得多个第一语义；
145.获取预设的指令判定库，指令判定库包括：多组一一对应的第二语义和控制指令；
146.将第一语义与任一第二语义进行匹配；
147.若匹配符合，将匹配符合的第二语义对应的控制指令作为语音控制指令。
148.上述技术方案的工作原理及有益效果为：
149.基于语义分析技术，对语音信息进行语义提取，获得多个第一语义。语义分析技术为语音控制领域成熟技术，不作赘述。引入预设的指令判定库，预设的指令判定库中的多组一一对应的第二语义和控制指令具体为，例如：第二语义为“请播放动感音乐”，控制指令为“控制播放动感音乐”，又例如：第二语义为“请播放芭蕾教学视频”，控制指令为“控制播放芭蕾教学视频”，再例如：第二语义为“请拖一下客厅”，控制指令为“控制对客厅进行拖地”。将第一语义与任一第二语义进行匹配，若匹配符合，说明第一语义中存在控制语义，将匹配符合的第二语义对应的控制指令作为语音控制指令，则完成语音控制指令的确定。
150.本技术基于预设的指令判定库，从语音信息的第一语义中快速确定控制语义，输出对应语音控制指令，提升了语音控制指令的确定效率。
151.在一个实施例中，验证模块2基于预设的家中状态库，对语音控制指令的可允许性进行验证，包括：
152.获取智能机器人若响应语音控制指令后的未来工作状态；
153.依次遍历第二用户和家居设备；
154.每次遍历时，将遍历到的第二用户或家居设备作为判定目标；
155.将判定目标的用户状态或工作状态作为目标状态；
156.获取判定目标在家中的第二位置点；
157.获取预设的房屋结构图；
158.从房屋结构图中确定智能机器人的第一位置点与判定目标在家中的第二位置点之间的位置关系；
159.获取未来工作状态对应的预设的至少一个冲突判定条件；
160.若目标状态和位置关系满足任一冲突判定条件，语音控制指令的可允许性验证未通过；
161.否则，继续遍历第二用户和家居设备。
162.上述技术方案的工作原理及有益效果为：
163.获取智能机器人若响应语音控制指令后的未来工作状态，例如：语音控制指令为播放动感音乐，则未来工作状态为播放声音较大的动感音乐。依次遍历第二用户和家居设备。为便于叙述，将遍历到的第二用户或家居设备作为判定目标，将判定目标的用户状态或工作状态作为目标状态。
164.对语音控制指令的可允许性进行验证时，则判断未来工作状态是否与目标状态冲突。一般的，冲突情况的发生均是同一房间内或相邻房间内发生，例如：客厅内播放动感音乐，相邻的卧室内有用户正在睡觉，又例如：客厅内播放动感音乐，客厅内还有电视在播放电影，因此，引入未来工作状态对应的预设的至少一个冲突判定条件，例如：未来工作状态为播放动感音乐，冲突判定条件则为房间相邻和用户睡觉，又例如：未来工作状态为播放动感音乐，冲突判定条件则为同一房间和电视播放电影。引入预设的房屋结构图，房屋结构图为房屋图纸等。从房屋结构图中确定智能机器人的第一位置点与判定目标在家中的第二位置点之间的位置关系，位置关系可以为同一房间和相邻房间等。若目标状态和位置关系满足任一冲突判定条件，说明产生冲突。则语音控制指令的可允许性验证未通过。
165.本技术根据智能机器人若响应语音控制指令后的未来工作状态，预先设置不同的冲突判定条件，根据预设的房屋结构图以及目标状态，判断是否满足任一冲突判定条件，若
满足，说明产生冲突，语音控制指令的可允许性验证未通过。极大程度上提升了冲突判断的判断精准性和判断效率，同时，也更具有适用性。
166.本发明实施例提供了一种智能机器人语音智能控制方法，如图3所示，包括：
167.步骤1：获取家中的第一用户输入的语音控制指令；
168.步骤2：基于预设的家中状态库，对语音控制指令的可允许性进行验证；
169.步骤3：若验证通过，控制智能机器人响应语音控制指令；
170.其中，家中状态库包括：家中其他的第二用户的用户状态和家中多个家居设备的工作状态。
171.在一个实施例中，步骤1：获取家中的第一用户输入的语音控制指令，包括：
172.持续获取智能机器人周边环境的环境三维信息；
173.基于环境三维信息，构建环境三维模型；
174.从环境三维模型中确定对应于第一用户的人体三维模型最近预设的时间内的移动轨迹和面部朝向变化；
175.基于移动轨迹和面部朝向变化，确定第一用户是否想要进行语音输入；
176.若是，获取第一用户输入的语音信息；
177.基于语音信息，确定语音控制指令。
178.在一个实施例中，基于移动轨迹和面部朝向变化，确定第一用户是否想要进行语音输入，包括：
179.在移动轨迹上每隔预设的间隔距离设置一个轨迹点；
180.依次遍历轨迹点；
181.每次遍历时，基于预设的验证规则，对遍历到的轨迹点进行验证；
182.遍历轨迹点结束时，若全部轨迹点均验证通过，确定第一用户想要进行语音输入；
183.否则，确定第一用户不想要进行语音输入；
184.其中，验证规则包括：
185.获取智能机器人在家中的第一位置点；
186.构建由移动轨迹的轨迹起点向遍历到的轨迹点的第一直线方向；
187.构建由移动轨迹的轨迹起点向智能机器人在家中的第一位置点的第二直线方向；
188.计算第一直线方向与第二直线方向之间的第一方向夹角；
189.若第一方向夹角小于等于预设的第一方向夹角阈值，遍历到的轨迹点验证通过；
190.否则，从面部朝向变化确定第一用户位于遍历到的轨迹点时的脸部位置和脸部朝向；
191.构建由脸部位置向智能机器人在家中的第一位置点的第三直线方向；
192.计算第三直线方向与脸部朝向之间的第二方向夹角；
193.若第二方向夹角小于等于预设的第二方向夹角阈值，遍历到的轨迹点验证通过；
194.否则，遍历到的轨迹点验证不通过。
195.在一个实施例中，基于语音信息，确定语音控制指令，包括：
196.对语音信息进行语义提取，获得多个第一语义；
197.获取预设的指令判定库，指令判定库包括：多组一一对应的第二语义和控制指令；
198.将第一语义与任一第二语义进行匹配；
199.若匹配符合，将匹配符合的第二语义对应的控制指令作为语音控制指令。
200.在一个实施例中，步骤2：基于预设的家中状态库，对语音控制指令的可允许性进行验证，包括：
201.获取智能机器人若响应语音控制指令后的未来工作状态；
202.依次遍历第二用户和家居设备；
203.每次遍历时，将遍历到的第二用户或家居设备作为判定目标；
204.将判定目标的用户状态或工作状态作为目标状态；
205.获取判定目标在家中的第二位置点；
206.获取预设的房屋结构图；
207.从房屋结构图中确定智能机器人的第一位置点与判定目标在家中的第二位置点之间的位置关系；
208.获取未来工作状态对应的预设的至少一个冲突判定条件；
209.若目标状态和位置关系满足任一冲突判定条件，语音控制指令的可允许性验证未通过；
210.否则，继续遍历第二用户和家居设备。
211.显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。