自主移动设备语音控制方法、装置、设备及可读存储介质与流程

1.本技术涉及人工智能技术领域，特别涉及一种自主移动设备语音控制方法、 装置、设备及可读存储介质。


背景技术：

2.随着人工智能技术的发展，各种自主移动设备越来越多地进入人们的生活， 比如物流机器人、扫地机器人、割草机器人、迎宾机器人等等。
3.传统的自主移动设备通过手机应用程序(application，app)、设置于自主 移动设备上的物理按键、遥控器等进行控制。使用app控制自主移动设备时， 需要打开app，过程繁琐且对于老年人而言难度相对较大；物理按键只能对自 主移动设备进行简单的控制，如启动、停止等；遥控器容易丢失，当用户找不 到遥控器时，无法对自主移动设备进行控制。
4.因此，如何方便快捷的控制自主移动设备，视为急待解决的问题。


技术实现要素：

5.本技术提供一种自主移动设备语音控制方法、装置、设备及可读存储介质， 通过一条语音信号向自主移动设备指示多个工作区域，使得自主移动设备能够 依次对多个工作区域执行任务，精确度高、过程简单。
6.第一方面，本技术实施例提供一种自主移动设备语音控制方法，应用于自 主移动设备，所述方法包括：
7.采集第一语音信号；
8.当所述第一语音信号与所述自主移动设备的唤醒指令匹配时，唤醒所述自 主移动设备的语音控制功能；
9.在所述语音控制功能唤醒状态下采集第二语音信号；
10.根据所述第二语音信号确定至少两个工作区域；
11.依次对所述至少两个工作区域执行所述第二语音信号指示的任务。
12.第二方面，本技术实施例提供一种自主移动设备语音控制方法，应用于自 主移动设备，所述方法包括：
13.采集第二语音信号；
14.根据所述第二语音信号确定工作区域；
15.根据当前位置和所述工作区域确定行驶路径；
16.关闭工作模块并根据所述行驶路径向所述工作区域行进；
17.若行进至所述工作区域，则开启所述工作模块以执行所述第二语音信号指 示的任务。
18.第三方面，本技术实施例提供一种自主移动设备控制装置，包括：
19.采集模块，用于采集第一语音信号；
20.处理模块，用于当所述第一语音信号与所述自主移动设备的唤醒指令匹配 时，唤
醒所述自主移动设备的语音控制功能；
21.所述采集模块，还用于在所述语音控制功能唤醒状态下采集第二语音信号；
22.所述处理模块，还用于根据所述第二语音信号确定至少两个工作区域；
23.执行模块，用于依次对所述至少两个工作区域执行所述第二语音信号指示 的任务。
24.第四方面，本技术实施例提供一种自主移动设备控制装置，包括：
25.采集模块，用于采集第二语音信号；
26.处理模块，用于根据所述第二语音信号确定工作区域；根据当前位置和所 述工作区域确定行驶路径；
27.行驶模块，用于关闭工作模块并根据所述行驶路径向所述工作区域行进；
28.执行模块，用于若行进至所述工作区域，则开启所述工作模块以执行所述 第二语音信号指示的任务。
29.第五方面，本技术实施例提供一种电子设备，包括：处理器、存储器及存 储在所述存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计 算机程序时使得所述电子设备实现如上第一方面或第一方面各种可能的实现方 式所述的方法。
30.第六方面，本技术实施例提供一种电子设备，包括：处理器、存储器及存 储在所述存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计 算机程序时使得所述电子设备实现如上第二方面或第二方面各种可能的实现方 式所述的方法。
31.第七方面，本技术实施例提供一种计算机可读存储介质，所述计算机可读 存储介质中存储有计算机指令，所述计算机指令在被处理器执行时用于实现如 上第一方面或第一方面各种可能的实现方式所述的方法。
32.第八方面，本技术实施例提供一种计算机可读存储介质，所述计算机可读 存储介质中存储有计算机指令，所述计算机指令在被处理器执行时用于实现如 上第二方面或第二方面各种可能的实现方式所述的方法。
33.第九方面，本技术实施例提供一种包含计算程序的计算机程序产品，所述 计算机程序被处理器执行时实现如上第一方面或第一方面各种可能的实现方式 所述的方法。
34.第十方面，本技术实施例提供一种包含计算程序的计算机程序产品，所述 计算机程序被处理器执行时实现如上第二方面或第二方面各种可能的实现方式 所述的方法。
35.本技术实施例提供的自主移动设备语音控制方法、装置、设备及可读存储 介质，自主移动设备采集到第二语音信号后，根据第二语音信号确定至少两个 工作区域，并依次对各工作区域执行第二语音信号指示的任务。采用该种方案， 通过一条语音信号就能够向自主移动设备指示多个工作区域，使得自主移动设 备能够依次对多个工作区域执行任务，用户通过自然语言与自主移动设备交互 以使得对自主移动设备的极简控制，精确度高、过程简单。
附图说明
36.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所 需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术 的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下， 还可以根据这些附图获得
其他的附图。
37.图1a是本技术实施例提供的自主移动设备语音控制方法的实施环境示意 图；
38.图1b是本技术实施例提供的扫地机器人的结构示意图；
39.图1c是自主移动设备的声音信号采集装置的结构示意图；
40.图1d是本技术实施例提供的自主移动设备的另一个实施例的结构示意图；
41.图1e是本技术实施例提供的自主移动设备的一个语音控制流程图；
42.图1f是本技术实施例提供的自主移动设备的另一个语音控制流程图；
43.图1g是本技术实施例提供的自主移动设备的另一个语音控制流程图；
44.图2是本技术实施例提供的自主移动设备语音控制方法的流程图；
45.图3是本技术实施例中语音识别的过程示意图；
46.图4是地毯区域的示意图；
47.图5是家具识别过程示意图；
48.图6是识别门的过程示意图；
49.图7是自主移动设备和语音识别服务器同步过程示意图；
50.图8a是确定声源相对于麦克风阵列中心的位置的示意图；
51.图8b是确麦克风阵列和自主移动设备机体的示意图；
52.图8c是训练语音识别模型和识别语音的过程示意图；
53.图9是本技术实施例提供的自主移动设备语音控制逻辑流程图；
54.图10是本技术实施例提供的自主移动设备语音控制方法的另一个流程图；
55.图11是本技术实施例提供的自主移动设备语音控制方法的又一个流程图；
56.图12是本技术实施例提供的自主移动设备语音控制方法的又一个流程图；
57.图13为本技术实施例提供的一种自主移动设备语音控制装置的示意图；
58.图14为本技术实施例提供的另一种自主移动设备语音控制装置的示意图；
59.图15为本技术实施例提供的一种电子设备的结构示意图。
具体实施方式
60.为使本技术的目的、技术方案和优点更加清楚，下面将结合附图对本技术 实施方式作进一步地详细描述。
61.随着科学技术的进步，机器人已经走进越来越多人的生活，在人们的生活 中扮演着重要的角色。目前，可通过主机实体键、手机应用程序(app)、遥控 器等对机器人进行操作。该些操作方法都存在弊端。为此，通过语音控制机器 人的方式由于更加智能，受到用户广泛的欢迎。具有语音识别功能的机器人采 集到语音信号后，识别语音信号并执行相关任务。
62.然而，目前的语音指令只能控制机器人开启、执行任务、停止、充电等。 无法对机器人进行精确控制。例如，若用户想要机器人在特定区域内执行任务， 则需要将机器人搬运到特定区域，然后语音控制机器人。再如，若某些区域为 禁止区域，如卫生间，则机器人工作时用户必须关闭卫生间，才能防止机器人 进入禁止区域。
63.又如，有时候用户想要机器人对多个区域执行任务，则需要将机器人挪动 至其中一个区域，当机器人在该区域执行完任务后，再将机器人挪动至另一个 区域。虽然有些机
器人能够识别用户指示的工作区域，但是前提是用户发出的 语音只能指示一个工作区域。若用户想要对多个区域执行任务，则机器人每次 执行任务之后，用户都需要通过语音指示下一个工作区域，过程麻烦。
64.基于此，本技术实施例提供一种自主移动设备语音控制方法、装置、设备 及可读存储介质，通过一条语音信号向自主移动设备指示多个工作区域，使得 自主移动设备能够依次对多个工作区域执行任务，精确度高、过程简单。
65.图1a是本技术实施例提供的自主移动设备语音控制方法的实施环境示意 图。请参照图1a，该实施环境包括自主移动设备，自主移动设备例如为扫地机 器人、自移动空气净化机器人、自动割草机、擦窗机器人、太阳能电池板清洁 机器人、管家机器人、无人飞行器、自动引导车(automated guided vehicle， agv)、安防机器人、迎宾机器人、看护机器人等。
66.自主移动设备上设置麦克风等声音信号采集装置，能够采集用户发出的语 音信号。自主移动设备采集到语音信号后，对语音信号进行识别得到语音指令， 并执行语音指令指示的任务。实际中，自主移动设备自身可以对语音信号进行 识别。或者，自主移动设备与语音识别服务器(图中未示意出)建立网络连接， 自主移动设备采集到语音信号后，向语音识别服务器发送语音信号，以使得语 音识别服务器对语音信号进行识别，并将识别到的语音指令发送给自主移动设 备。
67.下面，以自主移动设备为扫地机器人为例，对自主移动设备的结构进行详 细说明。
68.图1b是本技术实施例提供的扫地机器人的结构示意图。以下将扫地机器人 简称为机器人，请参照图1b，
“→”
代表语音信号的传播方向。该机器人包括 机器人外壳1、驱动元件、凸起结构2和语音信号采集装置3；其中，驱动元件 设置在机器人外壳1内，其用于驱动机器人外壳1移动；凸起结构2设置在机 器人外壳1的上表面10，语音信号采集装置3设置在该凸起结构2上。
69.再请参照图1b，机器人外壳1包括顶板、环形侧板和底板，该顶板、环形 立板和底板围合拼装形成容纳腔室，容纳腔室内容置有控制单元和驱动元件。 另外，机器人还包括设置在机器人外壳1上的驱动轮6、边刷7、滚刷或风机等 功能元件，其中，驱动轮6用于在驱动元件作用下带动机器人行驶，边刷7和 滚刷在收到控制单元的信号后清扫工作面，风机则是用于在尘盒内形成负压腔， 以将工作面上的灰尘、杂物等吸入尘盒除尘。需要说明的是，上述这些功能元 件的结构及工作原理与现有扫地机器人基本相同，本领域技术人员基于现有技 术完全可以实现，故而本文在此不再赘述。
70.机器人外壳1的顶板的上表面10凸起设置有凸起结构2。在一些实施例中， 凸起结构2和顶板一体加工成型。另一些实施例中，凸起结构2和顶板分体独 立加工成型，然后凸起结构2通过粘接、螺纹连接等方式固定连接在顶板的上 表面10。该凸起结构2上设置了声音信号采集装置3。
71.通常情况下，机器人的自身的噪音由驱动元件、边刷7、滚刷和/或风机等 功能产生，并且这些部件位于容纳腔内或其底部，本发明中将声音信号采集装 置设置在凸起设置于机器人外壳1的上表面10的凸起结构2上，以使声音信号 采集装置3远离机器人的噪音源，来降低机器人自身发出的噪音对声音信号采 集装置3的干扰，以便使机器人能更加准
确的采集到用户语音控制指令。该用 户语音控制指令包括开始扫地、播放音乐、停止扫地、去充电等，本领域技术 人员可以根据机器人实际需求设定相应的功能。
72.图1c是自主移动设备的声音信号采集装置的结构示意图。请参照图1c， 该声音信号采集装置3包括麦克风(mic)。详细地，在一些实施例中，该声音 信号采集装置3包括pcb板30(印制电路板)、减震罩壳31和麦克风芯片32； 其中，减震罩壳31设置在pcb板30上并与pcb板30围成了具有容纳腔的声 音信号采集装置3外部封装，麦克风芯片32设置在该容纳腔中，减震罩壳31 顶部的中心区域设置有连通外部与容纳腔的拾音孔310。pcb板30与麦克风芯 片32和机器人的控制单元都通信连接，麦克风芯片32从拾音孔310采集外部 的声音信号后通过pcb板30传输给控制单元，控制单元控制机器人执行声音信 号包含的用户语音控制指令。
73.需要说明的是，其中，声音信号采集装置3的减震罩壳31一方面可以减少 机器人工作过程中产生的震动对声音信号采集装置3的影响，另一方面减震罩 壳31可以吸收来自机器人自身的噪音，而拾音孔310开设在减震罩壳31顶部 的中心区域，其仅采集来自于顶部的声音信号(通常为用户发出的语音控制指 令)。尤其是对于扫地机器人来说，扫地机器人一般在地面工作而用户则从高 处发出语音控制，位于减震罩壳31顶部中心区域的拾音孔310能比较容易采集 到用户语音控制的声音信号，而机器人自身发出的噪音能被环绕拾音孔310的 减震罩壳31阻隔，能够减少其对声音信号采集装置3采集信号的干涉。在另一 些实施例中，该减震罩壳31包括减震泡棉，可以理解减震泡棉不仅可以阻挡来 自机器人自身的噪音进入拾音孔310，还可以吸收部分噪音。
74.继续参见图1c，该声音信号采集装置3还包括防水防尘膜33，该防水防尘 膜33设置在减震罩壳31上并且遮盖拾音孔310，以防止水或灰尘通过拾音孔 310落到麦克风芯片32上，而影响到麦克风芯片32的采集声音信号的效果。
75.继续参见图1c，本实施例中，声音信号采集装置3还包括上盖34，上盖将 防震罩盖31压紧在pcb板上，并且通过螺钉(图中未示出)等连接件固定连接 在凸起结构2上或距离传感器3上，从而实现声音信号采集装置3和机器人外 壳1之间的固定连接关系，以防止机器人行驶过程中声音信号采集装置3从机 器人外壳1上脱落。另外，上盖34的顶部中心区域上与减震罩壳31的拾音孔 的对应位置也开设了拾音孔。
76.进一步地，为了增强声音信号采集装置3采集声音信号的能力，要尽量保 证声音信号传播路径短宽，在一些实施例中，通过限定拾音孔310的孔径孔深 比来实现上述目的，具体地，拾音孔310的孔径(d1)孔深(d2)比尽量大于1。 在更加具体的实施例中，拾音孔310的孔径(d1)孔深(d2)比大于2:1。
77.为了能使机器人更好的采集到用户语音控制的声音信号，在一些实施例中， 机器人至少包括三个声音信号采集装置3，并且这些声音信号采集装置3环形均 匀分布。环形均布的多个声音信号采集装置3可以均衡的采集到从各个角度传 输过来的声音信号，以保证所采集的用户语音控制信号的准确性和连贯性。
78.图1d是本技术实施例提供的自主移动设备的另一个实施例的结构示意图。 请参照图1d，机器人包括三个声音信号采集装置3，这三个声音信号采集装置 3环形均匀分布，即三个声音信号采集装置3位于一个圆上，每个声音信号采集 装置3至圆心的距离均为该圆的半径，并且相邻两个声音信号采集装置3的之 间的圆心角为120
°
(度)。并且，为了使多
个声音信号采集装置3的声音信号 采集能力最佳，至少三个声音信号采集装置3环形均匀分布的圆的直径位于 60mm～100mm范围内。
79.在另一些实施例中，机器人包括三个声音信号采集装置3，这三个声音信号 采集装置3呈三角形分布，并且三个声音信号采集装置3中一个相对于另外两 个位于机器人外壳1的上表面10的前部。这三个声音信号采集装置3可以环形 均布，也就是说这三个声音信号采集装置3位于三角形的外切圆上并且相邻两 个声音信号采集装置3之间的圆心角为120
°
(度)。
80.当然，在另一些实施例中，这三个声音信号采集装置3无需环形均匀分布， 只需保证其以一前两后的排布方式分布即可。这种排布方式的优势在于，扫地 机器人向前行驶时，用户发出的语音控制指令因在空气等介质中传输延迟，机 器人外壳1上表面10的前部声音信号采集装置3仅会采集到少量声音信号，而 大部分声音信号需要由位于后部的声音信号采集装置3采集，在后部多设置声 音信号采集装置3可以能更好的采集到声音信号，保证采集的声音信号的准确 性。
81.进一步地，为了能使声音信号采集装置3采集声音信号效果最佳，在一些 实施例中还给出了声音信号采集装置3选型标准，具体为：选择全向型数字麦 克风，其信噪比(signal
‑
to
‑
noise ratio，snr)大于64db(a)，灵敏度保证
ꢀ‑
26 3dbfs，声学过载点(acoustic overload point,aop)保证120db spl，总 谐波失真(total harmonic distortion,thd)94db spl@1khz处最好低于0.5％。
82.进一步地，在一些实施例中，机器人还包括距离传感器4，该距离传感器4 设置在机器人外壳1上，并且其用于测量机器人移动方向前方障碍物和机器人 之间的距离，以便两者之间的距离达到设定阈值时，机器人可以停止运动或者 改变运动路径，以防止机器人和障碍物相撞。在另一些实施例中，该距离传感 器4可转动的设置在机器人外壳1上，其可以相对于机器人外壳360度旋转以 检测工作空间内家具、墙面等布局，继而描绘出工作空间内地图，并且根据描 绘出的地图工作，以提高工作效率。
83.该距离传感器4包括dtof和lds。在一些实施例中，该距离传感器4设 置在上述凸起结构2上，声音信号采集装置3则设置在距离传感器4上。由此 可见，距离传感器4和声音信号采集装置3可以利用凸起结构2，无需为各自单 独设置凸起，可以尽可能的简化机器人的结构，降低其制造成本。
84.而在另一些实施例中，凸起结构2包括距离传感器4，也就是说，距离传感 器4直接设置在机器人外壳1的上表面上形成一个凸起结构2，而声音信号采集 装置3则设置在距离传感器4，也即声音信号采集装置3设置在距离传感器4形 成的凸起结构2上。距离传感器4直接设置在机器人外壳1的上表面形成凸起 结构2，而声音信号采集装置3利用其距离传感器4自身特点凸起设置在机器人 外壳1上，无需另外设置凸起结构，整体结构简单，成本低。
85.另一方面，距离传感器4在机器人外壳1的上表面10，可以很好地避开机 器人自身的其他结构，从而能准确感应到障碍物的位置。而，声音信号采集装 置3则可以尽可能的远离机器人的驱动电机、滚刷、边刷7和风机等产生噪音 的部件，能降低机器人自身产生的噪音对声音信号的干涉。
86.另一些实施例中，该机器人还包括声音信号播放装置5，该声音信号播放装 置5可以为扬声器(喇叭)，该声音信号播放装置5设置在机器人外壳1上， 并且该声音信号播放装
置5和机器人的控制单元通信连接，控制单元设置有机 器人的播音工作模式，比如播放音乐等。当用户通过遥控器或app控制机器人 进入该播音工作模式后，存储在控制单元内的音乐通过声音信号播放装置5播 放出来。
87.为了防止声音信号播放装置5播放的声音信号干涉声音信号采集装置3采 集用户发出的语音控制的声音信号，在一些实施例中声音信号采集装置3的拾 音孔310和声音信号播放装置5的放音孔的朝向不同方向。更为具体地，声音 信号采集装置3的拾音孔310朝向垂直于所述机器人外壳1的上表面10，而声 音信号播放装置5的放音孔朝向垂直于所述机器人外壳1的外立面11，也就是 说，声音信号采集装置3的拾音孔310和声音信号播放装置5的放音孔的朝向 成90
°
(度)夹角设置。
88.需要说明的是，通常情况下，机器人外壳1的上表面10和外立面11相互 垂直设置，当然，在满足声音信号采集装置3的拾音孔310和声音信号播放装 置5的放音孔的朝向不同方向的情况下，机器人外壳1的上表面10和外立面11 成其他夹角设置。
89.进一步地，在一些实施例中，声音信号播放装置5位于机器人外壳1的前 部，而声音信号采集装置3位于机器人外壳1的后部。而，在另一些实施例中， 声音信号播放装置5位于机器人外壳1的后部，而声音信号采集装置3位于机 器人外壳1的后部。机器人外壳1的前部和后部的划分标准是基于机器人外壳1 的形状沿前后将其一分为二，其中，位于机器人外壳1前侧的区域为前部，位 于机器人外壳1后侧的区域为后部。例如：以图1c所示的实施例为例，该圆形 机器人外壳1沿前后方向划分为前半圆区域和后半圆区域，将前半圆区域界定 前部，将后半圆区域界定为后部。
90.可以理解，声音信号采集装置3和声音信号播放装置5中一者位于机器人 外壳1的前部，另一者位于机器人外壳1的后部，以使两者之间保持足够远的 距离，从而进一步地减少机器人自身播放的声音信号对声音信号采集装置3的 干涉，机器人能够更加精准的采集到用户的语音控制指令并准确的执行该指令， 继而能给用户提供更好的使用体验。
91.更进一步的，为了减少机器人自身播放的声音信号对声音信号采集装置3 的干涉，在一些实施例中，该机器人还包括声音信号回采装置，该声音信号回 采装置与机器人的控制单元和声音信号播放装置5通信连接，其用于回采声音 信号播放装置5的声音信号，控制单元接受声音信号回采装置回采的声音信号， 并且从声音信号采集装置3采集的声音信号中过滤回采的声音信号，再将过滤 后的声音信号包含的指令传动给执行元件，控制执行元件执行该指令。
92.在一些实施例中，声音信号回采装置包括滤波式回采电路，该滤波式回采 电路通过导线和机器人本体的控制单元电连接，并且通过导线和声音信号播放 装置电连接。
93.除了声音信号回采装置外，在一些实施例中，机器人还包括声音信号降噪 装置，该声音信号降噪装置与声音信号采集装置3和控制单元均通信连接，其 用于对声音信号采集装置3采集到的声音信号进行降噪处理，以消除采集到的 声音信号的杂音或无效声音信号部分。
94.除了上述机器人外，本发明还提供一种适用于上述机器人的控制方法，以 消除声音信号采集装置3采集到的无效声音信号，尤其是要消除机器人本身发 出的声音信号对声音采集信号的信号采集造成的干涉。示例性的，请参照图1e。
95.图1e是本技术实施例提供的自主移动设备的一个语音控制流程图。本实施 例包
括：
96.s1、使用声音信号采集装置3采集声音信号；
97.其中，声音信号采集装置3采集的声音信号主要包括用户对机器人的语音 控制指令，例如机器人使用声音信号采集装置3等声音信号采集装置3采集用 户的语音控制所包含的声音信号。但是，实践中，机器人在工作过程中其驱动 电机、边刷7、滚刷和/或风机等功能元件也能产生声音信号，或者是机器人本 身也具备产生声音信号的能力，比如机器人在工作过程中或停机状态下可以播 放音乐、朗读书籍等，由于声音信号采集装置3主要功能是采集用户语音控制 而言，本文将机器人自身产生的这些声音信号统称为“无效声音信号”。基于此， 为了消除这些无效声音信号对声音信号采集装置3采集信号的干涉，本发明的 机器人的控制方法还包括如下步骤：
98.s2、过滤声音信号采集装置3采集的声音信号中由机器人自身播放的声音 信号后得到有效声音信号。
99.图1f是本技术实施例提供的自主移动设备的另一个语音控制流程图。请参 照图1f，在一些实施例中，该控制方法中实现步骤s2的方法包括如下步骤：
100.s20、回采机器人自身播放的声音信号作为无效声音信号；
101.s21、从声音信号采集装置3采集到的声音信号中过滤该无效声音信号后得 到有效声音信号。
102.详细地，在机器人中设置声音信号播放装置5，该声音信号播放装置5可以 为扬声器(喇叭)，该声音信号播放装置5设置在机器人外壳1上，并且该声 音信号播放装置5和机器人的控制单元通信连接，控制单元设置有机器人的工 作模式，比如播放音乐等，当用户通过遥控器或app控制机器人进入该控制模 式后，存储在控制单元内的音乐通过声音信号播放装置5播放出来。
103.该机器人还包括声音信号回采装置，该声音信号回采装置与机器人的控制 单元和声音信号播放装置5通信连接，其用于回采声音信号播放装置5的声音 信号，控制单元接受声音信号回采装置回采的声音信号并且从声音信号采集装 置3采集的声音信号中过滤回采的声音信号，再将过滤后的声音信号包含的指 令传动给执行元件，控制执行元件执行该指令。
104.图1j是本技术实施例提供的自主移动设备的另一个语音控制流程图。本实 施例中，该控制方法中实现步骤s2的方法包括如下步骤：
105.s20'、判断机器人是否处于播音工作模式；
106.s21'、若是，则获取机器人在播音工作模式下播放的声音信号作为无效声 音信号；
107.s22'、从声音信号采集装置3采集的声音信号中过滤该无效声音信号后得 到有效声音信号。
108.此外，在另一些实施例中，本发明的控制方法中使用声音信号采集装置3 采集声音信号后，先对声音信号降噪处理，然后再过滤声音信号中由机器人播 放的声音信号后得到有效声音信号，以进一步地消除处用户语音控制指令外其 他声音信号的影响。
109.从步骤s2中得到有效声音信号后，该控制方法则执行如下步骤：
110.s3、执行该有效声音信号包含的控制指令，实现机器人与用户之间的语音 互动，
从而提高用户的使用体验。
111.应用场景举例如下：
112.一、当前扫地机器人正在清扫地面，用户发出“播放音乐”的语音控制指令， 机器人采集到该指令后开始播放存储的音乐。当然，用户也可以根据机器人内 存储的音频资料点播需要的音乐，语音控制指令中只需包含该音乐名称即可。
113.二、当前扫地机器人处于停机或待机状态，用户发出“扫地”的语音控制指令， 机器人采集到该指令后开始根据预定路线清扫地面。
114.三、当前扫地机器人正在清扫地面并且同时在播放音乐，用户发出“停止播 放音乐”的语音控制指令，机器人采集到该指令并且过滤掉播放音乐产生的无效 声音信号后停止播放音乐。
115.图2是本技术实施例提供的自主移动设备语音控制方法的流程图。本实施 例的执行主体是自主移动设备，本实施例包括：
116.201、采集第一语音信号。
117.202、当所述第一语音信号与所述自主移动设备的唤醒指令匹配时，唤醒所述 自主移动设备的语音控制功能。
118.自主移动设备上设置声音信号采集装置，声音信号采集装置例如为麦克风、 麦克风阵列等。自主移动设备的语音控制功能未被唤醒时，声音信号采集装置 不断的采集周围环境中的第一语音信号，对第一语音信号进行识别，若第一语 音信号与自主移动设备的唤醒指令匹配，则唤醒自主移动设备的语音控制功能； 若第一语音信号与自主移动设备的唤醒指令不匹配，则保持语音控制功能处于 等待唤醒状态。
119.当语音控制功能唤醒时，自主移动设备采集到第二语音信号后，将第二语 音信号发送至云端的语音识别服务器，以使得语音识别服务器确定第二语音信 号是否和控制指令匹配；当语音控制功能处于等待唤醒状态时，自主移动设备 在本地识别采集到的第一语音信号是否与唤醒指令匹配。
120.203、在所述语音控制功能唤醒状态下采集第二语音信号。
121.自主移动设备的语音控制功能唤醒后，自主移动设备能够利用声音信号采 集装置采集周围环境中的语音信号。例如，采集到用户发出的第二语音信号。
122.204、根据所述第二语音信号确定至少两个工作区域。
123.自主移动设备自身具有语音识别功能时，自主移动设备对第二语音信号进 行识别，从而确定出至少两个工作区域。或者，自主移动设备将第二语音信号 发送给语音识别服务器，由语音识别服务器确定出至少两个工作区域并指示给 自主移动设备。例如，第二语音信号对应的文本内容为“清扫小明房间和书房”， 则至少两个工作区域为小明房间和书房；再如，第二语音信号对应的文本内容 为“清扫所有地毯区域”，则工作区域为以地毯为中心、包含地毯的多个区域。
124.图3是本技术实施例中语音识别的过程示意图。请参照图3，语音识别过程 中，自主移动设备采集到第二语音信号，对第二语音信号进行降噪处理后，将 降噪处理后的第二语音信号上传给语音识别服务器。语音识别服务器对第二语 音信号进行语义识别得到语音指令，并将语音指令回传给自主移动设备。自主 移动设备接收到语音指令后，执行语音指令指示的任务。任务可以是清扫、拖 地、割草、净化空气等。
125.需要说明的是，虽然图3中是以自主移动设备采集第二语音信号为例进行 说明。然而，本技术实施例并不限制，其他可行的实现方式中，用户还可以开 启终端设备上的客户端然后发出第二语音信号，由终端设备采集第二语音信号， 对第二语音信号进行降噪处理后，将降噪处理后的第二语音信号上传给语音识 别服务器。
126.205、依次对所述至少两个工作区域执行所述第二语音信号指示的任务。
127.自主移动设备按照一定的顺序依次对各工作区域执行任务。例如，自主移 动设备随机对各工作区域排序，得到随机队列，按照随机队列指示的顺序依次 对各工作区域执行任务。
128.再如，若用户期望对多个工作区域执行清洁等任务，且用户期望优先对其 中某个工作区域执行清洁任务，则可以按照优先级顺序发出第二语音信号。自 主移动设备确定所述第二语音信号中所述至少两个工作区域中各工作区域出现 的先后顺序。之后，根据所述先后顺序依次对所述至少两个工作区域执行所述 第二语音信号指示的任务。
129.以自主移动设备为空气净化机器人为例，若用户想要净化书房和婴儿室的 空气，且想要优先净化婴儿室的空气，则第二语音信号为“请净化婴儿室和书 房”。自主移动设备根据第二语音信号确定出工作区域为婴儿室和书房，且婴 儿室优先。此时，即使书房距离自主移动设备较近、婴儿室距离自主移动设备 较远，自主移动设备也会先行进至婴儿室，完成婴儿室的空气净化后，再行进 至书房，对书房进行空气净化。
130.采用该种方案，自主移动设备根据优先级依次对多个工作区域执行任务， 极大程度上满足用户需求，更加人性化。
131.又如，工作区域比较多，且各个工作区域之间存在一定的距离，若自主移 动设备按照随机顺序对各个工作区域执行任务，则耗能大、耗时长。为此，自 主移动设备确定出多个工作区域后，确定自身与所述至少两个工作区域中各工 作区域之间的距离。之后，按照距离由近至远的顺序对所述至少两个工作区域 排序得到队列；并根据所述队列依次对所述至少两个工作区域执行所述第二语 音信号指示的任务。
132.举例来说，第二语音信号为“清扫所有地毯区域”，则自主移动设备从环 境地图中确定出所有包含地毯的区域，示例性的，请参照图4。图4是地毯区域 的示意图。
133.请参照图4，图中有3个地毯区域，分别为地毯区域41、地毯区域42和地 毯区域43。自主移动设备40确定出地毯区域41距其最近，接下来是地毯区域 42，最后是地毯区域43。因此，清扫顺序为地毯区域41、地毯区域42和地毯 区域43。
134.采用该种方案，自主移动设备按照距离由近及远的顺序对各个工作区域执 行任务，能够最大限度的解约能耗并提高速度。
135.需要说明的是，虽然上述是以通过语音操作的形式操作自主移动设备对多 个工作区域执行任务。然而，本技术实施例并不限制，其他可行的实现方式中， 还可以通过语音操作的形式操作自主移动设备对单个工作区域执行任务。
136.本技术实施例提供的自主移动设备语音控制方法，自主移动设备采集到第 二语音信号后，根据第二语音信号确定至少两个工作区域，并依次对各工作区 域执行第二语音信号指示的任务。采用该种方案，通过一条语音信号就能够向 自主移动设备指示多个工作区域，使得自主移动设备能够依次对多个工作区域 执行任务，用户通过自然语言与自主移动设备交互以使得对自主移动设备的极 简控制，精确度高、过程简单。
137.可选的，上述实施例中，自主移动设备依次对所述至少两个工作区域执行 所述第二语音信号指示的任务的过程中，对所述至少两个工作区域中的一个工 作区域执行完任务后，行进至下一个工作区域之前，停止执行任务。
138.自主移动设备确定出至少两个工作区域后，按照一定的顺序依次对各个工 作区域执行任务。若相邻两个工作区域之间的距离较长，自主移动设备按照行 驶路径从其中一个工作区域行进至另一个工作区域的过程中，可关闭工作模块。 也就是说，自主移动设备在行驶路径上行进的过程中，不执行清洁、割草等任 务。
139.再请参照图4，以第二语音信号为清洁地毯区域43、地毯区域42和地毯区 域41。自主移动设备40从当前位置行进至地坛区域43。该过程中，自主移动 设备40的工作模块处于关闭状态。当自主移动设备40对地毯区域43完成清洁 之后，从地毯区域43行进至地毯区域42的过程中，以及当自主移动设备40对 地毯区域42完成清洁之后，从地毯区域42行进至地毯区域41的过程中，在行 驶路径上都关闭工作模块，行驶路径如图中虚线箭头所示。
140.采用该种方案，自主移动设备从一个工作区域移动至下一个工作区域的过 程中无需开启工作模块，节约能量的同时提高行进速度。
141.可选的，上述实施例中，自主移动设备从当前位置移动到第一个工作区域 之前，或者，从当前工作区域移动至下一个工作区域之前，还确定行驶路径的 长度是否大于预设阈值。若行驶路径的长度大于预设长度，则关闭工作模块并 根据所述行驶路径向工作区域行进。若行驶路径的长度小于或等于预设长度， 则在工作模块开启的状态下向工作区域行进。
142.示例性的，有时候两个工作区域之间的行驶路径比较短，比如，卧室和客 厅之间行驶路径的长度几乎可以忽略。为避免频繁开关工作模块带来的损坏， 当行驶路径较短时，无需关闭工作模块。
143.可选的，上述实施例中，自主移动设备根据所述第二语音信号确定至少两 个工作区域时，首先，根据第二语音信号确定区域类别。之后，根据区域类别 从环境地图对应的区域集合中确定出至少两个工作区域。
144.本技术实施例中，自主移动设备在完全未知环境中时会构建环境地图，或 者，接收其他机器人发送的环境地图，之后，利用分区算法等将环境地图进行 区域分割，从而得到多个工作区域，使得环境地图能够表征各个工作区域，如 厨房、卫生间、卧室等。而且，环境地图也能够表征环境中不同物体在环境中 的实际位置，使得自主移动设备能判断出各个工作区域内物体的摆放状态。
145.当用户想要对某种类别的工作区域进行清扫等，在第一语音指令中加入类 别的信息。例如，“对所有卧室进行清扫”。自主移动设备识别该语音信号后 仅对各个卧室进行清扫。
146.再如，“对客厅的家具进行清扫”，该语音信号指示的区域类别为“客厅”。 因此，自主移动设备从环境地图中确定出客厅。进一步的，该语音信号还指示 目标物体“家具”。因此，自主移动设备确定客厅内的家具，如沙发、茶几等。 对于每个家具，以该家具为中心，确定一个包含家具的区域，对该区域进行清 扫。
147.又如，“对全部卧室的床底进行清扫”，该语音信号指示的区域类别为“卧 室”。因此，自主移动设备从环境地图中确定出卧室。进一步的，该语音信号 还指示目标物体“床”。
因此，自主移动设备继续确定各个卧室内的床的位置。 对于每个床，以该床为中心，确定一个包含床的区域，对该区域进行清扫。
148.又如，“开始清扫沙发和餐桌区域”，自主移动设备的行为为：行走到沙 发所在位置，以沙发中心为原点画一个大于沙发的矩形框，将该矩形框作为工 作区域并清扫。之后，行进至餐桌所在区域，对餐桌中心为原点画一个大于餐 桌的矩形框作为工作区域并清扫。
149.又如，“开始清扫沙发区域”，自主移动设备的行为为：行走到沙发所在 位置，以沙发中心为原点画一个大于沙发的矩形框，将该矩形框作为工作区域 并清扫。
150.采用该种方案，用户可通过语音控制自主移动设备仅对某种类别的工作区 域执行清扫等任务，智能化高。进一步的，语音信号中还可以指示目标物体， 使得自主移动设备对局部区域进行清扫等任务，进一步提高自主移动设备的智 能化。
151.可选的，上述实施例中，自主移动设备能够根据所述环境地图、所述环境 地图中物体的位置信息或所述环境地图中门的位置信息，将所述环境地图划分 为多个工作区域以得到所述区域集合。之后，更新区域集合中各工作区域的标 识，并向语音识别服务器发送更新信息，以使得语音识别服务器更新各工作区 域的标识。
152.示例性的，自主移动设备上安装摄像头等拍摄装置。图5是家具识别过程 示意图。请参照图5，自主移动设备构建环境地图或行进过程中不断的拍摄图像 以进行图像采集。采集到图像后，对图像进行预处理，预处理包括增强对比度、 无损放大、特征提取等中的一项或多项。之后，自主移动设备利用预先部署的 训练模型对预处理后的图像进行ai识别以使得训练模型输出图像中家具的种 类、位置坐标等识别结果，并将识别结果从(three
‑
dimensional，3d)环境地 图映射到二维(two
‑
dimensional，2d)环境地图中保存并显示。其中，训练模 型例如为以各种家具为样本训练出的ai模型。
153.图6是识别门的过程示意图。与上述图5的区别在于，训练模型是预先以 各种门为样本训练出的ai模型，图像输入训练模型后，输出门的位置坐标等识 别结果，并将识别结果从3d环境地图中映射到2d环境地图中保存并显示。
154.自主移动设备获取到2d环境地图后，融合2d环境地图中家具的识别结果、 门的识别结果，利用分区算法对2d地图进行分区，从而将2d的环境地图划分 为多个区域。之后，自主移动设备将分区结果发送给app服务器和语音识别服 务器，由app服务器将分区结果发送给终端设备，终端设备上安装用于操控自 主移动设备的app。终端设备接收到分区结果后，显示分区结果。示例性的， 请参照图7。
155.图7是自主移动设备和语音识别服务器同步过程示意图。请参照图7，经过 分区后，环境地图的区域集合包括区域1、区域2和区域3。用户可在客户端对 各个区域的标识进行自定义编辑。例如，将上述的区域1、区域2和区域3各自 的标识依次修改为小明的房间、客厅、厨房。之后，终端设备将更新信息发送 给app服务器，由app服务器将更新信息发送给自主移动设备。自主移动设备 接收到更新信息后，更新本地环境地图中各个工作区域的标识。
156.另外，自主移动设备更新各个工作区域的标识后，还向语音识别服务器同 步更新工作区域的标识。自主移动设备接收到来自app服务器的更新信息后， 发现工作区域的标识发生变化。之后，自主移动设备更新本地的同时，将更新 信息发送给语音识别服务器，使得语音识别服务器更新各工作区域的标识并保 存。之后，用户就能够根据自定义命名与自
主移动设备进行交互。
157.例如，用户说：“清扫小明的房间”，则自主移动设备的行为为：行走到 自定义命名为“小明”的房间区域并清扫此区域。
158.再如，用户说：“清扫客厅和厨房”，自主移动设备的行为为：按照用户 喊话的顺序先行走到自定义命名为“客厅”的区域，清扫该区域之后，再行走 到自定义命名为“厨房”的区域并清扫。
159.采用该种方案，语音识别服务器上保存的各个工作区域的标识和自主移动 设备上保存的对应工作区域的标识一致，提高语音识别服务器语音识别的准确 性。
160.上述实施例中，当第二语音信号指示区域类别时，自主移动设备根据区域 类别从预先构建的区域集合中确定出符合区域类别的工作区域。然而，本技术 实施例并不限制，其他可行的实现方式中，当区域类别指示的区域是特定区域、 且每次下发语音信号时特定区域的位置可能不一样时，自主移动设备还可以实 时根据区域类别确定工作区域。比如，特定区域为家中有水渍的区域，显然， 不同时间家中有水渍的地方不同。该种情况下，自主移动设备利用摄像头等采 集图像，对图像进行识别从而确定出符合区域类别的至少两个工作区域。
161.例如，第二语音信号为“检查家中有水的地方并擦干”。自主移动设备采 集到该语音信号并进行语义识别后，行进过程中不断拍摄图像并识别图像，若 图像中存在有水的地方，则对有水的地方进行擦干。之后，继续行进并拍摄图 像，每次识别到有水的地方则进行擦干。
162.再如，第二语音信号为“对厨房有油污的地方进行拖地”。自主移动设备 采集到该语音信号并进行语义识别后，在厨房内行进过程中不断拍摄图像并识 别图像，每次识别到有油污的地方后进行拖地。
163.采用该种方案，实现对特定区域执行任务的目的。
164.可选的，上述实施例中，自主移动设备依次对所述至少两个工作区域执行 所述第二语音信号指示的任务时，可根据区域类别确定作业方式，并根据作业 方式一次对指示两个工作区域执行任务。
165.示例性的，用户发出第二语音信号的时候，可以不指示具体作业方式，而 是由自主移动设备自主确定作业方式并执行。例如，用户说：“清洁厨房中的 油污”。自主移动设备不断采集图像确定出油污区域后，确定作业方式为：加 清洁液并提高拖地频率。之后，自主移动设备在油污区域喷洒清洁液并强力拖 地。
166.再如，用户说：“清洁客厅内的水渍”。自主移动设备不断采集图像确定 出水渍区域后，若水渍区域内的水比较多，则确定作业方式为：执行三次拖地。 之后，自主移动设备在水渍区域拖地三次。若水渍区域内的水比较少，则确定 作业方式为：执行一次拖地。之后，自主移动设备在水渍区域拖地一次。
167.采用该种方案，由自主移动设备自动确定出更合适的作业方式，实现提高 任务执行效率的目的。
168.可选的，上述实施例中，假设自主移动设备采集到第二语音信号时位于初 始区域，该初始区域不是第二语音信号中的任意一个工作区域。那么，自主移 动设备从初始区域移动至工作区域之前，记录初始区域的任务执行情况。之后， 依次对各个工作区域执行
任务。执行完任务后，根据记录确定是否未对初始区 域执行完任务。若自主移动设备未对初始区域执行完任务，则返回初始区域并 执行任务。
169.采用该种方案，自主移动设备对第二语音信号指示的区域执行完任务后， 返回初始区域继续执行任务，避免无法对初始区域完成任务。
170.可选的，上述实施例中，第二语音信号还可以包括任务参数等。例如，第 二语音信号为：“采用强拖模式清扫小明的房间和书房，分别清扫10分钟”、
ꢀ“
对油污区域拖地两次”等。
171.上述实施例中，为了防止用户没有交互需求的时候，自主移动设备不断识 别语音信号，自主移动设备的语音控制功能通常处于静默状态。只有用户发出 特定的唤醒词之后，自主移动设备的语音控制功能才能被唤醒。语音控制功能 处于静默状态时，自主移动设备可以是静止也可以正在工作。
172.自主移动设备工作过程中，由于电机的转动等产生噪声，该噪声很有可能 干扰自主移动设备识别语音信号的准确率。本技术实施例能够避免该种弊端。 以下将自主移动设备唤醒后的工作状态称之为第二工作状态，将自主移动设备 唤醒前的工作状态称之为第一工作状态，自主移动设备在所述第二工作状态下 产生的声音的音量小于在所述第一工作状态下产生的声音的音量。当自主移动 设备在第一工作状态下采集到第二语音指令后，若第一语音信号与自主移动设 备的唤醒指令匹配，则自主移动设备自动切换至第二工作状态，即自主移动设 备通过降低输出功耗等方式切换为第二工作状态，并在第二工作状态下采集上 述的第二语音信号。
173.示例性的，在自主移动设备上安装麦克风时，寻找噪音最低并且稳定的地 方安装麦克风。而且，通过大量样本训练唤醒模型，使得自主移动设备在各种 运行状态下的唤醒率得到提升。之后，当自主移动设备的语音控制功能在运行 状态下被唤醒时，自主移动设备通过改变自身运行状态以降低自身产生的噪声 的音量。之后，用户通过正常音量下发控制语音指令，自主移动设备接收并执 行相应的任务。
174.例如，自主移动设备为扫地机器人，自主移动设备在第一工作状态下工作 时，行进速度为0.2米/秒。用户发出第一语音信号，若第一语音信号和唤醒指 令匹配，则自主移动设备切换至第二工作状态，行进速度为0.1米/秒，产生的 噪声较低。之后，用户发出第二语音信号，自主移动设备采集第二语音信号并 执行相关任务。第二语音信号的音量可以小于第一语音信号的音量。
175.另外，为了保证高噪声环境下能够唤醒自主移动设备，可预先通过多次训 练和算法提高自主移动设备运行状态下的唤醒率。例如，自主移动设备在用户5 米以内范围且处于第一工作状态时，正常人声唤醒率可达到85％。唤醒后，自 主移动设备切换为第一工作状态，第一工作状态下的语音识别准确率几乎达到 智能音箱的同等水平。
176.采用该种方案，自主移动设备被唤醒后，自动改变运行状态以降低自身产 生的噪声，提高后续的语音识别准确率。
177.可选的，上述实施例中，当第一语音信号与所述自主移动设备的唤醒指令 匹配时，自主移动设备确定第一语音信号的声源位置。之后，自主移动设备根 据声源位置控制所述自主移动设备从第一位姿切换为第二位姿，所述自主移动 设备处于所述第二位姿时麦克风与所述声源位置的距离，小于所述自主移动设 备处于所述第一位姿时麦克风与所
述声源位置的距离，所述麦克风是设置在所 述自主移动设备上的麦克风。
178.示例性的，智能语音技术已被广泛的应用于人机交互、智能操控、在线服 务等领域，随着更多应用场景的扩展，智能语音技术已经成为人们信息获取和 沟通最便捷，最有效的手段，智能语音技术包括语音识别技术和语音合成技术。 声源定位是基于麦克风阵列来对声源进行定位的方法，实现方法可以分为定向 波速形成和时间延迟估计。将智能语音技术、麦克风声源定位技术与自主移动 设备结合可以设计出非常丰富的应用场景，比如下达语音指令给自主移动设备 执行任务，与自主移动设备语音交互以获取相应指导，根据声源控制自主移动 设备转向等。
179.在自主移动设备领域，通常是自主移动设备上设计麦克风阵列用于接收声 源信息，用于声源定位，根据定位控制自主移动设备转向声源定位方向，增加 交互的趣味性和下次语音识别的准确性。该类应用的缺点是麦克风阵列定位的 误差较大，一般误差在
±
45
°
左右，导致误差的根本原因在于声源到达麦克风 的时间差估计精度不够。由于误差的存在，最终自主移动设备转向声源的效果 可能不准确，导致使用体验较差。
180.为此，本技术实施例中，当自主移动设备的语音控制功能被唤醒后，自主 移动设备可调整位姿，使得自主移动设备上的麦克风靠近用户，从而提高语音 采集的准确率。利用声源定位技术、语音识别技术和ai识别技术精确控制自主 移动设备转向发声者，即转向用户。该过程中，自主移动设备通过麦克风阵列 捕捉声源，信号转换之后识别为既定唤醒词。之后，确定声源相对于麦克风阵 列的位置，进而确定声源相对于机体的位置，从而确定出大致的旋转角度，即 定位到声源的大致位置。最后，自主移动设备再根据旋转角度旋转，旋转过程 中结合ai识别以准确判断出声源的具体位置，进而控制自主移动设备停在面向 用户的位置。
181.下面，对自主移动设备如何转向声源定位方向进行详细说明。
182.首先，确定第一位置，第一位置是声源相对于麦克风阵列中心的位置。
183.用户发出语音后，自主移动设备通过麦克风阵列拾取语音信号，并利用计 算单元处理语音信号，得到语音识别结果。若语音识别结果与唤醒词匹配，则 确定第一位置；若语音识别结果与唤醒词不匹配，则保持等待唤醒状态。
184.图8a是确定声源相对于麦克风阵列中心的位置的示意图。请参照图8a， 麦克风阵列包括6个麦克风，分别位于s1
‑
s6，该6个麦克风均匀分布在半径为 l1的圆周上，空间坐标系的原点o即为麦克风阵列的中心。声源发出声音后， 声音到达各麦克风的时长不一样。因此，自主移动设备可以根据声音的传播速 度、时间延迟、各麦克风的位置等确定出第一位置。其中，时间延迟是指不同 麦克风接收声音的时长的差值。
185.需要说明的是，虽然此处是以6个麦克风为例，然而，本技术实施例并不 限制。其他可行的实现方式中，可以设置更多或更少的麦克风。
186.其次，根据第一位置确定第二位置，根据第二位置确定旋转角度，其中， 第二位置是声源相对于自主移动设备中心的位置。
187.通常情况下，麦克风阵列位于自主移动设备的机体的固定位置，确定出第 一位置后，自主移动设备就能够根据麦克风阵列的位置和第一位置，确定出第 二位置。
188.图8b是确麦克风阵列和自主移动设备机体的示意图。请参照图8b，机体 的中心为大圆的中心，机体的中心和麦克风阵列的中心并不重合，但是两者的 相对位置是已知的。
因此，自主移动设备确定出第一位置后，就能够确定出第 二位置。确定出第二位置后，就能够确定出旋转角度，旋转角度是指从第一位 姿到第二位姿的过程中，自主移动设备的旋转角度。
189.第一位姿是唤醒前自主移动设备的位姿，第二位姿是自主移动设备的麦克 风朝向用户的位姿，第二位姿也可以理解为自主移动设备正对着用户的位姿。 自主移动设备正对着用户的位姿是指：自主移动设的摄像头朝向用户的位姿。
190.最后，根据旋转角度旋转。
191.旋转过程中，为了避免旋转过快影响ai识别效果、旋转过慢影响用户体验， 所以，电子设备将所述旋转角度划分为第一角度和第二角度；在所述第一角度 内以第一速度旋转，在所述第二角度内以第二速度旋转，所述第一速度大于所 述第二速度。第二角度例如为α度。
192.旋转过程中，假设旋转角度为θ，先快速旋转θ
‑
α度，再匀速旋转α度， α＜θ。匀速旋转过程中，利用摄像头不断拍摄图像并进行ai识别。若识别到 用户，则停止旋转；若未识别到用户，则旋转α度后停止旋转。其中，α和自 主移动设备的统计误差有关，其可以是30度、60度等。本技术实施例并不限制。
193.以自主移动设备为扫地机器人为例，再请参照图8b，扫地机器人功能组件 包括摄像头、麦克风阵列、激光测距传感器、红外接收传感器、边刷、驱动轮 等。另外，扫地机器人还包括图中未示意出的沿边传感器、防跌落传感器、吸 尘风机、运动电机、滚刷、计算存储单元、电池模块、wifi模块等。语音控制使 用场景下，扫地机器人处于任意工作状态，使用者向扫地机发出语音唤醒指令， 扫地机器人暂停当前工作，转向唤醒指令发出者，等待用户的下一步交互命令。
194.例如扫地机器人正在客厅清扫，用户发出唤醒词“小q，小q”,扫地机器 人暂停清扫工作，转向用户，同时语音播报应答“我在”，等待用户进一步的 指令，比如“请离开客厅，去别的房间打扫”，扫地机器人会语音播报应答“好 的”，同时离开客厅进入卧室等其他房间继续打扫。
195.在这种语音交互体验中，就要求扫地机器人准确识别用户的唤醒指令，同 时精确而快速的转向用户，等待下一步操控指令。如果无法准确定位到语音指 令发出者的位置，这种交互场景将变的十分糟糕，第一种情况是定位不准确， 机器人转向的别的方向，未准确面对语音操控者；第二种情况是定位到了语音 操控者的方向，但是旋转过程缓慢，动作持续时间久，交互体验差。
196.为此，扫地机器人暂停清扫工作，转向用户的过程中，先确定声源相对于 麦克风阵列中心的第一位置，再根据第一位置和麦克风阵列相对于机体的位置 确定第二位置和旋转角度。之后，先快速旋转θ
‑
α度，再匀速旋转α度，匀速 旋转过程中，利用摄像头不断拍摄图像并进行ai识别。若识别到用户，则停止 旋转；若未识别到用户，则旋转α度后停止旋转。
197.例如，图8b中，若用户位于扫地机器人的右边，则旋转角度θ＝180度。 若α为60度，则自主移动设备先顺时针快速旋转120度，接下来匀速转动并采 集图像，若旋转到170度时根据图像识别到用户，则停止转动。若未识别到用 户，则匀速旋转60度后停止转动。
198.采用该种方案，通过结合声源定位、语音识别和ai识别，使得自主移动设 备的转
向动作更准确。而且，旋转过程中，根据旋转角度先快速旋转、再匀速 缓慢旋转动作更流畅、ai识别更准确。
199.上述实施例中，语音识别技术是一种基于语音特征参数的模式识别，语音 识别服务器能够将输入的语音按照一定的模式进行分类，进而依据判断准则找 出最佳匹配结果。原理框架图如图8c所示。
200.图8c是训练语音识别模型和识别语音的过程示意图。请参照图8c，训练 过程中，输入的语音信号经过预处理后进行特征提取，利用提取出的特征进行 模型训练，生成语音识别模型后保存语音识别模型。
201.训练好的语音识别模型部署在语音识别服务器上。用户发出的语音信号经 过预处理后进行特征提取，语音识别服务器将提取出的特征输入至语音识别模 型，以使得语音识别结果。
202.图9是本技术实施例提供的自主移动设备语音控制逻辑流程图。本实施例 包括：
203.901、自主移动设备处于第一工作状态，语音控制功能处于等待唤醒状态。
204.902、自主移动设备采集到第一语音信号。
205.示例性的，用户发出第一语音信号，自主移动设备利用声音信号采集装置 等采集第一语音信号。
206.903、第一语音信号与自主移动设备的唤醒指令是否匹配，若第一语音信号 和唤醒指令匹配，则说明成功唤醒自主移动设备并执行步骤904，若第一语音信 号和唤醒指令不匹配，则说明未能唤醒自主移动设备，自主移动设备执行步骤 911。
207.本步骤中，自主移动设备利用自身的语音识别功能确定第一语音信号和唤 醒指令匹配是否匹配，或者，自主移动设备将第一语音信号发送至语音识别服 务器，由语音识别服务器确定第一语音信号和唤醒指令匹配是否匹配。
208.904、自主移动设备从第一工作状态切换至第二工作状态。
209.示例性的，相较于第一工作状态，第二工作状态下自主移动设备的功耗比 较小、噪声比较小，例如，第一工作状态下，驱动轮正常滚动，其余发音部件 正常运行；而第二工作状态下，驱动轮停止滚动，其余发音部件均降低运行功 率。再如，第二工作状态下，驱动轮降速滚动，其余发音部件降级运行功率。
210.905、自主移动设备确定预设时长内是否采集到第二语音信号，若自主移动 设备在预设时长内采集到第二语音信号则执行步骤906；若自主移动设备在预设 时长内未采集到第二语音信号，则执行步骤912。
211.906、自主移动设备判断是否成功解析第二语音信号。
212.示例性的，自主移动设备自身或语音是否服务器解析第二语音信号，若成 功解析第二语音信号则执行步骤907；若未能成功解析第二语音信号，则执行步 骤913。
213.907、自主移动设备确定解析结果是否与控制指令匹配，若解析结果和控制 指令匹配，则执行步骤908；若解析结果和控制指令不匹配，则执行步骤914。
214.示例性的，自主移动设备或语音识别服务器确定解析结果是否为机自身清 洁、清扫、割草等任务。
215.908、自主移动设备确定自身状态是否满足执行任务的要求，若自身状态满 足执行任务的要求，则执行步骤909；若自身状态不满足执行任务的要求，则执 行步骤915。
216.示例性的，自主移动设备确定自身的电量、尘盒剩余空间、水盒中剩余水 量等是否满足任务要求。
217.909、执行任务并语音反馈用户，之后执行步骤910。
218.例如，自主移动设备开始行进并对用户说：“好的，即将清洁小明房间和 书房”。
219.910、结束本轮语音交互，语音控制功能进入等待唤醒状态。
220.911、自主移动设备继续以第一工作状态工作，经过预设时长后，执行步骤 910。
221.912、自主移动设备反馈指令超时，并恢复第一工作状态，之后，执行步骤 910。
222.示例性的，自主移动设备向用户发出：“语音交互超时，请重新唤醒”的 语音反馈。同时，自主移动设备重新进入第一工作状态。之后，执行步骤910。
223.913、自主移动设备反馈未理解用户意图并恢复第一工作状态，之后，执行 步骤910。
224.示例性的，自主移动设备向用户发出：“未接收到正确指令，请重新唤醒”； 或者“我没听清楚您说的是什么，请重新唤醒”语音反馈。同时，自主移动设 备重新进入第一工作状态。之后，执行步骤910。
225.914、自主移动设备继续在第二工作状态下工作，和用户进行语音交互、对 答等。经过预设时长后，执行步骤910。
226.示例性的，自主移动设备向用户发出：“这个任务太难，我无法执行，请 换个描述方式”、“请问您是要清扫卧室的床底下么”，引导用户与其交互以 弄清楚用户的意图。
227.915、自主移动设备语音反馈无法执行任务，并继续以第二工作状态工作。
228.示例性的，自主移动设备对用户说：“我需要充电才能执行任务”、“我 需要返回基站补水”、“请清理尘盒”等，并继续以第二工作状态工作。之后， 经过预设时长后，执行步骤910。
229.或者，自主移动设备对用户：“我要去充电，等我充电完成之后再去清扫 卧室”，并自行移动至基站进行充电以维护自身状况。之后，自主移动设备再 执行清扫等任务。
230.采用该种方案，自主移动设备在执行任务之前先判断自身状态，根据自身 状态确定是否立即执行任务还是充电、补水之后再执行任务，能够避免执行任 务过程中发生中断等。
231.上述实施例中，语音控制功能被唤醒后，经过预设时长后，语音控制功能 重新进入等待唤醒状态。例如，语音控制功能被唤醒后，经过预设时长后未采 集到第二语音信号，则自动进入等待唤醒状态。再如，执行完一次唤醒和指令 下发循环后，自动进入等待唤醒状态。
232.采用该种方案，能够避免周围语音对自主移动设备的误触发。
233.可选的，上述实施例中，第二语音信号还可以指示任务禁区。自主移动设 备从环境地图中确定出任务禁区，并从任务禁区以外的区域中确定出至少两个 工作区域。
234.如果相对于工作区域，任务禁区比较少或更容易描述时，用户可以在第二 语音信号中指出任务禁区。自主移动设备根据第二语音信号确定出任务禁区， 进而将其他区域作为工作区域并执行任务。例如，用户说：“不清扫床底”， 则自主移动设备对床底以外的区域进行清扫。
235.采用该种方案，降低用户下发语音指令的难度。
236.上述实施例中，语音信号主要用于工作区域的控制。然而，本技术实施例 并不限制。其他可行的实现方式中，还可以通过语音控制实现自主移动设备操 控家中其他的电子设备、通过语音控制实现自主移动设备定点巡逻、监控和看 护等功能、通过语音控制自主移动设备自动寻物等。下面，对该些场景分别进 行说明。
237.首先，通过语音控制实现自主移动设备操控家中其他的电子设备的场景。 示例性的，请参照图10。图10是本技术实施例提供的自主移动设备语音控制方 法的另一个流程图。本实施例包括：
238.1001、自主移动设备处于第一工作状态，语音控制功能处于等待唤醒状态。
239.1002、用户通过第一语音信号唤醒语音控制功能，并发出第二语音信号。
240.示例性的，自主移动设备唤醒语音控制功能后还自动切换为第二工作状态， 具体可参见上述描述，此处不再赘述。
241.1003、自主移动设备根据第二语音信号得到控制指令，该控制指令用于指 示自主移动设备控制指定设备。
242.示例性的，自主移动设备自己解析第二语音信号，或者，由语音识别服务 器解析以语音信号得到控制指令。该控制指令用于指示自动移动设备对指定区 域内的指定设备进行控制。指定设备例如为空调、冰箱、窗帘等家电或家电。
243.1004、自主移动设备移动到指定区域完成对指定设备的控制。
244.例如，自主移动设备开机状态下，用户位于自主移动设备语音信号采集范 围内，比如，用户和自主移动设备同时处于客体、自主移动设备距离用户5米 等。用户发出的第二语音信号为“打开主卧空调，制冷25℃”。自主移动设备 根据环境地图规划行驶路径进入主卧后，利用自身的硬件遥控模块打开主卧的 空调，并将模式设置为制冷模式、将温度设置为25℃。
245.采用该种方案，通过语音控制结合自主移动设备的其他硬件、算法，实现 增值功能，使得自主移动设备更加智能。
246.其次，通过语音控制实现自主移动设备定点巡逻的场景。示例性的，请参 照图11。图11是本技术实施例提供的自主移动设备语音控制方法的又一个流程 图。本实施例包括：
247.1101、自主移动设备处于第一工作状态，语音控制功能处于等待唤醒状态。
248.1102、用户通过第一语音信号唤醒语音控制功能，并发出第二语音信号。
249.示例性的，自主移动设备唤醒语音控制功能后还自动切换为第二工作状态， 具体可参见上述描述，此处不再赘述。
250.1103、自主移动设备根据第二语音信号得到控制指令，该控制指令用于指 示自主移动设备定点巡逻。
251.示例性的，自主移动设备自己解析第二语音信号，或者，由语音识别服务 器解析以语音信号得到控制指令。该控制指令用于指示自动移动设备定点巡逻、 监控或看护等。
252.1104、自主移动设备执行定点巡逻、监控或看护。
253.例如，用户发出的第二语音信号为“去老爸房间巡查”。自主移动设备根 据环境地图规划行驶路径进入老爸房间后，行进至之前设定好的监护点，打开 摄像头拍摄视频，并将视频回传至用户手机上的客户端，实现跨房间监护老人 的功能。
254.采用该种方案，通过语音控制实现自主移动设备按照用户的意图进行家中 定点
巡逻、对指定区域进行监控、对特定房间进行看护等功能。
255.最后，通过语音控制自主移动设备自动寻物的场景。示例性的，请参照图 12。图12是本技术实施例提供的自主移动设备语音控制方法的又一个流程图。
256.本实施例包括：
257.1201、自主移动设备处于第一工作状态，语音控制功能处于等待唤醒状态。
258.1202、用户通过第一语音信号唤醒语音控制功能，并发出第二语音信号。
259.1203、自主移动设备根据第二语音信号得到控制指令，该控制指令用于指 示自主移动设备寻找目标对象。
260.1204、自主移动设备确定环境地图中是否标记了目标对象的位置坐标，若 环境地图中已标记目标对象，则执行步骤1205；若环境地铁中没有标记目标对 象，则执行步骤1208。
261.示例性的，自主移动设备工作过程中将采集到的图像输入ai训练模型识从 而得到物体的位置坐标、名称、种类等，并在环境地图中记录该些信息，用于 后续的智能寻物。为了防止客户端界面凌乱，环境地图上可以不显示该些物体 的位置坐标等。当用户发出指令寻找目标对象时，客户端显示目标对象在环境 地图中的位置等。
262.1205、自主移动设备通过语音询问用户是否需要现在去寻找目标对象，若 用户反馈现在寻找目标对象，则执行步骤1206；若用户反馈无需现在寻找目标 对象，则执行步骤1207。
263.1206、引导用户到目标对象位置并在环境地图上显示目标对象的位置。
264.1207、在环境地图上显示目标对象的位置，并语音提示用户：已在客户端 显示目标对象的位置。
265.搜索运行过程中发现的目标对象在环境地图中的位置。
266.1208、语音提示用户：未寻找到目标对象，请换一种描述方式。
267.例如，第一语音信号为：“请帮我找袜子”。自主移动设备识别第一语音 信号后，确定本地是否已标记了袜子的位置坐标。若未标记袜子，则提示用户 找不到袜子。若标记了袜子的位置坐标，则发出询问语音：“是否现在去寻找 袜子”。如果接下来用户的答复是“可以”、“好的”等肯定答复，则自主移 动设备行进以引导用户到达袜子所在位置，并在客户端环境地图的界面上显示 袜子的位置坐标。如果用户的答复是“不需要”等否定答复，则自主移动设备 只需指示客户端显示袜子的位置坐标即可。
268.采用该种方案，通过机器学习训练ai训练模型，利用ai训练模型识别特 定物体，使得用户能够通过语音控制自主移动设备搜索一些特定物体，并在地 图上标识出来或者带用户到达物体现场，实现智能寻物的目的的同时，扩展自 主移动设备的用途，提高自主移动设备的智能性。
269.下述为本技术装置实施例，可以用于执行本技术方法实施例。对于本技术 装置实施例中未披露的细节，请参照本技术方法实施例。
270.图13为本技术实施例提供的一种自主移动设备语音控制装置的示意图。该 自主移动设备语音控制装置1300包括：采集模块1301、处理模块1302和执行 模块1303。
271.采集模块1301，用于采集第一语音信号；
272.处理模块1302，用于当所述第一语音信号与所述自主移动设备的唤醒指令 匹配
时，唤醒所述自主移动设备的语音控制功能；
273.所述采集模块1301，还用于采集第二语音信号；
274.所述处理模块1302，用于根据所述第二语音信号确定至少两个工作区域；
275.执行模块1303，用于依次对所述至少两个工作区域执行所述第二语音信号 指示的任务。
276.一种可行的设计中，所述执行模块1303，用于确定所述第二语音信号中所 述至少两个工作区域中各工作区域出现的先后顺序；根据所述先后顺序依次对 所述至少两个工作区域执行所述第二语音信号指示的任务。
277.一种可行的设计中，所述执行模块1303，用于确定所述自主移动设备与所 述至少两个工作区域中各工作区域之间的距离；按照距离由近至远的顺序对所 述至少两个工作区域排序得到队列；根据所述队列依次对所述至少两个工作区 域执行所述第二语音信号指示的任务。
278.一种可行的设计中，所述执行模块1303，用于对所述至少两个工作区域中 的一个工作区域执行完任务后，行进至下一个工作区域之前，停止执行任务。
279.一种可行的设计中，所述处理模块1302，用于根据所述第二语音信号确定 区域类别；根据所述区域类别从环境地图对应的区域集合中确定出所述至少两 个工作区域。
280.一种可行的设计中，所述处理模块1302根据所述区域类别从环境地图中确 定所述至少两个工作区域时，用于当所述区域类别指示目标物体时，以所述目 标物体为中心，从所述环境地图中确定出包含所述目标物体的区域以得到所述 至少两个工作区域。
281.再请参照图13，一种可行的设计中，上述的自主移动设备语音控制装置1300 还包括：收发模块1304。
282.所述处理模块1302根据所述第二语音信号确定至少两个工作区域之前，还 用于根据所述环境地图、所述环境地图中物体的位置信息或所述环境地图中门 的位置信息，将所述环境地图划分为多个工作区域以得到所述区域集合，更新 所述区域集合中各工作区域的标识；
283.所述收发模块1304，用于向语音识别服务器发送更新信息，以使得所述语 音识别服务器更新各工作区域的标识。
284.一种可行的设计中，所述处理模块1302，还用于当所述第一语音信号与所 述自主移动设备的唤醒指令匹配时，控制所述自主移动设备从第一工作状态切 换为第二工作状态，所述自主移动设备在所述第二工作状态下产生的声音的音 量小于在所述第一工作状态下产生的声音的音量，所述唤醒指令用于唤醒所述 自主移动设备的语音控制功能；所述采集模块1301，用于在所述第二工作状态 下采集所述第二语音信号。
285.一种可行的设计中，所述处理模块1302，还用于当所述第一语音信号与所 述自主移动设备的唤醒指令匹配时，确定所述第一语音信号的声源位置；根据 所述声源位置控制所述自主移动设备从第一位姿切换为第二位姿，所述自主移 动设备处于所述第二位姿时麦克风与所述声源位置的距离，小于所述自主移动 设备处于所述第一位姿时麦克风与所述声源位置的距离，所述麦克风是设置在 所述自主移动设备上的麦克风。
286.一种可行的设计中，所述处理模块1302根据所述声源位置控制所述自主移 动设备从第一位姿切换为第二位姿时，用于根据所述声源位置确定旋转角度， 所述旋转角度用
于指示所述自主移动设备从所述第一位姿切换为第二位姿时需 要旋转的角度；将所述旋转角度划分为第一角度和第二角度；在所述第一角度 内以第一速度旋转，在所述第二角度内以第二速度旋转，所述第一速度大于所 述第二速度。
287.一种可行的设计中，当所述第一语音信号与自主移动设备的唤醒指令匹配 时，所述处理模块1302根据所述声源位置控制所述自主移动设备从第一工作状 态切换为第二工作状态之后，还用于经过预设时长后控制所述语音控制功能进 入等待唤醒状态。
288.一种可行的设计中，所述执行模块1303，用于确定所述自主移动设备的自 身状态是否满足执行任务的要求；若所述自身状态不满足执行任务的要求，则 维护所述自主移动设备。
289.一种可行的设计中，所述处理模块1302，用于当所述第二语音信号指示任 务禁区时，从所述环境地图中确定出所述任务禁区，从所述任务禁区以外的区 域中确定出所述至少两个工作区域。
290.一种可行的设计中，所述处理模块1302，用于根据所述第二语音信号确定 区域类别；采集图像；从所述图像中确定出所述区域类别对应的区域以得到所 述至少两个工作区域。
291.一种可行的设计中，所述执行模块1303，用于根据所述区域类别确定作业 方式；根据所述作业方式依次对所述至少两个工作区域执行任务。
292.一种可行的设计中，所述处理模块1302依次对所述至少两个工作区域执行 所述第二语音信号指示的任务之后，还用于确定是否对初始区域执行完任务， 所述初始区域是所述自主移动设备采集所述第二语音信号时所处的区域；若未 对所述初始区域执行完任务，则返回所述初始区域执行任务。
293.本技术实施例提供的自主移动设备语音控制装置，可以执行上述实施例中 自主移动设备的动作，其实现原理和技术效果类似，在此不再赘述。
294.图14为本技术实施例提供的另一种自主移动设备语音控制装置的示意图。 该自主移动设备语音控制装置1400包括：采集模块1401、处理模块1402、行 驶模块1403和执行模块1404。
295.采集模块1401，用于采集第二语音信号；
296.处理模块1402，用于根据所述第二语音信号确定工作区域；根据当前位置 和所述工作区域确定行驶路径；
297.行驶模块1403，用于关闭工作模块并根据所述行驶路径向所述工作区域行 进；
298.执行模块1404，用于若所述自主移动设备行进至所述工作区域，则开启所 述工作模块以执行所述第二语音信号指示的任务。
299.一种可行的设计中，所述行驶模块1403，用于确定所述行驶路径的长度是 否大于预设长度，若所述行驶路径的长度是否大于预设长度，则关闭工作模块 并根据所述行驶路径向所述工作区域行进。
300.一种可行的设计中，当所述执行模块1404开启所述工作模块以执行所述第 二语音信号指示的任务之后，还用于确定是否对初始区域执行完任务，所述初 始区域是所述自主移动设备采集所述第二语音信号时所处的区域；若未对所述 初始区域执行完任务，则返回所述初始区域执行任务。
301.一种可行的设计中，所述处理模块1402根据所述第二语音信号确定工作区 域时，用于根据所述第二语音信号确定区域类别；采集图像；从所述图像中确 定出所述区域类别对应的区域以得到所述工作区域。
302.本技术实施例提供的自主移动设备语音控制装置，可以执行上述实施例中 自主移动设备的动作，其实现原理和技术效果类似，在此不再赘述。
303.图15为本技术实施例提供的一种电子设备的结构示意图。如图8所示，该电 子设备1500例如为上述的自主移动设备，该自主移动设备1500包括：
304.处理器1501和存储器1502；
305.所述存储器1502存储计算机指令；
306.所述处理器1501执行所述存储器1502存储的计算机指令，使得所述处理器 1501执行如上自主移动设备实施的自主移动设备语音控制方法。
307.处理器1501的具体实现过程可参见上述方法实施例，其实现原理和技术效 果类似，本实施例此处不再赘述。
308.可选地，该电子设备1500还包括通信部件1503。其中，处理器1501、存储 器1502以及通信部件1503可以通过总线1504连接。
309.本技术实施例还提供一种计算机可读存储介质，所述计算机可读存储介质 中存储有计算机指令，所述计算机指令被处理器执行时用于实现如上自主移动 设备实施的自主移动设备语音控制方法。
310.本技术实施例还提供一种计算机程序产品，该计算机程序产品包含计算机 程序，计算机程序被处理器执行时实现如上自主移动设备实施的自主移动设备 语音控制方法。
311.本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申 请的其它实施方案。本技术旨在涵盖本技术的任何变型、用途或者适应性变化， 这些变型、用途或者适应性变化遵循本技术的一般性原理并包括本技术未公开 的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性 的，本技术的真正范围和精神由下面的权利要求书指出。
312.应当理解的是，本技术并不局限于上面已经描述并在附图中示出的精确结 构，并且可以在不脱离其范围进行各种修改和改变。本技术的范围仅由所附的 权利要求书来限制。