用于机器人的语音识别方法、装置及机器人与流程

1.本公开涉及机器人领域，尤其涉及一种用于机器人的语音识别方法、装置及机器人，以及存储介质。


背景技术：

2.随着机器人的不断发展，机器人宠物越来越普及。然而，机器人宠物，例如足式机器人，在与人语音交互过程中，其是不断运动的。与传统固定的智能设备(如智能音箱)不同，由于机器宠物的不断运动，其自身会产生很多噪声，例如驱动电机的噪声，运动过程中关节部分机械传动噪声等等，这些噪声会对语音的识别产生很大的干扰。
3.此外，由于机器人时刻处于运动状态，因此其可能会距离目标对象非常远，此时由于自身噪声以及环境噪声的影响，就会导致目标对象的语音识别不准确，从而导致机器人无法准确响应目标对象的指令。


技术实现要素：

4.本公开提供一种用于机器人的语音识别方法、装置及机器人，以至少解决相关技术中由于噪声影响导致的语音识别不准确的问题。本公开的技术方案如下：
5.根据本公开实施例的第一方面，提供一种用于机器人的语音识别方法，包括以下步骤：获取机器人采集的多路语音信息；获取目标对象的位置信息；根据所述目标对象的位置信息对所述多路语音信息进行增强以生成增强语音信息；以及对所述增强语音信息进行语音识别以生成语音识别结果。
6.在本公开的一个实施例之中，所述根据所述目标对象的位置信息对所述多路语音信息进行增强以生成增强语音信息，包括：根据所述目标对象的位置信息从所述多路语音信息之中选择基准语音信息和参考语音信息；根据所述基准语音信息对所述参考语音信息进行调整；以及根据所述基准语音信息和调整之后的所述参考语音信息生成所述增强语音信息。
7.在本公开的一个实施例之中，所述机器人包括多个麦克风，其中，所述根据所述目标对象的位置信息从所述多路语音信息之中选择基准语音信息和参考语音信息，包括：根据所述目标对象的位置和所述多个麦克风的拓扑位置确定朝向所述目标对象的位置的麦克风；将朝向所述目标对象的位置的麦克风所采集的语音信息作为所述基准语音信息，将所述多路语音信息之中的其他语音信息作为所述参考语音信息。
8.在本公开的一个实施例之中，所述根据所述基准语音信息对所述参考语音信息进行调整，包括：将所述朝向所述目标对象的位置的麦克风作为基准麦克风，并将所述多个麦克风之中的其他麦克风作为参考麦克风；根据所述多个麦克风的拓扑位置信息生成所述参考麦克风相对于所述基准麦克风的时延信息；根据所述参考麦克风的时延信息对所述参考语音信息进行调整，以使所述参考语音信息与所述基准语音信息进行对齐。
9.在本公开的一个实施例之中，所述根据所述基准语音信息和调整之后的所述参考
语音信息生成所述增强语音信息，包括：将所述基准语音信息和对齐之后的所述参考语音信息相加以生成所述增强语音信息。
10.在本公开的一个实施例之中，所述获取目标对象的位置信息，包括：通过阵列天线接收所述目标对象的智能设备发送的uwb(ultra wide band，超带宽)信号以生成多个uwb接收信号；以及根据所述多个uwb接收信号生成所述目标对象的位置信息。
11.在本公开的一个实施例之中，所述阵列天线包括多个天线，所述根据所述多个uwb接收信号生成所述目标对象的位置信息，包括：获取所述多个天线接收到的所述多个uwb接收信号的飞行时间或达到时间差；根据所述多个天线的位置，以及所述多个uwb接收信号的飞行时间或达到时间差生成所述目标对象的位置消息。
12.根据本公开实施例的第二方面，提供一种用于机器人的语音识别装置，包括：采集模块，用于获取机器人采集的多路语音信息；位置信息获取模块，用于获取目标对象的位置信息；增强模块，用于根据所述目标对象的位置信息对所述多路语音信息进行增强以生成增强语音信息；以及识别模块，用于对所述增强语音信息进行语音识别以生成语音识别结果。
13.在本公开的一个实施例之中，所述增强模块包括：选择子模块，用于根据所述目标对象的位置信息从所述多路语音信息之中选择基准语音信息和参考语音信息；调整子模块，用于根据所述基准语音信息对所述参考语音信息进行调整；以及增强子模块，用于根据所述基准语音信息和调整之后的所述参考语音信息生成所述增强语音信息。
14.在本公开的一个实施例之中，所述采集模块包括多个麦克风，其中，所述选择子模块根据所述目标对象的位置和所述多个麦克风的拓扑位置确定朝向所述目标对象的位置的麦克风，并将朝向所述目标对象的位置的麦克风所采集的语音信息作为所述基准语音信息，将所述多路语音信息之中的其他语音信息作为所述参考语音信息。
15.在本公开的一个实施例之中，所述调整子模块，将所述朝向所述目标对象的位置的麦克风作为基准麦克风，并将所述多个麦克风之中的其他麦克风作为参考麦克风，并根据所述多个麦克风的拓扑位置信息生成所述参考麦克风相对于所述基准麦克风的时延信息，以及根据所述参考麦克风的时延信息对所述参考语音信息进行调整，以使所述参考语音信息与所述基准语音信息进行对齐。
16.在本公开的一个实施例之中，所述增强子模块，将所述基准语音信息和对齐之后的所述参考语音信息相加以生成所述增强语音信息。
17.在本公开的一个实施例之中，所述位置信息获取模块包括：阵列天线，用于接收所述目标对象的智能设备发送的uwb信号以生成多个uwb接收信号；以及生成子模块，用于根据所述多个uwb接收信号生成所述目标对象的位置信息。
18.在本公开的一个实施例之中，所述阵列天线包括多个天线，所述生成子模块获取所述多个天线接收到的所述多个uwb接收信号的飞行时间或达到时间差,并根据所述多个天线的位置，以及所述多个uwb接收信号的飞行时间或达到时间差生成所述目标对象的位置消息。
19.根据本公开实施例的第三方面，还提供一种机器人，包括：多个麦克风；处理器；用于存储所述处理器可执行指令的存储器；其中，所述处理器被配置为执行所述指令，以实现如上所述的用于机器人的语音识别方法。
20.根据本公开实施例的第四方面，还提供一种存储介质，当所述存储介质中的指令由用于机器人的语音识别装置的处理器执行时，使得用于机器人的语音识别装置能够执行如上所述的用于机器人的语音识别方法。
21.本公开的实施例提供的技术方案至少带来以下有益效果：
22.本公开的实施例，通过采集的目标对象的位置信息，可以对机器人采集的多路语音信息进行波束增强，从而对语音信号进行增强，并提高语音识别的准确性，有利于后续的语音交互流程。
23.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
24.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。
25.图1为根据一示例性实施例示出的一种用于机器人的语音识别方法的流程图；
26.图2为机器人工作场景的示意图；
27.图3为本公开实施例的增强语音信息生成方法流程图；
28.图4所示为本公开一个实施例的根据基准语音信息对参考语音信息进行调整的方法流程图；
29.图5是根据一示例性实施例示出的一种用于机器人的语音识别装置结构图。
具体实施方式
30.为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。
31.需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
32.在本公开的一个实施例之中，机器人，特别是足式机器人，相对于其他智能设备来说，由于其经常处于运动状态，因此其与目标对象的距离可能会非常远，且目标对象相对于机器人的位置也不固定。加之在机器人跑动过程之中，特别是户外跑到时的环境噪声非常大，同时机器人自身运动产生的噪声也非常大，导致机器人非常难以识别目标对象的语音信号。对此，本公开实施例提出了依据目标对象位置对目标对象语音进行波束增强的方法，从而提升语音识别的准确性。
33.图1是根据一示例性实施例示出的一种用于机器人的语音识别方法的流程图，如图1所示，用于机器人的语音识别方法的方法，包括以下步骤：
34.步骤110，获取机器人采集的多路语音信息。
35.在本公开的一个实施例之中，机器人可为足式机器人，例如四足机器人或两足机
器人等。在本公开的其他实施例之中，该机器人之中可以设置多个麦克风。例如在该机器人的前部，后部均设置一个麦克风，同时在机器人的两侧各设置有两个麦克风。这样，无论目标对象在机器人的哪个方向，都能进行很好的语音采集。在本公开的一个实施例之中，目标对象可为用户，例如可以是与该机器人绑定的用户。
36.此外，在本公开的一个实施例之中，多个麦克风均为全向麦克风。在本公开的实施例之中，通过机器人之上的多个麦克风采集了多路语音信息。多个麦克风在机器人身上的安装位置不同，因此可以根据多个麦克风的安装位置形成多个麦克风的拓扑位置。
37.步骤130，获取目标对象的位置信息。
38.由于在一些人机交互场景中，出于隐私的考虑，有时候机器人无法使用摄像头，因此无法获知目标对象的位置。此外，如上所述，机器人的环境噪声和自身产生的噪声都非常大，因此也无法通过麦克风阵列准确判断说话人的方向。因此，在本公开的一个实施例之中，提出了通过uwb(ultra wide band，超宽带)芯片来实现对目标对象进行准确定位的方案。在本公开的一个实施例之中，机器人和目标对象的智能设备之间进行uwb通信，从而确定目标对象的智能设备的位置。在本公开的一个实施例之中，目标对象的智能设备可以是智能穿戴式设备，也可以是移动终端，例如手机等。在本公开的一个实施例之中，可以在机器人之中设置阵列天线，以及在目标对象的智能终端之中内置uwb芯片，从而使得机器人具备更强的空间感知能力，可以准确判断出携带可穿戴设备或移动终端的目标对象的方向。
39.在本公开的实施例之中，由于远场语音唤醒和语音识别依赖于麦克风阵列先进行语音增强处理，而基于波束形成的多通道语音信号增强处理算法有效的前提是来波方向(direction-of-arrival，doa)的准确估计，只有准确估计出说话人的位置，后续的波束增强才能够有效的增强目标语音方向，衰减来自其他方向的噪声。因此，在本公开的实施例之中，可以通过uwb芯片和阵列天线实现对目标对象位置的检测，从而实现有方向性的波束增强。
40.在本公开的一个实施例之中，由于目标对象的可穿戴设备、移动终端上携带uwb芯片，因此可以通过该uwb芯片发射uwb信号。而机器人端通过天线阵列，可以检测目标节点发射的uwb信号，天线阵列之中各个天线接收的信号经uwb信号定位算法，即可完成目标对象方向定位。
41.在本公开的一个实施例之中，由于机器人可能会运行在室外的嘈杂环境之中，因此会有很多人的语音信息也同时被机器人采集到。如图2所示，为机器人工作场景的示意图。在该实施例之中，智能机器人会接收到来自目标对象(携带可穿戴式设备或移动终端)的语音信息，也会接收到环境之中其他人的语音信息，但是由于机器人能够准确地对目标对象进行定位，因此可以对这个方向的语音信息进行波束增强，从而实现提升语音识别准确性的效果。
42.在以上实施例之中提出了使用uwb信号的方式对目标对象进行定位，然而在本公开的其他实施例之中，还可以使用其他的方式进行定位，这些均应在本公开的保护范围之内。当然在本公开的实施例之中，通过uwb信号的方式能够对目标对象进行准确的定位，从而进一步提高波束增强的效果。
43.在本公开的一个实施例之中，可通过阵列天线接收目标对象的智能设备发送的超带宽uwb信号以生成多个uwb接收信号，并根据多个uwb接收信号生成目标对象的位置信息。
44.在本公开的一个实施例之中，阵列天线包括多个天线，首先获取多个天线接收到的多个uwb接收信号的飞行时间(time of flight，tof)或达到时间差(time difference of arrical)；根据所述多个天线的位置，以及多个uwb接收信号的飞行时间或达到时间差生成目标对象的位置消息。
45.需要说明的是，在上述实施例之中，虽然以uwb为例对目标对象进行定位，但是在本公开的其他实施例之中，还可以选择其他的定位技术对目标对象进行定位，例如wifi定位技术、蓝牙定位技术、rf(射频)定位技术以及紫蜂zigbee定位技术等，均可实现对目标对象的定位。
46.步骤150，根据目标对象的位置信息对多路语音信息进行增强以生成增强语音信息。
47.在本公开的一个实施例之中，可以使用波束增强的方式根据目标对象的位置对多路语音信息进行增强，从而生成增强语音信息。在本公开的实施例之中，波束形成可以利用麦克风阵列携带的的空间信息，对多路语音信号进行频域滤波，最终输出一路的增强信号，输出的增强信号期望能够尽可能保留目标目标对象的语音信号，同时最大可能的去除噪声信号。
48.步骤170，对增强语音信息进行语音识别以生成语音识别结果。
49.在本公开的实施例之中，由于增强语音信息已经对其中的语音信号进行了增强，同时对噪声信号进行了衰减，因此提升了信噪比，据此可以提高语音识别的准确度，从而为后续的语音交互提供良好的基础。
50.如图3所示，为本公开实施例的增强语音信息生成方法流程图。在该实施例之中，提出了如何根据目标对象的位置信息进行语音增强的方法，该方法包括如下步骤：
51.步骤310，根据目标对象的位置信息从多路语音信息之中选择基准语音信息和参考语音信息。
52.在本公开的一个实施例之中，由于机器人之上多个麦克风的位置是固定的，因此在获得了目标对象的位置信息之后，即可获得目标对象与机器人的相对位置，从而可以从多个麦克风之中选择朝向所述目标对象的位置的麦克风。在本公开的实施例之中，可以将多个麦克风的拓扑位置预存在机器人之中，从而机器人在获得了目标对象的位置信息之后，就可以根据目标对象的位置和多个麦克风的拓扑位置确定朝向目标对象的位置的麦克风。并将朝向目标对象的位置的麦克风所采集的语音信息作为基准语音信息，将多路语音信息之中的其他语音信息作为参考语音信息。由于朝向目标对象位置的麦克风与目标对象最近，因此可以最早的获知目标对象的语音信息，因此在本公开的实施例之中，将其作为基准语音信息，并将其他麦克风采集的语音信息作为参考语音信息。在本公开的一个实施例之中，基准语音信息是最先被机器人所接收到的，其他的语音信息要晚于基准语音信息，因此称之为参考语音信息。
53.步骤330，根据基准语音信息对参考语音信息进行调整。
54.在本公开的一个实施例之中，如上所述的基准语音信息和参考语音信息之间存在到达时间差，也就是说，基准语音信息和其他的多个参考语音信息是并没有对齐的。对此，在本公开的一个实施例之中，提出了一种根据基准语音信息对参考语音信息进行调整的方法，在后续的实施例之中，将对该方法进行详细介绍，在此不再赘述。
55.步骤350，根据基准语音信息和调整之后的参考语音信息生成增强语音信息。
56.在本公开的实施例之中，由于在步骤330之中已经根据基准语音信息对参考语音信息进行了调整，使得基准语音信息与参考语音信息已经匹配，因此可以将基准语音信息和调整之后的参考语音信息相加以生成增强语音信息。
57.如图4所示，为本公开一个实施例的根据基准语音信息对参考语音信息进行调整的方法流程图，该方法包括以下步骤：
58.步骤410，将朝向目标对象的位置的麦克风作为基准麦克风，并将多个麦克风之中的其他麦克风作为参考麦克风。
59.步骤430，根据多个麦克风的拓扑位置信息生成参考麦克风相对于基准麦克风的时延信息。
60.在本公开的一个实施例之中，由于多个麦克风在机器人之上的位置是固定的，因此拓扑位置信息也是固定的，这样就可以计算出多个麦克风之间的时延信息。在该实施例之中，由于将朝向目标对象的位置的麦克风作为基准麦克风，因此就可以根据拓扑信息获得其他参考麦克风相对于基准麦克风的时延信息。
61.步骤450，根据参考麦克风的时延信息对参考语音信息进行调整，以使参考语音信息与基准语音信息进行对齐。
62.在本公开的一个实施例之中，可以根据参考麦克风的时延信息对参考语音信息进行调整，例如提前相应的时延信息，这样就可以将参考语音信息与基准语音信息对齐，由于参考语音信息与基准语音信息已经对齐，因此参考语音信息和基准语音信息之中的语音信号和噪声信号也已经对齐，此时就可以将多个参考语音信息与基准语音信息进行叠加，从而对其中的语音信号进行增强。
63.图5是根据一示例性实施例示出的一种用于机器人的语音识别装置结构图。在本公开的实施例之中，用于机器人的语音识别装置500包括采集模块510、位置信息获取模块520、增强模块530和识别模块540。其中，采集模块510用于获取机器人采集的多路语音信息。位置信息获取模块520用于获取目标对象的位置信息。增强模块530用于根据目标对象的位置信息对多路语音信息进行增强以生成增强语音信息。识别模块540用于对增强语音信息进行语音识别以生成语音识别结果。
64.在本公开的一个实施例之中，机器人可为足式机器人，例如四足机器人或两足机器人等。在本公开的其他实施例之中，该机器人之中可以设置多个麦克风。例如在该机器人的前部，后部均设置一个麦克风，同时在机器人的两侧各设置有两个麦克风。这样，无论目标对象在机器人的哪个方向，都能进行很好的语音采集。此外，在本公开的一个实施例之中，多个麦克风均为全向麦克风。在本公开的实施例之中，通过机器人之上的多个麦克风采集了多路语音信息。多个麦克风在机器人身上的安装位置不同，因此可以根据多个麦克风的安装位置形成多个麦克风的拓扑位置。
65.由于在一些人机交互场景中，出于隐私的考虑，有时候机器人无法使用摄像头，因此无法获知目标对象的位置。此外，如上所述，机器人的环境噪声和自身产生的噪声都非常大，因此也无法通过麦克风阵列准确判断说话人的方向。因此，在本公开的一个实施例之中，提出了通过uwb(ultra wide band，超宽带)芯片来实现对目标对象进行准确定位的方案。在本公开的一个实施例之中，机器人和目标对象的智能设备之间进行uwb通信，从而确
定目标对象的智能设备的位置。在本公开的一个实施例之中，目标对象的智能设备可以是智能穿戴式设备，也可以是移动终端，例如手机等。在本公开的一个实施例之中，可以在机器人之中设置阵列天线，以及在目标对象的智能终端之中内置uwb芯片，从而使得机器人具备更强的空间感知能力，可以准确判断出携带可穿戴设备或移动终端的目标对象的方向。
66.在本公开的实施例之中，由于远场语音唤醒和语音识别依赖于麦克风阵列先进行语音增强处理，而基于波束形成的多通道语音信号增强处理算法有效的前提是来波方向(direction-of-arrival，doa)的准确估计，只有准确估计出说话人的位置，后续的波束增强才能够有效的增强目标语音方向，衰减来自其他方向的噪声。因此，在本公开的实施例之中，可以通过uwb芯片和阵列天线实现对目标对象位置的检测，从而实现有方向性的波束增强。
67.在本公开的一个实施例之中，由于目标对象的可穿戴设备、移动终端上携带uwb芯片，因此可以通过该uwb芯片发射uwb信号。而机器人端通过天线阵列，可以检测目标节点发射的uwb信号，天线阵列之中各个天线接收的信号经uwb信号定位算法，即可完成目标对象方向定位。
68.在本公开的一个实施例之中，由于机器人可能会运行在室外的嘈杂环境之中，因此会有很多人的语音信息也同时被机器人采集到。如图2所示，为机器人工作场景的示意图。在该实施例之中，智能机器人会接收到来自目标对象(携带可穿戴式设备或移动终端)的语音信息，也会接收到环境之中其他人的语音信息，但是由于机器人能够准确地对目标对象进行定位，因此可以对这个方向的语音信息进行波束增强，从而实现提升语音识别准确性的效果。
69.在以上实施例之中提出了使用uwb信号的方式对目标对象进行定位，然而在本公开的其他实施例之中，还可以使用其他的方式进行定位，这些均应在本公开的保护范围之内。当然在本公开的实施例之中，通过uwb信号的方式能够对目标对象进行准确的定位，从而进一步提高波束增强的效果。
70.在本公开的一个实施例之中，可通过阵列天线接收目标对象的智能设备发送的超带宽uwb信号以生成多个uwb接收信号，并根据多个uwb接收信号生成目标对象的位置信息。
71.在本公开的一个实施例之中，可以使用波束增强的方式根据目标对象的位置对多路语音信息进行增强，从而生成增强语音信息。在本公开的实施例之中，波束形成可以利用麦克风阵列携带的空间信息，对多路语音信号进行频域滤波，最终输出一路的增强信号，输出的增强信号期望能够尽可能保留目标对象的语音信号，同时最大可能的去除噪声信号。
72.在本公开的实施例之中，由于增强语音信息已经对其中的语音信号进行了增强，同时对噪声信号进行了衰减，因此提升了信噪比，据此可以提高语音识别的准确度，从而为后续的语音交互提供良好的基础。
73.在本公开的一个实施例之中，增强模块530包括选择子模块531、调整子模块532和增强子模块533。其中，选择子模块531用于根据目标对象的位置信息从多路语音信息之中选择基准语音信息和参考语音信息。调整子模块532用于根据基准语音信息对参考语音信息进行调整。增强子模块533用于根据基准语音信息和调整之后的参考语音信息生成增强语音信息。
74.在本公开的一个实施例之中，采集模块510包括多个麦克风。选择子模块531根据
目标对象的位置和多个麦克风的拓扑位置确定朝向目标对象的位置的麦克风，并将朝向目标对象的位置的麦克风所采集的语音信息作为基准语音信息，以及将多路语音信息之中的其他语音信息作为参考语音信息。
75.在本公开的一个实施例之中，调整子模块532将朝向所述目标对象的位置的麦克风作为基准麦克风，并将多个麦克风之中的其他麦克风作为参考麦克风，并根据多个麦克风的拓扑位置信息生成参考麦克风相对于基准麦克风的时延信息，以及根据参考麦克风的时延信息对参考语音信息进行调整，以使参考语音信息与所述基准语音信息进行对齐。
76.在本公开的一个实施例之中，增强子模块533将基准语音信息和对齐之后的参考语音信息相加以生成增强语音信息。
77.在本公开的一个实施例之中，位置信息获取模块520包括阵列天线521和生成子模块522。其中，阵列天线521用于接收目标对象的智能设备发送的uwb信号以生成多个uwb接收信号。生成子模块522用于根据多个uwb接收信号生成目标对象的位置信息。
78.在本公开的一个实施例之中，阵列天线521包括多个天线，生成子模块522获取多个天线接收到的多个uwb接收信号的飞行时间(time of flight，tof)或达到时间差(time difference of arrical),并根据所述多个天线的位置，以及多个uwb接收信号的飞行时间或达到时间差生成目标对象的位置消息。
79.根据本公开实施例的第三方面，还提供一种机器人，包括：多个麦克风；处理器；用于存储所述处理器可执行指令的存储器；其中，所述处理器被配置为执行所述指令，以实现如上所述的用于机器人的语音识别方法。
80.根据本公开实施例的第四方面，还提供一种存储介质，当所述存储介质中的指令由用于机器人的语音识别装置的处理器执行时，使得用于机器人的语音识别装置能够执行如上所述的用于机器人的语音识别方法。
81.本公开的实施例，通过采集的目标对象的位置信息，可以对机器人采集的多路语音信息进行波束增强，从而对语音信号进行增强，并提高语音识别的准确性，有利于后续的语音交互流程。
82.本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本技术旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
83.应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。