用于足式机器人的地面属性检测方法及驱动方法及其装置与流程

1.本公开涉及机器人技术领域，尤其涉及用于足式机器人的地面属性检测方法及驱动方法及其装置、足式机器人以及存储介质和计算机程序产品。


背景技术：

2.目前，随着机器人技术的不断发展，机器人逐渐从生产的领域进入到家庭领域。例如，出现了机器宠物，例如机器狗等产品，来对用户进行陪伴。
3.然而，目前的机器人，特别是足式机器人，对于机器人的移动能力要求较高，一方面需要足式机器人有较强的机动性，另一方面还需要足式机器人有较大的运动范围，即尽量节省足式机器人的电量消耗，使其能够支持更大的运动范围。此外，对于足式机器人来说，其运动噪声对于用户来说也是非常大的影响，如果足式机器人的足部或腿部驱动控制不佳，则会在足式机器人奔跑时产生非常大的噪声，从而影响用户的正常使用。然而，上述的这些问题都基于足式机器人的地面属性，因此，如何对足式机器人所在工作环境的地面的属性进行有效检测，就成为了亟待解决的问题。


技术实现要素：

4.本公开提供一种用于足式机器人的地面属性检测方法、装置及系统，以至少解决相关技术中无法对足式机器人所在地面进行有效检测的问题。本公开的技术方案如下：
5.本公开的一个实施例提出了一种用于足式机器人的地面属性检测方法，包括：获取足式机器人的足部与地面的碰撞音频；以及根据所述碰撞音频检测所述足式机器人工作环境之中地面的可作业等级属性。
6.本公开再一个实施例还提出了一种足式机器人的控制方法，包括：如上所述的方法采集地面的属性；以及根据所述属性对所述足式机器人进行控制。
7.本公开再一个实施例还提出了一种用于足式机器人的地面属性检测装置，包括：碰撞音频获取模块，用于获取足式机器人的足部与地面的碰撞音频；以及第一检测模块，用于根据所述碰撞音频检测所述足式机器人工作环境之中地面的可作业等级属性。
8.本公开再一个实施例还提出了一种足式机器人，包括：躯干本体；与所述躯干本体相连的腿部和足部；如上所述的用于足式机器人的地面属性检测装置。
9.本公开再一个实施例还提出了一种用于足式机器人的地面属性检测装置，包括：处理器；用于存储所述处理器可执行指令的存储器；其中，所述处理器被配置为执行所述指令，以实现如上所述的用于足式机器人的地面属性检测方法，或者如上所述的足式机器人的控制方法。
10.本公开再一个实施例还提出了一种存储介质，当所述存储介质中的指令由用于足式机器人的地面属性检测装置或足式机器人的控制系统的处理器执行时，使得用于足式机器人的地面属性检测装置或足式机器人的控制系统能够执行如上所述的于足式机器人的地面属性检测方法，或者如上所述的足式机器人的控制方法。
11.通过本公开的实施例，对足式机器人足部与地面碰撞的声音进行采集，并根据该声音检测足式机器人工作环境之中地面的可作业等级属性，从而可以依据该可作业等级属性有针对性地对足式机器人的腿部进行有效控制，从而一方面可以降低足式机器人的运动噪声，另一方面可以降低足式机器人的电量消耗，从而增加其运动范围。
12.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
13.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。
14.图1为根据一示例性实施例示出的一种用于足式机器人的地面属性检测方法的流程图；
15.图2为根据另一示例性实施例示出的一种用于足式机器人的地面属性检测方法的流程图；
16.图3为本公开一个实施例的足式机器人的控制方法流程图；
17.图4为本公开一个实施例的用于足式机器人的地面属性检测装置结构图；
18.图5为本公开一个实施例的足式机器人的控制系统结构图；
19.图6为本公开实施例的足式机器人的示意图。
具体实施方式
20.为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。
21.需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
22.图1是根据一示例性实施例示出的一种用于足式机器人的地面属性检测方法的流程图。该地面属性检测方法用于足式机器人之中。在本公开的实施例之中，该足式机器人可为两足机器人，也可以为四足机器人，甚至可以是三足机器人，或多足机器人，对此并无限制。如图1所示，为本公开实施例之中的用于足式机器人的地面属性检测方法的流程图，包括以下步骤：
23.步骤110，获取足式机器人的足部与地面的碰撞音频。
24.在本公开的一个实施例之中，可以在足式机器人的足部之中安装有麦克风，通过麦克风来检测足部与地面的碰撞音频。在本公开的另一个实施例之中，可以在足式机器人的足部末端设置有空腔，将麦克风设置在该空腔之中，同时设置有端盖以封闭该空腔。由于声音的传导效应，设置在空腔之中的麦克风也可以检测到碰撞音频。同时，该空腔的端盖也可以对麦克风进行有效的保护。
25.在本公开的一个实施例之中，可以在该足式机器人的每个足部均设置一个麦克风进行检测。当然在本公开的其他实施例之中，可以在部分足部设置麦克风，例如仅在足式机器人的前部足部设置，后部足部不进行设置，仅通过前部足部进行检测即可。
26.步骤130，根据碰撞音频检测足式机器人工作环境之中地面的可作业等级属性。
27.在本公开的实施例之中，可以通过机器学习的方式对可作业等级属性进行识别。机器学习算法可以是卷积神经网络(convolutional neural network,cnn)、循环神经网络(recurrent neural network,rnn)、长短时记忆神经网络(long short term memory,lstm)等。在本公开的一个实施例之中，可以通过图像识别模型来对检测到的碰撞音频进行识别，从而生成可作业等级属性
28.在本公开的一个实施例之中，首先对碰撞音频进行采样以生成第一碰撞图像，之后将所述第一碰撞图像输入至第一神经网络模型以生成可作业等级属性。
29.在该实施例之中，可对采集的碰撞音频进行滤波处理(例如高通滤波处理)，以去除其中的噪声。之后将滤除噪声之后的碰撞音频进行采样及进行短时间傅里叶变换，并添加至一个固定大小的图像模板之中。在该实施例之中，由于短时傅里叶变换是带有时间信息的，因此可以按照时序变换后频率的值填入图像模板中，即可得到第一碰撞图像。之后再将该第一碰撞图像输入到第一神经网络模型之中，生成可作业等级属性。关于第一神经网络模型可以通过训练的方式实现，例如采集足部与各种材质的地面进行碰撞的碰撞音频，并进行标注，通过这样的训练数据即可完成第一神经网络模型的训练。
30.在本公开的一个实施例之中，可以将可作业等级属性分为多个等级，多个等级可以根据足式机器人的工作场景进行划分，按照每个工作场景之下的地面材料通过测试生成多个可作业等级属性。具体而言，在一个实施例之中，可以设置以下四种可作业等级属性：
31.可作业等级属性1：高硬度不可破坏材质，例如金属、石质、木质和聚合物材质等；
32.可作业等级属性2：高硬度可破坏材质，例如玻璃、塑料和陶瓷等；
33.可作业等级属性3：低硬度不可破坏可形变材质，例如布、棉花、薄橡胶和海绵等；
34.可作业等级属性4：低硬度可破坏可形变材质，例如纸板、湿土、泥土和沙等。
35.其中，对于每种可作业等级属性之中的材料，均可以采集相应的碰撞音频并输入至第一神经网络模型之中进行训练。同样地，上述四种可作业等级属性对于足式机器人而言，不同的可作业等级属性，足式机器人在其上的可移动能力也是不同的，例如等级越低，移动能力越强。而对于可作业等级属性4来说，通常来讲应当是控制足式机器人规避的。足式机器人对作用地面的要求是有一定的硬度和刚度，可以作为刚体支撑机体，因此足式机器人优选选择可作业等级属性1-3的地面进行行走。
36.图2是根据另一示例性实施例示出的一种用于足式机器人的地面属性检测方法的流程图。该方法包括以下步骤：
37.步骤210，获取足式机器人的足部与地面的碰撞音频。
38.在本公开的一个实施例之中，可以在足式机器人的足部之中安装有麦克风，通过麦克风来检测足部与地面的碰撞音频。在本公开的另一个实施例之中，可以在足式机器人的足部末端设置有空腔，将麦克风设置在该空腔之中，同时设置有端盖以封闭该空腔。由于声音的传导效应，设置在空腔之中的麦克风也可以检测到碰撞音频。同时，该空腔的端盖也可以对麦克风进行有效的保护。
39.在本公开的一个实施例之中，可以在该足式机器人的每个足部均设置一个麦克风进行检测。当然在本公开的其他实施例之中，可以在部分足部设置麦克风，例如仅在足式机器人的前部足部设置，后部足部不进行设置，仅通过前部足部进行检测即可。
40.步骤230，采集足式机器人足部的足底力值。
41.在本公开的一个实施例之中，可以根据驱动该足部的渠道电机的驱动电流生成足底力值。在一些实施例之中，还可以通过驱动电压等类似的参数计算该足底力值。具体而言，该电机通过足式机器人的腿部驱动足部。在一个实施例之中，首先获取足式机器人之中驱动足部的驱动电机的驱动电流，例如可以通过电流互感器进行检测，或者也可以通过其他方式进行检测。之后，根据驱动电流生成足部的足底力值。
42.步骤250，对碰撞音频进行采样以生成第一碰撞图像。
43.在该实施例之中，对碰撞音频进行采样及进行短时间傅里叶变换，并将变换结果添加至一个固定大小的图像模板之中，与之前的实施例不同的是，在该实施例之中，并非碰撞音频的变换结果填满上述图像模板，而是要为足底力值预留一些空间。举例而言，假设固定大小的图像模板的大小为512x512的图像，则留出1x512的位置用来放足底力值。
44.步骤270，根据足底力值和第一碰撞图像生成第二碰撞图像。
45.在本公开的一个实施例之中，根据足底力值生成图像列，例如1x512的数据，并将图像列添加至第一碰撞图像以生成第二碰撞图像。当然在本公开的其他实施例之中，还可以使用其他的方式将足底力值融入第一碰撞图像之中。
46.步骤290，将第二碰撞图像输入至第一神经网络模型以生成可作业等级属性。
47.同样地，在该实施例之中，也可包括四种可作业等级属性。该第一神经网络模型可通过上述相同的方式训练得到，在此不再赘述。
48.在本公开的一个实施例之中，为了提高采集碰撞音频的准确度，因此需要设定采集的起始时间和结束时间。在该实施例之中，当接收到足部关联的腿部的下伸指令时，启动麦克风进行采集，并记录为采集起始时间。在预设时间之后，或者检测到腿部接收到卷起指令时，记录为采集结束时间，并控制麦克风结束采集。
49.在本公开的一个实施例之中，还可以通过摄像头对足式机器人的地面图像进行采集。并通过图像识别地面的材质属性，从而为后续的机器人控制提供决策依据。具体而言，首先拍摄所述地面的地面图像，之后将地面图像输入至第二神经网络以生成地面的材质属性，其中，述第二神经网络根据所述地面图像的纹理确定材质属性。在该实施例之中，可以通过训练的方式实现第二神经网络。例如可以将泥土、沙子、石头、石板、纸板、泥土、橡胶、塑料板、布、棉花和金属板等各种地面的图像输入到第二神经网络之中进行训练。在本公开的一个实施例之中，可以在足式机器人的躯干本体之下设置有摄像头，也可以在足部的空腔之中设置该摄像头，例如可以将该空腔的端盖设置为透明，从而可以采集地面图像。
50.在本公开的一个实施例之中，可以采集已落足的地面图像，也可以采集即将落足的地面的图像。
51.在本公开的实施例之中，由于在足式机器人实际应用场景之中，地面的情况会相对来说非常复杂，因此可以通过视觉的识别结果为可作业等级属性提供辅助，例如也可以将材质属性输入到第一神经网络模型之中，从而提高第一神经网络模型的判断精度和准确性。
52.如图3所示，为本公开一个实施例的足式机器人的控制方法流程图。该方法包括：
53.步骤s310，采集地面的可作业等级属性。
54.在本公开的一个实施例之中，可以使用如上所述的方法采集地面的可作业等级属性。
55.步骤s330，根据属性对足式机器人进行控制。
56.在本公开的实施例之中，如果已经获知了地面的属性，则可以根据该属性对足式机器人的步频、步高、体高和每个电机的力矩输出等进行控制，从而更适合于当前环境，有利于足式机器人的稳定性和寿命。此外，还可以降低足部与地面碰撞的噪声，以及减少足部驱动对电量的消耗，从而能够为足式机器人节省能耗。
57.在本公开的一个实施例之中，可以依据检测到的地面属性对足式机器人的移动路径进行规划。例如，可以检测足式机器人前方路面的可作业等级属性，并根据前方路面的可作业等级属性生成移动路径，以及按照所述移动路径控制所述足式机器人进行移动。在本公开的实施例之中，不同的地面对足式机器人行动的影响非常大。例如足式机器人在可作业等级属性1之上的行走最为省电，因此可以从前方路面之中选择可作业等级属性1的地面作为足式机器人的落脚点，从而形成移动路径。
58.在本公开的另一个实施例之中，还可以依据检测到的足式机器人已经落足的地面的属性，进行危险规避。例如，检测足式机器人的所述足部当前落脚路面的可作业等级属性，并判断当前落脚路面可作业等级属性是否低于预设阈值，以及在低于所述预设阈值时，控制足式机器人退回至上一个位置。具体而言，例如可作业等级属性4可能会导致足式机器人的足部陷入其中，因此可以将预设阈值设置为4，如果检测到足式机器人落足到这样地面的时候，则会控制足式机器人回退，退回至上一个位置，从而避免危险的发生，提高了足式机器人的安全性能。
59.如图4所示，为本公开一个实施例的用于足式机器人的地面属性检测装置结构图。该用于足式机器人的地面属性检测装置400包括碰撞音频获取模块410和第一检测模块420。在本公开一个实施例之中，碰撞音频获取模块410用于获取足式机器人的足部与地面的碰撞音频。在本公开的一个实施例之中，可以在足式机器人的足部之中安装有麦克风，通过麦克风来检测足部与地面的碰撞音频。在本公开的另一个实施例之中，可以在足式机器人的足部末端设置有空腔，将麦克风设置在该空腔之中，同时设置有端盖以封闭该空腔。由于声音的传导效应，设置在空腔之中的麦克风也可以检测到碰撞音频。同时，该空腔的端盖也可以对麦克风进行有效的保护。在本公开的一个实施例之中，可以在该足式机器人的每个足部均设置一个麦克风进行检测。当然在本公开的其他实施例之中，可以在部分足部设置麦克风，例如仅在足式机器人的前部足部设置，后部足部不进行设置，仅通过前部足部进行检测即可。
60.在本公开一个实施例之中，第一检测模块420用于根据碰撞音频检测足式机器人工作环境之中地面的可作业等级属性。首先对碰撞音频进行采样以生成第一碰撞图像，之后将所述第一碰撞图像输入至第一神经网络模型以生成可作业等级属性。
61.在该实施例之中，可对采集的碰撞音频进行滤波处理(例如高通滤波处理)，以去除其中的噪声。之后将滤除噪声之后的碰撞音频进行采样及进行短时间傅里叶变换，并添加至一个固定大小的图像模板之中。在该实施例之中，由于短时傅里叶变换是带有时间信
息的，因此可以按照时序变换后频率的值填入图像模板中，即可得到第一碰撞图像。之后再将该第一碰撞图像输入到第一神经网络模型之中，生成可作业等级属性。关于第一神经网络模型可以通过训练的方式实现，例如采集足部与各种材质的地面进行碰撞的碰撞音频，并进行标注，通过这样的训练数据即可完成第一神经网络模型的训练。
62.在本公开的一个实施例之中，可以将可作业等级属性分为多个等级，多个等级可以根据足式机器人的工作场景进行划分，按照每个工作场景之下的地面材料通过测试生成多个可作业等级属性。具体而言，在一个实施例之中，可以设置以下四种可作业等级属性：
63.可作业等级属性1：高硬度不可破坏材质，例如金属、石质、木质和聚合物材质等；
64.可作业等级属性2：高硬度可破坏材质，例如玻璃、塑料和陶瓷等；
65.可作业等级属性3：低硬度不可破坏可形变材质，例如布、棉花、薄橡胶和海绵等；
66.可作业等级属性4：低硬度可破坏可形变材质，例如纸板、湿土、泥土和沙等。
67.其中，对于每种可作业等级属性之中的材料，均可以采集相应的碰撞音频并输入至第一神经网络模型之中进行训练。同样地，上述四种可作业等级属性对于足式机器人而言，不同的可作业等级属性，足式机器人在其上的可移动能力也是不同的，例如等级越低，移动能力越强。而对于可作业等级属性4来说，通常来讲应当是控制足式机器人规避的。足式机器人对作用地面的要求是有一定的硬度和刚度，可以作为刚体支撑机体，因此足式机器人优选选择可作业等级属性1-3的地面进行行走。
68.在本公开一个实施例之中，第一检测模块410包括采样单元411和第一神经网络模型412。其中，采样单元411用于对碰撞音频进行采样以生成第一碰撞图像。第一神经网络模型412用于根据第一碰撞图像生成可作业等级属性。
69.在本公开一个实施例之中，地面属性检测装置400还包括足底力采集模块430，用于采集所述足部的足底力值。
70.在本公开一个实施例之中，第一检测模块410还包括图像生成模块413，用于根据足底力值和所述第一碰撞图像生成第二碰撞图像，其中，第一神经网络模型根据所述第二碰撞图像生成可作业等级属性。
71.在本公开一个实施例之中，足底力采集模块430包括驱动电流获取单元和足底力值生成单元。其中，驱动电流获取单元用于获取足式机器人之中驱动足部的驱动电机的驱动电流。足底力值生成单元用于根据所述驱动电流生成所述足部的足底力值。
72.在本公开一个实施例之中，图像生成模块413根据足底力值生成图像列，并将图像列添加至第一碰撞图像以生成第二碰撞图像。
73.在本公开一个实施例之中，地面属性检测装置400还包括拍摄模块440和第二检测模块450。其中，拍摄模块440用于拍摄地面的地面图像。第二检测模块450用于将地面图像输入至第二神经网络以生成地面的材质属性，其中，第二神经网络根据地面图像的纹理确定材质属性。
74.在本公开一个实施例之中，地面属性检测装置400还包括采集控制模块460，用于在接收到足部关联的腿部的下伸指令时，启动麦克风进行采集，并在预设时间之后，或者检测到腿部弯曲指令时，控制麦克风结束采集。
75.如图5所示，为本公开一个实施例的足式机器人的控制系统结构图。该足式机器人的控制系统500包括地面属性检测装置510和控制装置520。其中，地面属性检测装置510可
以为如上所述的地面属性检测装置400。控制装置520用于根据属性对足式机器人进行控制。
76.在本公开的一个实施例之中，控制装置520包括第一检测模块521、移动路径生成模块522和第一控制模块523。其中，第一检测模块521用于检测足式机器人前方路面的可作业等级属性。移动路径生成模块522用于根据前方路面的可作业等级属性生成移动路径。第一控制模块523用于按照移动路径控制足式机器人进行移动。
77.在本公开的一个实施例之中，控制装置520包括第二检测模块524和第二控制模块525。第二检测模块524用于检测足式机器人的足部当前落脚路面的可作业等级属性。第二控制模块525用于在当前落脚路面可作业等级属性低于预设阈值时，控制足式机器人退回至上一个位置。
78.如图6所示，为本公开实施例的足式机器人的示意图。该足式机器人100包括头部110、躯干本体120，与躯干本体120相连的腿部130，以及和腿部130相连的足部140。还包括如上所述的用于足式机器人的地面属性检测装置，或者如上所述的足式机器人的控制系统。
79.在本公开的一个实施例之中，所述足式机器人的足部包括空腔，所述空腔之中设置有麦克风，通过所述麦克风采集所述碰撞音频。
80.在本公开的一个实施例之中，还提出了一种用于足式机器人的地面属性检测装置包括处理器；用于存储所述处理器可执行指令的存储器；其中，所述处理器被配置为执行所述指令，以实现如上所述的用于足式机器人的地面属性检测方法，或者如上所述的足式机器人的控制方法。
81.在本公开的一个实施例之中，还提出了一种存储介质，当所述存储介质中的指令由用于足式机器人的地面属性检测装置或足式机器人的控制系统的处理器执行时，使得用于足式机器人的地面属性检测装置或足式机器人的控制系统能够执行如上所述的于足式机器人的地面属性检测方法，或者如上所述的足式机器人的控制方法。
82.关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
83.通过本公开的实施例，对足式机器人足部与地面碰撞的声音进行采集，并根据该声音检测足式机器人工作环境之中地面的可作业等级属性，从而可以依据该可作业等级属性有针对性地对足式机器人的腿部进行有效控制，从而一方面可以降低足式机器人的运动噪声，另一方面可以降低足式机器人的电量消耗，从而增加其运动范围。
84.本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本技术旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
85.应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。