机器人控制方法、控制器、控制系统及机器人与流程

本申请涉及机器人及多媒体控制，更具体地，涉及一种机器人控制方法、控制器、控制系统及机器人。

背景技术：

1、多表情仿生头/和机器人广泛应用于展览展示、导览服务及人机互动场景，这类设备需要在播放音频的同时驱动嘴型/表情动作，并且要保证音视同步的效果。然而，在依据“音素-口型”映射表实现音视同步的技术中，大多直接采用音频播放时间戳触发嘴型/表情动作，或者通过设置固定的时间提前量补偿时延，音频与嘴型/表情动作之间仍然存在明显的视听偏差。

技术实现思路

1、有鉴于此，本申请实施例提出了一种机器人控制方法、控制器、控制系统及机器人，能够实现减少音频与嘴型/表情动作之间的视听偏差。

2、本申请采用以下的技术方案。

3、第一个方面，本申请实施例提供了一种机器人控制方法，该方法包括：获取机器人播放音频的多个多轴动作，每个所述多轴动作包括动作项和所述动作项对应的音素，所述动作项包括初始触发时间；获取所述多个多轴动作中每个所述多轴动作的时间偏移量；所述多轴动作的时间偏移量用于指示：在预排所述多轴动作的过程中，所述动作项的执行时间与所述音素的发声时间之间的偏差；将每个所述多轴动作的初始触发时间和时间偏移量应用在所述音频的播放过程。

4、在一些实施例中，所述获取所述多个多轴动作中每个所述多轴动作的时间偏移量，包括：在预排所述多轴动作的过程中，获取所述动作项的执行时间与所述音素的发声时间；根据所述执行时间与所述发声时间之间的偏差，确定所述动作项的时间偏移量。

5、在一些实施例中，所述确定所述动作项的时间偏移量，包括：若所述动作项的执行时间后于音素的发声时间，确定所述时间偏移量为负值；若所述动作项的执行时间先于音素的发声时间，确定所述时间偏移量为正值；若所述动作项的执行时间与音素的发声时间相同，确定所述时间偏移量为零。

6、在一些实施例中，所述将每个所述多轴动作的初始触发时间和时间偏移量应用在所述音频的播放过程，包括：利用所述时间偏移量对所述多个多轴动作包括的各动作项的初始触发时间进行调节，确定各动作项的目标触发时间；根据所述目标触发时间，确定各所述动作项的执行时间；在所述音频的播放过程中，根据所述执行时间执行各所述动作项。

7、在一些实施例中，所述确定各动作项的目标触发时间，包括：获取各所述动作项的固定补偿时间；将所述固定补偿时间与各动作项的所述时间偏移量进行叠加，得到各动作项的实际补偿时间；利用所述实际补偿时间对各动作项的初始触发时间进行调节，确定各动作项的目标触发时间。

8、在一些实施例中，所述确定各所述动作项的执行时间，包括：获取所述音频的播放起点时间；根据所述播放起点时间与各所述动作项的目标触发时间，确定各所述动作项的执行时间。

9、在一些实施例中，在所述音频的播放过程中，所述根据所述执行时间执行各所述动作项，所述方法还包括：周期性获取当前播放的音素、所述音素的实际发声时间、所述音素对应动作项的实际执行时间；确定所述音素的实际发声时间与所述动作项的实际执行时间之间的偏差；若所述偏差大于预设阈值，记录所述音素、所述音素对应动作项的触发时间和实际补偿时间。

10、第二个方面，本申请实施例提供了一种机器人控制装置，该装置包括：第一获取模块，用于获取机器人播放音频的多个多轴动作，每个所述多轴动作包括动作项和所述动作项对应的音素，所述动作项包括初始触发时间；第二获取模块，用于获取所述多个多轴动作中每个所述多轴动作的时间偏移量；所述多轴动作的时间偏移量用于指示：在预排所述多轴动作的过程中，所述动作项的执行时间与所述音素的发声时间之间的偏差；音视控制模块，用于将每个所述多轴动作的初始触发时间和时间偏移量应用在所述音频的播放过程。

11、第三个方面，提供了一种控制器，包括：处理器和存储器；所述存储器中存储有指令或程序，所述处理器被配置为：当执行所述指令或程序时，实现所述第一个方面的机器人控制方法。

12、第四个方面，还提供了一种控制系统，包括：执行设备和第三个方面的控制器；所述执行设备用于接收所述控制器下发的指令，并执行音频播放或多轴动作输出，所述控制器用于执行所述第一个方面的机器人控制方法。

13、第五个方面，还提供了一种机器人，包括：机身和第四个方面的控制系统，所述控制系统设置在所述机身或所述机身的内部。

14、第六个方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条计算机程序，所述至少一条计算机程序由处理器加载并执行，以使计算机实现所述第一个方面的机器人控制方法。

15、第七个方面，还提供了一种计算机程序产品或计算机程序，所述计算机程序产品或计算机程序包括计算机指令，所述计算机指令存储在计算机可读存储介质中。计算机设备的处理器从所述计算机可读存储介质读取所述计算机指令，处理器执行所述计算机指令，使得所述计算机设备执行所述第一个方面的机器人控制方法。

16、本申请实施例提供的技术方案至少带来如下有益效果：

17、采用时间偏移量叠加固定补偿时间的复合时序补偿机制，可调偏移量作为各动作项独立的时间偏移量，可依据现场实际视听观感灵活微调，通过双重补偿协同优化显著提升了机器人多轴嘴型动作与音素的发声时间的对齐精度；同时，时间偏移量支持独立配置与现场调试，面对不同型号的机器人、或不同系统运行负载场景均可快速完成时序校准，大幅提升了音频多轴同步的场景适配能力与后期运维调试的便捷性。

18、另外，在音频播放启动前完成全部动作项的延迟时间计算，一次性批量编排所有动作触发任务，无需在音频播放过程中实时轮询，大幅降低了运行阶段的调度计算量与时序抖动，保障了音视同步效果长期稳定。

19、应当理解的是，以上的一般描述和后文细节描述仅是示例性和解释性的，并不能限制本申请。

1.一种机器人控制方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述获取所述多个多轴动作中每个所述多轴动作的时间偏移量，包括：

3.根据权利要求2所述的方法，其特征在于，所述确定所述动作项的时间偏移量，包括：

4.根据权利要求1所述的方法，其特征在于，所述将每个所述多轴动作的初始触发时间和时间偏移量应用在所述音频的播放过程，包括：

5.根据权利要求4所述的方法，其特征在于，所述确定各动作项的目标触发时间，包括：

6.根据权利要求4所述的方法，其特征在于，所述确定各所述动作项的执行时间，包括：

7.根据权利要求4所述的方法，其特征在于，在所述音频的播放过程中，所述根据所述执行时间执行各所述动作项，所述方法还包括：

8.一种控制器，其特征在于，包括：处理器和存储器；所述存储器中存储有指令或程序，所述处理器被配置为：当执行所述指令或程序时，实现权利要求1-7中任一项所述的方法。

9.一种控制系统，其特征在于，包括：执行设备和权利要求7所述的控制器；所述执行设备用于接收所述控制器下发的指令，并执行音频播放或多轴动作输出，所述控制器用于执行权利要求1-7中任一项所述的方法。

10.一种机器人，其特征在于，包括：机身和权利要求9所述的控制系统，所述控制系统设置在所述机身或所述机身的内部。

11.一种计算机可读存储介质，其特征在于，所述计算机可读取存储介质中存储有程序代码，所述程序代码可被处理器或电子设备调用执行如权利要求1至7任一项所述的方法。