机器人自主哼唱方法、装置、电子设备及介质与流程

本公开涉及智能机器人、人机交互、情感计算、音频处理等，更具体地，涉及一种机器人自主哼唱方法、装置、电子设备及介质。

背景技术：

1、随着智能家居与情感交互技术快速发展，智能机器人广泛应用于儿童早教、老人陪护、居家休闲等多种场景。其中，音乐音频功能成为智能机器人与用户进行情感交互主要载体之一。

2、在实现本公开构思的过程中，发明人发现相关技术中至少存在如下问题：目前智能机器人的音乐播放功能主要是通过被动的响应用户播放指令播放音乐，以及基于用户的历史偏好播放进行音乐的推荐和播放，缺乏主动和灵活的播放控制机制，降低用户体验。

技术实现思路

1、有鉴于此，本公开提供了一种机器人自主哼唱方法、装置、电子设备及介质。

2、本公开的一个方面提供了一种机器人自主哼唱方法，方法包括：基于目标对象的对象状态信息、机器人的任务状态信息以及目标对象和机器人之间的交互状态信息，对机器人的哼唱容许状态进行评估，得到评估结果；在评估结果满足预设哼唱条件的情况下，基于对象状态信息确定的目标情绪类别，从预设旋律库中确定目标旋律片段，其中，预设旋律库包括多个旋律片段和多个旋律片段各自的属性标签，目标旋律片段的属性标签和目标情绪类别相匹配；基于目标旋律片段，确定用于机器人进行哼唱的哼唱音频；以及控制机器人播放哼唱音频。

3、根据本公开的实施例，基于目标对象的对象状态信息、机器人的任务状态信息以及目标对象和机器人之间的交互状态信息，对机器人的哼唱容许状态进行评估，得到评估结果，包括：基于对象状态信息，对目标对象的情绪状态和机器人哼唱场景的匹配程度进行评估，确定目标对象的情绪评估指标；基于任务状态信息，对机器人任务状态和机器人哼唱任务的兼容程度进行评估，确定机器人的任务状态评估指标；基于交互状态信息，对当前时刻和机器人哼唱时机的匹配程度进行评估，确定哼唱时机评估指标；基于情绪评估指标、任务状态评估指标和哼唱时机评估指标，确定评估结果。

4、根据本公开的实施例，基于交互状态信息，对当前时刻和机器人哼唱时机的匹配程度进行评估，确定哼唱时机评估指标，包括:基于目标对象和机器人处于未交互状态的持续时长，确定影响哼唱时机评估指标的静默时长影响因子；基于当前时刻距离机器人上一次哼唱的间隔时长，确定影响哼唱时机评估指标的间隔时长影响因子；基于目标对象和机器人在当前轮次交互后的交互持续状态，确定影响哼唱时机评估指标的上下文影响因子；基于静默时长影响因子、间隔时长影响因子和上下文影响因子，确定哼唱时机评估指标。

5、根据本公开的实施例，基于对象状态信息确定的目标情绪类别，从预设旋律库中确定目标旋律片段，包括：确定当前时段所归属的目标时间场景类别；基于目标情绪类别和时间场景类别确定的联合状态类别，从预设旋律库中确定目标旋律片段，目标旋律片段的属性标签和联合状态类别相匹配。

6、根据本公开的实施例，属性标签包括目标对象对旋律片段的偏好信息和旋律片段的播放时序信息；基于目标情绪类别和目标时间场景类别确定的联合状态类别，从预设旋律库中确定目标旋律片段，包括：基于联合状态类别，从预设旋律库中确定多个候选旋律片段；基于候选旋律片段的偏好信息和播放时序信息，从多个候选旋律片段中确定目标旋律片段。

7、根据本公开的实施例，基于目标旋律片段，确定用于机器人进行哼唱的哼唱音频，包括：基于对象状态信息确定的目标情绪强度和当前时刻归属的目标时间场景类别的目标子时段，确定用于对目标旋律片段进行微调的旋律调整参数；基于旋律调整参数对目标旋律片段进行调整，得到更新目标旋律片段；基于更新目标旋律片段，确定用于机器人进行哼唱的哼唱音频。

8、根据本公开的实施例，基于对象状态信息确定的目标情绪强度和当前时刻归属的目标时间场景类别的目标子时段，确定用于对目标旋律片段进行微调的旋律调整参数，包括：基于目标情绪强度和目标子时段，确定旋律本体调整参数和人声渲染调整参数；旋律本体调整参数包括音调调整参数、节奏调整参数和时长调整参数中的至少之一；人声渲染调整参数包括哼唱方式调整参数、音量调整参数和淡入淡出调整参数中的至少之一；基于旋律本体调整参数和人声渲染调整参数，确定旋律调整参数。

9、根据本公开的实施例，基于目标旋律片段，确定用于机器人进行哼唱的哼唱音频，包括：将目标旋律片段输入到人声哼唱合成模块，输出哼唱音频，其中，人声哼唱合成模块用于结合目标旋律片段和预设人声音色信息进行人声合成处理，生成哼唱音频。

10、根据本公开的实施例，还包括：响应于检测到目标事件，控制机器人不执行或中断播放哼唱音频；目标事件包括目标对象执行目标交互行为、机器人执行目标任务、当前时段满足目标对象的预定限制播放时段和目标对象的环境满足预设环境条件中的至少之一。

11、根据本公开的实施例，在中断播放哼唱音频之后，还包括：响应于检测到目标事件处于结束状态且评估结果满足预设哼唱条件的情况下，控制机器人在哼唱音频的中断位置恢复播放哼唱音频。

12、本公开的另一方面还提供了一种机器人自主哼唱装置，装置包括：评估模块，用于基于目标对象的对象状态信息、机器人的任务状态信息以及目标对象和机器人的交互状态信息，对机器人的哼唱容许状态进行评估，得到评估结果；第一确定模块，用于在评估结果满足预设哼唱条件的情况下，基于对象状态信息确定的目标情绪类别，从预设旋律库中确定目标旋律片段，其中，预设旋律库包括多个旋律片段和多个旋律片段各自的属性标签，目标旋律片段的属性标签和目标情绪类别相匹配；第二确定模块，用于基于目标旋律片段，确定用于机器人进行哼唱的哼唱音频；以及控制模块，用于控制机器人播放哼唱音频。

13、本公开的另一方面提供了一种电子设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序，其中，当一个或多个程序被一个或多个处理器执行时，使得一个或多个处理器实现如上的方法。

14、本公开的另一方面提供了一种计算机可读存储介质，存储有计算机可执行指令，指令在被执行时用于实现如上的方法。

15、本公开的另一方面提供了一种计算机程序产品，计算机程序产品包括计算机可执行指令，指令在被执行时用于实现如上的方法。

16、根据本公开的实施例，通过综合对象状态信息、机器人的任务运行状态信息及人机的交互状态信息对机器人自动哼唱的时机进行评估，在满足哼唱许可条件的情况下，主动根据用户的情绪匹配对应标签的旋律片段生成专属哼唱音频并播放，既能够规避任务冲突、打扰用户等不适宜哼唱的场景，又可实现贴合用户当下情绪需求的轻量化人声哼唱陪伴输出，从而提升用户体验。并且通过机器人主动哼唱，无需用户主动交互便能主动输出陪伴信号，填补独处、低落、失眠等场景下的情感空白，持续传递温和治愈的情绪慰藉，大幅提升居家陪护、独处休憩等场景下的温暖感与舒适感，构建具备情绪疗愈属性的沉浸式陪伴体验。

1.一种机器人自主哼唱方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述基于目标对象的对象状态信息、机器人的任务状态信息以及所述目标对象和所述机器人之间的交互状态信息，对所述机器人的哼唱容许状态进行评估，得到评估结果，包括：

3.根据权利要求2所述的方法，其特征在于，基于所述交互状态信息，对当前时刻和机器人哼唱时机的匹配程度进行评估，确定哼唱时机评估指标，包括:

4.根据权利要求1所述的方法，其特征在于，基于所述对象状态信息确定的目标情绪类别，从预设旋律库中确定目标旋律片段，包括：

5.根据权利要求4所述的方法，其特征在于，所述属性标签包括所述目标对象对所述旋律片段的偏好信息和所述旋律片段的播放时序信息；

6.根据权利要求1至5任一项所述的方法，其特征在于，所述基于所述目标旋律片段，确定用于所述机器人进行哼唱的哼唱音频，包括：

7.根据权利要求6所述的方法，其特征在于，基于所述对象状态信息确定的目标情绪强度和当前时刻归属的目标时间场景类别的目标子时段，确定用于对所述目标旋律片段进行微调的旋律调整参数，包括：

8.根据权利要求1所述的方法，其特征在于，基于所述目标旋律片段，确定用于所述机器人进行哼唱的哼唱音频，包括：

9.根据权利要求1所述的方法，其特征在于，还包括：

10.根据权利要求9所述的方法，其特征在于，在中断播放所述哼唱音频之后，还包括：

11.一种机器人自主哼唱装置，其特征在于，所述装置包括：

12.一种电子设备，其特征在于，所述电子设备包括：

13.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有可执行指令，该指令被处理器执行时使处理器实现权利要求1至10中任一项所述的方法。

14.一种计算机程序产品，其特征在于，所述计算机程序产品包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1至10中任一项所述的方法。