智能玩具的控制方法、装置、电子设备及存储介质与流程

本发明涉及人工智能领域，尤其涉及一种智能玩具的控制方法、装置、电子设备及存储介质。

背景技术：

1、现今智能玩具，可以提供给孩子讲故事的能力和简单的语音指令交互，并在交互过程中输出知识。但是该类智能玩具由于是简单的语音指令交互，基于固定的数据库，输出与语音之对应的固定内容，功能较为单一，由于孩子的情绪变化无常，智能玩具无法主动了解孩子的需求，所以无法做出符合孩子当前情绪的回答，导致陪伴体验较差。因此，现有智能玩具存在语音交互方式单一，无法根据孩子的情绪状态做出符合用户当前情绪的回答，陪伴体验差的问题。

技术实现思路

1、本发明实施例提供一种智能玩具的控制方法，旨在解决现有智能玩具存在交互方式单一，无法根据孩子的情绪状态做出符合孩子当前情绪的回答，陪伴体验差的问题。通过在智能玩具处于问答状态时，获取用户的语音数据和/或图像数据，通过预设的情绪识别模型对语音数据和/或图像数据进行情绪识别处理，确定用户的情绪识别结果，并根据情绪识别结果，结合长短期记忆知识以及目标知识库，对用户的问答数据进行问答处理，得到答案数据，并控制智能玩具对答案数据进行输出，本发明通过考虑用户的情绪，提供更符合用户情绪的交互内容，解决了现有智能玩具存在语音交互方式单一，无法根据孩子的情绪状态做出符合用户当前情绪的回答，陪伴体验差的问题，增强用户的交互体验。

2、第一方面，本发明实施例提供一种智能玩具的控制方法，所述方法包括以下步骤：

3、当智能玩具处于问答状态时，获取用户的语音数据和/或图像数据；

4、通过预设的情绪识别模型对所述语音数据和/或图像数据进行情绪识别处理，确定所述用户的情绪识别结果；

5、基于所述情绪识别结果，结合长短期记忆知识以及目标知识库，对所述用户的问答数据进行问答处理，得到答案数据，所述目标知识库的等级与所述智能玩具的当前成长值相对应，不同等级的目标知识库具有与不同用户年龄相对应的知识数据；

6、控制所述智能玩具对所述答案数据进行输出。

7、可选的，在所述当智能玩具处于问答状态时，获取用户的语音数据和/或图像数据之前，所述方法还包括：

8、当智能玩具被唤醒后，获取用户的第一语音数据；

9、基于所述第一语音数据，确定所述智能玩具是否处于问答状态；

10、若所述智能玩具处于问答状态，则获取第二语音数据和/或图像数据。

11、可选的，在所述通过预设的情绪识别模型对所述语音数据和/或图像数据进行情绪识别处理，确定所述用户的情绪识别结果之前，所述方法还包括：

12、获取语音训练数据集以及预训练的情绪识别模型，所述训练数据集包括样本语音数据以及所述语音数据对应的情绪标注数据；

13、通过所述语音训练数据集对所述预训练的情绪识别模型进行训练，训练过程中，通过最小损失函数对所述预训练的情绪识别模型进行参数调整，训练完成，得到预设的第一情绪识别模型，所述第一情绪识别模型用于对所述语音数据进行情绪识别处理；

14、或，获取文本数据集以及预训练的情绪识别模型，所述文本数据集根据语音训练数据集进行语音转文本处理来得到；

15、通过所述文本数据集对所述预训练的情绪识别模型进行训练，训练过程中，通过最小损失函数对所述预训练的情绪识别模型进行参数调整，训练完成，得到预设的第二情绪识别模型，第二情绪识别模型用于对所述语音数据在经过语音转文本处理后所得到的文本数据进行情绪识别处理；

16、或，获取图像训练数据集以及预训练的情绪识别模型，所述图像训练数据集包括样本图像数据以及所述样本图像数据对应的情绪标注数据；

17、通过所述图像训练数据集对所述预训练的情绪识别模型进行训练，训练过程中，通过最小损失函数对所述预训练的情绪识别模型进行参数调整，训练完成，得到预设的第三情绪识别模型，所述第三情绪识别模型用于将所述图像数据进行情绪识别处理；

18、或，获取语音训练数据集、文本训练数据集、图像训练数据集中至少两项，以及预训练的情绪识别模型，所述语音训练数据集包括样本语音数据以及所述样本语音数据对应的情绪标注数据，所述图像训练数据集包括样本图像数据以及所述样本图像数据对应的情绪标注数据；

19、通过所述语音训练数据集、所述文本数据集、所述图像训练数据集中至少两项对所述预训练的情绪识别模型进行训练，训练过程中，通过最小损失函数对所述预训练的情绪识别模型进行参数调整，训练完成，得到预设的第四情绪识别模型，所述第四情绪识别模型用于对所述语音数据、所述文本数据和所述图像数据中至少两项进行情绪识别处理。

20、可选的，所述通过预设的情绪识别模型对所述语音数据和/或图像数据进行情绪识别处理，得到所述目标用户的情绪识别结果，包括：

21、通过预设的第一情绪识别模型对所述语音数据进行情绪识别处理，得到语音情绪识别结果；

22、或，将所述语音数据转换为文本数据，通过预设的第二情绪识别模型对所述文本数据进行情绪识别处理，得到文本情绪识别结果；

23、或，通过预设的第三情绪识别模型对所述图像数据进行情绪识别处理，得到图像情绪识别结果；

24、或，通过预设的第四情绪识别模型，对所述语音数据、所述文本数据、所述图像数据中至少两项进行情绪识别处理，得到多模态情绪识别结果；

25、基于所述语音情绪识别结果，或所述文本情绪识别结果，或所述所述图像情绪识别结果，或所述多模态情绪识别结果，得到所述目标用户的情绪识别结果。

26、可选的，在基于所述情绪识别结果，结合长短期记忆知识以及目标知识库，对所述用户的问答数据进行问答处理，得到答案数据之前，还包括：

27、获取所述用户的短期记忆数据，所述短期记忆数据包括所述用户在第一预设时段内的历史对话记录、用户意图、用户情绪状态数据；

28、基于所述短期记忆数据，构建短期记忆知识；

29、获取所述用户的长期记忆数据，所述长期记忆数据包括所述用户在第二预设时段内的用户画像数据以及事件数据，所述第二预设时段比所述第一预设时段长；

30、基于所述长期记忆数据，构建长期记忆知识。

31、可选的，所述基于所述情绪识别结果，结合长短期记忆知识以及目标知识库，对所述用户的问答数据进行问答处理，得到答案数据，包括：

32、基于所述情绪识别结果以及长短期记忆知识，在目标知识库中生成对应的情绪处理策略；

33、基于所述情绪处理策略，对所述问答数据进行问答处理，得到答案数据。

34、可选的，所述对控制所述智能玩具对所述答案数据进行输出，包括：

35、根据所述答案数据的语义，确定所述智能玩具的输出模式为语音模式和/或动作模式；

36、基于所述语音模式和/或动作模式，控制所述智能玩具对所述答案数据进行语音输出和/或动作输出。

37、第二方面，本发明实施例还提供一种智能玩具的控制装置，所述智能玩具的控制装置包括：

38、第一获取模块，用于当智能玩具处于问答状态时，获取用户的语音数据和/或图像数据；

39、第一处理模块，用于通过预设的情绪识别模型对所述语音数据和/或图像数据进行情绪识别处理，确定所述用户的情绪识别结果；

40、第二处理模块，用于基于所述情绪识别结果，结合长短期记忆知识以及目标知识库，对所述用户的问答数据进行问答处理，得到答案数据，所述目标知识库的等级与所述智能玩具的当前成长值相对应，不同等级的目标知识库具有与不同用户年龄相对应的知识数据；

41、控制模块，用于控制所述智能玩具对所述答案数据进行输出。

42、第三方面，本发明实施例提供一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本发明实施例提供的智能玩具的控制方法中的步骤。

43、第四方面，本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现发明实施例提供的智能玩具的控制方法中的步骤。

44、本发明实施例中，当智能玩具处于问答状态时，获取用户的语音数据和/或图像数据；通过预设的情绪识别模型对语音数据和/或图像数据进行情绪识别处理，确定用户的情绪识别结果；基于情绪识别结果，结合长短期记忆知识以及目标知识库，对用户的问答数据进行问答处理，得到答案数据，目标知识库的等级与智能玩具的当前成长值相对应，不同等级的目标知识库具有与不同用户年龄相对应的知识数据；控制智能玩具对答案数据进行输出。本发明通过考虑用户的情绪，提供更符合用户情绪的交互内容，增强用户的交互体验。